当前位置:AIGC资讯 > AIGC > 正文

【Stable Diffusion】lora的基础使用技巧

1.用lora配套的大模型效果更好
lora训练是根据大模型作为参考,lora是根据那个大模型来训练参数的

例如,这里以墨心lora为例,点击示例图片的中的“?”,在Model中就显示出了作者用于训练墨心lora的底模了
2.最好使用和作者相同的参数
还是以墨心lora为例,可以看到示例图片中有Sampler、Model、CFG scale等参数

(1)Sampler——采样方式,在Stable Diffusion WebUI中的Sampling method中进行选择
(2)Model——作者使用的大模型,在Stable Diffusion WebUI中的Stable Diffusion checkpoint中进行选择
(3)CFG scale——提示词相关性,在Stable Diffusion WebUI中的CFG scale进行调整
(4)Steps——采样迭代步数,在Stable Diffusion WebUI中的Sampling steps中进行调整
(5)Seed——随机种子,在Stable Diffusion WebUI中的Seed中进行调整
Stable Diffusion WebUI中的参数调整位置(除了Stable Diffusion checkpoint在页面最上方)如下:

值得注意的是,在复制示例图片的Prompt和Negative prompt的提示词时,要注意示例图片的lora词和最后作者发布显示的lora词不一样,例如,这里,示例图片中的使用了两个lora,分别是: lora:shukezouma_v1_1:0.8和lora:shuimobysimV3:0.7

我们分别下载这两个lora,在页面的上方就显示了这两个lora,点击后进行下载(是的,有时一个页面中可能可以下载多个lora,在Stable Diffusion中配合使用)
在Stable Diffusion WebUI中,我们点击这两个lora,显示的分别是 lora:shukezouma_v1_1:1和 lora:MoXinV1:1,也就是说作者发布的lora名称和示例图片中的lora名称不一样,要注意调整,并将权重值调整为示例图片的权重值


调整好后,生成图片效果如下:

可以在示例图片的参数的基础上做进一步尝试和调整,在保证一定质量的基础上,生成更有创意的图片

3.正确地设置lora的使用权重
lora的权重值不要在1以上,不然容易出效果很差的图,权重值最好设置到0.8、0.9能够提高出图质量,如果只想带一点点lora的元素,权重值设置到0.4-0.6就可以了
4.有触发词一定要使用触发词
将Trigger words中的词,选择需要的加入到Prompt中,才能将相应的元素触发出来(有的在Trigger words中的上方有个Tag栏,Tag是lora的标签表示lora大概是什么特征,不是触发词,不需要管tag)

有的时候,作者并没有给出Trigger Words,此时直接把lora加载进去,也能发挥作用

5.新手尽量不要混用lora
除非lora作者给了非常成熟的建议
因为并不了解每个lora的提示词触发词的训练图集,启用时很容易打架、互相污染,如果一定要多个lora混用,需要学习lora把里面的十几个层分别抽出来单独设置权重,再进行使用,这样的多个lora的混用效果才比较好

更新时间 2023-11-14