大家好,我是卡狄。
昨天我们共同学习了Stable Diffusion的UI界面和提示词的写法,最简单的文生图已经算基本掌握了。
今天我们在优化一下,加上Lora模型来尝试一下会有什么不一样的效果。
01
认识Stable Diffusion的几种模型
在学习之前我们先来简单看一下SD中可以看到的几种模型。
1.嵌入式(TI.Embedding):不常用,字面意思是文字嵌入,在check point模型的基础上训练来的,特点是文件格式是pt,体积一般只有几十kb,特别小。这类模型要放到\embeddings文件夹内。
**2.超网络(Hypernetworks):**功能和lora类似,但是不如Lora效果好,所以我们也基本放弃这个模型。这类模型要放到models\hypernetworks文件夹内。
**3.大模型:**这里是我们常用的大模型。是SD运行的基础,没有它SD无法运行。这类模型要放在models\Stable-diffusion文件夹内。
**4.Lora:**它是我们除大模型外使用最多的模型,这类模型容易训练,对电脑配置要求低,文件安全。这类模型要放到models\lora文件夹内。
简单了解完SD总能看到的几种模式之后我们进入正题。
简单来说Lora的作用是帮我固定认为特征,比如相貌,衣服,动作,风格等。
下面这些都是使用了Lora输出的图片。
这里很多人会有一个疑惑,那lora和大模型有什么区别?
我们可以这样理解:
SD官方有自己的大模型,如:SD1.5,SD2.0。这种我们把他理解为我们毛坯房。
我们经常用的被训练过的大模型,比如:墨幽人造人,麦橘写实,二次元类型的这些,我们理解为在官方模型上训练出来的精装房。
而Lora模型我们则可以理解为在精装房内进行了**软装,**需要配合适合的大模型来使用。
Lora和大模型一样需要我们自己去下载。常用的网站就是C站,但是由于需要科学上网,可能有些同学下载不了。
这边给大家准备了一些常用的Lora模型。可以在公众号回复:“Lora”获取。
C站下载方式:
点击筛选-点击需要的Lora-点击Download即可下载。
在下载页面我们还可以看到Trigger Words这一项,这个是Lora的触发词,也要记下来。
需要加入到prompt中才可以触发这个lora。
网上这样Lora都是被人炼制好的,可以直接使用。
后面我们也可以尝试炼制自己的Lora模型。这里就先不讲了,后面我们单独出一期讲如何炼制自己的Lora。
02
Lora模型如何使用
我们按之前的操作选择大模型和其他参数,然后点击模型中的Lora。
选择一个下要使用的Lora,SD会自动把Lora添加到提示词内。
是Lora的提示词,其中最后的1是表示这个Lora的权重。这个数值最大是1不能超过1,也就是只能往下调。
cshy \(manaka nemu\),cyan dress,是这个Lora的触发词。有些模型需要搭配触发词才可以使用。
下面是我们生成出来的一组图。可以看到主角的裙子基本是锁定的,这个就是Lora的功劳。
我们还可以尝试多个Lora结合使用。
在这段提示词中我们使用了两个不同的Lora。
刚才我们说过Lora的权重数值不能超过1。
这个规则在使用多个Lora的时候也是如此。
多个Lora的权重数值之和不能大于1。
可以看到这两个Lora的权重我分别设置的是0.5。
生成一下看下效果,这两个提示词没有变化。
03
Lora使用小技巧
在我们模型比较多的时候,可以sd-webui-aki-v4.4\models\Lora文件夹下新建文件夹。
更方便我们快捷找到自己常用的Lora模型。
如何给Lora添加预览图:
选择一张Lora的预览图“.png格式”放到sd-webui-aki-v4.4\models\Lora文件夹下,和Lora模型同名即可。
03
使用Lora插件
除了上面的方法,再给大家推荐一Lora的插件“Additional Networks”。
安装方法如下:
点击“扩展”-点击“可下载”-点击“加载扩展列表”。
在下面的列表里找到Kohya-ss Additional Networks 点击后面安装即可。
安装完毕之后需要把Lora文件放到插件的目录下。
也就是把原本在sd-webui-aki-v4.4\models\Lora下的文件。复制到sd-webui-aki-v4.4\extensions\sd-webui-additional-networks\models\lora这个文件夹下。
然后重启SD应用。就可以使用了。
部分小伙伴安装完了之后,文件也放对位置重启应用之后还是选不了Lora模型,可以点击刷新模型列表解决。
/ END /
好了,今天的内容就到这里。
明天接着分享更干货的内容“图生图”。
想要SD安装包和相关插件的小伙伴扫码可免费领取哦~
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
若有侵权,请联系删除
总结
文章概括:《AI图像生成技术进阶:Lora模型在Stable Diffusion中的应用》
本文由卡狄撰写,深入讲解了如何使用Lora模型优化Stable Diffusion的图像生成效果。首先,简要介绍了Stable Diffusion中的四种主要模型类型及其特点,特别强调了Lora模型对于帮助固定特定特征(如相貌、衣物、动作和风格)的作用和价值。接着,文中详细介绍了Lora模型的使用方法和技巧,包括如何从网站下载、如何添加到Stable Diffusion界面中、如何结合触发词使用以及如何结合多个Lora模型以达到更丰富多样的效果。此外,还提到了便利的Lora模型管理方法和插件使用技巧,以便用户更高效地利用Lora模型。
文章还讨论了AIGC(人工智能内容生成)技术的未来发展前景,强调了AIGC作为人工智能重要领域之一,在未来游戏和计算领域的广泛应用潜力。最后,作者分享了AIGC技术的全面学习资源,包括学习路线、必备工具、学习笔记、视频教程和实战案例等资源,旨在助力感兴趣的读者深入学习AIGC技术。