大家好,我是画画的小强
今天将给大家讲解 Stable Diffusion 入门使用教程的 图生图、LoRA和提示词权重的教程,如果你还没有使用或者安装SD,那么可以看看我的往期入门教程AI绘画『Stable Diffusion』面向小白的免费AI绘画工具:解压即用,无需安装,超全教程!
1、什么是LoRA
LoRA通常称之为微调模型,用于满足指定的风格或者人物特征属性。这种技术通过在模型的交叉注意力层中添加小的调整来实现风格和内容的变化,而不是对整个模型进行训练。
LoRA几大特点
①文件大小小: LoRA模型通常比检查点模型小10到100倍,文件大小更易于管理(2 – 200 MB),这使得它们对于需要存储大量模型的用户来说非常有吸引力。
②训练效率高: LoRA技术通过在模型的交叉注意力层中添加小的调整来实现风格和内容的变化,而不是对整个模型进行训练,这使得训练过程更快。
③易于使用: LoRA可以作为现有Stable Diffusion模型的插件或扩展,用户可以通过在提示中包含特定的LoRA模型指令来轻松地使用它们。
④风格定制能力强: LoRA允许用户针对不同的创作需求定制模型,无论是想要生成特定风格的图像还是特定主题的内容,LoRA都能提供相应的支持。
⑤社区支持广泛: LoRA技术得到了广泛的社区支持,许多开发者和艺术家分享了他们的LoRA模型和使用经验,这为新手和爱好者提供了丰富的资源和灵感。
2、下载LoRA
选择下载带有LoRA标识的文件
一般使用C站,科学上网下载:https://civitai.com
3、使用LoRA
①在SD工具界面中点击LoRA选择需要使用的LoRA
②选择之后提示词后面会加上LoRA的内容
最后点击生成,同一个提示词用LoRA与不用LoRA的两种效果。
4、上传LoRA:
①本地安装SD的用户直接放入models文件夹下LoRA目录中就可以了
②云端SD需要将Lora模型上传至网盘,再将云盘中的LoRA文件下载至云端autodl-tmp目录下(不同的云端SD模型上传方法可能会有不同,请注意区分)
将LoRA文件剪切至models文件夹下的LoRA目录就可以了
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
二、图生图
功能按钮就在文生图旁边,这里还有6块不同的功能,下面就一一来介绍。
以下所有蒙版均代表涂鸦的地方。
1、图生图
图1部分可以选择一份参考的图片上传,生成图片的内容依照参考图产生。
图2部分会根据宽高的变化而改变图片的产出效果。
图3部分点击会使用原图的宽高尺寸。
图4部分的重绘强度是图生图最关键的属性。
如果值越低则与原图越相似,相反则和原图差距会越来越大。0.3以内基本无变化,0.7以上就会产生较大的变化。(案例中选择的是0.1)
2、绘图
此功能提供了几个操作按钮,可以通过指定位置+提示词,改变图片中的内容。
比如在女孩脖子上加一条项链,加上“一条项链”提示词,且将需要变化的地方手绘上去。
这时候重绘幅度最好调整到0.5
可以看到这个功能有的问题就是,生成出来的图片与原图变化较大,这是绘图功能的一个限制,不过后面的其他功能可以弥补这个缺点。
3、局部重绘
点击局部重绘又会多了几个选项。
①蒙版模糊:最好不要改,保持默认值
②重绘蒙版内容:涂哪里重绘哪里
③重绘非蒙版内容:涂哪里不重绘哪里
另外填充、原图、潜变量噪声、潜变量数值零的效果我们直接看图
将需要重绘的地方涂上,加上提示词
全图与仅蒙版的区别在于,全图会根据整张图片进行重绘,而仅蒙版则只对于涂的地方进行高精度的重绘,如果需要重绘一些要求高的部分,可以选择仅蒙版的模式。
4、局部重绘(手涂蒙版)
此功能弥补了绘图中的问题
同时还提供了模糊度、透明度的范围选择。
5、局部重绘(上传蒙版)
这里需要上传一张原图,再上传一张蒙版图,SD就可以根据蒙版图重绘原图中的元素。
生成图片效果如下
6、批量处理
此功能其实就是局部重绘(上传蒙版)的批量模式,操作有如下要求
要求1:批量处理需要指定3个文件夹,①原图目录、②输出图片目录、③蒙版图片目录
要求2:文件夹路径必须是英文或数字
要求3:确保原图目录中的图片与蒙版图片目录中的图片数量、名称、大小比例一致
三、提示词权重
提示词权重是什么呢?
在提示词内容比较多的时候,SD有时候不能识别一些关键词,导致无法生成想要的效果,这时候给该关键词加上权重修饰,就可以让工具重点识别了。(在我们之前给出的反向词例子中,有很多括号括起来的内容,这些就是给关键词加权重的操作。)
EasyNegative, ng_deepnegative_v1_75t, badhandv4,(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative,skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head,lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature,watermark, username,blurry,cropped,jpeg artifacts,text,error当然有加权重就有减权重的操作,以下就是权重修饰使用的说明
①如何使用
内容填写(提示词:倍数)
例如(red dress:1.5)
这里就是把red dress的关键词权重增加了1.5倍
②修饰符号
()默认是1.1倍,套用(())的话是每层增加1.1倍
[]默认是0.9倍,减少权重,也可以套用[[]],每层减少0.9倍
{}默认每层增加1.05倍
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
总结
**Stable Diffusion 入门教程概览:图生图、LoRA与提示词权重****引言**
小强在此带领大家深入了解Stable Diffusion(SD)的几项核心功能:图生图、LoRA(模型微调)及提示词权重的使用。对于尚未完全掌握SD安装与基础操作的读者,建议先回顾往期入门教程。
**一、LoRA技术介绍与应用**
**1. 定义与特点**
- **LoRA**是一种针对Stable Diffusion的微调模型技术,通过调整模型的部分层而非全局训练,实现快速风格或内容定制。
- **特点**:文件体积小(2-200MB),训练高效,易集成,风格定制强,且拥有活跃的社区支持。
**2. 下载与安装**
- 从如Civitai等平台下载带有LoRA标识的文件。
- 根据SD部署方式(本地或云端),将LoRA文件放置在对应的models/LoRA目录下或直接上传至云端指定位置。
**3. 使用方法**
- 在SD工具中选择LoRA模型,并添加至提示词后,即可实现风格化输出。
**二、图生图功能详解**
SD的图生图模块位于文生图旁,提供了六种细化功能:
- **图生图**:参考已有图片,根据用户对宽高和重绘强度的调整生成新图片。
- **绘图**:通过手绘区域结合提示词,修改图片局部内容,但可能导致较大变化。
- **局部重绘**:提供增强的重绘功能,包括蒙版模糊度调节和指定区域重绘。
- **手涂及上传蒙版重绘**:进一步弥补绘图功能的不足,支持高度自定义的局部修改。
- **批量处理**:允许对多张图片进行批量重绘操作。
**三、提示词权重调整**
- 当提示词冗多而SD难以准确响应时,通过权重修饰增强或减弱关键词的重要性。
- 使用如`(提示词:倍数)`的格式,结合不同括号符号实现复杂权重调整。
**AIGC学习资源与发展前景**
文末还提供了AIGC学习的全面路径,包含各技术点整理、必备工具清单、学习笔记、视频教程合集及实战案例,助力读者系统性学习与进步。强调AIGC技术在未来将与AI紧密结合,在游戏、计算等领域展现更广泛应用潜力。
**总结**
本文通过详细教程,引导读者如何运用Stable Diffusion的图生图、LoRA微调及提示词权重调整等高级功能,同时分享AIGC学习的丰富资源和广阔前景,为希望掌握这一先进技术的读者提供了宝贵的指导与鼓舞。