那么,接下来我们就要学习怎么使用Stable Diffusion 中最重要的各类模型了。
因为,相比于Midjourney,Stable Diffusion最大的优势就是开源。相比于Midjourney靠开发人员开发的少数模型,SD则每时每刻都有人在世界各地训练自己的模型并免费公开共享给全世界的使用者。(当然你可以通过训练自己的专有模型而专门用于某一用途,这也将成为你作为AI绘画者的最重要的核心竞争力之一)
因此,学会使用各类模型对于学习使用Stable Diffusion非常重要。
常用模型下载网址推荐
目前,模型数量最多的两个网站是https://civitai.com/和https://huggingface.co/。civitai又称c站,有非常多精彩纷呈的模型,有了这些模型,我们分分钟就可以变成绘画大师,用AI画出各种我们想要的效果。
C站长这样:
你会看到很多模型的预览图被屏蔽了,需要你认证为成人才能浏览。至于为什么要成人才能浏览,想必大家也是懂的都懂。
也正是如此,该网站在国内是被屏蔽的。登录需要科学上网。
Huggingface则相对朴实无华一些,对模型的审核也会更加严格一些。但是好处在于不需要科学上网,而且网速很快。
Huggingface界面如上。
它是一个综合性的网站,如果我们需要下载模型的话,选择Models。
进入之后,选择Text-to-Image,出来的就都是SD可以用的模型了。
除了C站和huggingface,其他的模型网站还有:
https://cyberes.github.io/stable-diffusion-models/
(SD的基础模型,不用科学上网,但是这些模型都一般般,意义不大)
https://rentry.co/sdmodels
(模型很多,但是界面没有C站友好,需要科学上网)
炼丹阁 (www.liandange.com)
(国内的网站,很多都是搬运的C站的模型,合规性未知,通过百度网盘下载)
LiblibAI(www.liblibai.com)
LiblibAI,号称是国内最大的原创AI模型分享网站,但其实很多都是搬运的C站的模型,不过确实也有不少人气原创模型发布者入驻了该网站。
不同模型的说明
如果你去自己下载模型,就会发现有各种不同类型的模型。
具体模型类型有checkpoint、Textual lnversion、Hypernetwork、Aesthetic Gradient、LoRA、LyCORIS、Controlnet、Poses、wildcards等等,看得人眼花缭乱。这些都是什么意思呢?
Checkpoint/大模型/底模型/主模型
Checkpoint模型是SD能够绘图的基础模型,因此被称为大模型、底模型或者主模型,WebUI上就叫它Stable Diffusion模型。安装完SD软件后,必须搭配主模型才能使用。不同的主模型,其画风和擅长的领域会有侧重。
checkpoint模型包含生成图像所需的一切,不需要额外的文件。但是它们体积很大,通常为2G-7G。
常见文件模式:尾缀ckpt、safetensors(如果都有提供的话建议下载safetensors,下同)
存放路径: \sd-webui-aki-v4\models\Stable-diffusion
模型的切换界面:
目前比较流行和常见的checkpoint模型有Anything系列(v3、v4.5、v5.0)、AbyssOrangeMix3、ChilloutMix、Deliberate、国风系列等等。这些checkpoint模型是从Stable Diffusion基本模型训练而来的,相当于基于原生安卓系统进行的二次开发。目前,大多数模型都是从 v1.4 或 v1.5 训练的。它们使用其他数据进行训练,以生成特定风格或对象的图像。这个我们后面还会专门开一个专题进行讲解。
不同模型在同一参数下的表现有时候可以用天差地别来形容,下面是个例子:
LoRA
当下最火的微调模型,可以将某一类型的人物或者事物的风格固定下来。它们通常为10-200 MB。必须与checkpoint模型一起使用。
现在比较火的Korean Doll Likeness、Taiwan Doll Likenes、Cute Girl mix都是真人美女LoRA模型,效果很惊艳。还有一些特定风格的LoRA也非常受欢迎,最著名的有墨心等。这个我们后面也会再开一个专题讲解。
常见文件模式:尾缀ckpt、safetensors、pt
存放路径: \sd-webui-aki-v4\models\Lora
有多个方式可以使用
方法1是在生成界面调取选用。这个的好处是可以自己设置预览图,从而有直观的感受。
而且部分LORA只支持这种方式使用(不过AI绘画日新月异,说不定哪天规则又变了~)
方法2是以插件形式使用。好处是可以很方便的灵活调用多个LORA,并对他们按着不同比例进行混合。
在启动器界面选择模型管理,点击LoRA模型(插件),点击添加模型,选择你要添加的LoRA模型,重启启动器。然后在WebUI界面选择相应的插件和权重比例即可。
VAE美化模型/变分自编码器
VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调。
有的大模型是会自带VAE的,比如Chilloutmix。如果再加VAE则可能画面效果不会更好,甚至适得其反。
顺便说一句,系统自带的VAE是animevae,效果一般,建议可以使用kl-f8-anime2或者vae-ft-mse-840000-ema-pruned。anime2适合画二次元,840000适合画写实人物。
常见文件模式: 尾缀ckpt、pt
存放路径: \sd-webui-aki-v4\ models\ VAE
模型的切换:
Embedding/Textual lnversion/文本反转模型和Hypernetworks
Embeddings 和 Hypernetworks 都属于微调模型,但目前Hypernetworks已经不太用了。
Embeddings/Textual lnversion中文翻译过来叫文本反转,通过仅使用的几张图像,就可以向模型教授新的概念。用于个性化图像生成。Embeddings是定义新关键字以生成新人物或图片风格的小文件。它们很小,通常为10-100 KB。必须将它们与checkpoint模型一起使用。
Embeddings 由于训练简单,文件小,因此一度很受大家欢迎。而且Embeddings 使用方法很简单,在安装之后,只要在提示词中提到它就相当于调用了,很方便。但由于Embeddings使用的训练集较小,因此出来的图片常常只是神似,做不到”形似“,所以目前很多人还是喜欢使用LORA模型。而且Embeddings 是一级目录,每次打开webui时都要加载一遍,太多了会影响webui的“开机速度”(但是不影响运行速度)。
不过有一些Embeddings 还是值得安装,比如EasyNegative这个Embeddings,里面包含了大量的负面词,可以减少你每次打一堆负面词的痛苦。
Embedding
常见文件模式: 尾缀pt
存放路径: \sd-webui-aki-v4\ embeddings
模型的切换通过文件名称来触发
Hypernetworks
常见文件模式: 尾缀pt
存放路径: \sd-webui-aki-v4\ models\ Hypernetworks
模型的切换通过文件名称来触发
DreamBooth模型
DreamBooth,可用于训练预调模型用的。是使用指定主题的图像进行演算,训练后可以让模型产生更精细和个性化的输出图像。
常见模式:尾缀ckpt、safetensors
常见大小:2G-7G
最新版本的DreamBooth是可以把那个Lora算法然后融合进来的
可以训练角色、画风、物件等,使用方法和主模型相同
训练路径:
LyCORIS模型
此类模型也可以归为Lora模型,也是属于微调模型的一种。一般文件大小在340M左右。不同的是训练方式与常见的lora不同,但效果似乎会更好不少。
其中本人较喜欢的“Miniature world style 微缩世界风格”就属于这类模型。
但要使用此类微调模型,需要先安装一个locon插件,直接将压缩包解压后放到StableDiffusion目录的extensions目录里。
插件地址
https://github.com/KohakuBlueleaf/a1111-sd-webui-locon
下载后直接解压缩在extensions中。
使用时注意,除了要将lora调入,还要在正向tag开头添加触发词
例如:这个微缩世界风格的lyCORIS的调用,正向描述语如下
mini(ttp), (8k, RAW photo, best quality, masterpiece:1.2), island, cinematic lighting,UHD,miniature, landscape, Crystal ball,on rock, lora:miniatureWorldStyle_v10:0.8
小技巧
如果你下载了一个模型,却不知道怎么安装,打开这个网站
https://spell.novelai.dev/
把你下载的模型拖进去,立马就会帮你解析,告诉你应该放在那里。
不过,由于AI绘画日新月异,有的模型,网站可能还来不及收集和解析,会无法解读。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
?[[CSDN大礼包:《StableDiffusion安装包&AI绘画入门学习资料》免费分享]](安全链接,放心点击)
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
1.stable diffusion安装包 (全套教程文末领取哈)
随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。
最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本。
2.stable diffusion视频合集
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。
3.stable diffusion模型下载
stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。
4.stable diffusion提示词
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。
5.SD从0到落地实战演练
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
总结
**文章总结:学习Stable Diffusion模型的重要性与应用**文章主要介绍了Stable Diffusion中各类模型的学习与应用,强调了Stable Diffusion相对于Midjourney的优势在于其开源性,允许用户免费获取和分享训练模型。文章分为几个关键部分进行详细阐述:
1. **常用模型下载网址推荐**:
- 推荐了两个主要模型下载网站:civitai(C站)和Huggingface,以及其他几个模型资源网站,包括国内外平台,详细介绍了每个网站的特点和使用方法。
- 特别提到C站有大量精彩模型但需要科学上网及成人认证,而Huggingface则相对简便快捷。
2. **不同模型的说明**:
- **Checkpoint/大模型**:SD绘图的基础,必须搭配使用,包含生成图像所需的一切,体积大但功能全面。
- **LoRA**:微调模型,用于固定人物或事物的风格,体积较小,常与checkpoint模型一起使用。
- **VAE美化模型**:变分自编码器,提供滤镜和微调效果,增强画面质感。
- **Embedding/Textual Inversion/Hypernetworks**:微调模型,用于个性化图像生成,通过图像或文本训练模型,其中Hypernetworks逐渐少用。
- **DreamBooth模型**:训练预调模型,用于产生精细和个性化的输出图像。
- **LyCORIS模型**:也属于Lora微调模型,但训练方式不同,效果更佳,需要额外插件支持。
3. **小技巧与资源推荐**:
- 提供了模型安装的小技巧网站和AI绘画技术储备的建议,包括安装包、视频教程、模型下载、提示词手册以及从0到1的实战演练资源。
- 强调了学习规划和资源获取的重要性,特别是对零基础小白的入门帮助。
通过文章,读者可以全面了解Stable Diffusion的各类模型及其应用,以及如何获取和安装这些模型,从而有效提升AI绘画的能力和效率。