大家好,我是程序员晓晓
自接触AI绘画以来,我发现很多朋友对一些基础词汇理解地很模糊,然后在搭建ComfyUI 工作流或者使用SD WebUI进行出图时,只能知其然,不知其所以然的感觉,也不知搭选哪个模型,很多时候都是照猫画虎地模仿,很难受。而且,很多时候,网上找不到详细地教程来详细解释这些含义。
今天我将对一些基础词汇做一个复盘,在这里做了个分享。
今天给大家分享的是 stable diffusion中的一些基础问题,主要分三块:
SDXL、SD1.5是什么意思
checkpoint、lora是什么意思
checkpoint和lora的区别
放轻松,我会通过设计师的视角帮大家更好地理解。
问题1:SDXL、SD1.5这些版本有什么区别,到底有多少版本?
为什么会出现这个问题,是因为每次在浏览网站或者别人的视频时,左上角的xl,lora等搞得我莫名其妙,云里雾里。一会儿1.0,一会儿1.5,一会儿XL,不明所以。
其实这么回事:SD是stable diffusion的缩写,后面的后缀其实是各个版本的称号;
Stable Diffusion (SD) 自发布以来经历了多个版本的迭代。以下是SD主要版本的概览:
Stable Diffusion v1.0 (2022年8月)首次公开发布
Stable Diffusion v1.1 - v1.4 (2022年8月-10月)陆续发布的小版本更新,主要改进模型性能和质量
Stable Diffusion v1.5 (2022年10月)在1.4基础上的进一步改进
Stable Diffusion v2.0 (2022年11月)重大更新,改进了文本理解和图像质量
Stable Diffusion v2.1 (2022年12月)对2.0的改进,增强了生成能力
Stable Diffusion XL 0.9 (2023年6月)SDXL的预览版本
Stable Diffusion XL 1.0 (2023年7月)目前最新的主要版本,大幅提升了模型能力
每个版本都比之前的版本生图质量更好,学习的图片数量也更多。接下来就给大家简单做个区分:
SD v1.1-1.5:训练的图片基本上都是 512*512 大小;
SD v2.0-2.1: 训练的图片大小是768*768;
SD XL:分别以600000步256*256 和200000步 512*512 大小的图片进行训练,适合生成1024*1024大小的图片,生成质量大大提高,非常受欢迎。
简单理解就是SD的每一个版本都比之前的版本 训练的步数更多,出图的质量更好。
那这么多版本,我应该下载哪个版本最合适呢?这里我推荐大家下载sd1.5和sdXL这两个版本,因为1.5版本生态最繁荣,sdXL 出图质量最好,画面表现高,但是占用显存略高,训练速度慢。
如果大家现在手里还没有这两个模型,可以看下方扫描免费获取模型文件
问题2:checkpoint、lora是什么意思?
梳理了stable diffusion各版本之后,接下来帮大家理解checkpoint和lora的含义和不同;
2.1什么是checkpoint?
Checkpoint是深度学习中常用的一个术语,用于描述在每次训练后保存模型参数(权重)的惯例。类似于游戏中保存关卡的功能,Checkpoint允许我们在训练过程中保存模型的状态,以便之后可以加载这些保存的参数并继续训练或进行推理。
简单理解的话,checkpoint就是在stable diffusion底模的基础上,再次训练得到特定风格的,更适合生成某种调性图片的模型。
所以我们可以在网上看到很多的checkpoint,这些都是在底模的基础上再次训练得到的。
每种checkpoint都可以在详情页中看到基础模型的版本,看下图:
这个大家要注意了。ControlNet 跟模型的版本是一一对应的,如果checkpoint的版本和ControlNet 模型版本不一致,就会报错,因为训练的图片尺寸不一样。
报错信息如下:
2.2:什么是lora?
lora(Localized Refinement of Attributes)不同于checkpoint,lora可以看成是在基础模型生成的图片上,加了一层“滤镜”,达到切换风格的效果。因此他的体积很小,只有几百MB,受到很多小伙伴的青睐,毕竟一般人没有那么大的算力和时间去训练一个checkpoint,但是训练一个lora只要几个小时,而且要的训练素材也很少,优势很大,非常吸引人。
我们可以把lora理解成英雄联盟中的皮肤,原始的皮肤是大模型,后续的皮肤就是lora,lora可以改变英雄的服装,姿态,但是主要框架是不变的。所以说lora技术是一种轻量化的模型微调训练方法。
我们可以在很多网站上下载不同风格的lora,有时候大家会遇到一个问题,就是lora出来的图片效果没有网站发布的案例好看,可能是因为没有选对底模的原因。
或者是没有输入触发词:
问题3:checkpoint和lora 的区别在哪里:
如果大家仔细看过上面的内容,不难理解两者的区别:
最后怎么在AI绘画工具ComfyUI中选lora,需要在“新建节点”下找到“加载器”,再找到“lora加载器”:
然后再lora节点中选择自己已经下载好的lora就可以啦
lora文件的存储位置在:models下的loras中
今天的分享到这里就结束了,通过这篇文章,希望大家能更好的理解sd各版本的差异和lora的使用,了解了这些基础知识之后,可以帮助大家更快地上手ComfyUI
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
总结
### 文章总结**主题**:程序员晓晓分享AI绘画Stable Diffusion基础概念及未来趋势
**内容概要**:
1. **背景介绍**:
- 作者晓晓作为程序员,发现AI绘画初学者常对基础词汇感到困惑,特别是在使用ComfyUI或SD WebUI时,对模型选择和基础概念理解不足。
- 文章旨在通过设计师的视角,详细解释Stable Diffusion(SD)相关的基础问题及常用术语。
2. **Stable Diffusion各版本概述**:
- **版本概览**:从SD v1.0到SD XL 1.0的主要版本及其发布时间和改进点进行了详细介绍。
- **版本区别**:各版本训练的图片尺寸不同,生成图片的质量和所需的硬件资源也各有差异。
- **推荐版本**:推荐初学者使用SD1.5(生态繁荣)和SDXL 1.0(出图质量最佳,但显存占用高)。
3. **Checkpoint与Lora的区别**:
- **Checkpoint**:深度学习中用于保存模型训练状态和参数的术语。在Stable Diffusion中,checkpoint是在基础模型上再训练的特定风格模型。
- **Lora(Localized Refinement of Attributes)**:轻量级的模型微调方法,类似于在已生成图片上加滤镜以改变风格,体积小、训练迅速且所需素材少。
- **区别**:Checkpoint更侧重于训练新模型,Lora则是对既有图片风格的微调。
4. **实战操作**:
- 详细指导了如何在AI绘画工具ComfyUI中使用Lora,包括如何加载Lora模型和文件存储位置。
5. **AIGC未来趋势与展望**:
- AIGC技术将在游戏和计算领域得到更广泛应用,结合人工智能技术将带来更高效、智能、灵活的特性。
- 强调了AIGC技术的未来发展潜力和对程序员的重要性。
6. **资源与福利**:
- 分享了AIGC技术的学习资源,包括学习路线、必备工具、学习笔记、视频教程合集及实战案例,帮助读者快速入门并深入学习。
**结论**:通过晓晓的详细讲解,读者不仅可以理解Stable Diffusion的基础概念和版本差异,还能掌握Lora等高级技术的运用方法,为未来在AI绘画领域的探索打下坚实的基础。同时,提供了丰富的学习资源和未来发展展望,鼓励读者积极学习并探索AIGC技术的无限可能。