前言
大家好,我是Lison,接触AI绘画以来,发现很多时候对一些基础词汇理解地很模糊,然后在搭建comfyui工作流时,只能知其然,不知其所以然的感觉,也不知搭选哪个模型,很多时候都是照猫画虎地模仿,很难受。而且,很多时候,网上找不到详细地教程来详细解释这些含义。
好在我周围有很多算法同学,在跟他们交流中,对一些基础词汇有了比较深刻的了解,在这里做了个分享。
今天给大家分享的是 stable diffusion中的一些基础问题,主要分三块:
SDXL、SD1.5是什么意思
checkpoint、lora是什么意思
checkpoint和lora的区别
放轻松,我会通过设计师的视角帮大家更好地理解。
问题1:SDXL、SD1.5这些版本有什么区别,到底有多少版本?
为什么会出现这个问题,是因为每次在浏览网站时,左上角的xl,lora等搞得我莫名其妙,云里雾里。一会儿1.0,一会儿1.5,一会儿XL,不明所以。
经过我一番研究,发现是这么回事:sd是stable diffusion的缩写,后面的后缀其实是各个版本的称号;
Stable Diffusion (SD) 自发布以来经历了多个版本的迭代。以下是SD主要版本的概览:
Stable Diffusion v1.0 (2022年8月)首次公开发布
Stable Diffusion v1.1 - v1.4 (2022年8月-10月)陆续发布的小版本更新,主要改进模型性能和质量
Stable Diffusion v1.5 (2022年10月)在1.4基础上的进一步改进
Stable Diffusion v2.0 (2022年11月)重大更新,改进了文本理解和图像质量
Stable Diffusion v2.1 (2022年12月)对2.0的改进,增强了生成能力
Stable Diffusion XL 0.9 (2023年6月)SDXL的预览版本
Stable Diffusion XL 1.0 (2023年7月)目前最新的主要版本,大幅提升了模型能力
每个版本都比之前的版本生图质量更好,学习的图片数量也更多。接下来就给大家简单做个区分:
SD v1.1-1.5:训练的图片基本上都是 512*512 大小;
SD v2.0-2.1: 训练的图片大小是768*768;
SD XL:分别以600000步256*256 和200000步 512*512 大小的图片进行训练,适合生成1024*1024大小的图片,生成质量大大提高,非常受欢迎。
简单理解就是SD的每一个版本都比之前的版本 训练的步数更多,出图的质量更好。
那这么多版本,我应该下载哪个版本最合适呢?这里我推荐大家下载sd1.5和sdXL这两个版本,因为1.5版本生态最繁荣,sdXL 出图质量最好,画面表现高,但是占用显存略高,训练速度慢。
如果大家现在手里还没有这两个模型,可以去我微信公众号:体验设计,或者
底部评论来联系我获取。
问题2:checkpoint、lora是什么意思?
梳理了stable diffusion各版本之后,接下来帮大家理解checkpoint和lora的含义和不同;
2.1什么是checkpoint?
官方:
Checkpoint是深度学习中常用的一个术语,用于描述在每次训练后保存模型参数(权重)的惯例。类似于游戏中保存关卡的功能,Checkpoint允许我们在训练过程中保存模型的状态,以便之后可以加载这些保存的参数并继续训练或进行推理。
简单理解的话,checkpoint就是在stable diffusion底模的基础上,再次训练得到特定风格的,更适合生成某种调性图片的模型。
所以我们可以在liblib上看到很多的checkpoint,这些都是在底模的基础上再次训练得到的。
每种checkpoint都可以在详情页中看到基础模型的版本,看下图:
这个大家要注意了。controlnet跟模型的版本是一一对应的,如果checkpoint的版本和controlnet模型版本不一致,就会报错,因为训练的图片尺寸不一样。
报错信息如下:
2.2:什么是lora?
lora(Localized Refinement of Attributes)不同于checkpoint,lora可以看成是在基础模型生成的图片上,加了一层“滤镜”,达到切换风格的效果。因此他的体积很小,只有几百MB,受到很多小伙伴的青睐,毕竟一般人没有那么大的算力和时间去训练一个checkpoint,但是训练一个lora只要几个小时,而且要的训练素材也很少,优势很大,非常吸引人。
我们可以把lora理解成lol中的皮肤,原始的皮肤是大模型,后续的皮肤就是lora,lora可以改变英雄的服装,姿态,但是主要框架是不变的。所以说lora技术是一种轻量化的模型微调训练方法。
我们可以在很多网站上下载不同风格的lora,有时候大家会遇到一个问题,就是lora出来的图片效果没有网站发布的案例好看,可能是因为没有选对底模的原因。
或者是没有输入触发词:
问题3:checkpoint和lora 的区别在哪里:
如果大家仔细看过上面的内容,不难理解两者的区别:
最后怎么在comfyui中选lora,需要在“新建节点”下找到“加载器”,再找到“lora加载器”:
然后再lora节点中选择自己已经下载好的lora就可以啦
lora文件的存储位置在:models下的loras中
后记:
针对各位初学者,这里列举了一条完整的学习计划,感兴趣的可以阅读看看,希望对你的学习之路有所帮助,废话不多说,进入正题:目标应该是这样的:
第一阶段(30天):AI-GPT从入门到深度应用
该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识,同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。
-----------
GPT的定义与概述 GPT与其他AI对比区别 GPT超强记忆力体验 万能GPT如何帮你解决一切问题? GPT表达方式优化 GPT多类复杂应用场景解读 3步刨根问底获取终极方案 4步提高技巧-GPT高情商沟通 GPT深度玩法应用场景 GPT高级角色扮演-教学老师 GPT高级角色扮演-育儿专家 GPT高级角色扮演-职业顾问 GPT高级角色扮演-专业私人健身教练 GPT高级角色扮演-心理健康顾问 GPT高级角色扮演-程序UX/UI界面开发顾问 GPT高级角色扮演-产品经理 GPT高级技巧-游戏IP角色扮演 GPT高级技巧-文本冒险游戏引导 GPT实操练习-销售行业 GPT实操练习-菜谱推荐 GPT实操练习-美容护肤 GPT实操练习-知识问答 GPT实操练习-语言学习 GPT实操练习-科学减脂 GPT实操练习-情感咨询 GPT实操练习-私人医生 GPT实操练习-语言翻译 GPT实操练习-作业辅导 GPT实操练习-聊天陪伴 GPT实操练习-育儿建议 GPT实操练习-资产配置 GPT实操练习-教学课程编排 GPT实操练习-活动策划 GPT实操练习-法律顾问 GPT实操练习-旅游指南 GPT实操练习-编辑剧本 GPT实操练习-面试招聘 GPT实操练习-宠物护理和训练 GPT实操练习-吸睛爆款标题生成 GPT实操练习-自媒体爆款软件拆解 GPT实操练习-自媒体文章创作 GPT实操练习-高效写作推广方案 GPT实操练习-星座分析 GPT实操练习-原创音乐创作 GPT实操练习-起名/解梦/写诗/写情书/写小说 GPT提升工作效率-Word关键字词提取 GPT提升工作效率-Word翻译实现 GPT提升工作效率-Word自动填写、排版 GPT提升工作效率-Word自动纠错、建议 GPT提升工作效率-Word批量生产优质文章 GPT提升工作效率-Excel自动化实现数据计算、分析 GPT提升工作效率-Excel快速生成、拆分及合并实战 GPT提升工作效率-Excel生成复杂任务实战 GPT提升工作效率-Excel用Chat Excel让效率起飞 GPT提升工作效率–PPT文档内容读取实现 GPT提升工作效率–PPT快速批量调整PPT文档 GPT提升工作效率-文件批量创建、复制、移动等高效操作 GPT提升工作效率-文件遍历、搜索等高效操作 GPT提升工作效率-邮件自动发送 GPT提升工作效率-邮件自动回复 GPT接入QQ与QQ群实战 GPT接入微信与微信群实战 GPT接入QQ与VX多用户访问实战 GPT接入工具与脚本部署实战第二阶段(30天):AI-绘画进阶实战
该阶段我们正式进入AI-绘画进阶实战学习,首先通过了解AI绘画定义与概述 ,AI绘画的应用领域 ,PAI绘画与传统绘画的区别 ,AI绘画的工具分类介绍的基本概念,以及AI绘画工具Midjourney、Stable Diffusion的使用方法,还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。
-----------AI绘画定义与概述 AI绘画的应用领域 AI绘画与传统绘画的区别 AI绘画的工具分类介绍 AI绘画工具-Midjourney AI绘画工具-百度文心一格 AI绘画工具-SDWebUI AI绘画工具-Vega AI AI绘画工具-微信中的AI绘画小程序 Midjourney学习-Discord账号的注册 Midjourney Bot界面讲解 Midjourney提示词入门 Midjourney高级提示词 Midjourney版本参数学解读 Midjourney功能参数 Midjourney上采样参数 AI绘画组合应用1-Midjourney + GPT AI绘画组合应用2-Stable Diffusion + GPT AI绘画组合应用3-AI绘画+ GPT +小红书 AI绘画组合应用4-AI绘画+ GPT +抖音 AI绘画组合应用5-AI绘画+ GPT +公众号 AI绘画组合应用6-AI绘画+ GPT + AI视频 AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景 AI绘画设计-Logo设计 AI绘画设计-套用万能公式 AI绘画设计-引用艺术风格 AI绘画设计-GPT加速设计方案落地 AI绘画设计-Vega AI渲染线稿生成设计 AI绘画设计-摄影 AI绘画设计-头像设计 AI绘画设计-海报设计 AI绘画设计-模特换装 AI绘画设计-家具设计 AI绘画设计-潘顿椅设计 AI绘画设计-沙发设计 AI绘画设计-电视柜设计 AI绘画设计-包装设计的提示词构思
第三阶段(30天):AI-视频高段位
恭喜你,如果学到这里,你基本可以找到一份AIGC副业相关的工作,比如电商运营、原画设计、美工、安全分析等岗位;如果新媒体运营学的好,还可以从各大自媒体平台收获平台兼职收益。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
-----------AI视频定义与概述 AI视频制作-方案与创新 AI视频制作-各种工具实操 AI视频制作-美学风格(油画/插画/日漫/水墨) AI视频制作-形象设定(人物形象服装/造型/表情) AI视频画面特效处理 AI视频画面拼接 AI视频画面配音 AI视频画面包装 AI视频锁定人物逐一精修 多种表情动作/情节 动态模型转换-视频内部元素关键帧 动态模型转换-图像整体运动 动态模型转换-虚拟人 动态模型转换-表面特效 AI自媒体视频-深问GPT,获取方案 AI自媒体视频-风格设置(诗歌/文言文等) AI自媒体视频-各行业创意视频设计思路 AI视频风格转换 AI视频字数压缩 AI视频同类型衍生 AI视频Pormpt公式
第四阶段(20天):AI-虚拟数字人课程
-----------AI数字人工具简介 AI工作台界面功能展示及介绍 AI数字人任务确定 AI数字人素材准备 AI知识、语料的投喂 AI模型训练 AI训练成果展示及改进 AI数字人直播系统工具使用 AI人物在各平台直播 AI数字人在OBS平台直播
第五阶段(45天以上):AIGC-多渠道变现课程
该阶段是项目演练阶段,大家通过使用之前学习过的AIGC基础知识,项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。
-----------
AI-小红书引流变现 AI-公众号引流变现 AI-知乎引流变现 AI-抖音引流/带货变现 AI-写作变现 AI-B站引流变现 AI-快手引流变现 AI-百家号引流变现 AI-制作素材模板出售变现 AI-周边定制变现 AI-手机壳图案定制变现 AI-周边产品定制变现 AI-服装图案定制变现 AI-个性头像定制变现 AI-起号与知识付费变现 AI-实现淘宝销售变现学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名AIGC的正确特征了。
这份完整版的AIGC资料我已经打包好,需要的点击下方二维码,即可前往免费领取!
总结
### 文章总结在这篇文章中,Lison分享了他在AI绘画,特别是Stable Diffusion模型使用中的经验和发现的基础问题解答。文章主要围绕三个问题进行详细阐述:SDXL、SD1.5等版本的区别,checkpoint与lora的含义及其区别。
#### 1. SD版本区别
- **Stable Diffusion** 自发布以来已有多个版本迭代,包括v1.0至v2.1及最新的XL版本。
- **版本特性**:
- v1.0至v1.5:主要改进模型性能和质量,训练图片均为512*512大小。
- v2.0和v2.1:增强文本理解和图像质量,训练图片达到768*768。
- **SDXL(XL 0.9 和 1.0)**:大幅提升模型能力,以不同尺寸图片训练,适合生成高质量1024*1024图片,但显存占用高,训练速度慢。
- **推荐版本**:建议初学者使用sd1.5(生态繁荣)和sdXL(出图质量高)。
#### 2. Checkpoint与Lora的含义区别
- **Checkpoint**:
- 深度学习中保存模型参数(权重)的惯例,类似游戏保存关卡功能,允许加载并继续训练或进行推理。
- 在Stable Diffusion基础上再次训练,得到特定风格的模型,适合生成特定调性图片,训练素材多,占用空间大。
- 注意与ControlNet版本的兼容性。
- **Lora**(Localized Refinement of Attributes):
- 在基础模型生成的图片上加“滤镜”效果,体积小巧(仅几百MB),训练简便快速(几小时),训练素材少,适合快速切换风格。
- 类似于Lol中的英雄皮肤,不改变基础模型主要框架,实现轻盈的微调。
#### 3. Checkout与Lora的区别
- Checkout:全面训练模型,改变基础生成能力,适合特定风格和调性的需要,训练和推理成本高。
- Lora:在基础模型上进行轻量级微调,不改变模型基本框架,仅添加风格滤镜,训练简便,占用资源少。
#### 后记与学习计划
Lison还给出了一个针对AI初学者的详细学习计划,包括AI-GPT应用、AI-绘画、AI-视频制作、AI-虚拟数字人及AIGC多渠道变现等多个阶段的学习内容和应用实践,助力学习者从入门到深入掌握AIGC的各项技能。
整个学习计划分为五个阶段,每个阶段都有细致的学习内容和实操练习,旨在帮助学习者全方位提升在AI领域的技能和收入水平。