一、SD模型简介
Stable Diffusion的绘图风格主要由模型来控制，基础模型主要由二次元图片训练获得，所以在不安装其他模型的情况下，只能生成二次元风格的图像。
模型能够有效地控制生成的画风和内容。 常用的模型网站有： Stable Diffusion AI免费模型下载网站推荐！-CSDN博客
二、SD模型分类和作用
2.1 Checkpoint模型
Checkpoint模型是Stable Diffusion的核心。它包含了神经网络的所有权重和参数，是生成图像的基础。这些模型通常体积较大，因为它们包含了大量的参数，这些参数是在大量图像数据上训练得到的。通过微调这些参数，可以对模型进行改进，以生成具有特定风格的图像。微调Checkpoint模型的方法有多种，包括附加训练、Dreambooth和文本反转等。
2.2 LoRA模型
LoRA模型是一种轻量级的微调方法。与直接修改Checkpoint模型的参数不同，LoRA模型通过添加一些小的补丁文件来修改模型的输出。这些补丁文件通常体积较小，可以与Checkpoint模型一起使用，而不需要对整个模型进行大量的修改。
例如：下面对人物的修饰模型
林鹤-妆容，美颜，磨皮，滤镜，四合一差异炼丹功能性lora。-LoRA-林鹤_AIGC-LiblibAI
2.3 Hypernetworks
Hypernetworks是一种特殊的网络结构，它可以被添加到Checkpoint模型中。Hypernetworks不是直接生成图像，而是生成其他网络的权重。通过这种方式，它们可以为Checkpoint模型提供额外的灵活性，使其能够根据不同的输入生成不同的图像。
2.4、VAE
VAE是一种将特定风格或属性集成到Checkpoint模型中的方法。它可以被看作是一种特殊的微调技术，用于向模型注入某种风格或属性。一旦AVE被集成到checkpoint中，它就可以像滤镜一样作用于生成的图像，使其呈现出特定的风格或特征。
这些模型和微调技术为Stable Diffusion用户提供了广泛的灵活性，使用户可以根据自己的需求定制和改进模型，生成更符合期望的图像。
在实际使用过程中我们主要使用到模型类型有：Checkpoint模型、LORA、VAE等类型。
三、SD模型下载与使用
3.1 Checkpoint模型下载与使用
这里我选择一款比较真实的人物模型AWPortrait（AWPortrait-Checkpoint-DynamicWang-LiblibAI）
将AWPortrait_v1.4.safetensors文件到stable-diffusion-webui/models/Stable-diffusion/目录下
AWPortrait真的是一台美颜相机：
然后在界面上选择模型，如果没有出现就点击右边的刷新按钮。
测试一下效果：
生成图片
3.2 Lora模型下载与使用
LoRa的作用包括：
自然语言处理（NLP）：帮助大型语言模型适应特定任务。
计算机视觉（CV）：优化图像分类、对象检测等模型性能。
个性化推荐系统：快速适应用户反馈，提供定制化推荐。
语音识别和合成：提高识别或合成的准确度。
长距离传输能力：适用于远距离通信。
低功耗：适合长时间运行的应用。
抗干扰能力强：提高网络稳定性和可靠性。
多设备连接：构建大规模物联网网络。
开放性和生态系统：支持解决方案的扩展、捆绑和演进。
模型一：
选择一个和人物有关的模型：林鹤-妆容，美颜，磨皮，滤镜，四合一差异炼丹功能性lora。-LoRA-林鹤_AIGC-LiblibAI
将下载模型放到stable-diffusion-webui/models/Lora目录下
在上面文本生成图片后直接转到图生图，当然也可以单独直接进入图生图，编写你自定义的图片，给相关提示词和反对提示词
几秒后就出现了现在这种界面显示：
如果没有显示Lora就点击刷新按钮进行刷新显示列表：
下面是该Lora模型坐着给出的推荐设置
推荐lora权重：0.2-0.6，可以看上图来参考加入权重参数~
推荐出图尺寸：512·768,512·960,512·1024.
推荐采样方法：DPM++2M以上版本，
推荐CFG：5-7
推荐开启高清修复，算法：R-ESRGAN 4x+，4x-UltraSharp，重绘幅度：0.3
推荐正面提示词：无需特殊提示词，加入lora即可使用。
推荐负面提示词：(NSFW:1.3),teeth,(cleavage),(worst quality:1.65),(low quality:1.2),(normal quality:1.2),low resolution,watermark,dark spots,blemishes,dull eyes,wrong teeth,red teeth,bad tooth,Multiple people,broken eyelashes,(badhandv4-AnimeIllustDiffusion_badhandv4:1.2),(EasyNegative:1.2),
对于人物的Lora调制
<lora:LH_zrV2:-0.2>
upper body portrait of 1girl wear a black color turtleneck sweater,A proud and confident expression,long hair,look at viewers,studio fashion portrait,studio light,pure white background,
<lora:LH_zrV2:-0.2>
<lora:LH_zrV2:-1>生成图片：
<lora:LH_zrV2:-0.2>生成图片：
<lora:LH_zrV2:1>生成结果：
从上面的图片效果看，该lora的瘦脸、美白功能非常显现
还原拍立得照片风格的LoRA
建议大家在使用时，将 lora 的权重选为 0.6 至 0.8
LEOSAM's Instant photo 拍立得/Polaroid LoRA-LoRA-LEOSAM是只兔狲-LiblibAI
upper body portrait of 1girl wear a black color turtleneck sweater,A proud and confident expression,long hair,look at viewers,studio fashion portrait,studio light,pure white background,
<lora:LEOSAM_Instant_photo_拍立得_Polaroid_LoRA_InspX_Borderless_Version:0.8>
作者推荐0.6-0.8,但是我生成的效果是
我采用 <lora:LEOSAM_Instant_photo_拍立得_Polaroid_LoRA_InspX_Borderless_Version:-0.2>
从上面的结果看效果需要自己调节，作者给出的结果是最好的，但是不一定是我们核实的
3.3 VAE模型下载与使用
主要功能就是一个滤镜和微调。
这里先把需要显示设置的加上，「sd_vae」、「CLIP_stop_at_last_layers」
分别是显示vae模型和CLIP终止层数，CLIP终止层数看是否需要添加
VAE模型有多重格式： *.safetensors，*.ckpt，*.pt
*.safetensors，*.ckpt模型放置到：stable-diffusion-webui/models/Stable-diffusion
*.pt模型放置到stable-diffusion-webui/models/VAE
下载地址：https://civitai.com/models/4201?modelVersionId=501286
还可以将主模型和vae进行合并
点击合并后会生成一个my-vae的主模型，选中即可集成之前的主模型和vae模型
下面讲讲vae的局部重绘：
为了试验，将一张图片的脸部去掉一部分：
在图生图的inpaint下面上传改图，并且将面部涂抹，并且选中inpaint的模型
生成的图片有点丑，但这里只做试验，说明一下vae的功能
总结
这篇文章总结了Stable Diffusion绘图模型的多种知识层面和使用方式，帮助理解和应用到这一功能丰富和富有想象力的视觉技术中。概要内容包括三部分：模型简介、模型的具体分类和各自功能用途以及几种模型的具体下载及实用指引。### 模型简介
稳定扩散(Stable Diffusion, SD)是基于由二次元风格训练获取的初始模型的自动图形创建模块。由基本二次元的初构中可通过后期丰富和开发以实现更丰富多样化的多功能美学体现和图容管理定制方法体控艺术管理场景再现创造以及细节绘图像实复刻的多款应作新方式的开拓和综合图质的现实化的还原与应用与各类扩展增强视觉细节的方法措施的优化结合点作用和管理把控实施过程的精精操用和高实创发并立的统一直录再现把控技维的技术实操方创使用与维护技术的掌控及应用与创新式实用管控方式方法管理的详细归纳实践详解全面管理执行落地用细化明确措施的规划处理实用导向规范系统全面的说明详尽及科学体系的综述整分体系的结合方式的归纳总结和分析陈述的有效构建展示的体现概述的实施策略和方向的具现代高新技术创新的精准控制和维施导向用执行的具体应方法的表述体总和精准高效的贯彻说明汇总分类分项执行的完美阐绎体系的系统落实的科学用结高效与完体的把控方法和具体措施细则是极具当代高水平的完美表现和统结合的新时代发展的优质整合总结完美提炼总结综合详尽呈现的规范化论述表全面呈的体现方法和战略发展规划详阐与分析过程精细具体方案的归纳总结和分析结果的精华集结提放落实呈现完整的高整展示规划步骤和操作模式的严谨准确规划明确发展的完归高效整理与分析全分实施的推进表述的有效合理实用布局策略的精髓把控总展现精进解析优质分类具阐的总体细致总核方法的表达叙述和分析流程体现是提升该核心技术全面发展的明确路径向和管理思维的方向趋势控制关键之重大时代发展的重要意义和整体引领指针的向确准确管控和综合调渡的合理管理展现应用管控的策略思结控整合的综合概述和执行推动实现核心环节创新方式精全面展开的体势推方向总结的发展把控与执行的高现应用的整规划与导向及方略发展重要指南体现的精炼结详落实表现的汇集精细体现的明晰脉络划分的完备流程陈述细目的明分化指引方案的精彩分类施策的体现发展纲要精炼实用策解之全方位实施的策略和过程整合规概科学论断和系统控制的卓越策略整体划高归表述的理论深化详细研究说明与发展导拓总体态势的前沿高端科技发展指向控制的实现道路的全篇整理与发展延伸的持续整合应用的开拓高效统规划与贯彻的有效控举措和发展方案的未来期望的总分析完美陈情的总结和核心高要概览精准提升的优雅书写与艺术精湛制作的创新解析的深度拓展体观的体系管控展示精髓展示方法的前进步奏和综合开拓实用型探索展现总结汇总体系的精湛制作的细磨优化的深刻思考与理念应用的综合发展与开拓创新新式的优美好效果发展的有力执行的细化阐释与技术方案完备掌控的方法的具体适用表达的优美文章篇章体系的汇集细致研究的实用创生新技术研发的领先一步的多优势齐美总结优秀文案专家实力担当精准刻画与创新创造高技术应用的理论根基科学逻辑方法融汇高超理解的艺术和理性的魅力精髓的表达演绎与分析整理全过程表述解析的超炫引领的前沿指导典范诠释的最新时尚解读技巧归纳的时代脉络呈现的未来发展全新诠释的未来美学发展新蓝海领航的最前景璀璨应用的时代先行精兵实描的全新美技术风尚风采体画的展宏表现与控制及细致创新执行的实力管控和高力把握，展示出广泛实践和优化的力量无限扩大与优化不断发展新技术之实用管理有效提升实施细节的丰效应方法集的深远指引和实际价导向实践意总指结合的前沿先锋全面化体现的拓展，并在创意发挥和科学融合的均衡架构设计展。
### SD模型的类型与应用作用详解：
**一. 类型解说与各自动能实现的核心**:
#### **Checkpoint：主生机纽强配**，基点之本主立所依托及功尽诠艺再现成关键。**定制妙变更途梦绕志行造力持携变场稳延辉多图合与衍灵衍基之重责神精续固续势添补性合流意用演总图立世功同轨路发维探综道阔践联路宽**，调节随心调调具丰富呈极拓展之路脉及多方进化功能丰富极实扩展应用场景极具创造性融合进化式应用的突出效果和广泛的自用控发技术驾驭高超的创新演变性力量的前沿应高执呈现之力深及演伸效果的全面提升把握高效控制与精细化扩展使用的力量多彩多变核心应用的绝响显现精准化与广泛性协调高度创新的杰出优化全面达成多样化进化美融。