当前位置:AIGC资讯 > AIGC > 正文

Stable Diffusion零基础学习

Stable Diffusion学习笔记TOP03

提示:SD的通用基本参数详解

1、Stable Diffusion模型(ckpt)。

全称:checkpoint检查点,是AI生图的重要依据。
别称:是AI生图的基础模型,文件比较大,文件通常在几个GB级别,又称为大模型、底模型或者主模型;必须有大模型的情况下才能进行图像扩散。
文件后缀:【.ckpt】文件一般为几个GB大小、【.safetensors】一般低于1GB,占用空间小。
存放的路径:模型下载完存放【Stable Diffusion\models\Stable-diffusion】路径下。
模型的作用:大模型决定了生成图像的画风、风格;模型里面没有的元素则是无法生成的。
模型的选择:可以根据自己需要的风格类型来选择底模(即大模型、主模型)。

2、VAE:中文名是变分自编码器,是一种基于深度学习的生成模型。

作用:在SD(Stable Diffusion)模型中扮演着重要的角色;主要负责决定图片的色调及小细节,通过增加图片的饱和度降低灰度,使得生成的图片更加丰富多彩;相当于滤镜和微调。
存放的路径:模型下载完存放【Stable Diffusion\models\VAE】
基于本地部署需要进行设置:【设置 → 用户界面 → 快捷设置列表 → 勾选 sd_vae保存设置,重启WebUI】;现有大模型也会自带【VAE模型】,可根据用户需要进行添加【VAE模型】。

3、CLIP跳过层数:Clip skip是一种语言理解模型,总共有12个参数;数值越低,越能理解我们输入的提示词;数值越高,生成的图和提词的相关性越低,按照自己的想法去扩散生成图像;一般安全数值范围在2~4之间,出图效果最佳。

4、采样方法(sample):Sampling Method影响的不仅是图片的扩散过程,还能影响整个图片的色彩、构图等。

常用的采样器有:
DPM++2M Karras
DPM++SDE Karras
DPM++2M SDE Exponential
DPM++2M SDE Karras
Euler a
Euler
LMS
Heun
DPM2
DPM2 a
......

作用:更高效的扩散图像。

5.采样迭代步数(steps):Sampling Steps就是图像扩散的步数,也可理解为AI绘画的笔数。迭代步数的设置要根据具体的采样器而决定,一般在20~50之间。

6、提示词引导系数:CFG Scale(提示词相关性),影响的是我们输入提示词的权重; 这里的权重不同于提示词语法权重,而是整个图片扩散过程提示词与其它参数占比的总权重;提示词权重在7~15之间是比较安全的。

7、面部修复/Restore faces:识别人像后进行局部重绘;模型尺寸一般是512*512,点击面部修复会生成两个人物。

8、高清放大/Hires.fix:增加噪点扩散放大;高清修复有一个放大算法,就是对于图片放大重绘的基础算法,不是单纯的放大图片;一般采用4X/6B的高清算法。

9、平铺图/Tiling:顾名思义就是可以进行平铺。

10、Seed:噪声图,也叫种子图;随机种子数与差异种子数值越大构图影响越大,反之越少;差异种子参数控制的是随机种子数与差异种子数之间的噪声图的变化。

Seed的最大种子数:18446744073709550591

以下是推荐的几个下载模型的网站:

抱脸 →
https://huggingface.co/models?pipeline_tag=text-to-image&sort=downloads 【需要魔法】

Cyberes.github → https://cyberes.github.io/stable-diffusion-models

Rentry → https://rentry.co/sdmodels 【需要魔法】

海艺 → https://www.seaart.ai/zhCN 【需要魔法】

L站 → https://www.liblib.art/

吐司 → https://tusiart.com/

C站 → https://civitai.com/ 【需要魔法】

总结

### 文章总结:《Stable Diffusion学习笔记TOP03——SD通用基本参数详解》
#### 关键内容梳理:
1. **Stable Diffusion模型(ckpt)**
- **定义**:checkpoint检查点,AI生成图像的基础。
- **别称**:大模型、底模型、主模型,文件大(通常以GB计),决定着图像的画风和风格。
- **文件格式**:.ckpt(几GB大小),.safetensors(小于1GB)。
- **存放路径**:Stable Diffusion\models\Stable-diffusion。
- **作用**:决定图像的基本风格,无法生成模型中不存在的元素。
- **选择**:根据所需风格进行选择。
2. **VAE(变分自编码器)**
- **作用**:在SD模型中决定图片的色调和小细节,增加图片的色彩丰富度,类似滤镜效果。
- **存放路径**:Stable Diffusion\models\VAE。
- **设置**:本地部署需进行设置,大模型通常自带VAE,可按需添加。
3. **CLIP跳过层数**
- **解释**:影响语言理解模型对提示词的理解程度。
- **参数**:共12个参数,数值越低理解度越高,安全性推荐2~4之间。
4. **采样方法(sample)**
- **常用采样器**:DPM++系列、Euler、LMS等,影响图像扩散效率和整体效果。
5. **采样迭代步数(steps)**
- **定义**:图像扩散的步数,类似AI绘画的笔数。
- **设置**:根据采样器决定,通常20~50步之间。
6. **提示词引导系数(CFG Scale)**
- **作用**:控制输入提示词在整个图像扩散过程中的权重。
- **推荐值**:7~15之间较安全。
7. **面部修复/Restore faces**
- **功能**:识别人像后局部重绘,生成更细致的人像图像。
8. **高清放大/Hires.fix**
- **作用**:基于噪点扩散算法进行高清放大修复,非简单放大图片。
- **算法**:常用4X/6B算法。
9. **平铺图/Tiling**
- **功能**:支持图片平铺,用于生成连续性或重复性的图像效果。
10. **Seed**
- **定义**:噪声图/种子图,影响构图变化和随机性。
- **最大种子数**:18446744073709550591。
#### 推荐模型下载网站:
- 抱脸:[https://huggingface.co/models?pipeline_tag=text-to-image&sort=downloads] (需特殊访问方式)
- Cyberes.github:[https://cyberes.github.io/stable-diffusion-models]
- Rentry:[https://rentry.co/sdmodels] (需特殊访问方式)
- 海艺:[https://www.seaart.ai/zhCN] (需特殊访问方式)
- L站:[https://www.liblib.art/]
- 吐司:[https://tusiart.com/]
- C站:[https://civitai.com/] (需特殊访问方式)

更新时间 2024-09-20