Stable Diffusion学习记录

文章目录

前言

Stable Diffusion是一个开源免费能生成以假乱真的图片、有着强大可控性不能制作视频光影文字的AI软件，可以说是有必要学习的东西了，这里是基于秋叶大神整合的Stable Diffusion Web UI进行接触和学习。

电脑配置推荐

系统要求:Win10 or Win11
显卡:RTX2060以上，6GB显卡显存
内存:8GB，推荐16GB
硬盘:预留20-100GB硬盘空间

环境搭建

下载地址

这里使用秋叶aaaki整合包:链接：https://pan.baidu.com/s/1Q2k5nkPCFIWPpDOG6WJThg
提取码：3kg0

安装步骤

步骤一，打开下载的秋叶整合包，路径秋叶整合包/sd-wenui-aki

打开启动器运行依赖安装教程.docx文件

复制下载链接:
https://dotnet.microsoft.com/en-us/download/dotnet/thank-you/runtime-desktop-6.0.25-windows-x64-installer?cid=getdotnetcore

下载为Microsoft Windows Desktop Runtime启动器运行依赖，下载好进行安装

步骤二，打开下载好的sd-webui-aki-v4.8.7解压包

解压这个文件，注意解压的路径不能包含任何中文路径
解压密码:bilibili@秋葉aaaki

解压完成后，解压的主目录里面点击A绘世启动器.exe就能启动了。
等待加载后启动完成。

再点击一键启动，等待程序加载…

弹出以下网页界面就是启动完成了

在文生图输入a cat，就会生成一直一张猫的图片。
这是 anything-v5模型下生成的猫图片

到这里Stable Diffusion就安装完成了。

Stable Diffusion软件配置，插件安装，模型下载

Stable Diffusion Web UI文件夹作用

embeddings文件夹

embeddings是嵌入的意思，意识是一个物体映射到另外一个物体，就是一个关系的桥梁。
主要是用来存放pt格式和safetensors格式的嵌入式像量文件的，比如Easy Negative和bad hands5。

extensions文件夹

放置插件的文件夹，所有Stable Diffusion下载的插件都是放置到这个文件夹下的。

models文件夹

下载的大模型都是放置到这个文件夹下的。

大模型下载

进行civitai下载模型。
主页面选择Models

然后右边Filters点开，在Model Types里面选择Checkpoint

然后选择自己喜欢的风格模型下载，等待下载完成即可。


把下载好的safetensonrs文件放到主目录的models/stable-diffusion下面

刷新一下模型就处来了。

切换模型。

关闭掉后台程序，删掉extensions文件夹下的所有插件，为了保持干净的插件环境。

安装好中文插件后，进入设置/用户界面，选择zh-Hans(Stable)，然后再需要下一个主题美化的插件lobe
再重启一下后台程序和重新进入一下界面即可

Stable Diffusion提示词

提示词原理

提示词基础

1.提示词之间需要使用英文逗号分隔开
2.提示词是可以进行换行的
3.每个提示词的权重默认为1，权靠前权重越高
4.数量控制在75个单词以内

例如提示语输入，girlish,Blonde hair,Blue pupils
就是说生成一个少女，金色的头发，蓝色的眼瞳即可。尽量使用英文作为提示语，使用中文的时候AI有些提示语会无法识别出来。

符号解释

权重控制

()使用括号括起来的提示词权重会变成原来的1.1倍率,最多套三层
red = 1 ,(red) = 1.1 ,(((red))) = 1.331

{}符号也是添加权重的，{red} = 1.05

[]符号是减少权重的,[red] = 0.9

直接设置权重的方式可以如下
(red:1.5)
(greed:0.3)

如下我们输入
Noodles,Meat,Vegetables,Scallions,Eggs,Fish。然后对鸡蛋的权重进行不同的控制会生成如下不一样的

Lora文件触发

使用尖括号<>调用Lora
女孩穿着汉服 1GIRL,IN HandFu < LORA:Hanfu:0.6 >

提示词连接

使用_下划线进行连接
比如一个提示语Coffee Cake，Stable Diffusion会理解成咖啡和蛋糕
但是输入 Coffee_Cake会理解成咖啡蛋糕

进阶语法

[提示语:0-1数值]
FOREST ,LOTS OF TREES AHO STOHES ,[FLOWERS: 0.7]

这里一张图片在生成采样70%以后，才开始计算Flowers的采样

如果是使用[提示语::0-1数值]双冒号后
FOREST ,LOTS OF TREES AHO STOHES ,[FLOWERS:: 0.7]
意思是计算到70%的采样之后，不在进行Flowers的采样计算，下图

[提示词1:提示词2:0-1数值]
[STOHES : FLOWERS : 0.70]，这句话的意思是前面70%的计算中STOHES生效， FLOWERS则只在后面的30%生效。

[提示语1|提示语2]，则为提示语1和提示语2交替使用采样
输入1Girl,[Red|Blue] Hair，这样就生成一个红蓝交替发色的女孩了

提示词推荐格式

填写顺序
1,画质+画风词
2,画面主体描述
3,环境、场景、灯光、构图
4,Lora
5,负面词语

画质

画质词如下有:
[masterpiece:1.2),best qualityhighres,extremely detailed CG,perfect lighting,8k wallpaper

画风

真实系:photograph，photorealistic
插画风:lllustration,painting,paintbrush
二次元:anime, comic, game CG,
三维场景:3D,C4D render unreal engine,octane render

画风词:
Cyberpunk 赛博朋克
8bit/16bit pixel 像素风
studio ghibli 宫崎骏风格
pixel style 皮克斯风格
Chinese ink style 水墨画

反向提示词

负面词:NSFW,[worst quality:2),[low quality:2[normal quality:2],lowres, normal quality[[monochrome)),[[grayscale]],skin spots,acnes,skin blemishes, age spot,[ugly:1.331],[duplicate:1.331],[morbid:1.21),[extra legs:1.331],[fused fingers:1.5,(too many fingers:1.5](unclear eyes:1.331],lowers, bad handsmissing fingers,extra digit,bad handsmissing fingers,[llextra arms and legs]]],

上面的负面提示词为通用的，NSFW是告诉Stable Diffusion不要生成适合公共场合的图片，还有就是告诉SD不要生成角色缺手臂，缺一条腿的图片

这些直接复制到下面的反向提示词即可

prompt-all-in-one插件

下载链接，https://github.com/Physton/sd-webui-prompt-all-in-one

安装这个插件后在红框处输入想要的提示词中文，按一下回车就可以自动生成了英文输入此时写入正向了。


对英文不太好的朋友非常的友好。

而下面又可以找到不同的人物，装饰，服饰等词语。

Stable Diffusion 采样器

采样器主要划分成三大类型
1.老派采样器
2.DPM采样器
3.新派采样器

采样器名单如下

上面有很对采样器都不好用，而有很多采样器也有升级版本后被淘汰的。
我们只需要使用一些好用采用的采样器即可。

老派采样器

DDIM和PLMS是SD最早的采样器算法，不再进行使用
Euler和Euler a渲染画面简单直接，不容易出错,Eluer后面的a代表这收敛的意思
Heun 画质更好，但速度慢一倍
LMS和MSKarras 线性多步法，速度和Euler差不多，实测没Euler稳定，容易出色块

老派采样器中仅仅使用
Euler，Euler a，Heun

DPM采样器

DPM fast很不稳定，DPM adaptive算法是时间不可控。
DPM二代算法消耗高
因为Karras结尾的是优化算法，Heun是更清晰化的算法,a是收敛化，2S和2M的区别是2M的算法增加了色块直接的通讯，2M是2S的进阶版本。

剩下推荐的算法为如下

新派采样器

相关链接

CGMI.Com：https://cgmi.com/
ChatGPT-4白给：https://cgmi.com/archives/677
模型下载C站:https://civitai.com/