当前位置:AIGC资讯 > AIGC > 正文

Stable Diffusion学习笔记

灰常好的模型网站

https://civitai.com/

LiblibAI·哩布哩布AI-中国领先原创AI模型分享社区

出图效率倍增!47个高质量的 Stable Diffusion 常用模型推荐 - 优设网 - 学设计上优设

几种模型的介绍
Embeddings

如果Checkpoint是个大词典,embeddings就像词典的书签。模型网站上还会有触发词,可以把它复制黏贴到正向提示词栏里。 

用法:三视图、负面提示词

LoRa

如果Checkpoint是个大词典,embeddings就像词典的书签,而lora相当于一张详细的彩页。

用法:

        人物角色形象

        画风 / 风格

        概念

        服饰

        物体、特定元素

Hypernetwork

是一张小卡片。主要是用来影响画风。

CGF Scale 分类器自由引导尺度

图像与提示词的一致程度,越低的值产生越有创意的结果 

关键词Prompt顺序

画质

风格

主体

外表、描述

表情、情绪

姿势

背景

杂项

以上的顺序可以通过下面这个网站来调整排序↓

OPS 提示词工作室 | 可视化编辑提示词 | 一键翻译 AIGC 提示词 | Midjourney 提示词 | OpenPromptStudio made by Moonvy 月维

同时可以考虑满足以下的条件:
在描述主题时要详细和具体。

提示词越靠前权重越大,越靠后权重越低;

可以通过按住ctrl + ↑↓来快速调节权重,权重设置在0.5~2之间;


艺术家的名字是一个非常强的风格修饰符,使用的时候要知道这个是什么风格。

万能负面关键词

(bad-artist:1.0), (loli:1.2), (worst quality, low quality:1.4), (bad_prompt_version2:0.8), bad-hands-5,lowres, bad anatomy, bad hands, ((text)), (watermark), error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, ((username)), blurry, (extra limbs),

风格Prompt参考

film grain 胶片颗粒感/老电影滤镜

(。。。。。。罗列中)

用gpt来生成prompt

StableDiffusion是一款利用深度学习的文生图模型,支持通过使用提示词来产生新的图像,描述要包含或省略的元素。
我在这里引入StableDiffusion算法中的Prompt概念,又被称为提示符。
下面的prompt是用来指导AI绘画模型创作图像的。它们包含了图像的各种细节,如人物的外观、背景、颜色和光线效果,以及图像的主题和风格。这些prompt的格式经常包含括号内的加权数字,用于指定某些细节的重要性或强调。例如,"(masterpiece:1.5)"表示作品质量是非常重要的,多个括号也有类似作用。此外,如果使用中括号,如"{blue hair:white hair:0.3}",这代表将蓝发和白发加以融合,蓝发占比为0.3。
以下是用prompt帮助AI模型生成图像的例子:masterpiece,(bestquality),highlydetailed,ultra-detailed,cold,solo,(1girl),(detailedeyes),(shinegoldeneyes),(longliverhair),expressionless,(long sleeves),(puffy sleeves),(white wings),shinehalo,(heavymetal:1.2),(metaljewelry),cross-lacedfootwear (chain),(Whitedoves:1.2)
仿照例子,给出一套详细描述以下内容的prompt。直接开始给出prompt不需要用自然语言描述:

批量改变图片的某个组件(脚本X/Y/Z plot)

通过一个案例,批量改变头发的风格,介绍脚本X/Y/Z plot的妙用

首先我们现有一张原图,我在哩布上找到了一张别人的成品,(顺便还可以直接拷贝里面的提示词),想要图片不崩,我觉得红框里面的东西都需要注意

打开sd,将引用的模型和其他参数都做到尽量一致(图片可以等比例先改小一些),运用图生图的重绘功能,涂抹想要更改的部分(头发)(当然还可以选择涂抹上衣、短裤,看你想更改什么变量)

1.调整重绘幅度,一般可以从0.5向上递增(效果看起来0.6~0.9的还可以)

2. 批量产图,看看稳定性(头发颜色以及有没有奇怪的东西产生)

重绘幅度 成功率 0.6 0/9 0.7 1/9 0.8 4/9 0.9 5/9

得出结论可以缩小范围到0.8-0.9

3.打开脚本X/Y/Z plot

把产图重新改回1,打开脚本

x轴选了提示词的red,y轴选择了重绘幅度

这样子,一个比较稳定的换组件工作就完成了,还是非常酷的

反推提示词(插件Tagger)

图生图情况下,选择反推(一般用DeepBooru反推,更快)

还有一个厉害的插件可以完成这个过程

图片修复 (inpaiting)

针对文生图

可以多生成批次挑选好的种子的办法,再进行高分辨率修复↓

(放大算法选择R-ESRGAN比较好,动画选择R-ESRGAN+Anime6B) 

方法2

下载inpaiting模型; 可以生成图片后点击send img2img,也可以自己上传到img2img; 用刷子进行绘制想要修改的区域,刷完之后,重新生成。

其中的一些参数: 



模型记得选择SDv1.5修复模型(sd-v1-5-inpainting.ckpt)。

针对图生图

选取满意的图再点击发送到图生图,控制重绘程度为0.5,再放大尺寸

超分辨率 Hires.fix

文生图的时候,高分辨率的图反而会产生非常怪异的图像。Hires.fix使得ai先在较低的分辨率下部分渲染你的图片,在通过算法提高图片到高分辨率,然后在高分辨率下再添加细节。

放大算法无脑选择R-ESRGAN 重绘幅度 Upscale by:拉高这个参数需要更高的显存;数值2可以解决放大算法和controlNet的冲突

放大脚本 (upscale)

(放大算法选择R-ESRGAN比较好,动画选择R-ESRGAN+Anime6B)

*后期处理的放大方法

比较快,但是效果不如图片修复和放大脚本好

草稿出3D图教程

1.拿到一张非常随意的草图

2.文生图模式,选好checkpoint(NyanMix)和lora(AnimeLineart/Manga-like),主要用来优化草图;在正负提示词写上描述词,主要描述草图里的东西;放入草图

(canny low threshold识别暗部,canny high threshold识别亮部。两者降低都能提高细节)

 最后点击生成图片

3.文生图模式,选好checkpoint(RevAnimated)和lora(blindbox),主要用来优化草图;在正负提示词写上描述词,主要描述草图里的东西;放入上面优化过的草图

注:白底黑线的canny用invert的形式

插件子安装地址教程

插件安装位置

VAE用来控制滤镜。通常一般的Checkpoint都会调好滤镜,个别Checkpoint也会在提示适合什么VAE模型,下载下来的时候可以命名成和大模型Checkpoint相同的名字,(checkpoint的名字)+(.VAE)+(.pt)

局部重绘

局部重绘和选取范围有关,与颜色无关;涂鸦重绘和涂上去的范围、颜色都有关系。 

插件Wildcards 按照自己的编写好的词条随机抽卡

首先安装好插件

Wildcards插件GitHub仓库地址: https://github.com/AUTOMATIC1111/stable-diffusion-webui-wildcards

在插件的文件夹里安排好自己想要的词条记事本

文生图调用(这里的意思就是,场景面部表情等等,会在我们准备好的记事本里随机抽取一个词条来跑图)

并且增加单批数量,每张图的限定词都会随机一下

三视图案例

结合上面的Wildcards 和 CharTurner LoRA和controlNet来实现三视图

CharTurner LoRA的权重设置为0.2~0.4之间;三视图的关键词有:(simple background, white background:1.3),multiple multiple views,

打开controlNet,放入三视图骨架图,

效果图很酷

手部控制方案

stable diffusion最全手部控制方案,案例实操教程|手指|手势|姿势控制|分层控制|embedding|LyCORIS|3D openpose_哔哩哔哩_bilibili

方法一、emdding负面提示词+提示词矩阵

1.大模型和其他参数都选好之后,首先将embedding的几个词都写入负面提示词栏,用 | 隔开

 2.

3.导出的图除去差异太大的行(hang),留下差异不大的行(hang)

方法二、Open Pose Editor + Depth Library插件

待补全

方法三、3D openpose(有插件版、在线版)

网页版:https://zhuyu1997.github.io/open-pose-editor/

点击下面的图可以下载需要的图(我们下载骨架图和手部canny图) 

 第一框(ControlNet Unit0)填pose骨架图,第二框(ControlNet Unit1)填手部Canny图

骨架选Open Pose的选项,手用canny选项

controlnet精确控制

文生图controlnet的图像需要导入(一张图来控制姿势等等),图生图默认将原图作为参照来运行control计算,所以control那一栏可以空着。

control weight和ending control step的提高可以提高control 的控制强度,绿框的分辨率在碰到canny、lineart、depth等对精度有一定要求的模型时,可以把分辨率开到和原来的图一样

1.openpose动作姿势

2.depth深度

3.canny边缘检测(线稿)

4.softedge(柔和边缘)=hed

5.scribble(涂鸦乱画)

6.inPaint模型:局部重绘

7.Tile模型:放大、增加细节

8.Refernce Only:用于固定细节

9.seg:语义分割

【AI绘画】强大的构图工具:Seg(ControlNet)语义分割控制网络_哔哩哔哩_bilibili

*运用1.一键换背景

 图生图的模式,放进去一张想要换背景的图,在打开control net,选择depth,放入相同的照片

(好用)Tiled Diffusion放大

这两个都要打开↓

超高分辨率升级

基础操作

将生成的低分辨率的图发送到图生图里面,打开Tiled Diffusion和Tiled VAE,参数设置如下

建议把“使用快速编码器”取消勾选

重绘尺寸里说的保持原样 是指原图片尺寸 

再点击生成就可以放大了 

参数分析

建议把“使用快速编码器”直接取消勾选,因为开起来颜色会变灰

进阶用法 

在刚开始文生图的时候就开启高清修复,参数如下。进行第一次生图。

打开Tile Diffusion和Tiled VAE,参数设置如下。这里放大图像大小为4倍,然后第二次生图。

建议把“使用快速编码器”直接取消勾选,因为开起来颜色会变灰

用AI生成360VR全景图

(AI绘图)怎样用AI生成360VR全景图_哔哩哔哩_bilibili

全景图LORA下载:https://civitai.com/models/10753/latentlabs360

免费360全景图下载:https://pixexid.com/search/360-panorama

360测试网站:https://skybox.blockadelabs.com/ 

360测试网站:登录-720云图VR全景官网-3DVR全景行业专业的VR全景拍摄制作平台

更新时间 2023-12-17