当前位置:AIGC资讯 > AIGC > 正文

关于stable diffusion的embedding训练的一篇随笔

前言

嗯,因为最近ai绘画很火啊,而且可以本地部署,很多人开始投喂ai然后画一些喜欢的东西,这是刚接触4天的笔记,那么我整理下目录,来展示一下这篇笔记都有什么吧。

1,绘画的关键词和反向关键词

2,调参,高清与面部修复

3,embedding模型的训练素材准备与原理建议

4,炼丹注意事项

那么首先来聊第一条

关键字:这个运行原理是根据一个大模型(下载之后的model),也就是你安装之后的大致这个路径下的文件,以.ckpt结尾

models\Stable-diffusion

你是可以通过C站来下载这些(需要魔法),C站本身并不是特别稳定,而且还有一些小bug,这边推荐小猫,不过你既然已经看到训练的篇幅了,那么说明你已经有些了解了,并且一般安装之后是会自带一个model的,所以不用担心。因为除非自带的有特别说明,否则不会对某类图片绘画有特殊偏向。比如我下了一个cat宠物猫模型,那么即使我输入的和猫无关词汇,仍会有关于猫的图片生成。
好了,现在我们聊一下关键词。字面意思,这个就是你希望ai画些什么,又不希望画什么,在没有一个很好地模型的初期,当然是越详细越好,你可以通过百度翻译或者CHATGPT的对话,来把你需要的关键字转换为英文,可以用","或者空格隔开。当然,你也可以用一些已经训练好的模型,从点击这里,我们可以在主页面上选取需要的下载好的模型。

再特别聊一下反向关键字,这个选词的时候一般很抽象,比如我想画一张景色图,那么正向关键词我可能会填:杰作,春天,湖畔,山边,蓝天(以上都需要英文)这一类的词。那么反向关键词我会填:低质量,模糊不清,这一类的词汇,因为在没有练出具体风格的时候,我们完全不了解会出现什么问题,把问题写在这一栏,就可以减少出现概率。
(不过这还是无法完全避免,比如初期我尝试画furry风格的图片,总是会出现3条以上的尾巴,即使我规定正向:一条尾巴;反向:尾巴超过一条,仍然可能会让ai理解错误,这类东西需要我们慢慢来。

第二条调参,面部与高清修复


可以看到东西很多,不过初期我们可以调动的参数一般是:
采样方法,采用迭代步数,面部修复,高清修复,高度宽度,提示词相关性,生成批次和数量。
采样方法可以凭自己喜欢来挑,采用迭代会增加你显卡的转速(不是),让你的出图质量提高,面部修复指的是,有时候你的绘画可能出现各种掉san的问题,比如没有鼻子,嘴歪眼斜,甚至有两张嘴,两个鼻子这一类问题,这个重绘幅度默认是0.7,我们一般不需要去调整这个属性,有条件的可以开启,会大幅缩短你炼丹准备时间。
高清修复顾名思义,就是更清晰,你可以选择不同的放大算法来让图片质量更高,不过过于手绘的个人建议不开,这个默认开启是两倍放大,并不会对画内容本身重绘。
批次和数量就是你希望画多少次,每次多少张,比如出去散步可以挂80-100张,回来之后就可以查看抽卡绘画的结果啦。相关性并不是越高越好,很多时候你并不知道自己想要什么,ai的一个错误理解有时会把你希望的画面提升不止一个层次,这有点像写了一个bug,但是这个bug没有显著危害,甚至有收益,那我们就用就好啦,需要自行斟酌,调高一点点或者保持现状。

素材准备与训练事项

首先,你已经准备要训练一个画风,那么你需要有至少50张图,这里要求画风相同,严禁混合,清晰度尽量一样,你可以用自己ai画的图来炼丹,这样可以很大程度减轻这个问题,我们可以在这个页面来做最开始的准备。

创建一个名称,初始化文字可以不填写,词元向量看自己需求,一般从7-16,大概是从ai画风练习到ai画师练习,画师练习指的是更加专一的一类,比如动物。画风没有这么苛刻,比如中世纪风,赛博风,这一类的。

图像预处理


一般来说按照这个页面填写就可以,原目录即是你自己打算训练的图库,目标目录需要你自己在桌面上或者某个位置新建一个空白文件夹,并把文件位置填写上,然后我们点预处理就好了。

炼丹事项:

1,炼丹对电脑配置要求很高,一般来说,不建议a卡,显存8g以下是练不了的,当然也有方法,不过麻烦就是了。
2,你并不需要一个100%训练的ai,反复跑画风并不一定会得到你满意的结果。

最后,炼丹开始


最大步数根据你自己需要。画风15000-18000差不多就行,画手3-4w差不多,数据集目录就是上文让你新建的文件夹目录,下面打钩按图走,其他所有参数都不需要改,然后点击左下角训练即可。然后你就可以挂机干别的去啦~比如补补番,玩玩手机,总之,训练会消耗非常大的资源和很长的时间,这个时间基本就告别电脑游戏了,消耗最高的一次是我跑的环境是15g显存,稳定占用14.7g。
最后,有刚研究的小白可以一起聊一聊,评论私信都可。

更新时间 2023-12-27