当前位置:AIGC资讯 > AIGC > 正文

使用stable diffusion 生成作品流程

 一、环境部署(云部署)

  AOTUDL 云部署

1.算力市场选用RTX3090/RTX A5000

2.点击算法镜像noval ai 3.0和Lora scripts

配置python环境及其他

3.启动stable diffusion和Lora scripts

4.装配模型:可在如Civitai上下载标注有CKPT的模型,有模型才能作画。下载的模型放入下载后文件路径下的models/Stable-diffusion目录。

5.Stable Diffusion 可配置大量插件扩展,在 webui 的“扩展”选项卡下,可以安装插件:

 6.点击“加载自”后,目录会刷新,选择需要的插件点击右侧的 install 即可安装。

安装完毕后,需要重新启动用户界面:

文生图最简流程

选择需要使用的模型(底模),这是对生成结果影响最大的因素,主要体现在画面风格上。

1.在第一个框中填入提示词(Prompt),对想要生成的东西进行文字描述

2.在第二个框中填入负面提示词(Negative prompt),你不想要生成的东西进行文字描述

3.选择采样方法、采样次数、图片尺寸等参数。

  4.高清修复:

 5.面部修复:修复画面中人物的面部,但是非写实风格的人物开启面部修复可能导致面部崩坏。

图片预处理

1.图片选择高清图片,数量20-30,剪裁为512*768

2.在训练里进行预处理,勾选上deepbooru生成说明文tags

3.创建训练集

脚本训练

使用Lora scripts修改参数保存,运行bash train.sh

生成Lora模型

1.将模型保存至models/Stable-diffusion/lora

2.使用lora-block-weight插件对lora不同层进行调整的方法,并提供了测试例子

生成作品

更新时间 2023-11-23