今天给大家介绍下如何在矩池云使用 Stable Diffusion web UI v1.5 模型和 Stable Diffusion ControlNet 插件。
租用机器
租用机器需要选择内存大于8G的机器,比如 A2000,不然 Stable Diffusion web UI 启动加载模型会失败。(Killed 内存不足)
点击租用按钮,进入镜像筛选页面,点击右侧蓝色Stable Diffusion
进行镜像筛选,选择第一个Stable Diffusion web UI v1.5
镜像,然后点击租用即可。
机器启动成功后,会出现以下界面:
7860 端口对应链接,是 Stable Diffusion web UI 服务默认启动端口,这个服务默认开机自启,大家无需手动启动了(服务启动加载模型预计要1-2分钟),也就是说看到这个链接后,等待1-2分钟,再直接点击即可打开 Stable Diffusion web UI 页面。 SSH,一种连接服务器的方法 JupyterLab,一种连接服务器的方法,比较常用使用 Stable Diffusion web UI
打开页面
Stable Diffusion web UI 服务启动加载模型需要 1-2分钟,如果直接点击 7860 端口对应链接显示无法连接不要着急,等会就好,等了很久还是不行可以按后面方法查看服务启动日志(默认存储在:/stable-diffusion-webui/run_log.log)
查看日志
在上面的页面中,点击 JupyterLab - 点击打开 文字按钮,会打开 JupyterLab 页面,我们新建一个 Terminal ,然后输入:
tail -f /stable-diffusion-webui/run_log.log
通过程序运行日志,我们能看到程序的运行状态等信息,如果程序运行出现故障,也可以在日志里找到故障原因,及时排查问题。
基本使用
在这个镜像里预装了 ControlNet 插件,并内置了两个 ControlNet 模型:control_sd15_canny(线稿模型) 和 control_sd15_seg(语义分割模型)。
如果你要使用 ControlNet,需要按以下步骤:
点开 ControlNet,先上传图片 点击 Enable 开启功能(必须勾选上) 选择预处理方法和模型 输入新生成图片描述词 点击Generate
按钮开始生成图片
以使用 control_sd15_seg 语义分割模型为例子,我们上传了一长人头顶足球的图片,然后开启了 ControlNet,并选择了 segmentation预处理方式和control_sd15_seg 模型。
输入的描述词:(((A giraffe)))stared at a (watermelon)(((best quality))),(((highly detailed))),(((masterpiece))),(((ultra-detailed))),(((illustration)))
图片地址:https://pixabay.com/zh/photos/man-football-game-village-sport-7813108/
使用其他 ControlNet 模型
SD Web UI ControlNet 插件模型默认加载目录是:/stable-diffusion-webui/extensions/sd-webui-controlnet/models
目录下,我们只需要把自己想要用的模型移动到该目录下即可。
方便大家使用,ControlNet 模型 已经上传到了矩池云公共数据集模型路径下,具体路径是:/public/huggingface_models/ControlNet/
。
比如我想要用control_sd15_openpose.pth
(人物动作模型)这个模型,只需要在 Terminal 里一行行输入下面指令即可将模型复制到对应目录下(模型文件比较大,复制预计要1分钟左右):
cd /public/huggingface_models/ControlNet/models
cp control_sd15_openpose.pth /stable-diffusion-webui/extensions/sd-webui-controlnet/models
复制完成后,我们在页面 ControlNet 插件选模型的地方,点击刷新按钮,即可将新加入的模型加载进来。