当前位置:AIGC资讯 > AIGC > 正文

AI绘图软件Stable Diffusion 安装和使用之二controlnet插件

本期说一下Stable Diffusion非常有名的插件controlnet。同上一篇一样,我们安装b站大佬秋葉aaaki(有的网友戏称他/她是赛博佛祖)的stable diffusion4.2整合包。解压缩以后,打开启动器,见下图,界面比早期版本更好看了。

​编辑​

启动器打开以后,安装controlnet插件

填写网址:https://jihulab.com/hanamizuki/sd-webui-controlnet

ControlNet还需要一些预处理器和模型,它们和整合包一起下载就可以了,然后拷贝到Stable Diffusion对应文件夹。

预处理器\downloads拷贝至D:\StableDiffusion\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator

\模型下面的文件拷贝至D:\StableDiffusion\sd-webui-aki-v4.2\models\ControlNet

在上一篇中,生成图片需要提示词,现在一些网站提供图片和提示词。我们也可以利用图生图中的反推提示功能。

在网络上随便找一张好看的图片,比如下图,点击“DeepBooru反推”按钮,本图的提示词就会生成在左边文本框中。

因为孩子平时喜欢买线稿人物图上色,我们以给线稿上色为例说明ControlNet插件的功能。启用Controlnet,预处理使用invert,模型使用lineart—_anime。

将刚才生成的提示词放在文生图的提示词框中,点击“生成”按钮,生成的成果图见下图。

再找一张别的风格照片,比如下张雨中打伞的姑娘,反向生成提示词。

将生成的提示词放在文生图的提示词框中,点击“生成”按钮,重新生成的成果图见下图。

下图是诛仙中的陆雪琪。

将其提示词放在文生图中的提示框内,重新生成的效果图如下。

我们也可以将原图生成线稿图,比如下图,预处理器选择lineart_realistic,模型不变。

点击“生成”按钮,生成线稿图如下。

Controlnet还可以将低分辨率图像进行高清修复。比如说,自己的头像是很多年前拍摄的,当时像素低,现在利用Controlnet的tile模型进行修复。

首先,找一张明星照片,比如金城武,生成反向提示词。

然后,拷贝生成的提示词至文本框,预处理选择tile_resample,模型tile。

点击“生成”按钮,生成的效果如下图,仿佛一颗冉冉升起的新星,帅呆了。

小结

最近人工智能发展非常快,特别是机器学习方面,比如AI绘图就是通过机器学习训练生成模型,然后在模型的基础生成同模型的风格化照片。随后,AI绘图进一步演化为换衣服、换脸,半身生成全身,扩充场景等。AI绘图会让一些画师失业,但是拥抱新技术的画师则会极大地提高工作效率,收益更胜从前。

参考文献

https://zhuanlan.zhihu.com/p/643744230

https://www.bilibili.com/video/BV1fa4y1G71W/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV1AL411q7Ub/?spm_id_from=333.999.0.0&vd_source=6f9f0ad1eef623c5a58999f0093952a1

https://www.bilibili.com/video/BV1f14y197rx/?spm_id_from=333.337.search-card.all.click&vd_source=6f9f0ad1eef623c5a58999f0093952a1

https://www.bilibili.com/video/BV1Xv4y1E7kZ/?spm_id_from=333.337.search-card.all.click&vd_source=6f9f0ad1eef623c5a58999f0093952a1

更新时间 2023-12-05