当前位置:AIGC资讯 > AIGC > 正文

进阶--AI绘画里你必须要直到的controlnet模型使用方法

前言

哈喽,各位小伙伴们大家好,有一段时间没有更新了,最近也是忙着搬家忙着置办家具等等,今天终于得空,于是乎连忙抽空做了这期关于controlnet的使用教程。

因为最近我也是发现,controlnet对于AI绘画来说可真是太重要了,说白了,这个插件用好了,将会大大的提升我们的生产效率,因为它可以做到对线稿的上色以及照片转二次元人物等等功能,这些应用场景就非常广泛了。

好了,废话不多说,直接上干货。

一、contronet的运行模式

我们知道controlnet在下载好了之后分为了两部分的内容,一个是预处理器模型,另一个是controlnet模型。我们在实际使用当中,一般都是会在网上寻找姿势参考图,或者场景参考图等等,所以根据实际使用情况的不同,我在这里将他们分为了需要预处理和不需要预处理两种情况。

需要预处理

当我们存在需要依托一些参考图片来引导AI生产出符合我们需求的图片时,我们要先分析我们给controlnet的参考。

用一张图来表示

举个例子:

我这里有一张人物图像,当然背景是比较单一的,能够有清晰的轮廓线,这个时候我们可以选择canny,hed以及openpose等等来进行预处理,再通过我们的正反提示,就可以生产出一副非常不错的图片了。

不需要预处理

随着SD的快速发展,市面上以及出现了许多用来提高生产力的插件了,像比较热门的poseX,就可以很好的用来摆出自己喜欢的骨骼模型,这种情况就是不需要预处理的。

操作

方法也很简单,在扩展-可用-加载自,找到3D openpose并下载安装,安装完成后,在已安装-应用并重启用户界面,即可

controlnet模型的应用场景

简单来说呢,这些这么多的模型到底该什么时候用呢,我用下面一张图来解释

上述8个模型,可以简单的分为4大类

我们将线稿类从精细程度高到低,依次排列。其中

canny

canny模型处理图像最为细致,处理后图片边缘线几乎不变,特别适合图片的局部改色精细线稿的上色

hed

hed模型,边缘线检测就没有那么精细,相比canny Ai自由发挥的程度会高一些

scribble模型和fake_scribble模型

就比上两种显得粗糙了很多,适合一些手稿的上色和更高的AI自由度发挥

mlsd

适合直线检测,多用于建筑或者室内设计等

depth&normal

在深度模型中有透视人物多就选择depth模型背景简单单个主体人物突出就用normal模型

opnepose&seg

而Openpost和SEG模型,在骨骼识别和色块分区方面也有著出色的表现,特别是SEG模型还可以用于AI动画模型的稳定性控制中哦

好啦,以上就是本期SD绘画的controlnet教程,制作不易,觉得对你用所帮助的话还请多多一键三连!

更新时间 2023-11-16