前言
哈喽,各位小伙伴们大家好,有一段时间没有更新了,最近也是忙着搬家忙着置办家具等等,今天终于得空,于是乎连忙抽空做了这期关于controlnet的使用教程。
因为最近我也是发现,controlnet对于AI绘画来说可真是太重要了,说白了,这个插件用好了,将会大大的提升我们的生产效率,因为它可以做到对线稿的上色以及照片转二次元人物等等功能,这些应用场景就非常广泛了。
好了,废话不多说,直接上干货。
一、contronet的运行模式
我们知道controlnet在下载好了之后分为了两部分的内容,一个是预处理器模型,另一个是controlnet模型。我们在实际使用当中,一般都是会在网上寻找姿势参考图,或者场景参考图等等,所以根据实际使用情况的不同,我在这里将他们分为了需要预处理和不需要预处理两种情况。
需要预处理
当我们存在需要依托一些参考图片来引导AI生产出符合我们需求的图片时,我们要先分析我们给controlnet的参考。
用一张图来表示
举个例子:
我这里有一张人物图像,当然背景是比较单一的,能够有清晰的轮廓线,这个时候我们可以选择canny,hed以及openpose等等来进行预处理,再通过我们的正反提示,就可以生产出一副非常不错的图片了。
不需要预处理
随着SD的快速发展,市面上以及出现了许多用来提高生产力的插件了,像比较热门的poseX,就可以很好的用来摆出自己喜欢的骨骼模型,这种情况就是不需要预处理的。
操作
方法也很简单,在扩展-可用-加载自,找到3D openpose并下载安装,安装完成后,在已安装-应用并重启用户界面,即可
controlnet模型的应用场景
简单来说呢,这些这么多的模型到底该什么时候用呢,我用下面一张图来解释
上述8个模型,可以简单的分为4大类
我们将线稿类从精细程度高到低,依次排列。其中
canny
canny模型处理图像最为细致,处理后图片边缘线几乎不变,特别适合图片的局部改色精细线稿的上色
hed
hed模型,边缘线检测就没有那么精细,相比canny Ai自由发挥的程度会高一些
scribble模型和fake_scribble模型
就比上两种显得粗糙了很多,适合一些手稿的上色和更高的AI自由度发挥
mlsd
适合直线检测,多用于建筑或者室内设计等
depth&normal
在深度模型中有透视人物多就选择depth模型背景简单单个主体人物突出就用normal模型
opnepose&seg
而Openpost和SEG模型,在骨骼识别和色块分区方面也有著出色的表现,特别是SEG模型还可以用于AI动画模型的稳定性控制中哦
好啦,以上就是本期SD绘画的controlnet教程,制作不易,觉得对你用所帮助的话还请多多一键三连!