当前位置:AIGC资讯 > AIGC > 正文

AI绘画Stable Diffusion最强控制插件ControlNet 附模型下载

大家好,我是程序员晓晓

Stable Diffusion一直在致力于更精确地控制出图结果,而在这众多的功能中,最突出的要属ControlNet了。

无论是文生图还是图生图,我们更多的是对内容的一个描述,但是如果我们想要更细化一些,比如构图、轮廓、形象姿态、色彩风格等等,单靠文生图或者图生图就不够用了,我们需要一个更强大的控制模块,这时ControlNet也就应运而生。它带来的最大的改变,就是让输出结果能更好的被我们控制了。

关于ControlNet插件的安装,如果是用的秋叶大佬的整合包,就会自带这个插件。如果没有,可以去扩展中搜索ControlNet进行安装。

安装完成之后,就可以看到ControlNet的使用界面了。

ControlNet的使用逻辑是通过预处理器将我们的图片提取特征,并转换为AI可识别的形式,再通过模型将预处理器的结果进行图像生成。说得再直白一点,预处理器就是我们和ControlNet之间的一款翻译软件。

比如,我想绘制一张女孩打篮球的图片,并且想让她模仿库里的这个动作。

接下来,输入关键词:(最好的质量,杰作),女孩,打篮球,篮球场,认真,球衣,看着观众,受伤,绷带。

大模型选择Toonyou的二次元卡通风格,在ControlNet中导入库里的照片,预处理器选择openpose,点击预处理器右侧的爆炸标志,就可以看到提炼出来的骨骼结构。接下来,使用同样名为openpose的模型,调试参数,点击生成。

可以看到,这张AI绘图就采用我们提供给它的动作参考画了出来,效果相当不错。

那ControlNet的预处理器有多少种呢?我们打开下拉列表就可以看到,目前最新的ControlNet v1.1.150版本,一共有37种。很多同学看到这里估计要懵了,我怎么知道该使用哪一种预处理,并且它会变成什么效果呢?

接下来。我们将这些预处理器做一个分类理解。

线条约束类:它可以通过轮廓线来规定绘图的范围。

canny边缘检测: 还是用库里的动作图作为例子,可以看到预处理器精确地找到了人物的轮廓边缘,并且进行了重绘,适用于线条比较精细的图片。

scribble涂鸦: 适合粗犷的画风,灵魂画手的拯救器。

softedge软边缘检测: 同样是保留轮廓边缘进行绘图,相比于canny,可以看到线条较粗且有柔化的部分,这样的处理对边缘的细节保留得更多,特别是有头发这类细节的时候,但未必有canny刻画的那么细。

lineart线稿提取: 这个是ControlNet1.1版本新出的预处理和模型,可能是ControlNet目前最强的线稿上色功能了。

我从花瓣上找了一张线稿图来试验一下,这幅线稿来自画师“原画人”的创作。

我们可以先通过invert预处理将白底黑线处理成黑底白线,因为ControlNet中都是黑色作为背景。

然后,将处理好的图拖到左边重新载入,切换到lineart预处理器和模型进行生成。文生图关键词填写——(Best quality, masterpiece), ((girl)), solo,Blue hair, white clothes,white background。

点击生成,得到上色稿。

我接着用canny模型也绘制了一遍,可以对比一下这两款模型上色的差别,大家自己感受一下。

**mlsd直线线条检测:**这个线条检测和之前的几个有一些不同,它一般用在建筑或者室内设计上。

可以看到,这个预处理器提炼出了这个室内的结构线。

我们输入关键词:木制、简约、无印良品。点击生成4张图,得到了与原图结构一致的设计图。

好了,今天我们介绍了ControlNet中关于线条约束类的预处理器和模型。这些模型文件我也整理好了,如果想要这些模型的话,可以看下方扫描获取

最后附上一张图,可以帮助大家理解ControlNet模型的命名规则,以便能够正确地使用模型。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

更新时间 2024-07-05