大家好,我是爱绘画的彤姐。
“ ControlNet,直译就是控制网络,它本质上是stable-diffusion-webui的扩展插件。本期是简单介绍模型及其应用场景,之前出过部分模型的应用案例。”
Controlnet,一个多功能的控制工具,其作用可以类比于图像和视频的调色过程。
在调色中,无论是对静态图片还是动态视频,我们都依赖于一系列专业工具来实现色彩的精准调控。
这包括白平衡的校准,色温的调节,色相和饱和度的调整,以及亮度的优化。为了提升画质,我们还会使用蒙版降噪和锐化技术。
视频调色则更为复杂,它需要更多的工具来实现如蒙版追踪、人物肤色的调整、图像抠像等高级功能。
同样,Controlnet也提供了多样化的预处理器和模型,以适应不同的需求和场景,确保用户能够获得理想的效果。
正如调色师根据不同的素材和目标效果选择工具一样,Controlnet的用户也可以根据具体的应用需求,选择最合适的预处理器和模型,以达到最佳的控制效果。
01
—
工具安装
你可以从GitHub上手动下载插件到本地,也可以在WebUI的扩展中心,粘贴下面地址,下载,等一小会儿插件就装好了。
controlnet插件地址:https://github.com/Mikubill/sd-webui-controlnet
下载过程中遇到问题的小伙伴可以看文末找到我,无偿分享资料,提供帮助。
打开SD webui,点击扩展(extention),点击从网址安装选项卡,在第一个输入框输入controlnet插件地址,点击安装(install),当看到……restart等字样,说明已安装成功,如图。
02
—
模型应用
ControlNet 提供了多种预处理器和模型,它们可以应用于不同的场景以达到特定的图像处理效果。
以下是一些ControlNet的预处理器和模型以及它们各自的应用场景:
Canny:用于硬边缘检测,特点就是细节很多,适用于需要强调图像边缘的场景,如艺术创作或图像合成。简单理解类似抠图,通过提取黑白线稿的方式再去生成类似的图,细节多了不好,反而会很脏。
也可以做线稿上色,通过invert处理器,就canny下面那一个,反转一下黑白线条就行。
Depth:深度图,适用于3D效果的创建或空间关系的保持。Depth可以很好的控制画面的结构以及光影关系,可以用来进行画面构图的复原,配合详细的关键词可以达到更详细的图片表现效果。简单理解为在二维图片上看到三维空间光影的关系。比如人物、建筑、风景等都可以,是万能的。
NormalMap:利用法线图控制,适用于需要模拟光照和阴影效果的场景。
MLSD(M-LSD直线检测):适用于直线结构的图像,如建筑设计或室内设计。
Scribble:涂鸦工具,提取图像的大致轮廓,适用于快速草图或概念艺术。你可以用提示词生成简单图或用ps或者其他画布工具,简单画几笔上传照片作为参考图,其他让AI根据你的草图发挥。
Soft Edge:软边缘,提供边缘的柔和过渡,适用于需要平滑轮廓的场景。和canny差不多,只不过没有那么多细节,能让AI自由发挥一点创造性。
Segmentation:图像分割(语义分割),用颜色去分割同类或区分不同类,旨在将数字图像划分成多个具有语义信息的区域或对象,适用于需要区分图像中不同物体的场景。
Openpose:识别和控制人体姿态,适用于人物动作的模拟或动画制作。一般选用dw openpose full,这个比较全面。openpose,openpose face姿态和脸部,openpose faceonly仅脸部,openpose full姿态手部脸部,openpose hand仅手部,dw openpose full可以理解为openpose full的升级版。
Lineart:提取线条艺术,通常用于黑线白底图的上色,也可以从各种图片中提取线条再生成图片。适用于将照片转换为手绘线稿风格,反之也可以。Lineart有粗细深浅的线条区分,与canny相比,除了能控制构图,还能更好还原图片深度。
Instant-ID:及时识别,让用户只需上传一张照片,就能轻松定制出多种风格的 AI 写真。
Inpaint:局部重绘,适用于修复图像中的缺陷或进行创意编辑。好多插件都可以替代它,不做多说。
Tile:用于图像的高清化处理,适用于老照片修复或图像细节增强。
recolor:重新上色,一般两个作用:黑白照片上色,换衣服眼睛服装等颜色。
IP-Adapter,风格迁移,主要就是迁移模型风格到给定图片,可以迁移参考图片的风格。
ControlNet的预处理器和模型可以根据具体的应用需求进行选择和搭配,以达到最佳的图像处理效果。更多模型和应用场景需要大家自行探索。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
若有侵权,请联系删除
总结
**文章总结**:本文由爱绘画的彤姐介绍了一款名为ControlNet的强大图像处理工具,它作为Stable-Diffusion-WebUI的扩展插件,能够像调色师对图像视频进行精细调控一样,实现对图像和视频的多功能控制。ControlNet提供了丰富的预处理器和模型,包括Canny、Depth、NormalMap、MLSD、Scribble等,这些预处理器和模型适用于不同的图像处理需求,如边缘检测、深度控制、光影模拟、直线检测、草图生成、图像分割和人体姿态识别等。用户可以根据具体的应用场景,选择合适的工具和模型,以实现理想的图像处理效果。
作者还详细介绍了ControlNet插件的安装步骤,包括从GitHub手动下载或在WebUI扩展中心直接粘贴插件地址进行下载和安装。此外,文章还展望了AIGC(Artificial Intelligence Generated Content,人工智能生成内容)技术的广阔发展前景,并提供了AIGC学习路线、必备工具、学习笔记、视频教程合集以及实战案例等学习资源,帮助对AI感兴趣的用户深入了解并掌握这项技术。
总结来说,本文不仅介绍了ControlNet作为一款创新图像处理工具的强大功能和应用场景,还为用户提供了全方位的AIGC学习资源和学习路径规划。