当前位置:AIGC资讯 > AIGC > 正文

AI绘画 | 一文看懂 ControlNet基本操作详解

大家好,我是爱绘画的彤姐。

无论使用 Stable Diffusion 生成图片还是视频,基本都离不开 ControlNet 的辅助。

ControlNet 作为 Stable Diffusion 最强,也是必须要掌握的插件。

ControlNet 模块

现在 webui 最新版本是默认安装 ControlNet 的,在「文生图」、「图生图」这两个模块,都可以找到 ControlNet 模块:

ControlNet 版本

旧版本是不支持 SDXL模型的,建议将 ControlNet 更新到最新版本

ControlNet 上传图片

在 「文生图」-「ControlNet」模块中,可以直接上传图片:

而在「图生图」-「ControlNet」模型中,因为 图生图 本来已要求上传图片,默认是直接引用上传图片的。

如果想单独给 ControlNet 加载另外的图片,可以勾选☑️「上传独立的控制图像」:

ControlNet 单元数量

需要在「设置」-「ControlNet 」中修改「Multi-ControlNet: ControlNet 单元数」的值来进行配置。

启用 ControlNet

上传一张图片,勾选☑️「启用」、「完美像素」、「允许预览」:

控制类型选择「OpenPose(姿态)」,其他保持默认,点击 ? 按钮:

图像中人物的整体姿态就会显示出来:

控制类型 与 预处理器、模型 是搭配使用,选择不同的 控制类型,都会有对应不同的 预处理器 可以选择:

ControlNet 模型

ControlNet 模型下载:https://huggingface.co/lllyasviel/sd_control_collection/tree/main

并不是所有模型都需要下载,有些模型含有3个版本,full 版本模型文件是最大的,效果最好,但占用最多的资源;small 版本模型文件是最小的,可根据设备性能自行下载:

模型下载后,放置在 SD安装目录\extensions\sd-webui-controlnet\models 中。

控制权重

用于控制 ControlNet 对画面生成结果的约束程度。

数值越高,就越限制画面必须严格按照 ControlNet 的处理结果来生成图片,

数值越低,AI 就有一定的自由度和发挥空间。

控制权重=1,出图如下:

降低 控制权重=0.3,提示词:1child,in the garden,running,;生成的图片,跑步姿势会在一定程度生参考骨骼姿势,但与预处理中的骨骼图有差异,出图如下:

保持其他内容不变,提高 控制权重=1.3,画面中的跑步姿势会被 ControlNet 的骨骼图控制住,出图如下:

引导介入时机/引导终止时机

用于调整 ControlNet 控制松紧程度的。

下图的设置,代表图片跑到 20% 时 ControlNet 开始介入,直至 80% 终止介入,能让AI获得更多的创作自由度:

出图如下:

控制模式

默认选择「均衡」,指的是 提示词 与 ControlNet 之间相互平衡地影响出图效果。

更偏向提示词:

生成的图片会以提示词为主,ControlNet 为辅

选择「更偏向提示词」,提示语:a child,on the mountain,running, 出图如下:

生成的图片,SD 更多的考虑跑步这个动作,而不是 ControlNet 获取的骨骼图姿势。

相反,选择「更偏向ControlNet」,同样的提示词,出图如下:

这次生成的图片,SD就基本不考虑 跑步 的提示词了,严格按照 ControlNet 获取的骨骼图姿势来生成图片。

缩放模式

与 图生图 中的缩放模式功能一致。

仅调整大小

现在将生成图片的宽高设置为 1:1,640x640。

选择「仅调整大小」,原来的竖屏图片,会被压缩变形:

裁剪后缩放

选择「裁剪后缩放」,脚部位置被裁剪掉,无法显示人物全身:

缩放后填充空白

选择「缩放后填充空白」,SD生成图片时,会保留人物整体姿态,对空白部分位置进行自动填充:


感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

总结

**文章总结:掌握ControlNet插件,优化Stable Diffusion创作**
文章由爱绘画的彤姐分享,详细介绍了在使用Stable Diffusion生成图片或视频时,如何高效利用ControlNet插件来辅助创作。ControlNet是Stable Diffusion的强大且必要的插件,用于提升图像生成的精准度和艺术性。
**主要内容如下**:
1. **ControlNet模块与版本**:
- Stable Diffusion的webui新版本默认安装了ControlNet,支持在“文生图”与“图生图”中使用。
- 旧版本不支持SDXL模型,建议升级到最新版ControlNet以获全面支持。
2. **上传与控制图片**:
- 在“文生图”模块中可直接上传图片作为控制源。
- 在“图生图”模式下,默认引用上传图片,但若需额外ControlNet图片,可勾选“上传独立的控制图像”。
3. **配置与控制**:
- 调整ControlNet单元数量需在设置界面完成。
- 启用ControlNet时,通过上传图片、选择控制类型(如OpenPose姿态识别)并调整控制权重,精细控制图像生成。
- 控制权重影响ControlNet对画面的约束力度,高权重则严格遵循,低权重则给予AI更多创作自由。
4. **模型选择与下载**:
- 提供ControlNet模型下载链接,全尺寸模型效果最优但资源占用高,small版本适合低配设备。
- 下载后放置于指定目录以使用。
5. **引导介入与终止时机**:
- 通过设置引导介入与终止时机,调节ControlNet控制图片的时机范围,赋予AI在不同阶段的不同自由度。
6. **控制模式**:
- 均衡模式平衡提示词与ControlNet的影响。
- 可选择偏向提示词或ControlNet来控制生成图片的倾向性。
7. **缩放模式**:
- 提供多种缩放模式调整输出图片尺寸,保持原图比例或裁剪填充。
**额外福利与AIGC学习资源**:
文章末尾提供了全面的AIGC学习路线图、必备工具、学习笔记、视频教程合集及实战案例,帮助读者从零开始,快速入门到掌握AIGC技术。随着AI技术的发展,AIGC在游戏、计算等领域的应用前景广阔,建议学习并实践相关技术,探索其无限潜能。

更新时间 2024-09-19