ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。
sd-webui-controlnet下载地址：
GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNetWebUI extension for ControlNet. Contribute to Mikubill/sd-webui-controlnet development by creating an account on GitHub.https://github.com/Mikubill/sd-webui-controlnet
安装ControlNet插件
打开 WebUI 界面 http://127.0.0.1:7860/
点击 "Extensions" 选项卡 点击 "Install from URL" 选项卡 将 sd-webui-controlnet 的git地址粘贴到 "URL for extension's git repository"下面的输入框 点击 "Install" 按钮 重启 Web UI安装成功后，插件位于WebUI目录的extensions\sd-webui-controlnet
下载ControlNet模型
ControlNet模型地址：
https://huggingface.co/lllyasviel/ControlNethttps://huggingface.co/lllyasviel/ControlNet
将下载的模型放到 extensions\sd-webui-controlnet\models 目录下
打开WebUI界面，展开ControlNet，勾选Enable 将Preprocessor（预处理器）选择canny，Model选择control_sd15_canny 拖拽一张图进来，填写Prompt 点击生成会得到一个线稿图和一个新生成的同样构图的画图。
ControlNet模型说明：
ControlNet/models/control_sd15_canny.pthCanny模型，可以根据边缘检测，从参考图中提取线稿，再根据提示词，来生成同样构图的画面。
ControlNet/models/control_sd15_hed.pthheld模型，和canny相似，它使用软Hed边界保留输入图像中的细节，绘制的人物明暗对比明显，轮廓感更强，适合在保持原来构图的基础上对画面风格进行改变时使用
ControlNet/models/control_sd15_scribble.pthscribble模型，涂鸦成图，比Canny自由发挥程度更高，可以用于对手绘线稿进行着色处理。
ControlNet/models/control_sd15_depth.pthdepth模型，从参考图中提取深度图，进而生成具有同样深度结构的图。该模型可以较好的掌握图片内的复杂3维结构层次，并将其复现。当原图中的人物有前后关系时，depth的效果更好。
ControlNet/models/control_sd15_normal.pthnormal模型，提取参考图中3D物体的法线向量，以法线为参考绘制出一副新图，此图与原图的光影效果完全相同。适用于3维制图，用于法线贴图，立体效果。比depth模型对于细节的保留更加精确，因为能很好地抓取物体形状，所以可以用来更换图片背景。
ControlNet/models/control_sd15_openpose.pthopenpose模型，从参考图中提取人物的姿势，然后依据提示词生成一副相同姿势的图片。用户也可以直接输入一张姿势图。
ControlNet/models/control_sd15_seg.pthseg模型，通过对参考图内容进行语义分割，可以区分画面色块，适用于潦草草图上色和大场景的画风更改
ControlNet/models/control_sd15_mlsd.pthmlsd模型，可以进行直线检测，通过分析参考图的线条结构来构建出建筑外框，适合建筑设计的使用。