【AIGC】Stable Diffusion的ControlNet参数入门

Stable Diffusion 中的 ControlNet 是一种用于控制图像生成过程的技术，它可以指导模型生成特定风格、内容或属性的图像。下面是关于 ControlNet 的界面参数的详细解释：

是一种在深度学习任务中用于处理显存受限设备的技术。在这种模式下，模型会对输入图像进行一些调整或者采用一些技巧，以减少所需的显存占用，从而使模型能够在显存受限的设备上运行。

是指在图像处理或生成任务中，模型生成的图像能够尽可能地匹配输入图像的像素值。这意味着生成的图像在像素级别上与输入图像非常相似，保留了输入图像的细节和结构。这种匹配可以通过调整模型架构、损失函数或训练策略来实现。

是一个指示用户上传独立控制图像的命令或选项。在 Stable Diffusion
或类似的应用程序中，用户可能会使用这个选项来指定一个额外的图像作为控制信号，以影响生成图像的外观或特征。这样的控制图像可以用来指导生成图像的风格、内容或其他方面，从而实现更精确的图像生成。

在 Stable Diffusion 中，controlnet控制网络类型用于指导生成过程中的图像内容或风格，从而实现对生成图像的控制。以下是一些常见的 controlnet 控制网络类型及其简要说明：

All: 使用所有可用的控制信号来指导图像生成，综合考虑多种输入因素。

Canny（线条）: 基于 Canny 边缘检测算法的输入，用于生成具有线条或边缘特征的图像。

Depth（深度）: 基于深度图像的输入，用于生成具有深度感的图像，通常用于虚拟现实或增强现实应用中。

NormalMap: 基于法向图的输入，用于指导生成具有表面法线特征的图像。

OpenPose（骨骼）: 基于 OpenPose 检测的人体骨架信息的输入，用于生成具有人体骨骼结构的图像。

MLSD（直线）: 基于最小长度分割线（MLSD）算法的输入，用于生成具有直线特征的图像。

Lineart（线稿）: 基于线稿图像的输入，用于生成类似于手绘线稿的图像。

SoftEdge（模糊边缘）: 基于软边缘图像的输入，用于生成具有柔和边缘特征的图像。

Scribble/Sketch: 基于涂鸦或素描的输入，用于生成与涂鸦或素描风格相似的图像。

Segmentation: 基于图像分割结果的输入，用于生成具有分割特征的图像。

Shuffle（图像打乱）: 对输入图像进行随机重排，用于生成多样性的图像。

Tile/Blur: 对输入图像进行平铺或模糊处理，用于生成平铺效果或模糊效果的图像。

局部绘制: 基于局部区域的绘制输入，用于生成具有局部绘制特征的图像。

InstructP2P: 基于指导图像到参考图像的输入，用于将指导图像转换为参考图像的风格。

Reference: 使用参考图像作为控制信号，指导生成与参考图像相似的图像。

Recolor: 基于颜色重绘的输入，用于对图像进行颜色重新着色。

Revision: 对输入图像进行修订或修改，用于生成修订后的图像。

T2I-Adapter: 用于适应文本到图像（Text-to-Image）的控制信号的适配器。

IP-Adapter: 用于适应图像到图像（Image-to-Image）的控制信号的适配器。

Instant_ID: 基于即时图像检索结果的输入，用于指导生成与即时图像相似的图像。

这些 controlnet 控制网络类型可以根据任务需求和预期的图像生成效果进行选择和调整，以达到所需的生成效果。

ControlNet 预处理器（ControlNet Preprocessor）是 Stable
Diffusion中的一个组件，用于对输入的控制信号或特征进行预处理和编码，以便在生成过程中更好地指导模型生成所需的图像。

ControlNet 预处理器的主要功能包括：

特征提取和编码：对输入的控制信号进行特征提取和编码，将其转换为模型可以理解和处理的形式。这可以包括文本向量化、图像编码等操作，将控制信号转换为模型可接受的输入格式。

降维和规范化：在某些情况下，控制信号可能具有较高的维度或复杂度，需要进行降维或规范化以适应模型的要求。ControlNet
预处理器可以对控制信号进行降维处理，提取其中最相关的特征，以减少输入的复杂度。

信息对齐和融合：如果输入包含多个来源的信息，如文本描述、图像特征等，ControlNet预处理器可以对这些信息进行对齐和融合，以确保模型可以同时考虑到所有相关信息，从而更好地生成图像。

噪声处理：在某些情况下，输入的控制信号可能包含噪声或不确定性，需要进行噪声处理以提高模型的稳定性和鲁棒性。ControlNet预处理器可以对输入进行噪声处理，消除或减少噪声对生成结果的影响。

总的来说，ControlNet 预处理器在 Stable
Diffusion中起着关键作用，它能够有效地处理和编码控制信号，为模型生成高质量、多样化的图像提供重要支持。

在 Stable Diffusion 中，ControlNet 控制模式是指通过 ControlNet 控制网络来指导图像生成的方式。在 ControlNet 控制模式下，可以选择三种不同的操作方式：

平衡模式：在这种模式下，生成的图像既受 ControlNet
控制网络的指导，也受文本提示词的影响。模型会尝试在两者之间达到一种平衡状态，生成既符合控制网络指导又符合文本提示词的图像。

以 ControlNet 为主：在这种模式下，生成的图像主要受 ControlNet
控制网络的指导，而文本提示词的影响较小。模型会尽量生成符合 ControlNet 控制网络指导的图像，而对文本提示词的响应相对较弱。

以提示词为主：在这种模式下，生成的图像主要受文本提示词的影响，而 ControlNet
控制网络的指导较弱。模型会尽量生成符合文本提示词描述的图像，而对 ControlNet 控制网络的指导相对较少。

用户可以根据具体的需求和偏好选择适合的控制模式，以达到期望的图像生成效果。

ControlNet 控制权重是指在 Stable Diffusion 中用于调节 ControlNet 控制网络对生成图像的影响程度的参数。在生成图像时，ControlNet 控制网络可以提供额外的指导信息，以帮助模型更好地生成符合预期的图像。

控制权重通常是一个介于0和1之间的值，表示 ControlNet 控制网络和其他输入（如文本提示词）之间的相对重要性。较高的权重值意味着ControlNet控制网络的指导更加强烈，生成的图像更加符合控制网络的要求；而较低的权重值则表示其他输入的影响更大，生成的图像更加受文本提示词等其他输入的影响。

通过调节 ControlNet 控制权重，用户可以根据具体的需求和偏好，灵活地控制生成图像的特征和外观，以获得满意的结果。

启动控制的步数：这是指在生成图像的过程中，模型开始使用 ControlNet 控制网络来指导图像生成之前的步骤数量。在启动控制的步数内，模型会逐渐获取关于图像内容的初始指导信息，并准备好启动 ControlNet控制网络。增加启动控制的步数可以提高模型对图像内容的理解和指导，从而生成更加符合预期的图像。

结束控制的步数：这是指在生成图像的过程中，模型停止使用 ControlNet控制网络来指导图像生成之前的步骤数量。在结束控制的步数后，模型不再受 ControlNet控制网络的影响，而是完全依赖于其他输入（如文本提示词）来生成图像。增加结束控制的步数可以减少 ControlNet 控制网络对生成图像的影响，让模型更加自由地生成图像。

通过调节启动控制的步数和结束控制的步数，可以灵活地控制 ControlNet 控制网络在图像生成过程中的作用程度，以获得满意的生成结果。