ControlNet控制网
功能型:
IP2P : 环境背景天气修改, 以及单独修改人物, make it xxx 。
Tile分块重采样:忽略细节,并添加新的细节。
Inpaint局部重绘: 修改局部时, 更能懂得输入的提示词元素。
Reference参考:生成与参考图像相似的图像。会受模型和提示词的影响。只使用预处理器,不适用控制模型。
Tip:双重参考可以达到2者融合合成的效果,比如头部和身体,在2个ControlNet单元中进行。
Shuffle:洗牌转换,将整个输入图像构图打乱,重新进行组合,构图变化,生成一系列S卡。
Seg语意分割: 把一些类别的东西进行区分, 对应的地方填上对应的东西,提取到了元素的精确位置。ADE20K和Coco分割的颜色图是不同的。
T2IA自适应:
color_grid:像素画处理,提取图像主要颜色,不保留构图。 sketch_pidi:手绘边缘处理,提取大体轮廓。 style_clipvision:风格迁移处理,将输入图像转化为clip视觉嵌入。包含有关图像内容和风格的丰富信息。参考比reference更加强。构图规则型:
OpenPose姿态:检测人体各部位的关键点,只提取姿态信息,用于控制绘图中人物的动作和姿态,可以自己调节,主要有:头、肩部、胳膊、手、屁股、腿、脚,这样就能基本上控制人物的平面姿态了,3D OpenPose 则可以旋转调节角度,控制三维姿态。
Tip:使用控制图进行扩散时,不使用预处理器,
canny 算法: 将背景图轮廓描绘出来, 将人物和周边的景物轮廓描绘出来,硬边缘方式。图像线条性更好,适合制作艺术字和Logo。
Lineart线稿:可以用于人物上色。
pedNet : 边缘检测算法, 检测的东西更加粗糙, 没有hed精细。涂鸦算法: 把重要地方展现出来,用的比较少。
depth 算法: 深度图算法, 捕捉图片中的空间关系,还原场景,控制人物和场景。
LeRess:检测构图,细节少。 LeRess++:检测构图,环境主体细节更多。 Mldas深度估算:主体细节更多,环境细节更少。 Zoe深度估算:主体细节少,环境细节多。法线贴图:提取轮廓内部的特征,适用于传输输入图像的3D,输入图像3D时,法线提取效果比深度更好。
SoftEdge软边缘:
hed算法 : 模糊边缘, 对细节进行补充。带safe的细节和质量更高,也更吃显存。M LSD直线检测器: 忽略曲线,提取直线,适用于建筑大模型和Lora。