当前位置:AIGC资讯 > AIGC > 正文

controlnet1.1模型和预处理器功能详解(各预处理器出稿对比及对应模型说明)

ControlNet 1.1 与 ControlNet 1.0 具有完全相同的体系结构,ControlNet 1.1 包括所有以前的模型,具有改进的稳健性和结果质量,且增加并细化了多个模型。

命名规范

项目名+版本号+标识+基础模型版本+功能名+文件后缀名

control
官方总是以control为项目名,还有类似coadapterti2adapter

v11
该controlnet版本号,v11意味着1.1版本

p
标识:p:正式产品;e:测试版; u:未完成版; f修复版;

sd15
将stable diffusion 1.5版作为基础模型进行训练

canny
该模型功能,比如canny是边缘检测模型

pth
文件名后缀,有pthsafetensors等,一般还有yaml配置文件

control_v11p_sd15_canny control_v11p_sd15_mlsd control_v11f1p_sd15_depth control_v11p_sd15_normalbae control_v11p_sd15_seg control_v11p_sd15_inpaint control_v11p_sd15_lineart control_v11p_sd15s2_lineart_anime control_v11p_sd15_openpose control_v11p_sd15_scribble control_v11p_sd15_softedge control_v11e_sd15_shuffle control_v11e_sd15_ip2p control_v11u_sd15_tile

预处理器与模型一览表

分类 预处理器 备注 模型 黑白倒转 invert 边缘检测 canny control_v11p_sd15_canny 深度检测 depth_leres LeRes depth estimation control_v11f1p_sd15_depth 深度检测 depth_midas control_v11f1p_sd15_depth 深度检测 depth_zoe 推荐,最精细 control_v11f1p_sd15_depth 局部重绘 inpaint_global_harmonious controlnet自带局部重绘 control_v11p_sd15_inpaint 线稿控制 lineart_anime 动画 control_v11p_sd15s2_lineart_anime 线稿控制 lineart_anime_denoise 动画 control_v11p_sd15s2_lineart_anime 线稿控制 lineart_coarse control_v11p_sd15_lineart 线稿控制 lineart_realistic 最像线稿 control_v11p_sd15_lineart 线稿控制 lineart_standard control_v11p_sd15_lineart 面部控制 mediapipi_face 直线检测 mlsd M-LSD line detection,直线检测,建筑类最适用 control_v11p_sd15_mlsd 法线贴图 normal_bae control_v11p_sd15_normalbae 法线贴图 normal_midas control_v11p_sd15_normalbae 姿态估计 OpenPose pose detection control_v11p_sd15_openpose 姿态估计 openpose_face control_v11p_sd15_openpose 姿态估计 openpose_faceonly control_v11p_sd15_openpose 姿态估计 openpose_full control_v11p_sd15_openpose 姿态估计 openpose hand control_v11p_sd15_openpose 涂鸦 scribble_hed control_v11p_sd15_scribble 涂鸦 scribble_pidinet control_v11p_sd15_scribble 涂鸦 scribble_xdog control_v11p_sd15_scribble 语义分割 seg_ofade20k control_v11p_sd15_seg 语义分割 seg_ofcoco control_v11p_sd15_seg 语义分割 seg_ufade20k control_v11p_sd15_seg 风格转移 shuffle 图像风格化 control_v11e_sd15_shuffle 软边缘 softedge_hed control_v11p_sd15_softedge 软边缘 softedge_hedsafe control_v11p_sd15_softedge 软边缘 softedge_pidinet 推荐 control_v11p_sd15_softedge 软边缘 softedge_pidisafe control_v11p_sd15_softedge 提取色彩 t2ia_color_grid t2iadapter_color_sd14v1 边缘检测 t2ia_sketch_pidi t2iadapter_sketch_sd14v1 / t2iadapter_sketch_sd15v2 风格转移 t2ia_style_clipvision 图像风格化 t2iadapter_style_sd14v1 阈值 threshold 局部重绘 tile_resample 优化图生图自带的局部重绘 control_v11u_sd15_tile

预览对比

原图

1 2 3 4

黑白倒转|invert

1 2 3 4

边缘检测|canny

1 2 3 4

深度检测|depth_leres

1 2 3 4

深度检测|depth_midas

1 2 3 4

深度检测|depth_zoe

1 2 3 4

局部重绘|inpaint_global_harmonious

1 2 3 4

线稿控制|lineart_anime

1 2 3 4

线稿控制|lineart_anime_denoise

1 2 3 4

线稿控制|lineart_coarse

1 2 3 4

线稿控制|lineart_realistic

1 2 3 4

线稿控制|lineart_standard

1 2 3 4

面部控制|mediapipi_face

1 2 3 4

直线检测|mlsd

1 2 3 4

法线贴图|normal_bae

1 2 3 4

法线贴图|normal_midas

1 2 3 4

姿态估计|OpenPose pose detection

1 2 3 4

姿态估计|openpose_face

1 2 3 4

姿态估计|openpose_faceonly

1 2 3 4

姿态估计|openpose_full

1 2 3 4

姿态估计|openpose hand

1 2 3 4

涂鸦|scribble_hed

1 2 3 4

涂鸦|scribble_pidinet

1 2 3 4

涂鸦|scribble_xdog

1 2 3 4

语义分割|seg_ofade20k

1 2 3 4

语义分割|seg_ofcoco

1 2 3 4

语义分割|seg_ufade20k

1 2 3 4

风格转移|shuffle

1 2 3 4

软边缘|softedge_hed

1 2 3 4

软边缘|softedge_hedsafe

1 2 3 4

软边缘|softedge_pidinet

1 2 3 4

软边缘|softedge_pidisafe

1 2 3 4

提取色彩|t2ia_color_grid

1 2 3 4

边缘检测|t2ia_sketch_pidi

1 2 3 4

风格转移|t2ia_style_clipvision

无法预览

1 2 3 4

阈值|threshold

1 2 3 4

局部重绘|tile_resample

1 2 3 4

更新时间 2023-12-23