当前位置:AIGC资讯 > AIGC > 正文

【Stable Diffusion】插件 ADetailer,修脸修手无敌

文章目录

概要 整体架构流程 技术名词解释 技术细节 小结

概要

正常显卡一次生成高精度图片速度超慢,大多不建议这样,那么在低分辨率绘制全身图像时,面部和手部一直是一个难以处理的问题。这个面部修复的扩展可以完美修复面部、手部,可以说是个万能修复插件。

安装ADetailer

复制链接:https://github.com/Bing-su/adetailer.git,webui点击扩展,选择从URL安装,将刚刚复制的安装链接粘贴在此处,点击安装按钮。

点击设置,将屏幕向下滑动,在最左边找到After Detailer,点击进入。然后将屏幕向上滑动,你可以在(最大模型数量)设置用几个After Detailer模型,我是打开的6个。

重载ui

脸部、手部修复

Detailer 脸部修复,自动化地利用 img2img(图像生成器)的 inpaint(修复)功能。与局部重绘蒙版相似,仅对脸部区域选中重绘。

不管是文生图还是图生图,都需要产生一张进行脸部修复的原始图像。程序会定位原始图像中脸部的中心,并确定脸部的遮罩范围,实时预览能看到已经框中。然后,在遮罩范围内增加一些噪点,并将其输入 inpaint(局部重绘)模块,重新绘制脸部的遮罩范围。

ADetailer 为我们提供了相当多的模型。从处理图像的区域来划分,这些模型分为三类。模型名称里包含 face 的就是用来处理面部的。包含 hand 就是处理手的。包含 person 就是处理身体的。deepfashion 比较特殊。

从处理图像使用的模型划分,这些模型分为两类。模型名称里包含 YOLO 的就是使用了 YOLO 算法。包含 MediaPipe 就是使用了 MediaPipe 算法。

目前 ADetailer 所有的 MediaPipe 模型都是用来处理面部的,尽管 MediaPipe 本身还可以处理手。MediaPipe 提供专门的人脸检测模型,并对性能和准确性进行了优化。YOLO 算法则更具有通用性,它可以检测各种物体。在 ADetailer 中,它还可以检测身体,还适用于二次元的模型。MediaPipe 则适用于写实模型。和YOLO相比,它可能会对人脸特征提供更高的准确性,而 YOLO 的准确性取决于其训练和版本。MediaPipe 处理的区域更小,但更精确。它在处理过程中对面部多个特征都做了标注。

但它也有缺点。如果是侧脸,或者脸部在画面占比小的话,MediaPipe 就无法处理。因此它能处理的面部是非常有限的。YOLO 则能一次处理大量的人脸。从图片里也可以看出,YOLO 处理的区域更大,甚至能处理头发和背景。

参数设置

首先是检测,其中一个是检测模型置信度阈值,这个滑块控制检测率。数值越高表示检测效果越差,很有可能什么也检测不到;数值越低表示检测能力超强,有时候多出一张脸、一只手了。如果没有检测到,适当调小,识别过多,适当调大。

遮罩的最小面积比率和最大面积比率。当遮罩面积太大时,会修改到非脸部的部分,生成结果不协调时可以调整最小和最大的拉动条。一般使用预设值即可。

接下来是蒙版前置处理。点击这里,这三个选项的控制就是刚才稳定扩散完成后,图像会有一个放大图。可以手动控制这个范围。让我们试试看。第一个是控制X轴,第二个的是控制Y轴。

接下来就是重绘,设置模型、vae等,与重新生成图类似。

最后是ControlNet 设置,按上面脸部、手部修复选择相应合适修复模型。

更新时间 2024-06-21