当前位置:AIGC资讯 > AIGC > 正文

Stable Diffusion 图生图-蒙版重绘,Controlnet未生效的一个场景

首先感谢秋叶大佬的整合包!!!
致敬所有在为AI绘画付出努力的大佬!!!

省流:绘图时禁用插件sd-webui-segment-anything

场景:在电商换装场景下,为图中角色换衣服,使用了2个ControlNet。

报错日志:

 检查了下控制台日志显示,sd-webui-segment-anything(下文用seg表示)的一个py脚本有bug,

但是我的蒙版已经绘制好了,不需要使用seg了,为什么还会调用seg的程序呢?

场景描述(可不看):

为了让底图的换装更精确,不影响肢体周边环境,我是使用了一个可以精确对图片的部分进行蒙版绘制的插件:sd-webui-segment-anything
得到一张腿部蒙版的图:

切换到图生图-上传重绘蒙版,上传原图,蒙版,图片长等基础参数:

设置ControlNet:

我是用了2个模型:canny(绘制线稿),openpose(绘制骨骼)

1. 绘制线稿貌似对我的重绘没有影响,先不管

2. openpose是为了让角色的腿部能按照原图中腿的走向进行重绘,也避免其他肢体部分与腿部重叠,影响出图效果。

一切准备就绪了,点生成,在一段等待后,出图效果很恶心,出图效果很乱:

1. 腿部周边出现空隙,没能充满蒙版,有时候还会出现畸形,
2. 红框中未显示我使用的controlnet(应该有个canny的线稿和openpose的骨骼)


 

没研究清楚如何关闭seg的使用,所以切换到拓展页禁用了seg

再回到图生图-上传重绘蒙版后,重新配置一系列参数得到结果:

1. 重绘部分贴合蒙版边线,过度自然,出图结果稳定

2.红框中可以看到使用了canny的线稿和openpose的骨骼,能够固定腿部位置,不容易畸形。

更新时间 2023-11-13