在AI绘画中,手部问题一直是一个麻烦的问题。双手变形、手指缺失、手指多余这些问题常常困惑着我们。本文主要讨论一下关于Stable Diffusion中有哪些方法可以用于修复手部问题。
一. 素材准备
在文生图的功能界面生成一张有手部问题的图片。
大模型:majicMIX realistic 麦橘写实_v7
正向提示词
Prompt:a super beautiful chinese girl showing two hands,Open palms in a welcome sign,smiling,wearing pink dress,standing in the street,front view,upper body
提示词:一个超级漂亮的中国女孩伸出双手,张开手掌做欢迎的手势,微笑着,穿着粉红色的衣服,站在街上,正面,上身,
采样器:DPM++ 2M Karras
采样迭代步数:25
图片宽高:512*768
CFG: 7
随机抽取一张手指有问题的图片
上面生成的图片2只手都有问题,后面都以这张图片的手部修复为例说明。
二. 方法1:使用图生图局部重绘修复手部问题
【第一步】:图生图局部重绘设置
在图生图局部重绘功能菜单界面,上传待手部修复的照片。
由于2只手都有问题,为了获取最好的修复效果,最好分两步修复,先修复左手,再修复右手。我们先使用上图右边的画笔,将左边手部区域涂白。
下面是图生图局部重绘相关参数设置
蒙版模式:重绘蒙版内容,专门针对手部问题进行重绘。
蒙版区域内容处理:原版
重绘区域:整张图片
采样器:DPM++ 2M Karras
采样迭代步数:25
图片宽高:512*768
CFG: 7
重绘强度:0.7
【第二步】:大模型和正向提示词
大模型:majicMIX realistic 麦橘写实_v7
正向提示词:和生成图片的正向提示词保存一致。
【第三步】 图片的生成
由于生成的图片具有随机性,可能生成的图片不会立马满足我们的要求,建议多次生成,直到抽取到我们满意的一张图片为止。
【第四步】 重复上面的步骤,修复右手
相关说明:
(1)这种方式修复的手部存在随机概率,可能需要反复抽签才能抽取到满意的一张。
(2)修复的手部是否好看,这个和模型的渲染能力有关系。
二. 方法二:使用ControlNet的DWPose修复手部问题
【第一步】:图生图局部重绘设置
在图生图局部重绘功能菜单界面,上传待手部修复的照片。
我们将有问题的2只手使用画笔都涂白。
大模型、提示词、相关参数的设置和方法1中一样,这里就不赘余。
【第二步】:ControlNet Openpose模型设置
相关参数设置如下:
控制类型:选择"OpenPose(姿态)"
预处理器:dw_openpose_full
模型: control_v11p_sd15_openpose
关于dw_openpose_full识别手部的预览图,可见监测出人的脸,手部,姿势等都非常全面。
关于dw_openpose_full的介绍,可以参照之前的文章,里面有非常详细的讲解。【Stable Diffusion【进阶篇】:手部修复的实现方式(3)】
【第三步】:图片的生成
相关说明:
(1)这种方式修复的手部操作容易,可控性很强,而且目前的DWPose控制器好像可以自动识别出有问题的手部,将生成的预览图手部展示正常,无需我们再次编辑处理。
(2)生成的手指的长度和接头处仍然可能存在不正确性。
三. 方法三:使用ControlNet的HandRefiner修复手部问题
【第一步】:图生图局部重绘设置
在图生图局部重绘功能菜单界面,上传待手部修复的照片。
我们将有问题的2只手使用画笔都涂白。
大模型、提示词、相关参数的设置和方法1中一样,这里就不赘余。
【第二步】:ControlNet HandRefiner模型设置
相关参数设置如下:
控制类型:选择"Depth(深度)"
预处理器:depth_hand_refiner
模型:control_sd15_inpaint_depth_hand_fp16
关于使用depth_hand_refiner获取手部预览图效果如下。
【第三步】:图片的生成
好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。
如有侵权,请联系删除。
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
若有侵权,请联系删除!
总结
### 文章总结:《Stable Diffusion中手部问题的修复方法》**核心内容**:
本文详细探讨了在使用Stable Diffusion进行AI绘画时,常见的手部问题(如双手变形、手指缺失、手指多余)及其修复方法。主要介绍了三种修复手部问题的策略,每种方法均通过具体步骤和参数设置进行详细说明。
**方法一:图生图局部重绘修复**
- **流程概述**:首先,在图生图局部重绘功能中上传待修复图片;然后,使用画笔将待修复的手部区域涂白;接着,设置相关参数,如蒙版模式、采样器、迭代步数等;最后,利用大模型和正向提示词生成修复后的图片。该方法建议分两次进行,先修左手后修右手,且可能需要多次生成以获得满意结果。
- **特点**:存在随机性,修复效果与模型渲染能力相关。
**方法二:使用ControlNet的DWPose修复**
- **流程概述**:与方法一类似,先上传并处理图片;后设置ControlNet,选用OpenPose模型进行手部修复。
- **ControlNet设置**:控制类型选择“OpenPose(姿态)”,预处理器为dw_openpose_full,模型采用control_v11p_sd15_openpose。
- **特点**:操作便捷、可控性强,DWPose能自动识别并修复问题手部,但生成的对手指细节可能仍有不足。
**方法三:使用ControlNet的HandRefiner修复**
- **流程**:同样上传并处理待修复图片;在ControlNet中,使用HandRefiner相关设置(选择“Depth(深度)”类型,预处理器为depth_hand_refiner,模型为control_sd15_inpaint_depth_hand_fp16)进行手部修复。
- **特点**:针对手部细节优化,着重于手部深度和形状的修复,但需注意手指长度和连接处的精准度。
**附加内容:AIGC技术的前景与资源**
- **未来发展**:AIGC技术将在游戏和计算领域展现更为广泛的应用,与人工智能技术的紧密结合将推动其在多领域的发展。
- **学习资源**:提供了AIGC学习的全方位支持,包括学习路线、必备工具、学习笔记、视频教程合集以及实战案例,适合各阶段的学习者。
**结语**:本文通过详细介绍三种手部问题修复方法,为Stable Diffusion用户提供了实用的技术支持,并展望了AIGC技术的广阔前景,鼓励学习者深入了解和探索。