当前位置:AIGC资讯 > AIGC > 正文

深度解析丨AI绘画StableDiffusion如何实现模特精准换装,以及如何将假人模特替换成真人模特!

大家好,我是灵魂画师向阳

今天给大家分享一下用AI绘画Stable Diffusion 进行模特换装!本篇教程主要运用StableDiffusion这个工具来进行操作,下面会通过几个小案例,给大家展示不同需求下,我们该如何使用StableDiffusion来辅助我们完成服装效果展示。

本教程适用于电商设计场景、摄影场景等多个运用人物设计的实战中,全程干货,需要大家慢慢吸收,学会后轻松拿捏模特换装,let’s go!

教程开始前,我们需要安装好AI绘画工具Stable Diffusion,如果你还没有使用过这个工具,那么可以看看我的往期入门教程:AI绘画实操 Stable Diffusion 到底怎么玩儿,新手必看的AI绘画入门安装使用教程,安装包和本文所用到的所有模型插件我也打包好了,需要的小伙伴可以看文末扫描免费获取哦

虚拟AI模特制作

2.1 不一样的设计需求!

换个不一样的需求单,简单粗暴,直达灵魂最深处(本篇文章随性而为?)

2.2 前期准备

老样子,我们先把模型以及素材准备好:

1、SD大模型:majicMIX realistic 麦橘写实_v6

2、ControlNet插件模型以及黑白蒙版图

在大模型选择上,大家可以灵活点,用上一些主流的写实模型即可,后续我给大家分享一下Stable Diffusion一些主流模型,后续大家可以在我的主页看到。

Controlnet插件一般用活菩萨秋叶的启动包就会自带,不过各种预处理的模型需要自己安装一下,这里我也给大家准备好了,需要的小伙伴可以看文末扫描免费获取哦

准备一张黑白蒙版图片,注意以下几点:

1、用PS把“假人模特”部分填充黑色(即后续需要生成真人模特部分)

2、等比缩放尺寸(与原图比例一致),把这张图片的尺寸缩小,方便后续的操作;

3、白色区域为蒙版内容,黑色为非蒙版内容(SD内的蒙版原理)

2.3 提示词描述

正向提示词: Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,long hair,
最佳质量,杰作,超高分辨率,(逼真度:1.4),原始照片,1个女孩,长发

反向提示词(通用提示词,哪哪都可用):

(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,

2.4 图生图-上传重绘蒙版

重点来了,本案例的核心部分,就是使用图生图的【重绘蒙版】来进行模特的重新绘制。

如图所示,选择【图生图】,把上述的模型以及关键词加上,点击【上传重绘蒙版】,上传原图及蒙版图。

注意:原图及蒙版图尺寸要一致哦~

下面的参数直接抄作业即可,说几个重点参数:

1、蒙版边缘模糊度需要调整为0,这个参数类似于PS的羽化,把蒙版边缘进行模糊度处理。这里我用ps经过精准的抠图绘制成蒙版,所以不需要这个参数起作用,不然边缘会有原图的灰色在里面;

2、蒙版模式设置为【重绘非蒙版内容】,前面说过白色区域为蒙版内容,黑色为非蒙版内容,大家灵活往里面带入,黑白是可以切换的,后续调整【蒙版模式】即可;

3、重绘倍数选择2倍放大,我测试1倍图生成的效果不好,后期调整区间很大;

4、【重绘幅度】为0.5,太高会生成的乱七八糟。

2.5 初步跑图(批量)

把上述的参数调整好了之后,我们就可以进行初步的跑图了,可以调整总批次数量(显卡一般的控制在4左右)。

到这一步基本上就差不多了,挑选一张相对满意的图片,可以进行细节上的优化,比如手部及脸部等。

2.6 局部重绘细节处

把选中的图片上传到【局部重绘】中,用画笔涂抹需要修改的地方,把下方的蒙版模式改为【重绘蒙版内容】,点击生成即可。

可以重复多次使用局部重绘功能,把脸部和手部分开重绘,效率会更高点,同时,也可以通过修改正向关键词,来重绘涂抹地方,比如加上长发等等。

这个案例就说到这里,后期还有优化空间,大家会这个操作方法才是本次案例的核心,来看看对比吧~

三、inpaint anything插件

使用 Segment Anything,用户可以通过简单地指向所需区域来指定蒙版,而不是手动填充它们。这可以提高蒙版创建过程的效率和准确性,从而可能获得更高质量的修复结果,同时节省时间和精力。

3.1 inpaint anything安装

插件下载地址:https://github.com/Uminosachi/sd-webui-inpaint-anything
(该网址需科学上网,插件下载请扫描免费获取哦)

安装完成后刷新【web-ui】即可看到这个插件,之后需要下载Inpaint anything的模型(模型下载请看文末扫描免费获取哦),看操作路径即可。

3.2 生成蒙版图

先准备一张模特图片,上传到【Input image】中,点击运行。

右侧会出现【语义分割色块图】,按照下方步骤操作。

说明一下:我们选中的区域,它会给我们在下方高亮显示,选中的部分在后面会给我们生成黑白遮罩图。

之后在左侧找到以下的选项,按步骤操作,你就会得到一张蒙版图,最后发送到图生图中~

后面的操作是不是很熟悉了,就是第一个案例的操作,这个插件就是为我们生成蒙版图。

3.3 换个模特吧

回到图生图,模型及关键词用第一个案例的,无需做出任何改动,下方的参数也不需要动,只需要把尺寸调整下,与上传图片的尺寸一致即可。

搞定了,就这么简单,有问题的地方发送到【局部重绘】中,修正调整即可。

来看一下对比:

我们还可以扩展一下,只能换人吗?我们换个衣服试试。

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

3.4 换件衣服吧

上面是保持衣服不变,更换人物。生图原理就是利用图生图蒙版功能,大家应该知道怎么做了吧,我们只需要把蒙版模型改动一下即可。

我们先把正向关键词改动下吧,把关于人物的描述删掉,更换成【yellow clothes】黄色衣服试试:

Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,(((yellow clothes))),

下面参数有两个点需要注意:

1、蒙版模式改为【重绘蒙版内容】;

2、重绘幅度调大一点,之前是0.5,现在我们改成0.7,不然衣服颜色是黄色+红色相结合的颜色。

然后生成一批图试试~先埋个坑,哈哈哈!

怎么样,还可以吧?,是不是发现这动作不对,胳膊乱飞~那咱们就继续往下看。

3.5 Openpose姿势控制

其实大家做图的时候要灵活运用功能,就上述生成的姿势是有问题的,解决这个问题方法就可以用openpose,提取原图的姿态。

使用方法如下图,没什么难度,抄作业即可。

再次生成,模特的姿势就成功的还原了,很完美!可以通过修改关键词来调整衣服的颜色以及款式,完事~

四、自定义模特

换个一个场景,上面两个案例都是有模特的素材,如果没有模特只有一件服装可以生成模特图吗,也是可以的,我们往下看:

4.1 准备素材

当我们有一张服装图时,还需要准备两张应用在stablediffusion的素材图:

1、一张服装白底图(应用在controlnet上);

2、黑白蒙版图(应用在重绘蒙版上)。

注:黑白蒙版图可以用上面提到的插件做哦,别忘记用了。

4.2 安装3D 骨架模型编辑 (3D Openpose)

先说下思路,当我们只有服装时,我们需要在服装基础上创建一个人物,stablediffusion是无法精准的基于服装生成人物,所以我们需要使用【3D Openpose】这个插件来创建一个人物骨架图,然后运用【controlnnet】插件来精准控图。

安装插件跟上面一样,插件下载网址在这:https://github.com/nonnonstop/sd-webui-3d-open-pose-editor/tree/main
(该网站需科学上网,如无法下载,请扫描免费获取哦)

安装完成后,重启【web-ui】即可在这看到【3D Openpose】,关于这个怎么用很简单,大家尝试着用用,熟悉一下即可(我个人觉得不是很好操作)

4.3 创建人物骨骼图

进入到【3D Openpose】,把原图放进来,然后调整骨架与图片的对应位置,可以根据自己的想法调整骨架姿势,需要多尝试用几遍。注意:图片尺寸一定要设置好,一定!

调整完之后,点击【生成】,点击【发送到controlnet】,点击【发送到图生图】即可。

注意:基于写本篇教程的sd版本,我们需要先到【图生图】模块把controlnet先勾选启用,发送才有效!

4.4 设置controlnet及重绘蒙版

回到【图生图】的controlnet中,我们需要使用两个controlnet插件,第一个就是【openpose】,其次是【canny】。

1、【openpose】只需选择该模型即可,预处理器不用选择;

2、【canny】目的是控制服装边缘,上传前面准备的白底图,如果你前面蒙版图没有抠细致,这一步很重要。

重绘蒙版与前面两个案例一样,包括模型与关键词,一模一样即可。

4.5 跑图完成

上述参数设置完成后,跑图即可,剩下的细节之处本教程就不做演示了,与第一个案例一样,细节之处有问题的地方使用【局部重绘】修正即可,或者是PS处理下(话说PS Beta好像不能用了?)

怎么样,应该都看会了吧?

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

总结

**文章总结**:
本文是“灵魂画师向阳”分享的一篇教程,主要讲解如何使用AI绘画工具Stable Diffusion来实现模特换装的效果。教程覆盖了电商设计、摄影等多个实战场景,从基础知识到高级技巧,内容丰富且实用。
**核心内容概述**:
1. **工具准备**:首先引导读者安装Stable Diffusion及必要的插件(如ControlNet、inpaint anything、3D Openpose等),并提供了安装包和插件的获取方式。
2. **虚拟AI模特制作**:
- **前期准备**:选择合适的模型(如majicMIX realistic麦橘写实_v6)和素材,准备黑白蒙版图。
- **提示词描述**:使用正向和反向提示词来描述生成图片的风格和质量要求。
- **核心操作**:利用“图生图-重绘蒙版”功能,上传原图及蒙版图进行模特绘制,调整相关参数(如蒙版边缘模糊度、重绘倍数、重绘幅度等)优化效果。
- **细节调整**:通过批量跑图挑选满意图片,使用“局部重绘”优化手部、脸部等细节。
3. **高级技巧与应用**:
- **inpaint anything插件**:快速生成蒙版图,进一步简化模特换装的操作过程。
- **Openpose姿势控制**:利用该插件解决生成图片姿势不准确的问题,确保模特姿势与原图一致。
- **自定义模特**:只有服装素材时,使用3D Openpose插件创建人物骨架图,结合ControlNet插件生成完整人物图。
4. **AIGC技术展望与学习资源**:
- 介绍了AIGC技术的广阔前景及其在游戏和计算领域的潜在应用。
- 提供了AIGC所有方向的学习路线、必备工具、最新学习笔记、视频教程合集和实战案例资源,帮助学习者全面掌握AIGC技术。
**总结**:
本教程系统而详细地介绍了如何使用Stable Diffusion进行模特换装,涵盖了从工具安装到高级技巧应用的全过程。通过实际案例展示和详细参数调整,使读者能够轻松上手并实现高质量的AI绘画效果。同时,还展望了AIGC技术的未来发展,并提供了丰富的学习资源,助力学习者深入理解和掌握AIGC技术。

更新时间 2024-09-18