当前位置:AIGC资讯 > AIGC > 正文

Midjourney如何实现多人物一致性(简易版)

做AIGC相关领域实习的一个多月里,接触到了很多AI工具。AI工具高效而聪明,但囿于技术的限制,在使用过程中仍然存在一些问题。

作为ai绘本制作者,使用Midjourney绘图时如何保持人物一致性就是一个困扰我许久的难点。经过反复尝试,或许有一些小办法可以减轻这个问题对作品效果带来的影响。

一、问题点

目前,Midjourney有两个命令可以影响一致性:–sref会影响图片风格一致性,–cref可以影响人物一致性。为演示cref效果,生成图1(下图)

如果要让黄裙女孩煮饭,可以使用cref指令,生成图2(下图)

此处没有设定cw指数,默认为100,会捕捉整个角色,因此把图1中举手的动作也捕捉进去了。两张图人物一致性还是不错的,脸部、头发、服饰都能沿用下来。

然而在实际操作中,会发现这cref命令的效果只有在画面包含一个人时有比较好的效果。如果画面中有两个及以上的角色,尤其是角色为同性别时,出图效果就会大打折扣。

例如图3(下图),生成一个老奶奶和一个小女孩的画面。

直接用这张图进行角色迁移,生成效果令人两眼一黑,即图4(下图)。

从图4我们可以知道,出现两个人物时,MJ不能很好地理解哪个是”老奶奶“,哪个是“小女孩”,从而无法分配两个角色的特征。于是张冠李戴,出现U3的情况。或是将两个人物合二为一,出现U2、U4。只有U1的人物保持了角色一致,但是小女孩体型和老奶奶差不多大,和原图也不一致,无法使用。

二、其他人是怎么做的?

在各个平台上搜索“MJ多人物一致性”,搜出的攻略基本上都是以单个角色作为展示基础,几乎没有我想要的答案。

根据同事的介绍,很多使用者都是靠PS解决这个问题的。也就是分别生成多个角色,再把这些角色抠出来P在同一张图里。

在CSDN上,博主“AI绘画小33”也提出了自己的方法,即生成一个大致符合要求的图片作为底图,基于底图,用局部重绘功能,将不合适的角色面容替换掉,并且逐步修改细节,最终生成效果图。(可以在CSDN上搜“Midjourney角色一致性如何控制两个人物”找到这篇文章。)

B站上,有博主搬运了一个外网视频。这位外国使用者通过垫图和修改prompt来达到预期效果,并且试验出了MJ人物一致性的技术盲区,例如,在保持两个动物或两个同性别的人的一致性时容易出错等。
三、我的需求

我对MJ的需求主要是英文绘本制作。首先通过ChatGPT生成英语故事,再将故事改编为一个包含中英文字幕、画面描述的脚本,最后要求ChatGPT根据画面描述生成MJ指令。

这些故事千奇百怪,无法避免地会出现动物或是同性别人物的场景。而对绘本来说,人物、风格的一致性至关重要。如果按照以上三种方法,我将花费大量时间在调整一致性上,大大影响我的工(摸)作(鱼)效(时)率(间)。

因此我的需求很简单:步骤尽量少,效果尽量好。“步骤尽量少”一方面指的是不怎么需要动脑,只要根据一定的流程就能操作,另一方面也指操作步骤少,为达到效果而花费的时间少。

“效果尽量好”意味着我并不要求每个细节都完美无缺。在绘本视频中,一张图片最多只展示五六秒,观众并不会在意细节。只要人物们看上去长得差不多即可。对于自媒体创作而言,效率更为重要。

效率和质量难以兼得。如果需要更为精致的图片,第二大点中的三个方法可能会带来更好的效果。

四、我是怎么做的?

要想实现绘本故事的连贯性,画面既要风格一致,人物们的特征也要相似。从这个思路出发,综合运用sref和cref两个指令,能带来不错的效果。我将通过一个工作中的实例来说明。

第一步:算清整个故事有多少人物,将它们放在同一张场景下,生成“大合照”,即图5(下图)

这是关于小女孩和母亲一起去超市购物的故事。故事只出现两个人,即小女孩和妈妈。此处的主要人物特征为:小女孩长发绿裙,妈妈短发白裙,共四个。理想情况下,四个都要达到。

第二步:分别截出小女孩和妈妈的单人照,如图6(下图),如果故事里有画面只需出现小女孩或妈妈个人,则使用对应单人照进行垫图。

第三步:当要获得该母女在厨房的场景时,通过新的prompt+sref+图6,生成同一风格的新图片,此处sw设为100 ,生成图7(下图)。

需要注意的是,这里sref后加的参考图,是小女孩的单人照!如果用了双人照,将产生特征混乱的情况。

此时,新的图片可以很好地表现人物的动作,赋予了图片故事性。同时也继承了原图的风格。现在要做的是把两个人物的特征纠正过来。

这四张图中我对U4的动作最满意,因此选择V4,继续进行修改。

第四步:prompt+cref图5+cw 20,如图8(下图)

生成图9(下图)

图9中的人物为小女孩绿裙短发,妈妈白衣短发,即达到了四个特征中的服装部分,保持了母亲的头发特征,同时也比较好地模仿了人物脸部。最后选择U1作为故事配图。

和原图对比一下(左为原图,右为通过该方法生成出的新图)

不足之处还是有的,小女孩的头发从长发变成了短发(变成了母亲头发同款),母亲的裙子变成了蓝色半裙。但是大部分特征还是得到了保留。对于一个短视频来说,还是够用了。

五、总结

方法:生成“大合照”——截出单人照——新prompt+sref单人照+sw100,此为图A——从图A的四张图中挑选一张,点V1/2/3/4——prompt不变+cref大合照+cw20,生成最终想要的图

优点:画风一致,人物长相相似,快速且简单,如果生成不出合适的图,多试几次

缺点:细节不足,特征只能留下一半。随机性高,不适合对画面要求比较高的使用场景

再次说明,这个方法依然存在不足之处。如果您有更好的方法,请通过私信的方式告诉我,我将及时回复。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除!

总结

**文章总结**:
本文通过作者一个月在AIGC领域实习的经历,深入探讨了使用Midjourney进行AI绘本制作时面临的人物一致性挑战。文中首先提出了在利用Midjourney的AI绘图工具时遇到的问题:在多角色场景下保持人物一致性的困难。随后,作者对比了几种解决方案,包括使用图片编辑软件PS、基于AI生成的底图进行局部重绘、以及通过垫图和调整prompt的方法。然而,这些方法在效率和效果上无法满足作者的特定需求——即制作英文绘本时要求的高效率与一定的人物一致性。
作者自创了一种简洁有效的解决方案:首先生成包含所有角色的“大合照”,再截取单人图用于单角色场景的垫底,最后通过组合使用sref和cref指令调整整体风格和个别人物特征。这种方法在保证效率和人物特征一致方面有着较好的平衡,尽管在具体特征保持上存在一定局限性。
最后,文中提供了一套AIGC学习的完整资料,包括学习路线规划、必备工具、学习笔记、视频教程和实战案例,旨在帮助感兴趣的人士更好地学习和实践AI生成内容的相关知识。
**核心点**:
1. **问题与挑战**: 使用Midjourney进行多角色AI绘图时,保持人物一致性困难。
2. **解决方案**: 自创的“大合照+单人垫底+指令调整”方法,适合中高效率的绘本制作场景。
3. **学习资料提供**: 文中末尾分享了丰富的AIGC学习资源,旨在促进AIGC技术的学习与应用。

更新时间 2024-07-18