当下已进入如火如荼的全民AI时代,最近体验了下midjourney,使用它的以图生图功能生成出来一套三国人物画像,和大家分享下使用心得。
使用midjourney的准备工作
下载工具
使用midjourney生产图片依赖的工具和流程,大致如下:
[1] 下载Discord App [2] 添加Midjourney Bot [3] 发送交互指令 [4] 生成图片 midjourney.com
是midjourney
的官网,可以跟随网站引导提示完成使用体验。较为推荐和常见的使用姿势是在discord.com
下载discord app
后添加midjourney bot
来进行指令交互完成图片生成。
交互流程
对于图片的生成主要是通过输入给midjourney一些prompt和参数来完成的。
prompt 可以分为文本和图片两种类型,可以同时存在施加干预 参数 常用参数如--ar
指定图片比例、--v
midjourney版本等
参考midjourney参数
以图生图
指令
以图生图的指令结构非常简单,如下:
/imagine [url] [prompt] [param]
url:上传到midjourney的图片url
prompt:影响midjourney的提示
param:midjouryney支持的参数配置
出图流程
[1] 上传图片:在本地选择一张图片上传到midjourney
,支持jpg
、png
等通用格式,而bmp
等格式需要转换后方可上传
[2] 复制图片地址:复制图片地址以备发送交互指令后使用
[3] 发送交互指令:
/imagine https://s.mj.run/wws8EMAvHdE
she is a woman,in ancient China,2 foot tall doll in pixar::2
--ar 3:4 --v 5 --q 2 --s 750
--no braid,barbarians,earrings,glasses,wrinkle,baldness
[4] 生成图片:根据出图体感做v1~v4
、u1~u4
、prompt
调整直到生成最满意的图
初体验
文字生图/以图生图的差别在纯文字prompt的场景下,生成出来的图是一个几乎全未知的结果,需要进行大量的prompt调整才可能达到要求,在我进行纯文字prompt测试的case中几乎没有一张能够满足我的出图要求,这既有个人指令熟练度、覆盖度的原因,也有文字prompt相对局限性的问题,当下涌现了很多prompt网站,很多近乎成品的图和对应prompt被分享出来,但是拿着一致的prompt不一定拿到一致的图,存在很大的随机性、不稳定。
但是,以图生图的好处是可以通过一个已经存在的图像,让AI来识别,基于“模板”来进行二创,在我进行以图生图prompt的测试case中拿到满意出图效果。如果你的出发点是通过已有图片做较为稳定性的出图,比如给自己的照片做卡通形象,以图生图是很好的一种实现形式。
模型数据影响对于出图描述体感上更符合欧美人群,而且亚裔人的描述并不是很符合现实,猜测和训练数据有一定关系,如果prompt不进行细节描述,描述很难符合预期。
最佳实践
总结一句话就是:喜欢的原型图 + 喜欢的风格 = 二创满意的图!
第一步: 在prompt分享网站找到自己喜欢的midjourney生成好的图片,如https://lexica.art/ ,大部分是支持关键字检索的,可以检索自己期望的风格、物品等描述。 第二步: 查看它的prompt进行参考,过于简短的prompt没有太大参考价值,主要参考哪些风格系描述,如cartoon(卡通)、painting(绘画)等,这里我想要给我找到的原型图卡通一点的形象,我抽取了prompt为2 foot tall doll in pixar (皮克斯的 2 英尺高娃娃)
作为我的出图效果设定。
第三步 对图片细节进行详尽描绘,具体可以参考如下人物特征描述。如果你对于细节要求不高,对出图效果比较佛系,可以简单描述核心特征即可。比如我在二创三国人物时候,会给简单prompt提示,如:
//性别
a man,
//中国古代
in ancient China,
//皮克斯风格,这里配置了权重::2,增强midjourney的感知
2 foot tall doll in pixar::2
//我需要3:4比例的图片
--ar 3:4
如果需要更为详尽的人物特征刻画,可以参考下面这组prompt。值得一提的是,并不是事无巨细越全越好,而是要挑选重点进行描述,以图生图的好处之一是已经有一个成型的图片模板,AI会识别它的特征,而我们二创只需要基于它进行“改版”做适当微调就可以。
错误陷阱
在使用过程中也遇到很多badcase,这里分享下:
颜色敏感在一个测试case中发现,midjourney对颜色词汇非常敏感,但是也容易产生混乱,比如:
//带红色的帽子
wearing a red hat,
//穿绿色的衣服
wearing a green clothes,
有时候会只识别到一种颜色,而且会把整个画面变得过于“色彩化”。
配合权重设置权重设置可以参考上面的参数列表使用,它相当于是prompt的手动调优,让AI“重视”你的选择和倾向。比如,我在使用皮克斯这个风格的时候AI有时会”忽略“我的prompt,因此我会设置它的权重,增强这个prompt的存在感。
//设置权重,增强存在感
2 foot tall doll in pixar::2
画“手”很难
AI对手的描述并不是很好,很多时候可能是“4指怪”、“6指怪”,握住东西,拉开一张弓等等,都是比较难的动作,需要反复调优prompt或者“碰运气”。
女性角色更容易从我自身测试case来看,女性角色的以图生图刻画更贴近并且更容易接受一些,出图效果更符合预期,男性角色可能由于图画中夹杂了更多的人物外物品如刀、枪、弓等,原型图刻画张力更复杂有关系,偶尔会出现匪夷所思的效果。
效果展示
下面是一些没有做太多微调的粗制版,供大家参考。
原型图 皮克斯风格