作为AI绘图头牌的Midjourney和Stable Diffusion,其风格提示词都相同
Midjourney是收费的在线服务,通过discord对话形式来生图,局限较大,但由于官方模型做得好,因此效果非常完美;
Stable Diffusion可以本地部署,自定义参数多,并且可以有各种插件来实现绘画、蒙版、人物骨骼限定等等功能。
预先学习:
安装及其问题解决参考:《Windows安装Stable Diffusion WebUI及问题解决记录》; 运行使用时问题《Windows使用Stable Diffusion时遇到的各种问题整理》; 模型运用及参数《Stable Diffusion 个人推荐的各种模型及设置参数、扩展应用等合集》; 提示词生图咒语《AI绘图提示词/咒语/词缀/关键词使用指南(Stable Diffusion Prompt 设计师操作手册)》; 不同类的模型Models说明《解析不同种类的StableDiffusion模型Models》; 绘制人物动作及手脚细节《Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)》; 各种风格对比及实际运用《AI绘图风格对照表/画风样稿详细研究记录及经验总结》;本文试着逐一渲染stable diffusion中几十种风格效果,并且针对场景运用、失败原因、改进方法等情况进行分析研究,文中所有图片都是大图,可点击浏览,如果对你有用记得点赞+关注+收藏哦~~
内容比较多,所有图片都是可以看到的,但需要多刷新几遍,之后我将再出一个简约版的对照表用于快速查询。
随着研究深入,总结部分也会保持更新。
风格一览
1. 原生参数
photorealistic, absurdres, 8k, (1cute girl) walking in street, half body,
Negative prompt: easynegative
Steps: 65, Sampler: Euler a, CFG scale: 7, Seed: 3472141699, Size: 1024x512, Model hash: a60cfaa90d, Model: dreamshaper_5BakedVae, Clip skip: 2, ENSD: 31337
利用controlnet约束边缘
利用controlnet约束人物动作
之后每种风格生四张图及若干知识点拓展的比较图
用高清修复方法将原始512*256
的图扩展为1024*512
;
部分图片会使用人脸修复、局部重绘等;
其采样迭代步数改为20~32
;
半身像词缀采用half body
词缀,如果不出半身则可能采用upper body
词缀,部分风格可能使用全身像full body
;
去掉正向提示词:photorealistic
, absurdres
, 8k
;
反向提示词easynegative
和nsfw
看情况使用;
正向提示词只更换风格词缀;
四格画主要变动的规则分别为:
controlnet限制,种子固定
controlnet限制,种子不固定
controlnet不限制,种子固定
无限制
2. 全息彩虹色 (holographic iridescent)
((holographic iridescent)),(1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((holographic iridescent)),(1cute girl), half body,
1
2
3
4
3. 赛博朋克 (cyberpunk)
((cyberpunk)),(1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((cyberpunk)),(1cute girl),(mechanical body), half body,
1
2
3
4
4. 浮世绘 (ukiyoe)
((ukiyoe)),(1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((ukiyoe)),(1cute girl), half body,
1
2
3
4
5. 搅拌机3d渲染 (blender 3d)
可尝试配合背景色进行渲染,比如:pastelbackground
((blender 3d)),(1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((blender 3d)),(1cute girl), half body,
1
2
3
4
6. 摆拍 (knolling)
((knolling)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
这是什么风格?完全看不出来。加上easynegative
看看。
去掉街道再试试,物件人物平铺?
((knolling)), (1cute girl), half body,
1
2
3
4
5
加上art
再看看,有没有哪个设计师有感觉了?
((knolling art)), (1cute girl), half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
现在明白这里的摆拍真的就是摆着拍了吧?
具体解释如下:
“knolling是用于画出一张简洁而有条理的图像的。Knolling是指在摄影或绘画中将物品整齐地排列成水平和垂直线条的过程。在Stable Diffusion中,它表示将图像的元素排列整齐、有条理。因此,当你看到这个提示词时,你可以尝试将图像的元素整齐地排列,让图像看起来更有组织性,更易于理解。”
7. 等距3D模型 (isometric / isometric 3d cube)
((isometric 3d cube)),(1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
加上easynegative
试试,也差不多,都是不能理解这是个什么风格。
去掉街道试试。
((isometric 3d cube)),(1cute girl), half body,
1
2
3
4
真的就是个方块???加上art
试试。
((isometric 3d cube))art,(1cute girl), half body,
1
2
3
4
好吧,静心想一想,这到底是个什么风格?哈哈,其实这个风格用来描写场景才是合适的。
((isometric_3d_cube)), buildings, trees, road, cars
1
2
3
4
既然所有的房子都像个cube
,那么就加入反向提示词cube
,于是风格像个样子了。
((isometric_3d_cube)), buildings, trees, road, cars
negative prompt:cube
1
2
3
4
再加入反向提示词easynegative
,将图像尺寸变成1:1,看看是不是出你想要的图了?
最后试着用Leonardo生图,意思是一样的。
1 2 3 42023.5.14 为了制作相关内容,才发现之前出现那么多问题其实是因为多了3d cube
这个词缀,如果只用isometric
那情况就好很多,比如我要做一个食品安全监管的内容,可以这么写:
((Isometric)),Laboratory,food, (magnifying glass)
negative prompt:((completely flat))
1
2
3
4
((Isometric)),Laboratory,food, magnifying glass,render objects and elements in an abstract, symbolic manner, exaggerate scales and proportions, diverse and varied results
negative prompt:((completely flat))
1
2
3
4
研究记录,以后有空了单独写一篇。
研究所用提示词如下:
((Isometric)), conveying monitoring, foods
negative prompt:((completely flat)),((highly realistic 3D)),just about food itself,too focused on cooking or kitchen,Avoid extreme photorealism,specific brand or product,too artistic or abstract
Flat vector、Flat、vector、2.5D image、2.5D这五个提示词失败,他们不是关注监视器,就是关注视频,场景也不是以2.5d的形式来表现。
Low poly art、Isometric、2.5D illustration这三个成功,但Low poly art似乎更倾向于将物体拆分罗列,而不会将物件整合在一张图里。
用2.5D illustration连续出图10张,其中6张可用,其余四张并不符合要求,都是纯平面;
用isometric连续出图10张,10张皆符合要求。。。
1
2
3
4
8. 像素风 (8bit/16bit pixel)
((16bit pixel)),(1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
用pixel art
词缀再来一套
((pixel art)),(1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((8bit pixel)),(1cute girl), half body,
1
2
3
4
9. 简笔画风格 (stick figure)
((stick figure)),(1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
这是剪影,还是动漫风?去掉街道,感觉来了
((stick figure)),(1cute girl), half body,
1
2
3
4
10. 贴纸化(design a sticker)
((design a sticker)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((design a sticker)),(1cute girl), half body,
1
2
3
4
11. 荧光颜料 (fluorescent)
((fluorescent)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
换上art
,来一次,情况好一点,街道上的等也出现霓虹了。
((fluorescent art)), (1cute girl)walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
但看得出,在这个模型下,荧光效果更多地被AI理解成了霓虹灯,因为街道这个词缀给我们的模型带来很多困扰,现在把街道去掉,仅留人物,效果就有了。
((fluorescent)), (1cute girl), half body,
1
2
3
4
看一组反向提示词有easynegative
限制的,照片级程度更高。
12. 刺绣艺术 (embroidery art)
((embroidery art)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
和荧光效果一样,街道的词缀限制了AI,让刺绣艺术更多呈现了具体的刺绣艺术品。现在去掉walking in street
,AI自由发挥一下才能看到效果还是有的~~
((embroidery art)), (1cute girl), half body,
1
2
3
4
换个模型试试,同样没有街道,效果更明显
1 2 3 413. 剪纸艺术 (paper cut craft)
((paper cut craft)), (1cute girl) walking in street, half body,
这次先用反向提示词easynegative
限定一下。
现在把反向提示词easynegative
去掉。。。。,出图几率大大提高(在另一台机器上加了这个easynegative
也没有太大影响,怪)
看见没?去掉easynegative
,加art
或是不加,都可以出图。这里来一组看看controlnet会不会影响出图。
((paper cut craft))art, (1cute girl) walking in street, half body,
有art
无art
无art有openpose
无art有openpose和canndy
去掉街道
((paper cut craft)),(1cute girl), half body,
1
2
3
4
14. 折纸艺术 (layered paper)
((layered paper)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道出一次图
((layered paper)), (1cute girl), half body,
1
2
3
4
很显然,这个风格是不对的,那么应该如何才能表现折纸风呢?想一想,平时是不是单个物件来表示是比较合适的?那么就来只鸟吧
((layered paper)), 1bird,
1
2
3
4
15. 橡皮泥风格 (plasticine)
((plasticine)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
无街道
((plasticine)), (1cute girl), half body,
1
2
3
4
16. 水墨画(chinese ink style)
((chinese ink style)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((chinese ink style)), (1cute girl), half body,
1
2
3
4
变成景色描写
((chinese ink style)), hill, moutain,
1
2
3
4
17. 皮影戏艺术 (chinese shadow puppets)
((chinese shadow puppets)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((chinese shadow puppets)),(1cute girl), half body,
1
2
3
4
皮影戏是戏,那我们可以描述得详细一些,比如女孩骑在马上穿行在山间
((chinese shadow puppets)), (1girl)riding a horse through the mountains, left is trees, right is trees
1
2
3
4
18. 移轴摄影风格 (tilt-shift photography / axis shifting photography)
((tilt-shift photography)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
要知道移轴是用来表现大场景的,现在给个city
测试一下
((tilt-shift photography)), city,
1
2
3
4
19. 平面涂鸦风格 (graffiti art, 2d, illustration)
((graffiti art,2d,illustration)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((graffiti art,2d,illustration)), (1cute girl), half body,
1
2
3
4
交替渲染的方式生图
(([graffiti art|2d|illustration])), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
交替渲染,去掉街道
(([graffiti art|2d|illustration])), (1cute girl), half body,
1
2
3
4
这是一个混合后才能生成的风格,三个风格本身是有差别的,一个比一个平,我们看一下各自风格对应出图情况。
种子固定和controlnet限制 graffiti art 2d illustration controlnet限制 graffiti art 2d illustration 种子固定 graffiti art 2d illustration 无限制 graffiti art 2d illustration再来一组各风格随机。
graffiti art 1 2 3 4 2d 1 2 3 4 illustration 1 2 3 420. 仙女系 (fairy kei fashion)
((fairy kei fashion)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((fairy kei fashion)), (1cute girl), half body,
1
2
3
4
21. 超现实主义(surrealism)
((surrealism)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((surrealism)), (1cute girl), half body,
1
2
3
4
22. 创世纪风 (genesis)
((genesis)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((genesis)), (1cute girl), half body,
1
2
3
4
好像没有创世纪的感觉~~那么我们加入点宗交元素。
((genesis)), (angel), cloudy sky, the steps, ceiling
1
2
3
4
23. 潜意识 (subconsciousness)
((subconsciousness)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((subconsciousness)), (1cute girl), half body,
1
2
3
4
这些和潜意识有什么关系呢???潜意识画风的定义是指一种表现手法,用来表现人物内心深处的情感和想法。这种表现手法通常使用一些模糊、朦胧的画面来表现人物的梦境、幻觉、回忆等,要么这样试试?
((subconsciousness)), sea, sun, buildings, ball, cliff, elephant, elephant, nose, hand, foot, rope
1
2
3
4
对比一下同样的提示词和参数,不同风格下的感觉,不是都很魔幻么???
潜意识 浪漫主义 超现实主义 哥特风24. 浪漫主义 (romantic)
((romantic)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((romantic)), (1cute girl), half body,
1
2
3
4
25. 哥特风景和建筑 (gothic architecture and landscape)
((gothic architecture and landscape)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((gothic architecture and landscape)), (1cute girl), half body,
1
2
3
4
26. 宫崎骏风格 (studio ghibli)
((studio ghibli)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((studio ghibli)), (1cute girl), half body,
1
2
3
4
27. 马里奥风格 (mario style)
((mario style)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((mario style)), (1cute girl), half body,
1
2
3
4
28. 皮克斯风格 (pixar style)
((pixar style)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((pixar style)), (1cute girl), half body,
1
2
3
4
29. 我的世界风格 (minecraft)
((minecraft)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((minecraft)), (1cute girl), half body,
1
2
3
4
30. 乐高积木 (out of LEGO)
((out of LEGO)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((out of LEGO)), (1cute girl), half body,
1
2
3
4
31. 教堂窗户(stained glass window)
((stained glass window)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((stained glass window)), (1cute girl), half body,
1
2
3
4
32. 艺术家Mr.Doodles的风格(Mr.Doodles style)
((Mr.Doodles style)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((Mr.Doodles style)), (1cute girl), half body,
1
2
3
4
33. 涂鸦意大利面(graffiti pasta)
((graffiti pasta)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((graffiti pasta)), (1cute girl), half body,
1
2
3
4
34. 强迫性绘画(obsessive compulsive drawing)
((obsessive compulsive drawing)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((obsessive compulsive drawing)), (1cute girl), half body,
1
2
3
4
35. 宝可梦风格(pokemon style)
((pokemon style)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((Pokemon style)), (1cute girl), half body,
1
2
3
4
36. 卡通(cartoon)
((cartoon)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((cartoon)), (1cute girl), half body,
1
2
3
4
37. 建筑设计(architectural design)
((architectural design)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((architectural design)), (1cute girl), half body,
1
2
3
4
38. 海报风(poster style)
((poster style)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((poster style)), (1cute girl), half body,
1
2
3
4
39. 多视图(multiple views)
((multiple views)), (1cute girl) walking in street, half body,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
去掉街道
((multiple views)), (1cute girl), half body,
1
2
3
4
到底怎么实现原画三/多视图呢?来了。注意:加上动作提示词会比较容易出好图
photorealistic, 8k, (background, white background:1.5), multiple views, 1cleaning lady, smile, full body
1
2
3
4
总结
1. easynegative
将污染特色风格
easynegative
作为一个整合了众多反向提示词的词缀(需要安装到embeddings目录下),一般情况下用起来很舒服,但是他内在要求画与真实世界相仿的表现,所以在某些模型下对某些风格会起到重大的污染,导致想要的风格丧失,转而偏向照片风格,但如果利用好,则可以生出精致的图。
2. half body不代表上半身
half body
作为最后一个词缀,且没有设置权重,那么让AI自由发挥的时候往往出图是全身照,有时候出现的是下半身,所以half body
并不是最好的词缀,如果明确是上半身,那么用upper body
更合适,当然upper body
也不能确保一定是上半身,记得结合权重。
3. 可加上style和art来实现效果
Stable Diffusion不同模型对提示词的识别度不完全一致,可以加上加风格style
、art
等词缀试试效果。同时
比如荧光效果中,没加art
的时候,AI的理解是荧光棒,而不是荧光风格,加了之后情况就好多了。
比如在荧光颜料风格中,都用了
easynegative
反向提示词,都写明街道可能导致场景增加荧光物体而人物风格却不变,但如果不写街道,那么人物的主体风格也是荧光风格,而不是穿着荧光材料,这一点需要注意。
写明街道
写明街道
未写街道
未写街道
4. 任何配置变化都将影响出图
同样的模型,不同版本,不同电脑上渲染,出图结果差异非常大,也就是说不同的机器需要不同的调试。
比如在机器1和机2上渲染荧光效果,同样的边缘动作控制,两台不同电脑模型相同,但版本不同,出图效果还是有差异的,机1似乎完全忘了要荧光这件事。
5. 注意匹配风格所需的元素提示词
不同风格需要不同的适用提示词才能表现出该风格。
比如等距3D模型主要是运用于场景出图,但如果你给了人物为主的提示词,甚至有controlnet限制,那么结果将大相径庭。
人物为主:
((isometric 3d cube)),(1cute girl) walking in street, half body,
物体为主:
((isometric_3d_cube)), (buildings), trees, road, cars
人物为主1
人物为主2
物体为主1
物体为主2
6. 不同种子出图差异大
同一个模型,同一套提示词,参数也都一样,但因为种子不同,效果可能差异非常大,。
比如这个
((isometric 3d cube)),(1cute girl) walking in street, half body,
种子:2513253825
种子:2961024435
种子:2663910581
种子:2663910578
7. 不同风格词缀的混用冲突
不同风格词缀在初学时尽量不要混用,否则你并不清楚不同的提示词到底会绘制成什么样子。
比如本文所用photorealistic
是照片感,与浮世绘、像素风放一起,将会将其污染,看下图,图片是日式,但离浮世绘的感觉还有距离,更偏照片一点;而像素风索性是被污染最严重的一种风格。
8. 风格混用
在掌握了一定的风格后,你就可以尝试把不同的风格混合在一个图像里,形成你所需要的内容
比如出一个伪3D像素风格的图片,那么可以这样:
比如出一个伪3D荧光风格的图片,那么可以这样:
1 2 3 49. 自定义风格
很多自定义风格需要在现有基础上重新改造
比如重写个粗笔速写,但还不是那么速(也可以把marker sketch
换成simple sketch
试试)。
((marker sketch)), (black and white)style, (simple lines), ((only black lines)), (white background), (simple background), high contrast, basic shapes, (1cute girl) walking in street, half body, white face
Negative prompt: ((gray)), colorful, gradient, color gradient, light, fine lines, messy lines, small lines, black face,
种子固定和controlnet限制
controlnet限制
种子固定
无限制
10. 系统出错导致风格污染
偶尔系统会出bug,在使用了controlnet后,将导致风格污染严重。
就像是把照片模式吃进了系统中无法修改,如果你遇到了这个问题,重启ai也没用,那么我建议你重启电脑再试试吧。
比如下图中,参数模型一摸一样,但出图人物差异严重。
11. controlnet的canny影响出图
做过边缘限定的出图,部分模型会受较大影响,而使用openpose限定动作的情况则会好转很多。
比如下面两张简笔画风格;
12. controlnet对不同的模型的影响不同
有些模型能出现正确的风格,有些模型局限性就非常大;
比如剪纸艺术中,两个模型都用controlnet限制边缘和动作,但结果却完全不同
13. 不同版本的controlnet出图可能不同
不知道是bug还是正常,同样的模型,同样的参数,同一台电脑,但时间不同,并且系统升过一次级,则出图不同。
比如下图中,参数模型一模一样,连种子都一样,结果出图完全不同。
((holographic iridescent)),(1cute girl) walking in street, half body,
Negative prompt: easynegative
Steps: 32, Sampler: Euler a, CFG scale: 7, Seed: 3472141699, Face restoration: CodeFormer, Size: 1024x512, Model hash: a60cfaa90d, Model: dreamshaper_5BakedVae, Clip skip: 2, ENSD: 31337
昨天
今天
14. 模型不同出图肯定不同
模型不同,参数不同出来的图肯定不同,我们也需要利用这个原理寻找适合作品要求的模型。
比如水墨画风格的天净沙·秋思,出图感觉完全不同
((chinese ink style)), withered, vines, old trees, gloomy, crow, small bridge, flowing water, people's home, ancient road, west wind, thin horse, sunset, heartbroken, person, at the edge of the sky
dreamshaper
dreamshaper
v1-5-pruned-emaoonly
v1-5-pruned-emaoonly
15. 同一模型的不同版本出图效果可能不同
同一个模型的不同版本,可能无法实现同样的效果。
比如以下实现等距3D模型,同样的提示词,不同模型版本,有的往往不能正确理解到底这个cube
到底干吗用~总是把房子变成cube
。
((isometric_3d_cube)), buildings, trees, road, cars
// 表里后两个有反向提示词
Negative prompt: cube
dreamshaper_5BakedVae
dreamshaper_331BakedVae
dreamshaper_5BakedVae
dreamshaper_331BakedVae
参考:
Midjourney关键词与风格类比【附关键词】