一、简介
checkpoint是什么,网上查了不少信息,大致说法是经过训练后,所保存的快照,也可以称作风格,但如果使用基础checkpoint,如SD1.5,那么他是什么风格?如果不加风格的提示词,是会随机吗?所以我们验证下
二、使用到的checkpoint
1. v1-5-pruned-emaonly.safetensors(https://hf-mirror.com/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors?download=true)
2. majicMIX realistic 麦橘写实_v7.safetensors (https://www.liblib.art/modelinfo/bced6d7ec1460ac7b923fc5bc95c4540)
三、不指定图片风格生成随机的图片
checkpoint: v1-5-pruned-emaonly.safetensors
prompt:a cat,looking at viewer,
总批次数:5
生成图片:
可以看出,生成的图片偏写实。
四、使用脚本中的x/y/z plot生成5张不同风格的图片
checkpoint: v1-5-pruned-emaonly.safetensors
prompt: a cat,looking at viewer,cartoon,
x轴类型选择:Prompt S/R
X轴值:cartoon,realistic, oil_painting,sketch, dreamlike, hand drawn
生成的图片
生成的图片的风格确实不一样
五、使用某个写实风格的checkpoint生成不同风格的图
checkpoint: majicMIX realistic 麦橘写实_v7.safetensors
prompt: a cat,looking at viewer,Anime,
x轴类型选择:Prompt S/R
X轴值:Anime,realistic, oil_painting,sketch, dreamlike, hand drawn
生成的图片:
可以看出画风仍然偏向写实
六、 总结
从以上的实验可以看出,在特定的checkpoint下,风格已经固定了,即使写风格提示词,也不能达到想要的效果,因此,如果想生成某个风格的图片,可以使用相应风格的checkpoint,或者使用SD原生带的checkpoint,另外有些checkpoint支持多种风格,可以试试。
另有一个不成熟的想法,因为这个checkpoint都是基于SD的原始checkpoint训练的,所以理论上SD原生checkpoint能生成的,基于他的其他checkpoint也能生成,只是风格的偏向不同。就像我用人像的checkpoint也可以生成猫一样。
友情提醒:对于低配低显存的笔记本,请不要使用4G或以上的checkpoint,有可能会加载崩溃或无法再次启动。如果遇到这种情况,把这个大的checkpoint从存放checkpoint的目录种移开就可以了。