现在Stable Diffusion也能做到把一张真人的照片转绘成动漫风格,在保持人物大概形象不变的同时为图片添加合适的背景。
时间仓促(有点糙)
WebUI的操作(流程演示)
这种操作在WebUI里面不算难,大概一分多钟就能完成这样的操作。
1、首先找一张想要进行转变的图,为了比较好进行操作我找了一张总体颜色比较素的照片。
Merjic老师模型的经典封面
然后查看这张图片的原始尺寸比例,并且在WebUI中调节生成的尺寸。
2、这里需要去到Tagger这类提示词反推工具里进行该图片的提示词识别,然后点击发生到文生图将结果直接导入到文生图界面中
3、在导入之后就可以更换一个想要的动漫画风的大模型,并且选择自己喜欢LoRA。
如果选择的LoRA模型不多的话就不需要花费太多时间在调节模型质感和权重上,由于我选的这个Checkpoint整体风格我蛮喜欢的,所以这里我就不额外添加LoRA了。
如果有额外添加风格类LoRA的话,还需要将触发的提示词粘贴到提示词框里。负面提示词不知道要怎么写的话可以直接照搬这个:
easynegative, lowres, text, error, extra digit, fever digits, cropped, (worst quality:1.2), low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, lowres graffiti,
4、一般的话需要开启ControlNet来控制诸如人物姿势、线条轮廓等图片的关键特征。
这里选择开启的是OpenPose和Lineart两个预处理器,权重可以根据自己的需要进行调节,没有的话维持默认就行。
5、点击生产,然后就可以在文生图里面得到一张成品图了。
因为初始的图片分辨率并不高,所以还需要再做一个额外的放大处理。
6、点击图片下方的发送到图生图按钮。
然后拉到最下方的脚本那里,选择Ultimate upscale或者ControlNet Tile这类工具进行参数的设置。
7、之后点击生成,这个过程大概持续一分钟左右。
当然这个只是简单的流程演示,如果想要修改细节错误整体更好看的话还需要反复生成修改(我这一次性生成的细节就有问题,就需要再修改)。
如果后续要做几十张甚至近百张的话,这个时间成本其实是很高的。如果背景比较喜欢不想变动,只想改变人物风格的话还得去局部重绘里手动涂鸦一下蒙版。
ComfyUI的操作
(连线连得头大,文末有链接好的工作流可以直接用)
在进入ComfyUI的时候都会自动加载上次做图的进度,这里直接选择Clear掉然后Load Default,这样ComfyUI就会自动加载出一个默认的文生图工作流。
1、双击空白处搜索选择一个加载图片Load Image的节点,然后把初始图片导入其中。
2、如果上篇文章中有下载额外的节点包的话,可以搜索一个Get Image Size节点,将Load Image的IMAGE与Get Image Size的image进行连接。
然后找到Empty Latent Image节点,这个节点是WebUI中的生成图片尺寸选项,在改节点鼠标右键选择Convert width to input和Convert heighty to input,这样就可以把宽和高转变为两个可以连接的点。
然后再将Empty Latent Image的width和height与Get Image Size的width和height连接。
这样后续生成的尺寸就会自动与导入的图片尺寸“同步”了,当然没下载这个Set Image Size也没关系,直接自己调节尺寸参数也行。
3、如果有下载额外的节点包的话可以搜索一个Tagger节点,这个功能就类似于WebUI的图片反推提示词,可以刚好地帮助AI复现原图的内容。
然后再将Tagger的STRING连接到CLIP TextEncode(Prompt)的text即可。
如果没有这个Tagger的话,就在提示词框像是在WebUI里面一样输入提示词就可以。
4、在ComfyUI中也需要选一个大模型和若干LoRA搭配来实现需要的转绘效果,CheckPoint是默认有的,LoRA的节点需要额外进行搜索加载,不清楚怎么加载的小伙伴可以看这篇文章。
黑丝或者白丝,都可以用LoRA(Stable Diffusion进阶篇:ComfyUI 附加网络)
不过有一点要注意,LoRA是需要提示词里面加入触发词才能触发,但是选择了Tagger节点的小伙伴会发现提示词框是没法输入LoRA的。
这里就可以搜索一个条件合并(Conditioning Combine)的节点
这个节点可以把两个文本编码器(或其他节点)输送的条件conditioning组合到一起。
而这里要做的就是额外添加一个CLIP Text Encode(Prompt)节点来输入LoRA提示词,然后与其他节点进行连接。
在这里Conditioning(Combine)的CONDITIONING节点并不能直接和KSampler进行连接,因为中间还有ControlNet。
5、关于ControlNet的节点怎么放置可以看看上一篇笔记,或者直接跟着我下图一样连接节点。
因为我就打算用两个ControlNet,所以就加载了两个Load ControlNet Model节点和两个Apply ControlNet节点。要用的ControlNet和WebUI用的一样,加载了OpenPose Pose和Realistic Lineart(真人风格原图)。
这里最后的一个Apply ControlNet节点的CONDITIONING就可以连接到KSampler上的positive了。
当同时加载了多个ControlNet并且只想使用其中的一到两个的时候,只需要把不用的ControlNet的权重(strength)设置为0即可。
当然还有另一个方式,右键选择节点后找到Bypass(忽略)选项:
这样一来这个节点就会变成这种透明紫的颜色,这代表着工作流在运作的过程中仍会按照原本的方式进行,但在经过这个节点的时候会忽略掉,不会让其发挥工作。
像这样就忽略了整一组Lineart的节点了:
恢复也很简单,也是鼠标右键选择Bypass后就变回原本的颜色了。
6、最后在从最开始的Load Image节点那里将图片的信息都连接到用预处理器上:
然后就可以点击生成了:
可能有点不像,这是因为ControlNet中我的ControlNet模型出现了一点问题。在这次使用ComfyUI中我的其他Openpose等模型加载不出来了,我会在后续解决:
不过这样一来就有了一个完整的图片生成流程了
这样的生成好像和在WebUI里面没有什么区别,这样费劲吧啦创建一个工作流的作用就是在生成第二张图片的时候不需要进行任何额外操作,只需要把最左边Load Image节点里的图片更换一下就好了。
当然还有一些进阶的节点可以自动读取本地文件夹中的图片,然后自动进行批量转绘。甚至觉得生成的图片太小的话,可以在最后的VAE和Save Image节点中间添加个放大的节点。
这个放大节点所需要的所有参数都可以从前面的节点调用,当然也可以在这个节点里自行设置放大模型和参数。
当然有小伙伴学到这里可能就麻了,这连线什么的真的好麻烦。
这里不得不提起原教程UP的贴心,直接在视频结尾放了一个完整的工作流。
这个下载链接我也放在了文末,不过运行这些节点仍然需要下载好对应的节点包和模型。
今天的内容就到这里啦!
这篇笔记里分别走了一次WebUI和ComfyUI的转绘流程,如果只是单张或少量图片的转绘肯定还是WebUI方便一些,但是如果是大批量的图片转绘ComfyUI会更有优势。
这还是要看小伙伴们根据自己的实际情况进行选择了,希望这篇笔记能够帮助到有需要的小伙伴。
ComfyUI的入门篇就暂告一段落,我会在下篇笔记中分享并上传我开始学Stable Diffusion以来所有的模型(包括CheckPoint、LoRA等),希望可以帮助到那些没法翻梯子去Civitai的小伙伴。
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
报错指南
环境配置
脚本更新
后记
.......
二、ComfyUI基础入门
软件安装篇
插件安装篇
......
三、 ComfyUI工作流节点/底层逻辑详解
ComfyUI 基础概念理解
Stable diffusion 工作原理
工作流底层逻辑
必备插件补全
......
四、ComfyUI节点技巧进阶/多模型串联
节点进阶详解
提词技巧精通
多模型节点串联
......
五、ComfyUI遮罩修改重绘/Inpenting模块详解
图像分辨率
姿势
......
六、ComfyUI超实用SDXL工作流手把手搭建
Refined模型
SDXL风格化提示词
SDXL工作流搭建
......
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
总结
本文章详尽描述了两种常用方法来把一张真实人像图片转化成具有动漫画风格的作品——分别在WebUI与ComfyUI上完成了这样的过程转换,适用人群多样且适用情景有所不同。主要归纳总结如下:1. **在WebUI中将图片转变为动漫画风的简单步骤**:
1. 上传一张较为基础的色彩不过分的图像到WebUI;
2. 用“Tagger”等软件根据上传照片产生关键字反推到图中的元素提示,这有助后面自动化生图质量更高;
3. 将这些信息传递给特定卡通效果模型和适当的LORA参数模块来增加丰富的插画艺术特质。记得若有独特期望LORA加成或增强局部描述以更佳触发动机则填定关连词短语以及合适的Negetative字眼改善成效剔除无关的或是异常杂质效生图形偏差等问题 ;
4. 选取控调节重要绘制条件比如说图形体式的塑形掌握控制图 ( OpenPose ),边条的层次感的构成应用Linenr算法库调节去改进输出色觉的还原体验等等属性影响以力求提升品检评分 ,设置完善一切预准环状态再点击行动化处理创建产出最终结果了,为了细致展增更大辨区展示层级可考虑进一步的局部尺度规模修正扩张其表达细致广度后再取鋸完整交付收幕任务需求作业产品出口面世待签等即示业告终交代罢了啦(文风进行了归纳后整合以确保理路性流走简洁可騤),也预告修正局部有误状况频繁生见必然事件 依待继 加以回追处调试查确保工作作品更为完美的表以状出来交易公量达成消费所需双方 洽心 对诚. 。
5. 更广泛及海量的多次变动替换编辑可能以满足更深挖掘期望制作呈现完整状态实现于动画上操作环节阶段若有必要之些 ;如有独特心目中心怡图片场地不希望为之过调整更新亦可转为直造设单量个别覆盖旧稿复杂方法; 以调整抹除法来实现完成满足设定状态.。
流程精炼时间代价与技艺产出效应比对颇为关注处所在于其经济效力综合看是否呈划算是应然方向侧重度量结果重点应含豍参重数据判断项间取; 但如若视此情仅为普通玩玩打发用时少量参与此道工序足可使任务操作结束以供作自己存眷兴物罢 . .(这部分融合了背景提升及对流程和策略的解释阐述和实用意,适中对较长的原字予以归纳总结以确保理解和条理更为通达简易 .).。
总结整体高效模式尤便捷度高是单程变换短期工作而想系统化效率大量绘制且可控更佳情况应用采取进入稑U层面转换进程构建合适通态流线则可展得宽广范畴操达力度水平价值增长区间展现高效表现效用来呈转工获实质推动优容成就进步优势积累于本职工技艺内能力上升获得更显显层次效助力用体演技.。。 。