前言
大家好,我是写编程的木木。
前面几篇有讲到Comfyui的安装和入门基础的文生图,图生图加上CN和局部重绘的工作流教程,这工作流是基于sd webui的工作流原理跟大家简单讲了Comfyui工作流的基本原理。
今天我们通过拆解组合的方式再稍微深入拓展给大家讲一下Comfyui的工作流原理。
一、原理讲解
通过基础的文生图工作流,我们可以拆解成几个部分,通过分析,我们可以得到基础的工作流原理是:模型+提示词+尺寸分辨率设置+采样器+VAE解码+生成的图像。
通过拆解分析后,我们发现,从K采样器这里拆开,之前的模型+提示词+尺寸设置,都汇总到K采样器这个节点,所以可以理解为,在K采样器前的所有条件,都是作为条件组合【输入】给K采样器,通过K采样器汇总采样,输送给VAE解码,最终生成图像。
通过合并,我们总结为以下三个部分,我们把条件输入称为“条件空间模块”,K采样器模块称为“潜空间”,VAE解码生成图像称为“像素空间”,这三个模块组成了Comfyui的完整工作流。
即Comfyui的基础工作流原理=条件空间+潜空间+像素空间
这里有必要说一下,潜空间是整个工作流最核心的节点,整个工作流是通过这个潜空间对前面的条件进行“加工”,这里的加工处理,是对图像的加噪和去噪过程,最终生成符合我们输入条件的图像,而这里的图像还不能直接展示出来,需要通过VAE解码,将潜空间的图像转换成像素空间的图像后才能展示出来。
了解了Comfyui的工作流原理,那如果我们需要给工作流加上Lora和Controlnet,怎么加?我们知道这两个条件是要对图像进行条件的输入,那么是需要加在潜空间模块之前。
在Webui中我们知道,lora是加在正向文本里的,但是在Comfyui,lora有单独的节点,我们双击画布空白处,搜索Lora,就可以找到Lora节点并点击就可以添加到画布。
二、拓展Lora模型链接
如果你想添加多个Lora,可以重复上述步骤添加,也可选中当前lora节点,通过键盘的快捷键Ctrl+C,Ctrl+V进行复制。
然后通过串联的形式,将Checkpoint模型和Lora模型的模型接口对应链接上,将CLIP接口链接上,最后CLIP对应链接到文本编码器(正负提示词节点)即可。对应Lora选择相应模型即可。
三、拓展Controlnet连接
我们知道在webui中,Controlnet是以插件的形式存在的,如果我们是第一次使用Comfyui,需要下载Controlnet模型和对应节点。
安装Controlnet插件节点:Controlnet_aux插件,通过manager节点管理器搜索点击按钮即可安装,以下截图是已安装完成的。
下载Controlnet模型,放置在Comfyui的对应模型文件夹下
安装完成后,重启Comfyui,我们就可以在画布空白双击弹窗搜索Controlnet,就可以将节点添加到画布,添加后,我们发现Controlnet的输入连接点是“条件”,那我们需要将他放置在“文本编码器”的后边。
连接条件后,我们发现,Controlnet节点还有两个连接点分别是青色和蓝色的点,我们可以反向拉出来,选择添加Controlnet模型节点和openpose预处理节点,连接添加图像节点。
然后我们添加图像,选择Controlnet模型 sd 1.5 openpose,就可以简单出图了。
通过openpose提取参考图像的姿势,得到一个姿势和参考图一样的新的图像。
通过以上的拆分和讲解,我们基本上了解Comfyui的基础原理,之后自己搭建更加复杂的工作流,基本是按照这个逻辑来进行搭建。
好了,以上就是今天的全部内容了,我们持续探索更新AIGC的设计相关思路教程。
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
若有侵权,请联系删除
总结
**文章总结**:本文由编程爱好者木木撰写,深入探讨了Comfyui这一AIGC(人工智能生成内容)工具的工作流原理及其拓展应用。开篇回顾了Comfyui的基础安装与文生图、图生图等基本工作流程,随后通过拆解组合的方式,详细阐述了Comfyui的核心工作流原理,即“条件空间+潜空间+像素空间”三大模块构成的完整流程。
**核心要点包括**:
1. **原理讲解**:工作流分为条件输入(模型、提示词、尺寸设置)、潜空间(K采样器)处理加噪去噪,以及VAE解码生成图像的像素空间,其中潜空间为核心处理模块,负责根据条件生成潜像,再通过解码输出最终图片。
2. **Lora与Controlnet的拓展**:
- **Lora模型**:通过单独节点添加,可复制多个,并通过minValue等参数调整影响权重,链接至文本编码器前后以调节特征输入。
- **Controlnet模型**:需先行下载安装插件和模型,然后添加Controlnet节点并放置于适当位置,可搭配Openpose等预处理节点,控制图像生成的具体特征如姿势等。
**实用技巧与未来展望**:
- 提供了Lora和Controlnet的详细操作步骤,帮助用户扩展工作流的复杂度和功能性。
- 展望未来,AIGC技术将在游戏和计算领域得到更广泛应用,结合AI技术进一步拓展其边界。
**附加资源**:
文末还贴心地为AIGC技术爱好者提供了从学习路线、必备工具、学习笔记、视频教程到实战案例的全面支持,助力有志于AI绘画与AIGC技术的朋友快速成长。
**总结**:本文通过深入浅出的方式,不仅解析了Comfyui的工作流原理,还提供了丰富的拓展方法与实践指导,为AIGC领域的学习者和实践者提供了宝贵的参考。