当前位置:AIGC资讯 > AIGC > 正文

AIGC-ComfyUI工作流基础篇-入门教程

一、前沿

随着人工智能技术的日益成熟和广泛应用,艺术创作领域正经历着一场革命性的变革。特别是AIGC(人工智能生成内容)技术的崛起,为内容创作提供了前所未有的高效和便捷。在这场变革中,Comfyui作为一款前沿的AI绘画软件,正引领着艺术创作的新潮流。

ComfyUI是一款基于Python和PyTorch的图形界面,用于构建和运行深度学习模型,特别是生成对抗网络(GANs)。它提供了一个用户友好的环境,让研究人员和开发者能够轻松地实验和探索不同的模型架构和参数。其设计目标是简化实验流程,使得用户无需编写大量代码即可进行复杂的深度学习研究。由于篇幅过长,就分为基础篇和进阶篇两部分了,此篇为基础入门篇,下篇是进阶应用篇。如有描述错误的地方,欢迎指正!

二、ComfyUI基础介绍

ComfyUI是一个基于节点式流程的stable diffusion绘画工具WebUI,通过将stable diffusion的流程拆分为节点,能够一键加载/定制大量的工作流和完善的可复现性,相较于我们常用的WebUI,ComfyUI有着轻量化、模块化以及灵活性的这些优势,劣势的话就是操作界面复杂,学习成本较高,对新手不太友好。下面通过本篇文章,带领你了解ComfyUI具体的使用方法。

没有ComfyUI

2.1、ComfyUI与WebUI对比优劣势

优势:

(1)轻量化:比SD更省内存,出图速度比SD快,硬件要求低,3G以上内存也能很好工作;

(2)模块化:按需启用不同模块,自由度高;

(3)灵活行,工作流机制,可以把以往复杂多个页面切换使用的步骤在一个流程里面都搞定;

(4)可以保存和共享工作流,可以使用别人的工作流,也可以分享给别人

(5)基于这种架构,适合快速研究新东西

劣势:

(1)操作界面复杂,学习曲线更大,对新手不友好

(2)需要了解一些关于AIGC的底层的知识,要了解编码器、采样器等相关知识,ComfyUI就像拼积木,你需要了解一个完整的流程需要干嘛,才会挑选对应的积木来拼起来这个工作流。

据说是3G以上显存的GPU上也能工作,单从降低电脑配置方面来说,ComfyUI就很值得来学了,总的来说,ComfyUI优点大于缺点,只要你完全掌握了,它能给你带来无限的可能,所以,有兴趣的小伙伴可以跟着我一起来学习ComfyUI技术,一起提高,那么,我们开始吧!

三、ComfyUI安装与配置

3.1、ComfyUI安装方法

由于本地部署的方式有多种,这边就选择最方便的一种来说明,就是直接使用秋叶大佬的整合包,一键安装方便快捷,整合包无需安装git、python、cuda等任何内容。

整合包下载链接可以自行B站搜索秋叶或者公众号回复:ComfyUI安装包

下载完成后,解压压缩包。打开ComfyUI的目录,找到启动器,双击启动即可。

来看看界面,玩过SD整合包的,一定对这个界面很熟悉,与WebUI界面一致,只是功能不同而已,点击一键启动即可。

整合包的插件支持在启动器这边安装,具体大家自行体验。

3.2、模型安装方法

3.2.1、独立模型配置

如果你只使用ComfyUI,点击进入ComfyUI的根目录,找到models的文件夹,对应找到checkpoints、controlnet、embeddings等文件夹,对应放置模型即可,他们分别放置什么类型模型具体看下图。

3.2.2、共享模型配置

如果之前有使用过Stable diffusion的话,那官方早就帮我们想到这点了,ComfyUI支持模型共享使用Stable diffusion的,就不需要额外在下载重复的模型占用内存了。

同样我们还是找到ComfyUI的根目录,找到extra_model_paths.yaml.example这个文件

改名成extra_model_paths.yaml,也就是把尾缀的example去掉,然后直接双击打开

将base_path后面的这个路径,改成你SD的文件路径即可,这个是对应你SD的大模型;

将Controlnet后面路径也改成你WebUI对应的Controlnet的models路径,改完后的结果如下,最后保存即可。

然后重启你的ComfyUI,你就会发现可以选择的模型变多了。(如果没反应检查下前面的步骤是哪一步弄错了)。

3.2.3、各种模型存放路径

这里将comfyUI里面的目录结果做一下介绍,你可以和SD公用,也可以单独使用,下面路径保存对应的模型。

下面是官方版本的路径存放,秋叶整合包的也类似,自己对比下即可。

/ComfyUI\custom_nodes:各种安装的插件存放路径

/ComfyUI\models\checkpoints:大模型存放路径

/ComfyUImodels/loras:lora存放路径

/ComfyUImodelslembeddings:embeddings 存放路径

/ComfyUI\models/vae:vae存放路径

/ComfyUIoutput :图片保存路径

/ComfyUI\pysssss-workflows:工作流保存位置

3.3、内存小于3G设置

如果你的GPU内存小于3G,需要调整下脚本,依旧是打开ComfyUI的根目录,找到run_nvidia_gpu.bat这个文件,路径看下图

右击记事本打开,在后面添加上–lowvram,保存即可

四、必备的插件安装

这里只推荐2个必备的插件,是你开展后续工作的必备选项。

1、插件管理器

2、中文汉化插件

插件管理器这个插件很重要,有了它后,就有了一个统一管理插件的地方,后面需要的一些插件,直接通过这个管理器来安装即可。所以这个插件算是排在第一个要安装的。

插件地址:

https://github.com/ltdrdata/ComfyUIManager

ComfyUI 的插件都放在路径:\ComfyUI\custom_nodes

下面然后重启下 ComfyUI 即可。

【如果你是安装的秋叶整合包,就可以跳过这一步。因为已经默认就自带了很多插件,也包含了这两个,重复安装反而会报错】

这时候你就会发现多了个Manager的按钮

点击它就会弹出插件管理的页面了

到这里,就算成功了,下面我们就通过这个插件安装第二个插件,也就是中文翻译器

打开插件管理器,在这输入关键词Translation

重启之后你会发现变成中文了,如果后续还想使用英文版的话,点击打开设置,在语言这一栏,切换你想要的语言即可。

目前支持的语言有:简体中文 (zh-CN)、繁体中文 (zh-TW)、英语 (English)、日语 (Japanese)、韩语 (Korean)

五、ComfyUI文生图工作流搭建

5.1、出你的第一张图

以上的前期配置工作都完成的话,目前你离画出第一张图就差最后一步了

在最左边节点随意一个模型,右边执行提示词队列(也可以快捷键Ctrl+Enter运行)就可以出图了

这样你就制作出你的第一张图了,是不是很有成就感呢

那就接着往下看,详细介绍里面的节点功能以及使用方法

5.2、工作流节点介绍

启用ComfyUI后,默认的工作流是文生图,(如果你前面使用过ComfyUI,那么加载的会是你上次关闭的工作流)这里是所有工作流的基础,所以我们一定要知道这的每个节点是用来干嘛的。

为了更好的了解每个节点的功能,我们在右边菜单找到清除按钮,并点击清除,删除界面中所有的节点,目的就是让大家亲手搭建一下工作流,以便更好的了解他们的作用。

5.2.1、加载顺序介绍

在工作区的空白界面右击,会弹出一些列的节点,这里展示出来的顺序其实也是推荐的顺序,选择一个K采样器,这样,我们的工作区就添加了一个K采样器的节点。

这个采样器,左侧有4个输入节点,右侧有1个输出几点,随便一个节点拖出来后就会弹出对应的推荐节点,所以是很方便的(下面会详细介绍如何连接节点)

这里我们先由上往下介绍K采样器中的参数配置:

1、随机种,对应的是stable diffusion中的seed值,每一张生成的图片就会有对应的数值,默认为0;

2、运行后操作,里面对应的有固定、增加、减少、随机四个参数

这两个参数是搭配使用的,固定是指固定该图片的seed值,增加或者减少则对应数值的+1或者-1,随机则代表该数值的随机。

3、步数,对应的是stable diffusion中的迭代步数,意思就是我们要在这幅画上面花多少笔,画的越多,画面的细节就越多,但不是说步数越多就越好,电脑配置比较低的时候,可能就会带不动,出现照片无法生成的情况,所以,电脑配置较低的设置20-25步,配置较好的就设置25-40左右;

4、CFG对应stable diffusion中的提示词相关性,参数越大,所生成的图片越接近提示词;反之越小,则生成的图片和提示词差异越大,这个数值不要太高,一般设置10左右,默认为8。

5、重点讲一下K采样器中的两个参数:

采样器和调度器,在stable diffusion里面这2个是合在一起使用的,在comnfyUI中却是分开的,我们常用的是dpm++_2m Karras,这里的pp就是webui里面的++的意思

采样器选择dpm++_2m,调度器选择Karras,就等同于webUI中的DPM++_2m Karras,以此类推其他的采样器和调度器。

调度器说明:

这里其实就是一些降噪曲线

normal是线性的

karras是曲线降噪,较为平滑

exponential急速降噪,收敛较快

sgm_uniform需要配合上面的lcm搭配使用

6、降噪这个参数就是输入输出有个加噪和减噪的过程,基本是不用去动的,默认1即可。

5.2.2、加载大模型

如图所示,在模型这个节点拖出来,可以看到一些推荐的节点,添加Checkpoint加载器,也就是大模型的节点,后面添加节点的方式也是一样的,就不重复演示该操作。

5.2.3、加载文本提示词

提示词是通过CLIP文本解码器来运行,所以正负提示词拖出后,选择CLIP文本编码器

然后你会发现CLIP文本编码器和前面拖出来的大模型都有个CLIP的节点,原因是模型要通过文本进行了总结和压缩计算,所以这里我们就将他们连接上。

5.2.4、加载图片尺寸修改

如果是文生图,需要生成一个空白的图片,这里的话就是对应采样器输入的Latent节点,在这个节点可以设置你要生成的图片的大小尺寸。

5.2.5、加载VAE解码器

前面输入和采样都介绍过了,这时候需要输出图像了,需要再K采样器右边输出方向找到Latent,拖出来,找到一个VAE解码器

5.2.6、加载图片生成区

通过VAE解码之后,就是要变成图片了,在VAE解码器的右边图像节点拖出来,选择保存图像即可。

5.2.7、大模型与VAE解码器互连接

这时候点击运行会报错,因为还差最后一个步骤,需要把大模型的VAE与VAE解码器相连接起来,才算是一个完整的流程。

到这里,一个文生图的工作流就搭建完成了

图片保存路径,可以在ComfyUI的根目录找到output文件夹

六、ComfyUI图生图工作流搭建

这里开始解释ComfyUI中的图生图的流程,图生图流程只是在文生图的基础上做了一些小改动,只要把控Latent变成我们具体要参考的图片即可,把图片当做第一次采样的参考。

6.1、图生图流程

在前面的文生图的基础上修改一下流程,在空白地方按下面顺序加载图像这个节点

具体图片的话,流程都需要先经过VAE解码器后才接入到采样器的,所以这里我们将加载图像右边的图像节点拖出,连接一个VAE解码器节点,这时候才可以去连接到采样器的输入端Latent(看到这里大家可能会有疑问,那我的控Latent控制图片尺寸的要怎么连,别急,下面会讲到的)最后也需要将VAE节点与大模型的去链接才行,不管是CLIP编码器还是VAE解码器都是需要大模型提供的,所以都需要连接上的。

还有一个小技巧,在连接节点的时候,大家应该也注意到了节点上是有不同颜色的,相同颜色的节点才可以连接。

另外,这里采样器的降噪就是重绘幅度了,范围是0-1,数值越大则越不像原图,越小则越像

6.2、修改尺寸

上面的只是图生图的最基本工作流,你会发现图片好像无法修改,只能用参考图默认尺寸。

如果想要控制输出的图片尺寸,则需要修改工作流,在加载图像这里拖出来右边的图像节点拖出来,按下图所示找到图像放大的节点,通常用到的就是图像缩放和图像按系统缩放

如下图所示,将节点连接起来

图像拖放可以设置具体的宽高,也是最常用的,第二种就是直接设置缩放的倍数

后面常见的缩放在下一篇进阶篇会具体讲到,目前大家主要知道这里可以调整尺寸大小即可。

七、ComfyUI工作流的使用技巧

7.1、界面操作

一般启动后的界面默认都是文生图的,除非之前用过,启动的页面就是之前关闭的工作流

7.1.1、创建节点

前面在文生图和图生图的时候都介绍过,在空白区域右击可以打开节点目录,可以在目录中选择节点,可以看到里面是有非常多的节点的,但是大家不用紧张,我们常用的就几个,其他的可以后面学习的时候再了解;

7.1.2、搜索节点

节点太多了,有时候记不得所要的节点是在哪个菜单下的,这时候可以通过搜索节点的方式来快速找到所需的节点,只需要在空白区域双击鼠标左键呼出搜索窗口,知道节点名称的话,可以在左边的搜索框快速找到,也可以在右边下拉窗口找到对应类型的节点;

7.1.3、各节点之间的链接

每一个节点都有输入和输出的两个节点,分别位于节点的左右两侧,可以看到他们节点的颜色都是不同的,不同之间的节点组件只有相同颜色的节点才可以连接,连接方式也简单,从一个节点拖到另一个节点上即可连接;

如果想取消链接,则在输入这边拖出来即可,就会自动断开连接了;

7.1.4、执行菜单

在整个页面的最右侧,你会看到这么一个菜单

最上面的添加提示词队列就是用来生成图片的,对应的快捷键是Ctrl+Enter(回车键)

多次重复点击的话,就会变成队列,最上方的队列大小的数字0就会变成对应的数字,然后一次执行

点击显示队列,可以显示出目前在排队等待执行的任务,你可以手动去关闭某一个任务

依次而下,下方有个保存功能,分为保存到工作量和保存json两种选项,默认点击保存是另存为json,点击后会出来一个弹窗,命名好好点击确定,就会自动下载待json尾缀的文件了;

保存到工作流的话,点击下方的加载就会有记录,点击对应需要的工作流就能打开了

重刷新:字面意思,刷新界面

清除:点击后就会删除点当前界面的流程图,请勿轻易点击

加载默认:点击后就会加载默认的文生图工作流

切换语言:如果安装过翻译插件,点击后就会在中文与英文界面中来回切换

管理器:这个是最重要的功能了,在前面讲到过,是用来安装、管理我们的插件以及节点用的

7.2、加载工作流方式

想要加载别人的工作流的话,这边分享两种常用的形式,一种是图片形式,另外一种是json文件形式

7.2.1、图片形式加载

使用ComfyUI生成的图片,将该图片拖入ComfyUI界面即可,因为所生成的图片会记录该生成的工作流;也可以在右侧的菜单中点击【加载】按钮,选择生成的图片打开,工作量也能展示出来;

7.2.2、json文件加载

在右侧的菜单中点击【加载】按钮,然后打开我们保存好的json文件,工作流也就加载出来了;

7.3、工作流分享网站

在这里分享几个工作流分享的网站,这也是学习ComfyUI必备的网站

https://comfyworkflows.com/

https://www.esheep.com/app

网站上面分享了比较常用或者流行的工作流,我们可以直接拿来使用,体验最新的功能

这里一排是分类,可以看你喜欢或者想要的功能去点击

在网站中找到满意的工作流,点击进去,常用的就我圈出来的几个地方

点击显示的工作流,可以查看每个节点的连接信息

下载节点,直接拖入ComfyUI中使用

复制JSON,直接复制节点信息,在ComfyUI粘贴即可显示对应工作流

复制过来使用一般会有一下两种情况:

1-使用的模型或者lora缺失;

2-缺少自定义节点,需要安装

这两点在下面会详细讲到。

7.3.1、使用的lora或者大模型缺失

这种情况是最简单的,就是对方保存的工作流里面使用的大模型或者lora文件你是没有的,界面会标红,如下图所示,标红的节点是需要你去修改的,大模型或者lora替换成其他即可,如果非要一样的,那么久去C站或者libi上面下载对应的模型,丢在前面所讲的模型安装路径下即可,这种不用重启ComfyUI前端,只需要刷新页面就可以选择新模型了;

7.3.2、缺少自定义节点

这种情况的话是比较常见的,别人使用的工作量,你打开大概率就会缺少一些节点

这时候就需要手动去安装缺失的节点,在右边菜单找到管理器,然后点击安装缺少节点

这时候就需要手动去安装缺失的节点,在右边菜单找到管理器,然后点击安装缺少节点

这时候会弹出安装节点的界面,依次点击安装即可,安装完后记得重启ComfyUI,这样你的节点就不会标红,可以正常使用了。

7.4、常用的快捷键

下面是一些比较常用的快捷键,也可以去官网查看更多的快捷键

https://github.com/comfyanonymous/ComfyUI?tab=readme-ov-file

八、总结

以上的话就是本篇ComfyUI常见工作流的一些使用技巧介绍了,都能掌握的话就等于打好了一定的基础了。首先十分感谢你能看到最后,尽管在学习的过程中,你会遇到除了本篇文章提到外的各种各样的问题,但请不要灰心!一步一步的去解决你的问题,你将会得到意想不到的收获!

写在最后

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

总结

更新时间 2024-08-01