前言
对 AIGC 技术感兴趣,加个关注,保持联系:
ComfyUI 是 Stable Diffusion 的一个基于节点组装绘图流程的图形用户界面(GUI)。通过将不同的节点
连接在一起,你可以在 ComfyUI 中构建图像生成工作流
。一个完整的工作流看起来像下面这样:
ComfyUI 工作流的样子
我们的 ComfyUI 入门系列教程已经发了 2 篇:
[ComfyUI 入门教程(1):安装 ComfyUI]
[ComfyUI 入门教程(2):从文本生成图像的流程]
这篇教程我们来继续介绍使用 ComfyUI 来进行图生图。
本文涉及的工作流和插件,需要的朋友请扫描免费获取哦~
1、使用 ComfyUI 进行图生图
1.1、下载并加载图生图工作流
要进行图生图,你可以直接下载官方提供的 img2img 工作流来使用:https://comfyanonymous.github.io/ComfyUI_examples/img2img/img2img_workflow.png
下载完成后,将此工作流图像拖放到 ComfyUI 中加载。它长这样:
img2img workflow
1.2、操作使用图生图工作流
图生图工作流与文生图工作流的比较类似,差别就是就是增加了图片作为输入之一,同提示词一起来指引主模型生成新的图像。所以我们这里就不详细介绍与文生图中同样的步骤了。
要使用此 img2img 工作流生成图像,你可以进行如下最简操作:
1、在 Load Checkpoint
节点选择 Checkpoint 主模型。
2、在两个 CLIP Text Encode
节点分别修改正向提示词和负向提示词。
3、调整 KSampler
节点中的 denoise
字段的数值来调整降噪强度。这一步是可选,你也可以不调整,使用默认值。
4、点击 Queue Prompt
启动生成。
2、图生图工作流的差异部分
图像生成图像(img2img)的工作流是 Stable Diffusion 中的另一个主要工作流,它根据输入的提示词
和图像
两个主要要素来生成图像。在这两个主要要素中,你可以调整降噪(denoise)参数的数值来控制 Stable Diffusion 应该在多大程度上遵循输入图像的指引。
与上一篇介绍的文生图工作流对照来看,图生图工作流中增加了一个 Load Image
节点和一个 VAE Encode
节点,替换掉了文生图工作流中的 Empty Latent Image
节点。
2.1、Load Image 节点
Load Image 节点
Load Image
节点的功能很简单,就是让你来选择一张图片来作为图像生成流程的输入。
你可能注意到这个节点的输出点有两个模式:IMAGE
和 MASK
,它们的区别如下:
IMAGE
:输出图像作为图像使用。
MASK
:输出图像作为蒙版使用。在后面的一些工作流中,我们会用到这种模式,这里就先不介绍了。
2.2、VAE Encode 节点
VAE Encode 节点
我们在上一篇教程中介绍过 VAE(Variational Auto Encoder),它用于在像素和潜在空间之间进行图像转换。
我们这里用到的是 VAE 的编码器,VAE Encode
节点的作用就是将图像从像素(pixels)转换到潜在空间(LATENT)以在后面的生成流程中使用。
到这里,我们就介绍完了使用 ComfyUI 的图生图工作流来生成一幅图像的流程,以及其中涉及到的理论知识。
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
报错指南 环境配置 脚本更新 后记 …二、ComfyUI基础入门
软件安装篇 插件安装篇 …三、 ComfyUI工作流节点/底层逻辑详解
ComfyUI 基础概念理解 Stable diffusion 工作原理 工作流底层逻辑 必备插件补全 …四、ComfyUI节点技巧进阶/多模型串联
节点进阶详解 提词技巧精通 多模型节点串联 …五、ComfyUI遮罩修改重绘/Inpenting模块详解
图像分辨率 姿势 …六、ComfyUI超实用SDXL工作流手把手搭建
Refined模型 SDXL风格化提示词 SDXL工作流搭建 …由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
总结
**文章总结——探索ComfyUI的图生图功能**本篇文章为ComfyUI系列教程的延续,重点介绍了如何使用ComfyUI进行图生图(即利用已有图像结合提示词生成新图像)的操作。ComfyUI作为一款基于Stable Diffusion的图像生成GUI工具,通过节点组装的方式构建工作流,使得图像创作更加直观和自由。
**核心内容包括**:
1. **下载并加载图生图工作流**:文章指引读者如何下载官方提供的img2img工作流,并通过简单拖放操作加载到ComfyUI中。
2. **操作步骤**:
- 选择Checkpoint主模型。
- 在CLIP Text Encode节点设置正向和负向提示词。
- 可选调整KSampler节点中的denoise降噪强度。
- 点击Queue Prompt启动图像生成。
3. **图生图工作流的关键差异**:相比之前的文生图流程,图生图引入了Load Image节点和VAE Encode节点。Load Image用于选择输入图片,提供IMAGE和MASK两种输出模式,而VAE Encode负责将图像从像素空间转换到潜在空间,以供后续生成流程使用。
4. **附加资源**:文章还提及了作者撰写的全面ComfyUI基础教程,涵盖配置指南、基础入门、工作流详解、节点技巧进阶、遮罩与Inpenting模块以及SDXL工作流搭建等多个方面,旨在帮助读者全面掌握ComfyUI的使用技巧。
**总结**:本文通过实例操作展示了ComfyUI图生图功能的具体应用,揭示了其作为Stable Diffusion图像生成GUI的灵活性和强大功能。同时,提供了丰富的配套学习资源,助力读者深入学习并探索ComfyUI的无限可能。