当前位置:AIGC资讯 > AIGC > 正文

【AIGC】ComfyUI 入门教程(3):图生图工作流|AI 生成图片

前言

对 AIGC 技术感兴趣,加个关注,保持联系:

ComfyUI 是 Stable Diffusion 的一个基于节点组装绘图流程的图形用户界面(GUI)。通过将不同的节点连接在一起,你可以在 ComfyUI 中构建图像生成工作流。一个完整的工作流看起来像下面这样:

ComfyUI 工作流的样子

我们的 ComfyUI 入门系列教程已经发了 2 篇:

[ComfyUI 入门教程(1):安装 ComfyUI]

[ComfyUI 入门教程(2):从文本生成图像的流程]

这篇教程我们来继续介绍使用 ComfyUI 来进行图生图。

本文涉及的工作流和插件,需要的朋友请扫描免费获取哦~

1、使用 ComfyUI 进行图生图

1.1、下载并加载图生图工作流

要进行图生图,你可以直接下载官方提供的 img2img 工作流来使用:https://comfyanonymous.github.io/ComfyUI_examples/img2img/img2img_workflow.png

下载完成后,将此工作流图像拖放到 ComfyUI 中加载。它长这样:

img2img workflow

1.2、操作使用图生图工作流

图生图工作流与文生图工作流的比较类似,差别就是就是增加了图片作为输入之一,同提示词一起来指引主模型生成新的图像。所以我们这里就不详细介绍与文生图中同样的步骤了。

要使用此 img2img 工作流生成图像,你可以进行如下最简操作:

1、在 Load Checkpoint 节点选择 Checkpoint 主模型。

2、在两个 CLIP Text Encode 节点分别修改正向提示词和负向提示词。

3、调整 KSampler 节点中的 denoise 字段的数值来调整降噪强度。这一步是可选,你也可以不调整,使用默认值。

4、点击 Queue Prompt 启动生成。

2、图生图工作流的差异部分

图像生成图像(img2img)的工作流是 Stable Diffusion 中的另一个主要工作流,它根据输入的提示词图像两个主要要素来生成图像。在这两个主要要素中,你可以调整降噪(denoise)参数的数值来控制 Stable Diffusion 应该在多大程度上遵循输入图像的指引。

与上一篇介绍的文生图工作流对照来看,图生图工作流中增加了一个 Load Image 节点和一个 VAE Encode 节点,替换掉了文生图工作流中的 Empty Latent Image 节点。

2.1、Load Image 节点

Load Image 节点

Load Image 节点的功能很简单,就是让你来选择一张图片来作为图像生成流程的输入。

你可能注意到这个节点的输出点有两个模式:IMAGEMASK,它们的区别如下:

IMAGE:输出图像作为图像使用。

MASK:输出图像作为蒙版使用。在后面的一些工作流中,我们会用到这种模式,这里就先不介绍了。

2.2、VAE Encode 节点

VAE Encode 节点

我们在上一篇教程中介绍过 VAE(Variational Auto Encoder),它用于在像素和潜在空间之间进行图像转换。

我们这里用到的是 VAE 的编码器,VAE Encode 节点的作用就是将图像从像素(pixels)转换到潜在空间(LATENT)以在后面的生成流程中使用。

到这里,我们就介绍完了使用 ComfyUI 的图生图工作流来生成一幅图像的流程,以及其中涉及到的理论知识。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、ComfyUI配置指南

报错指南 环境配置 脚本更新 后记 …

二、ComfyUI基础入门

软件安装篇 插件安装篇 …

三、 ComfyUI工作流节点/底层逻辑详解

ComfyUI 基础概念理解 Stable diffusion 工作原理 工作流底层逻辑 必备插件补全 …

四、ComfyUI节点技巧进阶/多模型串联

节点进阶详解 提词技巧精通 多模型节点串联 …

五、ComfyUI遮罩修改重绘/Inpenting模块详解

图像分辨率 姿势 …

六、ComfyUI超实用SDXL工作流手把手搭建

Refined模型 SDXL风格化提示词 SDXL工作流搭建 …

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

总结

**文章总结——探索ComfyUI的图生图功能**
本篇文章为ComfyUI系列教程的延续,重点介绍了如何使用ComfyUI进行图生图(即利用已有图像结合提示词生成新图像)的操作。ComfyUI作为一款基于Stable Diffusion的图像生成GUI工具,通过节点组装的方式构建工作流,使得图像创作更加直观和自由。
**核心内容包括**:
1. **下载并加载图生图工作流**:文章指引读者如何下载官方提供的img2img工作流,并通过简单拖放操作加载到ComfyUI中。
2. **操作步骤**:
- 选择Checkpoint主模型。
- 在CLIP Text Encode节点设置正向和负向提示词。
- 可选调整KSampler节点中的denoise降噪强度。
- 点击Queue Prompt启动图像生成。
3. **图生图工作流的关键差异**:相比之前的文生图流程,图生图引入了Load Image节点和VAE Encode节点。Load Image用于选择输入图片,提供IMAGE和MASK两种输出模式,而VAE Encode负责将图像从像素空间转换到潜在空间,以供后续生成流程使用。
4. **附加资源**:文章还提及了作者撰写的全面ComfyUI基础教程,涵盖配置指南、基础入门、工作流详解、节点技巧进阶、遮罩与Inpenting模块以及SDXL工作流搭建等多个方面,旨在帮助读者全面掌握ComfyUI的使用技巧。
**总结**:本文通过实例操作展示了ComfyUI图生图功能的具体应用,揭示了其作为Stable Diffusion图像生成GUI的灵活性和强大功能。同时,提供了丰富的配套学习资源,助力读者深入学习并探索ComfyUI的无限可能。

更新时间 2024-09-13