当前位置:AIGC资讯 > AIGC > 正文

【AIGC】ComfyUI 入门教程(7):SDXL 工作流和 ComfyUI 整合包

前言

ComfyUI 是 Stable Diffusion 的一个基于节点组装绘图流程的图形用户界面(GUI)。通过将不同的节点连接在一起,你可以在 ComfyUI 中构建图像生成工作流。一个完整的工作流看起来像下面这样:

ComfyUI 工作流的样子

这篇教程我们来介绍一下 SDXL 工作流和 ComfyUI 整合包。

所有的AI设计工具,模型和插件,都已经整理好了,?获取~

1、SDXL 工作流

Stable Diffusion XL 模型是在 Stable Diffusion 1.5、Stable Diffusion 2.1 之后推出的更新的图像生成模型,它在之前的基础上有了很多改进。

一个新模型的推出,要在已有的 GUI 系统上进行适配需要一定的开发时间,而 ComfyUI 凭借着自己极为灵活的可配置性,成为了最早支持 Stable Diffusion XL 模型的 GUI 之一。

下图是一个简单的 SDXL 工作流:

SDXL 工作流

要使用这个工作流来基于 Stable Diffusion XL 来进行绘图,只需要做以下几步就可以了:

1、下载下面 ComfyUI 的 SDXL 工作流,将图像拖放到 ComfyUI 中加载。

2、修改正向提示词和负向提示词。

就这样!

这个页面 https://comfyanonymous.github.io/ComfyUI_examples/sdxl/ 上还有一些更复杂的 SDXL 工作流,你可以自己去下载使用。

2、ComfyUI 整合包

ComfyUI 整合包是将一系列增强了 ComfyUI 功能的免费的自定义节点整合在一个安装包中来供大家使用。

整合包中有很多自定义节点,本文就不一一介绍了。请参阅 ComfyUI-Impact-Pack 官方教程[1]逐个了解它们,如果你想有效使用这组节点,可以阅读这个初学者教程。

2.1、安装 ComfyUI 整合包

要安装 ComfyUI 整合包,请首先打开命令行终端 PowerShell(Windows 平台)或 终端(macOS 或 Linux)。

先进入 ComfyUI 的自定义节点文件夹:

cd custom_nodes   

克隆整合包到你的本地存储:

git clone https://github.com/ltdrdata/ComfyUI-Impact-Pack.git   

克隆工作流组件,这是整合包所需的:

git clone https://github.com/ltdrdata/ComfyUI-Workflow-Component   

完全重新启动 ComfyUI。

2.2、使用 Face Detailer (SDXL) 进行面部重绘

ADetailer 是一个 AUTOMATMIC1111 WebUI 扩展,它使用自动修复功能自动修复面部。ComfyUI 中的对应物是 Face Detailer(也称为 DDetailer)。它包含在整合包中。

你可以使用整合包中的此工作流(https://github.com/ltdrdata/ComfyUI-extension-tutorials/blob/Main/ComfyUI-Impact-Pack/workflow/sdxl-detailer.png)来使用 Face Detailer 自定义节点和 SDXL 基础和细化模型重新生成面部。下载并拖放该图片文件到 ComfyUI 中即可。

要使用此工作流,你将需要设置:

Load Image 节点中上传初始图像。

在上面部分的 Load Checkpoint 节点选择 SDXL Base 模型。

在下部部分的 Load Checkpoint 节点选择 SDXL Refiner 模型。

输入新图像的提示词和负向提示词。

单击 Queue Prompt 启动工作流。

下面的示例中,我使用了一句提示词将刘德华变成韩国流行歌星,并且这里只有面部发生了变化,而背景和其他一切都保持不变。

a closeup photograph of a korean k-pop star man

脸部重绘

2.3、使用 Face Detailer (SD v1.5) 进行面部重绘

下面是使用 Face Detailer 进行面部重绘的文本到图像工作流的示例,它是一个 SD v1.5 工作流。你可以下载它来使用:

在重绘时使用 ControlNet 可以控制新图与老图在某些内容方面保持一致性。以下是一个使用 Face DetailerControlNet Tile 的文本到图像工作流的示例。你可以下载它来使用:

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、ComfyUI配置指南

报错指南 环境配置 脚本更新 后记 …

二、ComfyUI基础入门

软件安装篇 插件安装篇 …

三、 ComfyUI工作流节点/底层逻辑详解

ComfyUI 基础概念理解 Stable diffusion 工作原理 工作流底层逻辑 必备插件补全 …

四、ComfyUI节点技巧进阶/多模型串联

节点进阶详解 提词技巧精通 多模型节点串联 …

五、ComfyUI遮罩修改重绘/Inpenting模块详解

图像分辨率 姿势 …

六、ComfyUI超实用SDXL工作流手把手搭建

Refined模型 SDXL风格化提示词 SDXL工作流搭建 …

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

总结

这篇文章介绍了ComfyUI作为Stable Diffusion的图形用户界面(GUI),特别是其与SDXL(Stable Diffusion XL)工作流的整合,以及ComfyUI整合包的功能和使用方法。以下是文章的总结:
---
### ComfyUI 概述
- **ComfyUI**:是基于Stable Diffusion的图像生成GUI,支持通过连接不同节点构建图像生成工作流。
- **灵活性**:ComfyUI因其极高的可配置性,成为最早支持SDXL(Stable Diffusion XL)模型的GUI之一。
### SDXL 工作流
- **SDXL模型**:Stable Diffusion XL是Stable Diffusion的更新版本,在图像生成质量上有显著提升。
- **使用步骤**:
1. 下载SDXL工作流并拖放到ComfyUI中加载。
2. 修改正向和负向提示词来生成图像。
- 示例链接:[https://comfyanonymous.github.io/ComfyUI_examples/sdxl/](https://comfyanonymous.github.io/ComfyUI_examples/sdxl/) 提供更多SDXL工作流下载。
### ComfyUI 整合包
- **定义**:整合包包含一系列增强ComfyUI功能的自定义节点,以安装包形式提供,旨在提高工作效率。
- **安装步骤**:
1. 打开命令行终端,进入ComfyUI的自定义节点文件夹。
2. 使用git克隆整合包及其工作流组件到本地。
3. 重新启动ComfyUI以加载新节点。
#### Face Detailer 节点应用
- **Face Detailer**:基于AUTOMATMIC1111 WebUI扩展的Face Detailer,用于自动修复和重绘面部。
- 使用示例:
- SDXL工作流:通过Face Detailer节点结合SDXL Base和Refiner模型,重新生成图像面部。
- SD v1.5工作流:结合ControlNet保持图像内容一致性,进一步细化面部重绘效果。
### 教程资源
- 文章引用了作者为ComfyUI录制的六篇基础教程,详细讲解ComfyUI的配置、安装、工作流节点逻辑、遮罩修改等内容。
- 由于篇幅限制,文章仅精选了几个章节概要,详细版教程通过按钮链接提供免费领取。
---
通过这篇文章,读者可以快速了解ComfyUI及其整合包在Stable Diffusion图像生成中的应用,以及如何通过SDXL工作流和自定义节点提升图像创作效率。

更新时间 2024-09-29