当前位置:AIGC资讯 > AIGC > 正文

ComfyUI零基础入门搭建教程

一、介绍

ComfyUI 是一个强大的、模块化的 Stable Diffusion 界面与后端项目。该用户界面允许用户使用基于图形/节点/流程图的界面设计和执行高级稳定的扩散管道。该项目部分其它特点如下:

目前全面支持 SD1.xSD2.xSDXLSD3Stable Video Diffusion 和 Stable Cascade 命令行选项: --lowvram 使其在显存小于 1GB 的 GPU 上运行(在显存较低的 GPU 上自动启用) 即使没有 GPU,也可以工作: --cpu (慢) 可以加载 ckptsafetensors 和 diffusers models/checkpoints。独立 VAE 和 CLIP 模型 从生成的 PNG 文件加载完整的工作流程(带有种子) 将工作流程保存/加载为 Json 文件

二、容器构建说明

1. 部署ComfyUI

(1)使用命令克隆ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
(2)安装 conda(如已安装则跳过)

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程:

下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh
遵循安装提示并初始化

按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes 并按 Enter 键。

运行 source ~/.bashrc 命令激活 conda 环境 再次输入 conda --version 命令来验证是否安装成功,如果出现类似 conda 4.10.3 这样的输出就成功了。
(3)创建虚拟环境

输入下面的命令:

conda create -n comfyui
conda activate comfyui
(4)安装pytorch
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
(5)安装项目依赖
pip install -r requirements.txt

此时所需环境就已经搭建完成,通过下面命令进行启动:

python main.py

访问网址得到类似下图界面即表示成功启动:

2. 下载stable diffusion 3的相关内容

(1)下载模型SD3

访问 Hugging Face 搜索“stable-diffusion-3-medium”下载 Stable Diffusion 3 的相关模型。首次访问该页面时,可能需要同意用户协议才能看到模型下载页。

官方提供了4个模型:

①由名字可以看出模型“sd3_medium”不带任何文本编码器,因此要使用的话需要下载 text encode 文件夹下的四个文件;

②模型“sd3_medium_incl_clips”可以直接生成图像,但不包含 T5xxlf的的文本编码器,所以性能会稍微差一些,但是需要的资源配置也会比较少;

③另外两个大模型类似v1.5 和 XL,可以直接用于图像生成。区别在于 T5xxlf编码器的浮点数不同,理论上 15GB 的stable-diffusion-3-medium的模型对语义的理解效果最好,但也最耗资源。

将适合自己的模型下载到 ComfyUI/models/checkpoint下。注:如果选择了不带clip的模型,则需要搭配 text_encoders中的文件,下载到 ComfyUI/models/clip文件下

(2)下载工作流

需下载图中的文件夹,这是官方提供的工作流。共三个,分别是:基础工作流、多提示词工作流和放大工作流。

重新启动模型导入工作流即可开始comfyui探索之旅

3. 拓展插件安装(可选)

(1)下载manager管理器

manager 是一个用来加强ComfyUI可用性的扩展,提供了对ComfyUI各种自定义节点的安装、删除、禁用、启用等管理功能。同时还提供了中心功能和便利功能,用来访问 ComfyUI 中各种信息。

cd /ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

成功安装之后重启界面会出现一个“Manager”如图:

(2)界面汉化插件
git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git

下载文件之后需要重新启动,重启模型之后:

设置一次之后可点击图中框选出的选项进行语言的切换:

(3)中文提示词插件安装
cd /ComfyUI/custom_nodes
git clone https://github.com/thisjam/comfyui-sixgod_prompt.git

然后重启ComfyUI后看到下图的小标志就表示可以了:

使用方法:双击页面,在搜索框中搜索“six”即可出现,点击sixGodPrompts,此时出现的就是提示词的中文输入框可以替代自带的clip输入框,可点击左下角的小标或按“AIT”+“q”打开和隐藏。

使用方法如下:

总结

### 文章总结:ComfyUI - 强大的Stable Diffusion界面与后端项目
#### 一、介绍
**ComfyUI** 是一个功能强大的模块化项目,专门用于Stable Diffusion的界面设计和后端执行,支持多种版本的Stable Diffusion模型(如SD1.x, SD2.x, SDXL, SD3等)。该项目提供丰富的特性,包括低显存(支持显存小于1GB的GPU)和纯CPU运行选项,能够加载多种AI模型文件(如ckpt, safetensors, diffusers models/checkpoints),并支持将工作流程保存/加载为Json文件,方便用户构建和执行自定义的图像生成任务。
#### 二、容器构建说明
##### 1. 部署ComfyUI
1. **克隆ComfyUI项目**:
```bash
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
```
2. **安装conda(如已安装则跳过)**:
- 下载并安装Miniconda,初始化后激活环境。
- 验证conda安装成功:`conda --version`
3. **创建虚拟环境和安装依赖**:
- 创建名为`comfyui`的虚拟环境并激活。
- 使用`pip`安装PyTorch和其他项目依赖。
- 使用`python main.py`启动项目,并访问指定网址验证系统是否成功运行。
##### 2. 下载Stable Diffusion 3的相关内容
1. **下载模型SD3**:
- 从Hugging Face选择适合的Stable Diffusion 3模型,如`sd3_medium`、`sd3_medium_incl_clips`等,下载并放置到`ComfyUI/models/checkpoint`目录下。
- 根据模型需要,可能还需下载`text_encoders`中的相关文件到`ComfyUI/models/clip`目录下。
2. **下载工作流**:
- 下载官方提供的工作流文件夹(基础工作流、多提示词工作流、放大工作流)。
- 重启模型并导入工作流开始使用。
##### 3. 拓展插件安装(可选)
1. **Manager管理器**:
- 安装Manager插件,加强对ComfyUI的自定义和管理功能。
- 重启界面后即可看到并使用Manager功能。
2. **界面汉化插件**:
- 安装界面汉化插件,方便中文用户操作。
- 重启后设置语言切换并享受中文化界面。
3. **中文提示词插件**:
- 安装中文提示词插件,提供中文提示词输入框替代CLIP输入框。
- 使用方法:双击页面搜索“six”并选择,出现中文提示词输入框进行操作。
通过这些步骤,用户可以轻松部署并扩展ComfyUI,在Stable Diffusion框架下构建和运行自己的图像生成项目。

更新时间 2024-08-17