ComfyUI 是一个基于图形用户界面的开源工具，用于搭建和运行复杂的图像生成和处理工作流。它主要围绕使用 Stable Diffusion 模型来生成高质量的图像。这种工具通常允许用户通过拖放不同的模块或节点，定义数据处理和生成流程，然后通过这些流程生成图像。
ComfyUI 的核心功能包括
图形化工作流设计：用户可以通过连接不同的模块或节点（例如，模型加载、图像处理、生成等）来构建自定义的图像生成流程。
支持多种模型和处理方法：ComfyUI 支持各种深度学习模型，特别是那些基于扩散模型（如 Stable Diffusion）的图像生成模型。
可视化调试和调整：用户可以在工作流运行时可视化地查看每个步骤的输出，并进行实时调整。
开源与可扩展：作为开源工具，用户可以根据需要自定义和扩展 ComfyUI，以适应特定的应用需求。
使用场景
艺术创作：ComfyUI 是许多数字艺术家的工具，可以用来创建独特的图像、插图、海报等。它允许你尝试不同的模型、风格和图像处理方法，以实现创意表达。
图像生成研究：对于研究者而言，ComfyUI 提供了一个友好的平台来测试和验证不同的图像生成模型和算法。在图形化的环境中调整参数和查看结果，可以更直观地理解模型行为。
游戏与动画设计：ComfyUI 也可以用于游戏开发或动画制作中的图像生成部分。通过自定义生成管道，你可以创建各种游戏场景或动画背景图像。
本文演示配置：GPU：NVIDIA GeForce RTX 2060 (6 GB)， 这配置也能跑起来，速度还行。
需要安装 python，cuda
1. windows下 python安装
1.1 下载 Python
访问 Python 官方网站，下载适合你系统的 Python 安装包。建议使用 Python 3.9 或 3.10 版本，因为这些版本通常与许多深度学习库兼容性最好。1.2 安装 Python
运行下载的安装包，在安装向导中务必勾选 “Add Python to PATH” 选项，以便在命令行中可以直接使用 Python。
完成安装后，可以打开命令行，输入以下命令来验证是否安装成功：
1python --version
它应该输出你安装的 Python 版本号。
2. 安装 CUDA
CUDA 是 NVIDIA 开发的一种并行计算平台和编程模型，它能够利用 GPU 加速深度学习模型的计算。如果你计划使用 GPU 加速，那么需要安装 CUDA。
2.1 检查 GPU 支持
首先，确保你的计算机有 NVIDIA GPU，并且支持 CUDA。你可以在 NVIDIA 的 CUDA GPUs 支持列表 中确认你的 GPU 是否支持。2.2 下载 CUDA Toolkit
访问 NVIDIA CUDA Toolkit 下载页面，选择与你的操作系统和硬件匹配的 CUDA Toolkit 版本（通常建议安装最新稳定版）。2.3 安装 CUDA Toolkit
根据下载页面上的说明安装 CUDA Toolkit。通常包括安装 CUDA 本身以及 NVIDIA 驱动程序。
完成安装后，可以通过运行以下命令来验证安装：
1nvcc --version
它应该输出 CUDA 版本信息。
3. 安装 Python 库（例如 PyTorch）
安装好 Python 和 CUDA 后，你需要安装 PyTorch 等深度学习框架来运行模型。你可以使用以下命令安装带有 CUDA 支持的 PyTorch：
1pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
这里 cu118 是指 CUDA 11.8 的版本，你可以根据你安装的 CUDA 版本调整。
4. 安装 ComfyUI
最后，在虚拟环境中，克隆 ComfyUI 的代码库并安装所需的依赖项：
1git clone https://github.com/comfyanonymous/ComfyUI.git
2cd ComfyUI
ComfyUI 安装完成后，默认情况下是没有预装的模型和工作流的。你需要手动下载和导入你想使用的模型，并且可以从社区或者自己创建工作流。以下是如何获取和导入模型及工作流的步骤：
5. 获取模型
5.1 下载预训练模型
通常要使用像 Stable Diffusion 这样的预训练模型。你可以从以下几个地方下载这些模型：
Hugging Face Model Hub：很多深度学习模型，包括 Stable Diffusion，都会在 Hugging Face 上托管。你可以直接从Hugging Face下载模型权重文件（通常是 .ckpt 或者 .safetensors 格式）。
演示在Hugging Face官网下载 stable-diffusion-3-medium模型, 下载如下图的safetensors文件，可以把四个都下载下来。
image-20240809130210263
社区资源：在 ComfyUI 的 GitHub 页面或相关社区（如 Discord 群组或 Reddit 论坛）中，常常有人会分享已经适配 ComfyUI 的模型文件。
5.2 导入模型
下载完成后，你需要将模型文件放到 ComfyUI 的模型目录中，以便在工作流中加载使用。
假设你下载了一个 Stable Diffusion 模型文件 model.ckpt，你可以按照以下步骤操作：
创建或确认 ComfyUI 安装目录下是否有一个ComfyUI\models\checkpoints 目录。
将 .safetensors 文件放入这个目录。
在 ComfyUI 中，加载模型时，你应该能在模型加载节点中选择刚才导入的模型。
6. 获取和导入工作流
6.1 下载或创建工作流
如果你想使用现成的工作流，你可以从以下几个地方获取：
GitHub：许多用户会在 GitHub 上分享他们创建的 ComfyUI 工作流配置文件（通常是 .json 格式）。
社区分享：在 ComfyUI 的用户社区中，用户们可能会分享他们的工作流。
你也可以自行创建工作流，并在 ComfyUI 中保存为 JSON 文件。
这里演示自带的三个工作流，在comfy_example_workflows目录中有三个工作流，下载下来。
6.2 导入工作流
如果你已经下载了一个工作流文件，可以按照以下步骤导入：
打开 ComfyUI 的界面。
在菜单栏中找到“导入”或“加载工作流”选项（具体名称可能因版本而异），选择你下载的工作流文件。
7.安装comfyUI插件
**插件1：**管理器：https://github.com/ltdrdata/ComfyUI-Manager
插件2： 汉化包：https://github.com/AIGODLIKE/AIGODLIKE-COMFYUI-TRANSLATION
下载后解压并修改文件夹名称：（删掉文件夹后面的-main，github自带的main）
并且将这两个文件夹直接放到ComfyUI/custom_nodes文件夹中。
8. 启动comfyUI，
将模型和工作流放入到comfyUI目录的相应位置后，就可以启动comfyUI了。
双击bat文件即可启动。
设置中文管理器
安装缺失节点
安装模型4x-ultraSharp
要重启一下界面，点击重启按钮
9. 测试
打开面板之后，先选择一个workflow，我们选basic的一个试试
然后再Load Models中选择下载的模型：
注意，然后修改clip连接，直接从模型的clip处连接到clip文本编辑处，如下图两条黄色的线：
然后修改提示词，或者使用默认的提示词。
然后点击执行队列或者添加提示词队列，就能出图了：
至此，就大功告成。
其他流程（workflow）
workflow galary：https://openart.ai/workflows/all
这里可以下载一些其他流程，下载后放到custom_nodes文件夹中，就能导入了。
其他的工具
1. DiffusionBee
概述: 专为 macOS 用户设计的简化版 Stable Diffusion 应用，易于安装和使用。
功能: 支持生成、模型管理、参数调整等基础功能，特别适合不愿意处理复杂安装过程的用户。
安装和使用: 可以直接下载并安装，无需复杂设置。
**地址：**https://diffusionbee.com/
2. DreamStudio (by Stability AI)
概述: 由 Stable Diffusion 背后的团队开发的官方前端，提供了一个基于 Web 的图像生成平台。
功能: 支持图像生成、文本到图像的转换、调整生成参数等。它更侧重于云端运行，适合没有强大本地硬件的用户。
使用: 注册一个账户后，可以直接在浏览器中使用。
3. Automatic1111 WebUI
概述: 这是最流行的 Stable Diffusion 前端之一，提供了丰富的功能，包括图像生成、模型管理、扩展和插件支持等。
功能: 可以轻松切换不同的 Stable Diffusion 模型、使用预设、调整推理参数，支持大量的附加功能如 Inpainting、Outpainting、文本嵌入、Lora 模型等。
安装和使用: 可以通过 GitHub 安装并运行在本地计算机上。
4. StableStudio
概述: 由 Stability AI 推出的开源工具，可以与 Stable Diffusion 及其他模型进行集成和管理。
功能: 灵活的插件系统、可扩展的用户界面、支持本地和云端部署等。适合开发者和高级用户。
使用: 通过 GitHub 获取源代码进行本地部署，或使用官方提供的云服务。
**地址：**https://github.com/Stability-AI/StableStudio
Stable Diffusion的不同用户界面（如Stable-Diffusion Web UI、ComfyUI等）提供了不同的功能和使用方式，每一个模型或配置都有其特定的workflow或设置要求。如果随意使用不兼容的workflow或配置，可能会导致错误或结果不如预期。
具体来说：
模型和配置的兼容性：不同的模型（如不同的版本或经过微调的模型）可能需要特定的配置和workflow来发挥其最佳效果。例如，一些模型可能需要特定的输入格式、预处理步骤或参数设置。
Workflow的兼容性：在一些UI工具（如ComfyUI）中，workflow可能包含多个步骤和模块，每个模块可能对应模型的特定输入、输出或处理方式。如果你随意更改这些模块或使用与模型不兼容的workflow，可能会导致运行错误或生成的图像质量不佳。
错误处理：大多数UI工具在遇到不兼容的workflow时，通常会抛出错误提示。这些提示可以帮助你识别问题所在，并进行调整。
为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取
一、ComfyUI配置指南
报错指南 环境配置 脚本更新 后记 …二、ComfyUI基础入门
软件安装篇 插件安装篇 …三、 ComfyUI工作流节点/底层逻辑详解
ComfyUI 基础概念理解 Stable diffusion 工作原理 工作流底层逻辑 必备插件补全 …四、ComfyUI节点技巧进阶/多模型串联
节点进阶详解 提词技巧精通 多模型节点串联 …五、ComfyUI遮罩修改重绘/Inpenting模块详解
图像分辨率 姿势 …六、ComfyUI超实用SDXL工作流手把手搭建
Refined模型 SDXL风格化提示词 SDXL工作流搭建 …由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取
总结
### 文章总结：ComfyUI——图像生成与处理的开源工具**ComfyUI简介**
ComfyUI是一个基于图形用户界面的开源工具，专为搭建和运行复杂的图像生成与处理工作流而设计。它主要利用Stable Diffusion模型来生成高质量图像，通过拖放模块或节点的方式，用户可以轻松定义数据处理和生成流程。
**核心功能**
1. **图形化工作流设计**：用户可连接不同模块（如模型加载、图像处理、生成等）构建自定义流程。
2. **支持多种模型和处理方法**：兼容多种深度学习模型，特别是基于扩散模型的图像生成模型，如Stable Diffusion。
3. **可视化调试和调整**：工作流运行时，用户可实时查看每个步骤的输出并进行调整。
4. **开源与可扩展**：用户可根据需求自定义和扩展ComfyUI，满足特定应用需求。
**使用场景**
1. **艺术创作**：数字艺术家利用ComfyUI创建独特图像、插图、海报等，尝试不同模型、风格和图像处理方法。
2. **图像生成研究**：研究者通过ComfyUI测试和验证图像生成模型和算法，直观理解模型行为。
3. **游戏与动画设计**：用于游戏开发或动画制作中的图像生成，创建游戏场景或动画背景图像。
**安装与配置**
- **硬件要求**：示例配置为NVIDIA GeForce RTX 2060 (6 GB) GPU，速度尚可。
- **软件安装**：
1. **安装Python**：推荐Python 3.9或3.10版本，确保勾选“Add Python to PATH”。
2. **安装CUDA**：用于GPU加速，需检查GPU支持并安装相应版本的CUDA Toolkit。
3. **安装PyTorch等库**：使用pip安装带有CUDA支持的PyTorch等深度学习框架。
4. **安装ComfyUI**：克隆代码库并安装依赖项，手动下载和导入模型及工作流。
**获取与导入模型及工作流**
- **下载预训练模型**：从Hugging Face Model Hub或社区资源下载Stable Diffusion等模型。
- **导入模型**：将模型文件放入ComfyUI的模型目录中，并在工作流中加载使用。
- **下载或创建工作流**：从GitHub或社区获取现成工作流，或自行创建并保存为JSON文件。
- **导入工作流**：在ComfyUI中通过“导入”或“加载工作流”选项选择工作流文件。
**插件与扩展**
- **插件安装**：如管理器插件和汉化包，下载后解压并放入`ComfyUI/custom_nodes`文件夹中。
- **启动与测试**：将模型和工作流放入相应位置后，启动ComfyUI，选择工作流和模型，修改提示词并执行生成图像。
**其他相关工具**
- **DiffusionBee**：专为macOS用户设计的Stable Diffusion简化版应用。
- **DreamStudio**：Stable Diffusion官方前端，提供基于Web的图像生成平台。
- **Automatic1111 WebUI**：流行的Stable Diffusion前端，支持丰富功能。
- **StableStudio**：Stability AI推出的开源工具，支持Stable Diffusion及其他模型集成和管理。
**教程与资源**
作者提供了一套ComfyUI基础教程，涵盖配置指南、基础入门、工作流节点详解、节点技巧进阶、遮罩修改重绘/Inpenting模块详解及SDXL工作流搭建等内容，帮助用户更好地掌握ComfyUI。
**总结**
ComfyUI作为一款开源的图像生成与处理工具，凭借其图形化界面、丰富的模型支持和可扩展性，在艺术创作、图像生成研究及游戏动画设计等领域具有广泛应用前景。通过详细的安装配置指南和丰富的教程资源，用户可以轻松上手并发挥创意。