目录
一、工具初探一ComfyUI应用场景探索
1.初识ComfyUI
2.20分钟速通安装ComfyUI
3.浅尝ComfyUI工作流
二、Lora微调
1.Lora简介
2.Lora详解
一、工具初探一ComfyUI应用场景探索
1.初识ComfyUI
ComfyUI 是一个用于创建图形用户界面的框架，主要在机器学习和深度学习的应用中使用。它的设计旨在简化用户交互，提升可视化体验，使得即使没有编程经验的用户也能方便使用复杂的模型和工具。
ComfyUI 核心模块
1. 界面构建模块：ComfyUI 提供了一系列工具和控件，用于构建用户界面。这些控件包括按钮、滑块、文本框等，用户可以通过简单的配置来创建所需的界面布局。
2. 数据处理模块：处理输入数据和输出结果的功能，允许用户轻松地导入数据、处理计算和展示结果。这对于需要大量数据处理的机器学习任务尤为重要。
3. 模型集成模块：ComfyUI 支持集成各种机器学习模型，提供简单的接口来加载和使用它们。用户可以方便地选择不同模型，并对其进行参数调整。
4. 可视化模块：为了帮助用户理解模型输出或数据处理过程，ComfyUI 提供了数据和结果的可视化工具，比如图表、图像展示等，增强了用户体验。
5. 配置管理模块：用户可以通过配置文件或者方便的界面来管理和保存配置信息，提供了灵活性和可重复性。
6. 插件系统：ComfyUI 支持插件扩展，用户或开发者可以创建自定义功能并将其集成到现有框架中，进一步提升其灵活性和实用性。
下面让我们跟随小k一起来探究一下ComfyUI图片生成流程
2.20分钟速通安装ComfyUI
下载安装ComfyUI的执行文件和task1中微调完成Lora文件
git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/ 在file中创建一个terminal
然后粘贴代码下载文件，一键安装
复制This is the URL to access ComfyUI后面的链接到浏览器
3.浅尝ComfyUI工作流
Step1：下载工作流脚本
👇请下载工作流脚本👇
需加载到刚刚安装的comfyUI上
Step2：加载模型，并完成第一次生图
PS：首次点击生成图片会加载资源，时间较长，大家耐心等待
下面我们再生成一个图片：
正向提示词
色彩鲜艳的花园 宁静的湖泊日出 古老的城堡与星空 活力四射的街头艺术 梦幻般的森林小径 微笑的孩子们玩耍 神秘的宇宙星际旅行 优雅的芭蕾舞者 闪烁的城市夜景 温馨的家庭聚会反向提示词
阴暗的颜色 空洞无物的景象 杂乱无章的场景 悲伤或孤独的氛围 失去生机的环境 模糊不清的图像 不合理的构图 冲突的色彩搭配 无趣的主题 静止不动的景物二、Lora微调
1.Lora简介
LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。
LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。
Loar的优势：
快速适应新任务
在特定领域有少量标注数据的情况下，也可以有效地对模型进行个性化调整，可以迅速适应新的领域或特定任务。
保持泛化能力
LoRA通过微调模型的一部分，有助于保持模型在未见过的数据上的泛化能力，同时还能学习到特定任务的知识。
资源效率
LoRA旨在通过仅微调模型的部分权重，而不是整个模型，从而减少所需的计算资源和存储空间。
2.Lora详解
LoRA（Low-Rank Adaptation）是一种高效的模型微调方法，主要用于深度学习和自然语言处理领域。它通过减少模型参数的更新量，从而显著降低训练复杂度和资源消耗。
LoRA 的基本概念
1. 低秩分解：LoRA 的核心思想是将模型的权重矩阵进行低秩分解，特别是在大规模预训练模型的微调中。为每个层添加一个通常为低秩的适配矩阵，而不是直接更新完整的权重矩阵。这样，只需调整较少的参数，从而节省了存储和计算资源。
2. 参数高效性：与标准微调方法相比，LoRA 只需要更新非常小的参数集。这样，即使在多种任务上进行微调，也能保持较低的计算和存储负担。
3. 适用性强：LoRA 可以与各种深度学习模型、任务和架构兼容，广泛应用于自然语言处理、计算机视觉等领域。
如何工作
插入适配层：在原始模型的某些层之间插入一个适配层，该层使用低秩矩阵来捕捉任务特性。
保留原始权重：原始权重参数保持不变，微调时仅调整适配层的参数，确保微调后的模型与原始模型的性能保持一致。
参数详情表
总结
### 文章总结本文主要围绕两个主题展开：**ComfyUI框架的应用场景探索**和**Lora微调技术**。
#### 一、ComfyUI应用场景探索
**1. 初识ComfyUI**
- **定义**：ComfyUI是一个用于创建图形用户界面的框架，特别适用于机器学习和深度学习应用。
- **设计目标**：简化用户交互，提升可视化体验，使非编程用户也能方便使用复杂模型和工具。
- **核心模块**：
- **界面构建模块**：提供工具和控件构建用户界面。
- **数据处理模块**：支持数据导入、处理和结果展示。
- **模型集成模块**：支持集成多种机器学习模型，提供简单接口加载和使用。
- **可视化模块**：提供数据和结果的可视化工具，如图表、图像展示。
- **配置管理模块**：通过配置文件或界面管理配置信息。
- **插件系统**：支持插件扩展，提升灵活性和实用性。
**2. 20分钟速通安装ComfyUI**
- **步骤**：下载执行文件和Lora文件，通过Git命令克隆并配置环境，最后通过浏览器访问ComfyUI。
**3. 浅尝ComfyUI工作流**
- **下载工作流脚本**：加载到ComfyUI上。
- **加载模型并生成图片**：首次生成图片时间较长，需耐心等待。
- **正向与反向提示词**：通过不同提示词生成不同风格的图片。
#### 二、Lora微调
**1. Lora简介**
- **定义**：LoRA（Low-Rank Adaptation）是一种用于预训练模型的高效微调技术。
- **优势**：
- **快速适应新任务**：在少量标注数据下有效进行个性化调整。
- **保持泛化能力**：微调部分权重，保持模型在未见数据上的泛化能力。
- **资源效率**：减少计算资源和存储空间需求。
**2. Lora详解**
- **基本概念**：
- **低秩分解**：将权重矩阵进行低秩分解，添加低秩适配矩阵。
- **参数高效性**：更新少量参数，降低计算和存储负担。
- **适用性强**：兼容各种深度学习模型、任务和架构。
- **工作原理**：
- **插入适配层**：在模型层间插入适配层，使用低秩矩阵捕捉任务特性。
- **保留原始权重**：微调时仅调整适配层参数，保持原始模型性能。
通过本文，读者可以了解到ComfyUI框架在机器学习和深度学习应用中的便捷性和强大功能，以及Lora微调技术在模型个性化调整中的高效性和灵活性。