当前位置:AIGC资讯 > AIGC > 正文

Datawhale X 魔搭 第四期AI夏令营-AIGC方向 task3笔记

  最后一个阶段——task3,本次AI夏令营终于也是要完结了,那么话不多说让我们直接进入笔记部分吧。本次的学习内容是:ComfyUI和Lora微调的讲解

Part 1:Hello ComfyUI

  什么是ComfyUI呢?根据学习手册的介绍,它是主流GUI的其中一种,GUI的意思是"Graphical User Interface"(图形用户界面),也就是一种人机交互方式,可以理解为转为AI生图所设计的特种UI。那么我们使用ComfyUI的目的就很明显了——它可以辅佐我们对AI生图做出更多细节的调整,而不必面对整串整串的代码犯晕。

  那么ComfyUI具体而言是如何运作的呢?我们在这里引用一下学习手册中提供的图解

   可以看到它的运行流程与我们先前直接在PAI实例中尝试文生图的流程是大差不差的,不过这也正说明了它只起到便于操作的作用,毕竟只是一种UI嘛。拿编程来举例的话,你可以直接用记事本来写程序,但用vsc之类来写的更加先进便利。

  好了,现在再让我们来一窥ComfyUI的真面目吧

  呜哇,黑漆麻乌的,还全是英文,也不怎么很好看嘛

  不管如何,这就是ComfyUI,你可以在其中进行各种操作,来生成你想要的图案

………………我是分割线…………………

收回来,ComgyUI的内核到底是什么呢?我认为b站up-Zho-说的很好

                                                           (BV1ch4y1B7vp)

  ComfyUI 其实就像搭积木一样,是由最基础的部分一步一步搭建上来的,这里继续给出视频截图

  通过这张图,我们可以直观地感受到ComfyUI的基础框架。其实有很多程序也以类似的框架搭建的,或许某天我们在学习编程的过程中,也会遇见类似的项目。

Part2:Lora微调

  关于Lora:说实在的我现在也不是很懂Lora是怎样运转的。如果不强求理解的话,我们只需要把它当做是文生图精细化的组件就好了。

  学习手册中列出了Lora微调的三点优势:

1.快速适应新任务

在特定领域有少量标注数据的情况下,也可以有效地对模型进行个性化调整,可以迅速适应新的领域或特定任务。

2.保持泛化能力

LoRA通过微调模型的一部分,有助于保持模型在未见过的数据上的泛化能力,同时还能学习到特定任务的知识。

3.资源效率

LoRA旨在通过仅微调模型的部分权重,而不是整个模型,从而减少所需的计算资源和存储空间。

  还介绍了一些相关参数,以及UNet、VAE和文本编码器三者间的协作关系。这些内容都挺抽象的,比较难理解,这里就不多介绍了。

  在Lora的最后一小节,学习手册向我们介绍了如何获取高质量的数据集(也就是去找各种图片炼丹啦)。其中比较方便的是用爬虫去各类图站获取,不过当然的,关于图片的权益问题很难保证,这也是AI生图面临的一个难题。

结语:

  到这里,本期夏令营的打卡任务就结束了,啊,感觉心情像写完暑假作业般舒畅(不对吧为什么大学前的暑假还要写暑假作业啊!)总之有关AIGC的大部分内容都挺有趣的,相信学到的这些东西必可活用于下次。那么就此打住。

总结

### 文章总结:AI夏令营Task3——探索ComfyUI与Lora微调
**核心主题**:
本次AI夏令营的最后一个阶段,即Task3,集中探讨了ComfyUI与Lora微调两个主题,旨在提供更为便捷和精细化的AI图像处理工具与技巧。
**Part 1:Hello ComfyUI**
- **定义与目的**:ComfyUI是一种专为AI生图设计的图形用户界面(GUI),旨在简化AI图像生成的细节调整过程,减少直接面对代码的复杂性。
- **运作流程**:与直接在PAI实例中进行图像生成流程相似,但提供更为直观的操作界面,类似编程中使用VSCode相较于记事本的高级与便利性。
- **界面体验**:初看之下,ComfyUI的界面可能略显简陋且全英文,但其功能强大,包含丰富的操作选项,以满足用户生成特定图像的需求。
- **内核解析**:引用b站up主Zho-的比喻,ComfyUI如同搭积木,由基础部分逐步构建而成,体现了其背后的模块化与可扩展性。
**Part 2:Lora微调**
- **简介与理解**:Lora是一种用于文生图精细化的组件,其具体运作机制虽复杂但可视为一种“黑箱”工具,无需深究内部原理,重点在于其应用效果。
- **优势分析**:
1. **快速适应**:即便在少量标注数据的情况下,也能有效对模型进行个性化调整,迅速适应新领域或特定任务。
2. **保持泛化能力**:通过微调模型的一部分,既保持对未见数据的泛化能力,又能学习特定任务知识。
3. **资源效率**:仅通过微调部分权重而非整个模型,减少计算资源和存储空间需求。
- **额外内容**:学习手册中还涉及了Lora微调的相关参数及UNet、VAE、文本编码器间的协作关系,这部分内容较为抽象难懂。
- **数据集获取**:介绍了通过爬虫方式从各类图站搜集数据集的方法,提醒了图片权益问题的困扰,反映了AI生图面临的实际挑战。
**结语**:
随着Task3的圆满结束,本期AI夏令营的学习旅程也告一段落。通过此次学习,我们不仅掌握了ComfyUI这一便捷图像处理工具,还了解了Lora微调在精细化图像处理中的重要作用。相信这些知识与技能将在未来的学习与工作中发挥重要作用,期待在下一阶段的应用中展现所学成果的闪耀光芒。

更新时间 2024-09-27