引言
传统图像岗转AIGC,经过半个月学习,了解文生图模型Stable Diffusion SD所依赖的模块及算法流程,了解ControlNet算法流程,成功部署云端WebUI,进行阶段性总结。
了解一个新领域或新技术,首先了解基础概念,才能有效阅读论文或文章。最有效的方法是阅读一篇经典论文,并了解文中涉及的专有名词。但,开始就上手英文论文,辨别相关名词有难度,那么寻找国内大牛写的文章作为替代,是个明智的选择。这里又有个问题:寻找干货文章费时,而且存在能否辨别的问题
由于寻找中文博客不确定性较大,最终选择先从原文开始。在啃完两篇英文论文后,回过头阅读26篇文章,挑选一篇认为适合第一阶段阅读的博客,分享出来。
其次,学习新知识的模式构建,是学习能力强的关键。分享我快速了解一项新技术的问题框架。
最后附上论文地址,阅读原文,可以帮助形成自己的理解。
以上三个步骤的时间投入占比分别为:50%,20%,30%。
基础概念
Stable Diffusion原理详解_stable diffusion csdn-CSDN博客https://jarod.blog.csdn.net/article/details/129280836
这篇博客涉及的知识点和算法解释,个人认为比较准确,通过文章了解专有名词过程中也能对技术有初步的认识
了解术语过程中,存在一个术语引出另一个术语,另一个术语又引出另一个术语的问题,造成学习过程无法快速收敛,可对第一二层专有名词简单了解,控制学习周期(简单了解的定义:知道它的作用,它的输入、输出)。
以下列举认为第一阶段可能影响周期,简单了解即可的术语:
VAE UNet 交叉注意力机制 条件去噪自编码器问题框架
一个新技术必须要能回答以下两个问题。因此,针对某个技术探寻问题答案能快速形成一个正确的概念。
技术解决了什么问题? 技术达到了什么效果?有了概念之后,进一步了解技术的机制和核心创新点。
技术的大致流程、输入和输出是什么? 技术创新点的体现和位置?阅读原文
初步了解基础概念和算法流程之后,可进一步阅读原文,文章中的诸多细节,能帮助形成自己的理解。
High-Resolution Image Synthesis with Latent Diffusion Models :Stable Diffusion
Adding Conditional Control to Text-to-Image Diffusion Models :ControlNet