2024年3月5日,Stability AI公开Stable Diffusion 3论文,Scaling Rectified Flow Transformers for High-Resolution Image Synthesis。公司像往常一样承诺后续将开源代码,开源之光!!!
在LDW潜在扩散模型论文部分,我们简要回顾了AE、VAE、VQ-VAE、VQ-GAN、DDPM等内容。由于Stable Diffusion是以潜在扩散模型LDW升级而来,在这里咱们简要回顾一下。
Latent Diffusion Model Review
LDM Architecture
LDM 模型架构,为了降低训练扩散模型对算力的需求,LDM使用Autoencoder去学习能尽量表达原始image pixel space的低维潜在空间表达(latent embedding)。
相对于DDPM,LDM主要改进了两点
加入Autoencoder,上图左侧红色部