Diffusion Models专栏文章汇总:入门与实战
ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation
本文提出了一种名为ZeroSmooth的无需训练的视频插值方法,用于提高预训练视频扩散模型生成高帧率视频的能力。该方法无需额外训练数据和参数更新,即可实现比训练时高4倍的帧率生成。视频生成技术近年来取得了显著进展,尤其是视频扩散模型的出现,使得许多模型能够生成逼真的合成视频。然而,由于GPU内存限制和建模大帧集的困难,大多数视频模型只能生成低帧率视频。
ZeroSmooth方法通过研究视频扩散模型特征空间的非线性,将视频模型转换为自级联的视频扩散模型,并引入设计的隐藏状态<