当前位置:AIGC资讯 > AIGC > 正文

南洋理工发布提高AI视频生成内容一致性方法FreeInit

南洋理工大学发布了一项名为FreeInit的方法,该方法可以大幅提高人工智能视频生成的内容一致性。演示显示这一方法非常流畅,并且可以与现有的SD生态结合。此外,他们还发表了与Animatediff结合的方法,只需等待一些专业人士制作插件,就可以使用这一方法。视频中展示了使用了FreeInit和未使用FreeInit的Animaetdiff的对比。

项目地址:https://tianxingwu.github.io/pages/FreeInit/

根据他们的介绍,他们深入研究了视频扩散模型的噪声初始化,并发现了一个隐含的训练-推断差距,导致了推断质量的下降。他们的关键发现包括推断时初始潜变量的信噪比(SNR)的时空频率分布与训练时本质上不同,以及去噪过程受到初始噪声的低频分量的显著影响。

在受到这些观察的启发下,他们提出了一种简洁而有效的推断采样策略FreeInit,该策略能够显著改善扩散模型生成的视频的时间一致性。通过在推断过程中迭代地优化初始潜变量的时空低频分量,FreeInit能够弥补训练和推断之间的初始化差距,从而有效改善生成结果的主体外观和时间一致性。

FreeInit以迭代方式改进推断初始噪声,通过DDIM采样、DDPM前向和噪声重新初始化,初始噪声的低频成分逐渐得到改进,从而持续增强时间一致性和主体外观。

这一方法的发布为人工智能视频生成领域带来了新的突破,将有望提高视频生成的质量和时间一致性。随着这一技术的不断发展和完善,相信将会为视频内容创作和人工智能应用带来更多的可能性。

更新时间 2023-12-14