当前位置:AIGC资讯 > AIGC > 正文

【AIGC核心技术剖析】Hotshot-XL 一种 AI 文本转 GIF 模型(论文 + 代码:经过训练可与Stable Diffusion XL一起使用)


Hotshot-XL 是一种 AI 文本转 GIF 模型,经过训练可与Stable Diffusion XL一起使用。

Hotshot-XL 可以使用任何经过微调的 SDXL 模型生成 GIF。这意味着两件事:

您将能够使用您可能想要使用的任何现有或新微调的 SDXL 模型制作 GIF。

如果您想制作个性化主题的 GIF,您可以加载您自己的基于 SDXL 的 LORA,而不必担心微调 Hotshot-XL。这太棒了,因为通常为训练数据找到合适的图像比找到视频要容易得多。它还希望适合每个人现有的 LORA 使用/工作流程:)在此处查看更多信息。
Hotshot-XL 与 SDXL ControlNet 兼容,可以按照您想要的构图/布局制作 GIF。请参阅下面的ControlNet部分。

Hotshot-XL 经过训练可以以 8 FPS 生成 1 秒的 GIF。

Hotshot-XL 接受了不同纵横比的训练。为了在基本 Hotshot-XL 模型上获得最佳效果,我们建议将其与已使用 512x512 图像进行微调的 SDXL 模型一起使用。您可以在此处找到我们针对 512x512 分辨率进行微调的 SDXL 模型。


更新时间 2023-12-11