大家好，我是程序员晓晓
视频生成模型一直很受到大家的关注，近年来在深度学习技术的推动下取得了显著进展。传统的动画生成方法往往面临效率低下和质量不高等问题，而深度学习模型通过学习和理解大量的数据，能够生成更加逼真、流畅的动画视频。尤其是近两年，更是“百模”齐放，“百模”争鸣~
然而，视频生成的速度和质量一直是研究者们面临的挑战。在保证高质量的同时，提高生成速度，是视频生成领域的重要研究方向。因为对于实际应用来说，快速且高质量的生成能够大大提高制作效率和用户体验。
今天介绍的这款AnimateDiff-Lightning模型是由字节跳动推出的。相信不少朋友也已经看到过。该款模型已经推出一段时间了。晓晓有点姗姗来迟。
主要特色功能
• 仅需 4-8 步推理，就能生成高质量视频，速度快效果好。
• 与 Contorlnet 配合，提升视频转绘工作流程。
• 提供 Comfyui 工作流程，方便开发者使用。
• 推荐使用运动 LoRA，增强运动效果
这是晓晓通过demo体验的结果，短短几秒，就生成了一小段2S的视频。觉得生成的速度方面的确是提升了很多。有人与 AnimateDiff 模型做了对比，据说提升了 6-8 倍。
AnimateDiff-Lightning 是从 AnimateDiff SD1.5 v2 模型中提炼出来的，包含 1 步、2 步、4 步和 8 步共 4 个蒸馏模型。其中 2 步、4 步和 8 步模型的生成质量较好，1 步模型目前仅用于研究目的。官方有在线体验网站，支持 8 种镜头运动，测试了一下 10 秒内就能生成一个 2s 的视频， 并且步数越高的模型生成的质量也越好。
官方表示 AnimateDiff-Lightning 模型非常适合用于视频转视频，对此有人也进行了测试。同样一段 6 秒的真人视频将转绘为动漫风，AnimateDiff-Lightning 4step 模型需要 3 分钟，而 mm_sd_v15_v2 模型则需要 15 分钟，速度差了 5 倍；并且 AnimateDiff-Lightning 的转换效果还要好于 mm_sd_v15_v2，可见 AnimateDiff-Lightning 的确能有效提升视频转绘的速度。
二、在 ComfyUI 中使用 AnimateDiff-Lightning
AnimateDiff-Lightning 模型资源已经开源，官方还提供了 ComfyUI 适配模型和工作流，所以在本地部署起来也非常轻松。下面介绍一下文生视频（t2v）和视频生成视频（v2v2）的使用方法。（文末获取模型包）
① 安装插件
首先需要安装两款插件 ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite ，可以在扩展中安装，也可以通过 Git 克隆，安装完成后重启 ComfyUI
ComfyUI-AnimateDiff-Evolved插件地址： https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
ComfyUI-VideoHelperSuite插件地址： https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
如以上链接无法打开下载，请看文末扫描获取本地插件安装包
② 安装模型
需要两类模型。一是 AnimateDiff-Lightning 模型的，推荐 4 步或者 8 步模型。下载完成后，将模型放到根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/models 文件夹中。
下载地址：请看文末扫描获取哦
https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main
安装 motion lora 模型，它可以为视频添加镜头运动，包括推进、拉远、平移、旋转等。与 AnimateDiff-Lightning 模型配合使用可以让视频动态更加明显。下载后放置在根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora 文件夹中。
下载地址：请看文末扫描获取哦
https://huggingface.co/guoyww/animatediff/tree/main
③ 文生视频工作流
工作流地址：请看文末扫描获取
https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main/comfyui
官方提供了文生视频和视频风格转换 2 款工作流，上面的资源都安装好之后，将文生视频工作流拖入 ComfyUI 中就能使用了。
使用文生视频工作流时，需要注意的点包括：
可以多尝试风格化的大模型
Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform；
Motion LoRA 的运动方式可以自定义，老徐这里就略过了
④ 视频转绘工作流
如果想使用 AnimateDiff-Lightning v2v 功能，提升视频转绘速度，则需要再安装 Controlnet 插件和对应的 Openpose 模型，再导入 v2v 工作流：
ComfyUI-Advanced-ControlNet 插件：https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet ；
ComfyUI_controlnet_aux 插件：https://github.com/Fannovel16/comfyui_controlnet_aux ；
Openpose 模型下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main （模型放到models/controlnet/目录）
注意：如以上链接都无法下载，请看文末获取本地模型插件安装包哦~
使用视频转绘工作流时，需要注意的内容有：
上传视频的不宜太长，分辨率也不要太高，官方使用的是一个 8 秒 576x1024 px 的视频；
使用的是 DWPose 预处理器，首次使用时会自动下载预处理器模型，可以在控制台查看下载进度；
视频的帧率设置要与上传的视频素材一致，否则会影响视频生成效果；
Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform；
好了今天的分享就到这里了~感兴趣的快试一试吧。
写在最后
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！
三、最新AIGC学习笔记
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。