大家好,我是每天分享AI应用的彤姐!
ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具,最近发展势头特别迅猛,但是 ComfyUI 的上手门槛有点高,用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法,让大家更快的掌握 ComfyUI 的使用技巧,创作出自己独特的艺术作品。
本文继续分享 ComfyUI 的使用方法:图生视频,也就是根据图片生成视频,使用的模型是SVD。
我之前的很多萌宠图片就是用它生成的,阅读量还不错:
SVD介绍
SVD是由 Stable Diffusion 的创作者 Stability AI 公司开源发布的。
SVD的全称是 Stable Video Diffusion,也就是稳定视频扩散的意思,目前最新版本是1.1。这个模型以静止图像作为条件帧,并从中生成视频,目前还不支持使用提示词引导。默认参数下生成的结果是分辨率为1024x576的25帧视频,不过ComfyUI中实测也可以生成多种分辨率和更长时长的视频。
SVD既可用于非商业用途,也可用于商业用途。你可以在许可下使用此模型进行非商业或研究用途,不过大家也要注意遵守相关法律和规定,并确保不侵犯他人的知识产权,具体使用许可协议可以看这里:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1
安装ComfyUI
本地或手动安装
本系列的第一篇文章中已经详细的介绍过安装步骤,需要的同学请点此前往:【AI绘画】ComfyUI零基础入门:安装部署
使用SVD
下载SVD模型
官方模型下载地址:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1
需要下载的文件名称:svd_xt_1_1.safetensors
如果你访问 huggingface 不方便,也可以给公众号“萤火遛AI”发消息:SVD,即可获取下载地址。
下载后放到这个目录下:ComfyUI/models/checkpoints
使用SVD工作流
SVD的工作流比较简单,大家只要在“加载”中加载这个工作流就行了,不需要特别安装插件,工作流领取方式见文末。
我这里再做一个简单的标注,让大家了解其中的原理,并配置记得参数。
1、加载SVD模型,下载上一步介绍的模型到指定的位置,就可以在这里选择到。部署模型后请注意刷新页面,让节点尽快发现到模型。
2、上传图片,这里没什么限制,上传自己喜欢的就行了。SVD对风景或者移动物体图片的视频生成效果比较好,人物图片生成视频时需要控制动作幅度,否则容易崩溃。
3、设置帧数,这个参数影响视频的时长,默认值是25。因为默认的帧率是6,2秒就是12,4秒24。
4、设置帧率,帧率就是每秒的画面数,帧率越高视频越连贯,建议先从默认的6开始,逐步上调,看效果能否满意。
5、动态bucketID,这个参数控制视频中主体的动作幅度,值越小动作变化越小,以人或动物为主体时一定要设置为较小的值,否则容易崩溃。
其它就是一些通用操作了,刚接触 ComfyUI 或者不太明白的同学可以看我这篇文章:https://www.yuque.com/yvw351p9nn
生成视频
最后点击“添加提示词队列”,静待视频生成就好了,生成需要的时间取决于你的机器性能、视频的分辨率和帧数。
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
若有侵权,请联系删除
总结
### 文章总结:ComfyUI图生视频功能详解与AIGC学习资源介绍**一、ComfyUI与SVD视频生成功能**
- **工具介绍**:ComfyUI是基于Stable Diffusion的AI绘画创作工具,具备图生视频功能,通过SVD(Stable Video Diffusion)模型实现。
- **SVD模型**:
- **概述**:由Stability AI公司开源发布,全称为Stable Video Diffusion,用于将静态图像转换为视频,最新版为1.1。
- **特点**:默认生成1024x576分辨率、25帧视频,但可调整分辨率和时长,支持非商业及商业用途,需遵守相关法律和使用许可协议。
- **安装与使用**:
- **安装ComfyUI**:参考前文指引([AI绘画]ComfyUI零基础入门:安装部署)。
- **下载SVD模型**:从官方地址[https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1](https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1)下载`svd_xt_1_1.safetensors`,放置到ComfyUI/models/checkpoints目录下。
- **使用流程**:
1. **加载SVD工作流**:无需额外插件,适当时机进行模型刷新以识别。
2. **上传图片**:推荐风景或移动物体图片,人物图片需注意动作幅度。
3. **设置参数**:包括帧数(影响时长)、帧率(每秒画面数)、动态bucketID(控制主体动作幅度)。
4. **生成视频**:点击“添加提示词队列”,根据机器性能和视频配置等待生成。
**二、AIGC学习资源与未来展望**
- **学习资源**:赠送涵盖AI绘画、AI人工智能等前沿科技的全套学习资料,包含学习路线、必备工具、学习笔记、视频教程合集及实战案例,助力学习者快速入门并深入探索。
- **未来展望**:
- AIGC技术将持续进步,扩展在游戏和计算等领域的应用,提升系统效率与智能性。
- 与人工智能技术深度融合,拓宽应用范围,对程序员群体产生深远影响。
**结语**:
文章不仅详细介绍了ComfyUI中利用SVD进行图生视频的操作方法,还展望了AIGC技术的广阔前景,并通过提供学习资源帮助学习者更好地掌握相关技能。感兴趣的小伙伴不妨加入AIGC的学习与实践中来,共同探索这一充满魅力的科技领域。