大家好,我是画画的小强
今天的SD小课堂为大家讲解如何使用SD的重量级插件Deforum来实现文本转视频的效果。文本转视频的插件和工具很多,但是像Deforum这样集成了各种各样有用功能的全家桶,简直就是懒人福音。因为相关知识点很多,本文略长,一次看不完的小伙伴请先收藏后慢慢享用。
01、【插件的下载安装】
插件的安装方法很多,可以在扩展标签里直接搜索Deforum来安装,也可以按照下面步骤手动安装。
1. 在命令行工具里切换到sd路径
cd %userprofile%\stable-diffusion-webui
2. 执行下面语句,等待安装完成
git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum
3. 安装完成后重启SD,你就会在标签栏里看到的Deforum标签,如下图所示
02、【基本参数设定】
首先看一下Run选项卡里的参数设定
Sampler:更改基础的采样方法
step:更改采样步数
Width,Height:调整视频的宽高
Seed:设置种子,-1为随机,为了保证视频的一致性,可以随便固定一个数字
关键帧设置
Keyframes选项卡里的参数设定。
Animation mode:更改视频模式,比如切换是2D还是3D
2D - 将图像视为2D,并执行缩放和旋转等各种转换,以产生运动错觉。
3D - 将图像视为3D场景的视图,在任何3D操作中移动相机的镜头
Max frames:更改最大帧数,帧数越多,视频时长越长。当然,显卡燃烧的也越快,所以不推荐一次性生成过长的视频,可以连续生成多个短视频,然后用剪辑工具拼接在一起。
CFG设置
CFG scale schedule:更改提示词相关性
CLIP skip schedule:更改跳过层
各种设定
按帧定义基础模型
支持Json格式来控制
如上图例子中,第0帧开始采用model1模型,从第100帧开始更换为model2模型,这就支持我们比如从真人转动漫,或从动漫转真人,有个转场的效果
按帧定义采样方法
同样支持Json格式来控制
按帧定义采样步数
定义转场效果(2D模式)
支持缩放,角度旋转,固定X轴焦点,Y轴焦点,X轴平移,Y轴平移等各种转场效果,让你的视频产生无限扩展的效果,比如一直向右平移的话,你的显卡足够强大,你也足够有时间的话,做个清明上河图的展开视频不在话下。
定义转场效果(3D模式)
和2D模式的参数类似,你可以控制各种参数来实现镜头移动的效果,注意这里的Z相当于2D模式的缩放效果。
提示词
敲黑板,划重点
文字转视频,最重要的是什么,当然就是你的文字(提示词)了。
同样是用Json格式来控制,从哪一帧开始,使用什么提示词,如上图所示,0-29帧,30-59帧,60-89帧和90帧以后,分别使用4种不同的提示词。从而实现视频的渐变效果。
初期化
这个就是开始所说的无限拼接。只要你把上一个视频的最后一张图作为下一个视频的初始图,那么就可以无限的拼接下去。很不错的功能,文末的演示动画就是由两次生成的视频无缝拼接而成。
ControlNet
ControlNet其实真的是AI绘画领域里YYDS,想精准控制人物姿势,让小姐姐舞动起来,用ControlNet准没错。因为个人不主张AI换脸操作,所以相关功能就不做介绍了。有兴趣的小伙伴可以自己研究研究,但是请不要用于非法用途,为了你自己,也为了他人。
ControlNet的参数设置,和文生图的设置一样。
Output选项卡
主要来指定生成视频的结果参数
FPS是指画面每秒传输帧数。每秒钟帧数越多,所显示的动作就会越流畅。
还可以选择只出视频不出图片,或者只出图片不出视频,放大视频等等。
后期优化小工具
视频的放大。这个就厉害了。
和图片放大一样,我们可以指定放大算法,来放大我们的视频。
比如开始我们生成512*512大小的视频,后期可以用放大算法和放大倍数,来扩大最终的视频结果。
这相当于附赠的小工具了,直接批量的把图片生成视频。按照图中正则表达式指定的规则来命名图片,就可以一键把图片拼接成视频。也是相当实用了。
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。