传统的转绘流程是将视频里的所有画面进行逐帧转绘,再拼接起来,这样做的结果就是绘制速度很慢,而且画面的闪烁会很严重,因为AI绘制的画面会非常的不稳定。而在EbSynth当中,我们的流程就有了一些的改变,首先是使用插件将视频拆帧和抠出蒙版,然后提取出图片中动作幅度变化比较大的几幅作为关键帧并进行风格转绘,最后再利用EbSynth绘制出中间的过渡帧,最后再将输出的所有画面组合成完整的视频就可以了。
理解了这个原理,接下来我就将通过这篇文章来全面地介绍EbSynth插件从安装到使用的整个流程。
01、安装流程
首先,我们先下载这个流程的核心程序EbSynth,整个项目所需安装包已在文末打包好了,直接可获取
下载完成之后,将压缩包解压到一个文件夹里即可,这个软件我们要到最后几步才能用到,先留在这里。
接下来是安装EbSynth在WebUI中的一个扩展插件Ebsynth Utility,我们的整个流程都将围绕这个插件来进行,请看文末获取,下载完成之后,安装重启即可,这里就不多赘述了。
安装成功后就可以看到这个界面了。
接下来装第三个东西——FFmpeg,它是一款轻量级的用于视频编解码的工具。请看文末获取下载
将下载的压缩包解压到一个文件夹中备用。
接下来,我们来到win的开始菜单中搜索“环境变量”。
点击“环境变量”。
在“系统变量”中选择“Path”,点击“编辑”。
依次点击“新建”——“浏览”
找到我们刚才下载的“ffmpeg”里的“bin”文件夹。
这样就添加好了。然后把刚才所有的窗口全部点确定。
重启电脑,在开始菜单中搜索“cmd”,打开命令提示符。
输入“ffmpeg -version”
看到一下版本信息,就表示我们已经安装好了。
最后,需要在我们的电脑上安装一个transparent background,它的主要作用是来帮助我们提取蒙版的。网址为:https://pypi.org/project/transparent-background/#files。
我们复制这段代码,粘贴到cmd当中,回车。
等待安装完成就可以了。
如果这一步安装出现问题的,大概是因为秋叶整合包中的python是单独的,我们可以打开秋叶整合包中的python文件夹,然后选中文件夹地址栏,全选为蓝色,删除后,输入CMD,然后出现以下:
E:\Stable Diffusion V4\sd-webui-aki-v4.4\python>
然后再输入python.exe -m pip install transparent-background,也就是:
E:\Stable Diffusion V4\sd-webui-aki-v4.4\python>-m pip install transparent-background
然后就可以成功安装了。
02、视频分帧与蒙版添加
首先,我们先选取一段视频,不要太长,我这里找了一个表演飞天的舞者,长度20秒。尺寸720x1280。
接下来新建一个“feitian”的文件夹,注意路径上不要有中文,文件夹的名字也不要有特殊符号。
填写好项目文件夹地址,并放入视频。
接下来,我们来到“插件设置”,步骤一主要是进行拆帧和抠像。如果你希望将人物抠出来的话,可以将两个“蒙版阈值”分别设置为0.04和0.4,如果你只是拆帧,后面人物和背景一起转绘,则可以不设置。
点击生成,后台就会开始运算了。
生成完毕之后,我们的“feitian”文件夹里就会出现两个新的文件夹。
它们分别是逐帧拆分的图片。
和对每一帧的抠像蒙版。
03、提取关键帧
第二步就是从这些众多的图片中,提取出变化较大的图片作为关键帧,可以通过设置关键帧的间隔来控制。间隔越小,关键帧越多,视频越流畅,但是渲染时间更长。
点击生成,文件夹中又会多一个提取出来的关键帧文件夹。
04、图片转绘
来到图生图当中,选取其中一帧图片,选择合适的模型和参数,进行二次元的转绘,还可以加入controlnet进行控制。
对比一下原图和转绘后的效果。
如果对这个结果很满意,就可以将种子保存下来。
接下来打开“ebsynth utility”脚本,填好工程目录,其它参数可以保持不变,如果需要连背景一起重绘的话,可以关掉蒙版模式。
点击生成,就会开始对我们所有的关键帧进行图生图重绘。
生成完毕之后,我们就又多了一个文件夹,里面就是所有关键帧的转绘。
05、图像放大
进入到“后期处理”当中,对刚才生成的图片进行批量处理。填入输入目录和输出目录,图片尺寸和原视频一样,放大算法选对应二次元的。
经过这一步处理,虽然图像大小没变,但是图片会清晰很多。
06、绘制过渡帧
直接点击生成就好了。
文件夹里面就会生成关于关键帧的ebs文件,这个数量是根据视频的长度定的,短的可能只有一个。
这个时候就要打开我们一开始下载的那个ebsynth的文件了,这里主要是利用它的算法,给我们的每帧之间添加过渡帧。
点击下面的“run all”,软件就会自动开始绘制了。我们要把刚才的5个ebs文件全部运行完。
新生成的过渡帧都会形成这样的文件夹,里面就是AI脑补出来的画面。
07、视频合成
选择输出格式,点击生成,等待即可。
会生成两个格式,一个是没声音的,一个是有声音的。
来看看最终的效果吧。
以上,就是使用EbSynth进行AI视频制作的安装方法和使用全流程。它的优势就是使用EbSynth绘制过渡帧,从而减少了视频的闪烁,搞懂整个原理我们就能去灵活运用了。
需要这个插件和配套安装软件的话,看下面就可以直接获取哦
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。