当前位置:AIGC资讯 > AIGC > 正文

从文字到视频的一条龙服务(Stable Diffusion进阶篇:SVD 2)

前半段看着好像还可以,但是后面部分的面部就开始崩坏了。

之所以会这样是因为在生成时使用的是默认参数,没有针对图片来进行参数的调整。图片是动起来了,但是太奇怪了。

而今天这篇笔记则是要简单了解一下一些进阶参数以及一些文生图生视频的内容,不然的话我担心内容太少字数都凑不够。

进阶参数

像上篇文章直接关掉界面的话,ComfyUI会自动保存上次的工作流

如果是重新打开没有的话,可以直接进入ComfyUI后将图生视频工作流直接拖动进去就好了(工作流文末下载链接)

而在整个页面最需要关注的参数部分就在这里:

而参数部分有三个地方需要重点关注:

**Motion Bucket ID
**

这个运动桶ID是SVD模型里最直观地控制视频运动幅度的参数,默认是127,数值范围从1-255,数值越大其运动幅度就越剧烈。

**运动桶ID:32
**

运动桶ID:255

这样进行对比还是可以看出来差距蛮明显的,如果觉得画面运动太过剧烈就降低这个数值,如果画面没什么变动就拉高这个数值。

**Min CFG & KSampler CFG
**

CFG全称是无分类器指导(Classifier Free Guidance)和图像绘制中的一样,这个CFG控制绘制内容与条件的相关性:

这里会看到有两个数值,是因为SVD采用了随帧数“动态”控制CFG的思路。

在绘制第一帧内容的时候应用最小值,然后逐渐增大,到最后一帧时变成KSampler里的CFG(最终):

这样的变化可以帮助系统适应不断变化的画面,而官方解释其作用是可以帮助视频保持原始图像的“忠诚度”。这个数值变低了的话画面会更加“自由发挥”,数值高了画面会更加稳定,CFG的正常区间在1.5-3之间。

而根据原教程up测试可以得出其数值不会影响大的运动构成,但是会影响运动推导的“细节”,就是可能让画面变“糊”,这里适当增加Min CFG或最终CFG即可。

**Augmentation Level
**

这个增强水平直接理解就是添加到图片中的噪声量,这个数值越高,视频与初始帧的差异就越大,增加这个数值也可以增加画面的运动。

但是这个参数对数值很敏感,一般不超过1。多数时候保持默认参数,但是当在使用与默认尺寸(1024*768)不同的视频尺寸时,最好把这个数值增加到0.2-0.3,否则画面会有很大概率是错乱的。

这样改一些参数之后所生成的画面就稳定多了

文生图生视频

在完成了简单的图生视频之后就可以进行我们学习Stable Diffusion时最开始接触的文生图。

在经历了这么多篇文章之后其实很多小伙伴对文生图的步骤已经非常熟悉了,即便是第一次接触Stable Diffusion的小伙伴看到这篇文章也可以跟随我下面的操作进行文生图生视频。

在之前的WebUI中都是先进行文生图,然后丢到诸如EbSynth等视频生成扩展中将图片加载为视频。

但是ComfyUI中可以有一套完整的从文生图再到图生视频的工作流程:

这个工作流的下载链接我会放在文末,直接拖拽进ComfyUI即可。

如果在拖拽进去出现了丢失提示或者最右边的方块是红色的话,请参考上篇文章末尾的问题汇总,或者我直接复制粘贴到这篇文章末尾。

不花钱还是香的(Stable Diffusion进阶篇:SVD)

整个流程其实还是很简单的,就是在我们刚刚图生视频前面多了一个文生图的节点组合,接下来就一个方块一个方块进行操作。

模型加载

在最左边有一个Load Checkpoint的节点,这里是加载要使用的绘图大模型,无论是SD1.5还是SDXL的都可以。

提示词

接下来来到文本编码器部分,在上方的文本框中输入自己想要的提示词,当然也可以参考原视频up主提供的:

A hyper-realistic portrait of a 20 yo girl standing in a whest filed with her back to the camera, cloudy sky, sunrise, depth of field, and blurred background

生成

接下来在右侧的绿色部分进行简单的参数调整(也可以先默认)后直接点击添加提示词队列Queue Prompt

这样就是一个简单明了从左到右的文生图生视频流程。

SVD就是这么简单好用,AI视频模型的训练就是投喂大量的视频让AI学习视频在不同的时间节点上的静态帧差异,久而久之视频的“动态/运动规律”在AI眼里变得有迹可循。

这样一来给AI输入一个图片,AI就可以去“预测”接下来一段时间内AI会发生的画面运动。所以一个视频最终呈现出来的是什么样的,很大程度上取决于最开始的图片。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

这份完整版的AIGC全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

总结

### 文章总结:
本文探讨了生成视频时遇到的面部崩坏问题,并引入了如何通过调整进阶参数(Motion Bucket ID、Min CFG & KSampler CFG、Augmentation Level)来改善视频质量。文章特别强调了使用ComfyUI平台进行图生视频及文生图生视频的流程和方法,包括其保存工作流、拖拽式工作流程、参数调整技巧等。同时,也提及了SVD(Stable Video Diffusion)模型的基本原理和它如何通过AI学习视频的动态特征来进行预测和生成。
### 进阶参数解析:
1. **Motion Bucket ID**:
- 控制视频运动幅度的参数,数值在1-255之间,数字越大运动幅度越剧烈。
2. **Min CFG & KSampler CFG**:
- 控制绘制内容的忠诚度与细节变化,CFG值越低画面越自由,越高越稳定,一般建议范围在1.5-3。
3. **Augmentation Level**:
- 控制添加到图片中的噪声量,影响视频与初始帧的差异,对数值敏感,多数情况下保持默认,改变视频尺寸时建议调至0.2-0.3。
### 文生图生视频流程:
- **ComfyUI平台的操作**:包括加载大模型、输入提示词、调整参数、生成图像并生成视频,工作流可直接拖拽进平台。
- **完整流程**:从文生图到图生视频,适用于Stable Diffusion用户,简化了传统WebUI中需在其他软件中进行图转视频的步骤。
### AIGC技术发展前景及学习资源:
- **前景展望**:未来AIGC技术将在游戏和计算领域得到更广泛应用,人工智能技术将与之紧密结合,提升系统效率和智能化水平。
- **学习资源**:提供了AIGC方向的学习路线、必备工具、学习笔记、视频教程合集及实战案例等全套资料,旨在帮助学习者从基础到深入全面掌握相关技术。
### 赠送资源及领取方式:
- 赠送包含AIGC学习资料、AI绘画、人工智能等前沿科技教程的完整学习包,扫码即可免费领取。

更新时间 2024-07-30