当前位置:AIGC资讯 > AIGC > 正文

Stable Diffusion能让图片也能开口说话?别惊讶!用SadTalker插件,一键生成自己的数字人(附资料)

最近数字人越来越火,连互联网大佬都纷纷下场,比如360的周鸿祎,京东的刘强东等等。小伙伴可能也想拥有自己的数字人,于是我问了一下kimi,得到的回答如下:

可以看到,如果想用最简单的方式,那么可以用第三方的网站,例如 HeyGen平台、腾讯的智影等等。可这些网站都是收费的,而且价格也不便宜。如果我们只是想尝尝鲜,又想白嫖,那么有什么方法呢?

今天,我给大家安利一个SD插件,叫做SadTalker,这个插件可以实现让图片开口说话。操作简单之余,关键还是免费的。(查看文末扫描即可获得本文用的模型文件)

话不多说,我们先来看看效果:

生成效果

怎么样?效果还不错吧?那到底是如何做到的呢?请接着往下看。

使用

在开始之前,我们要先有Stable Diffusion,在往期文章中,我专门写了一篇 AI绘画Stable Diffusion零基础入门安装、使用、介绍教程,我不允许你还不会!的文章,查看文末扫描即可获取SD安装包。

所需插件和模型

一、SadTalker插件

打开Stable Diffusion后,我们选择扩展选项。然后切换到可下载标签,点击加载扩展列表后,输入SadTalker ,就能看到插件,此时我们点击安装即可。

二、所需模型

插件安装后,暂时还不能正常使用,还需手动下载几个模型,存放在指定的位置后才能使用,贴心的我早已为大家准备好了,文末会有说明,现在先接着往下看:

上述两个步骤完成后,需要重启SD,确保模型生效。

步骤说明

首先,我们打开SadTalker标签页,然后上传一张图片和一段音频:

接着来到参数部分,脸部模型分辨率选择 256 (显卡内存大的可以选择512),预处理选择 完整 ,勾选 使用GFPGAN 增强面部。最后点击生成即可。

以下是SadTalker中提到的几种预处理选项的区别:

1. 裁剪(Crop):

裁剪预处理选项通常用于对输入图像进行调整,以确保面部区域是图像的主要焦点。这可能涉及到去除图像的多余部分,或者调整面部的位置和大小,使其符合模型的输入要求。

2. 缩放(Resize):

缩放是指改变图像的尺寸大小。这可以是将图像放大或缩小到特定的分辨率,以便与模型的输入尺寸相匹配。缩放可能会影响图像的细节和质量,因此需要谨慎处理以避免过度失真。

3. 完整(Full):

完整预处理选项可能意味着使用整个输入图像作为模型的输入,不做任何裁剪或缩放。这适用于模型能够处理原始图像尺寸的情况,或者当用户希望保留图像的所有内容时。

4. 裁剪后扩展(Crop and Expand):

这个选项可能包含两个步骤:首先裁剪图像以聚焦于面部区域,然后将裁剪后的图像扩展到所需的尺寸。这种预处理方式旨在保留面部的细节,同时确保图像符合模型的输入要求。

5. 填充至完整(Pad to Full):

填充至完整选项通常用于在保持图像原始尺寸的同时,通过添加背景或其他内容来填充图像的空白区域。这可以用于确保图像的尺寸符合模型的要求,同时避免图像内容的失真。

生成效果如下:

总体来说,有了这款sadTalker插件,只需通过一张图片,一段音频,就能轻松生成一个会说话的视频。当然啦,缺点也很明显,就是不够拟人化。之后有时间我会给大家分享如何制作一个更真实的数字人,请大家多多关注哦。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

总结

**文章总结**:
本文介绍了当前数字人热潮中,如何通过简单易行的方式制作属于自己的数字人。文章首先提到了第三方收费平台如HeyGen和腾讯智影等,但随后转向了一个免费解决方案——SadTalker插件。这个插件可以在Stable Diffusion平台上使用,通过将图片和音频结合,生成一个会说话的视频。
**使用步骤**:
1. **安装Stable Diffusion**:文章提醒读者需要首先安装Stable Diffusion软件。
2. **安装SadTalker插件**:在Stable Diffusion的扩展选项中搜索并安装SadTalker插件。
3. **准备模型**:下载安装指定的模型到指定位置。
4. **参数设置**:在SadTalker中设置参数,如脸部模型分辨率、预处理选项等。
5. **上传图片和音频**:上传想要制作说话视频的图片和音频。
6. **生成视频**:点击生成,得到图片“说话”的视频效果。
文章最后强调了虽然SadTalker的效果可能不够拟人化,但提供了未来的改进方向,并分享了AIGC技术的学习资源和未来发展前景。这些资源包括学习路线、必备工具、学习笔记、视频教程和实战案例等,为感兴趣的读者提供了全方位的AIGC技术学习支持。

更新时间 2024-07-18