当前位置:AIGC资讯 > AIGC > 正文

AI丨部署SadTalker并添加到Stable Diffusion

前言

Stable Diffusion是一种潜在扩散模型(Latent Diffusion Model),能够从文本描述中生成详细的图像。它还可以用于图像修复、图像绘制、文本到图像和图像到图像等任务。

如何配置Stable Diffusion部署本地AI绘画?

SadTalker模型,通过从音频中学习生成3D运动系数,使用全新的3D面部渲染器来生成头部运动,可以实现图片+音频就能生成高质量的视频。

现在,可以在SD上部署SadTalker插件实现以上内容。

github链接:https://github.com/zhoubx/OpenTalker-SadTalker

准备:电脑配置需求(SD)

操作系统:windows10以后

CPU:不做强制性要求

内存:推荐8G以上

显卡:必须是Nvidia独立显卡,显存最低4G,推荐20系以后

整合包推荐放在固态硬盘中,提高模型加载速度

_演示电脑:_Lenovo Legion R7000P(联想拯救者R7000P)

显卡 Nvidia RTX 4060 laptop 内存 16G

SadTalker还有很多需要优化的地方,对显存要求较大,而且生成速度比较慢。

操作方法

1.配置python环境.

Sadtalker是Python的程序,此处我们安装Python虚拟环境管理器:anaconda。我们在往期内容中介绍过anaconda,此处不过多赘述,详情可以移步这期推送。

AI丨机器学习丨PyTorch环境的配置及安装

Anaconda官方网站:

https://www.anaconda.com

点击页面顶部“Free download”开始下载。

NJU Mirror:

https://mirrors.nju.edu.cn/anaconda/archive/

也可以从镜像网站上下载

2.安装SadTalker.

方法一:

选择好路径,shift+鼠标右键打开powershell,输入以下命令。

git clone https://github.com/Winfredy/SadTalker.git

如果显示“无法连接到github”,则重复多试几次。

下载完成后打开

https://github.com/OpenTalker/SadTalker/releases

下载“checkpoints and gfpgan”,拖动到对应的文件夹里。

注意:#这个方法不太友好,我也不爱用#

方法二:

源代码及模型百度盘链接:

https://pan.baidu.com/s/1QIG5t1WIO6s-zWgxToP-9g?pwd=uo5o

将下载好的压缩包解压缩,并选择一个合适的存储路径。

之后,我们启动anaconda prompt,并进入文件路径。

现在我们就可以开始环境配置了。

因为稍后我们要下载的文件较大,如果下载速度慢可以提前更换pip源。

pip config set global.index-url   https://pypi.tuna.tsinghua.edu.cn/simple
conda create -n sadtalker python=3.8

输入后会提示确认安装,按“y”回车即可

之后分别输入

conda activate sadtalker``pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118``conda install ffmpeg``pip install -r requirements.txt

查看当前虚拟环境的安装目录,执行命令:

conda info

active env location 即为当前虚拟环境的安装目录。把源代码压缩包里面的:gfpgan\weights\GFPGANv1.4.pth 剪切到虚拟环境的 Lib\site-packages\gfpgan\weights 目录下

注意:如果安装到最后报错,或者找不到gfpgan文件夹时,在anaconda prompt中重新输入最后一行命令。

安装过程到此就结束了,输入以下代码就可以生成视频了,此处有三个位置需要改写:

e:\temp\sadtalker\speech_0.wav 替换成你的语音文件 e:\temp\sadtalker\1.png 替换从你的图片 e:\temp\sadtalker 替换成你的输出目录
python inference.py --driven_audio e:\temp\sadtalker\speech_0.wav --source_image e:\temp\sadtalker\1.png --result_dir e:\temp\sadtalker --still --preprocess full --enhancer gfpgan
python inference.py --driven_audio e:\temp\sadtalker\speech_0.wav --source_image e:\temp\sadtalker\1.png --result_dir e:\temp\sadtalker --still --preprocess full --enhancer gfpgan

**注意:**如果提示ModuleNotFoundError: No module named 'safetensors’之类的错误,则直接输入

pip install safetensors #safetensors随问题变化

**注意:**如果输入生成命令后,显示

WARNING: The new version of the model will be updated by safetensor, you may need to download it mannully. We run the old version of the checkpoint this time!

这时候safetensor会自动更新模型,慢慢等待即可。更新加载后可能会出现各种错误,可以尝试重新启动或者检查报错信息。

最后给大家放一张成功生成的程序截图。

3.在Stable Diffusion中添加SadTalker插件.

启动SD之后找到“扩展(extensions)”标签页,在“扩展的git仓库网址”栏输入https://github.com/OpenTalker/SadTalker,点击“安装”即可,等待安装完成后重启SD。

https://github.com/OpenTalker/SadTalker

————分割线————

**本期内容就到此结束啦!感谢各位的观看!
**

**这期内容有很多不严谨的地方,操作中可能会遇到各种不同的问题。
**

**如有错误,请大家批评指正!
**

如果你有软件工具需求,欢迎在互动区留言!

最后麻烦给点一个大大的关注!我们下期再见!

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

更新时间 2024-05-29