当前位置:AIGC资讯 > AIGC > 正文

音频转文本--我们选择faster-whisper

faster-whisper能用来做什么?

可以将视频文件中的音轨自动转换为文字。

所以,字幕组是要失业了么?

试试看吧,看看转化效果如何。

使用faster-whisper,最好选择python3.10版本,那好吧。

作者的系统环境是:

笔记本:ThindPad P520 OS:win11 显卡:Quadro P520

1、安装anaconda

为什么要安装anaconda?

因为我日常开发用python3.11的版本,使用YOLOv8需要python3.8的环境,这次使用faster-whisper需要python3.10的环境,需要切换python环境。

anaconda的安装和配置,请参考《 YOLOv8入门篇--YOLOv8的安装和使用》。

2、创建虚拟环境(指定python3.10)

查看已有的conda虚拟环境

切换到创建好的虚拟环境

conda create -n fwhisper python=3.10
conda env list
conda activate fwhisper

3、安装git命令行工具

下载地址: Git - Downloads

并配置代理

//http || https
git config --global http.proxy 127.0.0.1:7890
git config --global https.proxy 127.0.0.1:7890

4、下载源码faster-whisper-webui

git clone https://github.com/ycyy/faster-whisper-webui.git

进入源码目录:

cd faster-whisper-webui

安装项目依赖:

pip3 install -r requirements.txt

还要安装faster-whisper依赖:

pip3 install -r requirements-fasterWhisper.txt

5、模型的下载和配置

首先在项目的目录建立模型文件夹:

mkdir models

faster-whisper项目内部已经整合了VAD算法,VAD是一种音频活动检测的算法,它可以准确的把音频中的每一句话分离开来,并且让whisper更精准的定位语音开始和结束的位置。

所以,首先需要配置VAD模型:

git clone https://github.com/snakers4/silero-vad

然后,将克隆下来的vad模型放入刚刚建立的Models文件夹中即可。

接着下载faster-whisper模型,下载地址:

git clone https://huggingface.co/guillaumekln/faster-whisper-large-v2

这里建议只下载faster-whisper-large-v2模型,也就是大模型的第二版,因为faster-whisper本来就比whisper快,所以使用large模型优势就会更加的明显。

注意: 下载后的目录是 faster-whisper-large-v2,要分成两级目录: faster-whisper和large-v2。

模型放入models文件夹的faster-whisper目录,最终目录结构如下:

models
├─faster-whisper
│ ├─large-v2
└─silero-vad
  ├─examples
  │ ├─cpp
  │ ├─microphone_and_webRTC_integration
  │ └─pyaudio-streaming
  ├─files
  └─__pycache__

至此,模型就配置好了。

6、测试模型

回到项目根目录faster-whisper-webui下,

执行如下命令:

python cli.py --model large-v2 --vad silero-vad --language Japanese "https://www.youtube.com/watch?v=4cICErqqRSM"

是不是碰到了如下错误?

安装一个合适的pytorch即可

访问: PyTorch

拷贝来自该网页的一个命令,并执行:

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

注意:要安装合适的版本,可以参考《 YOLOv8入门篇--YOLOv8的安装和使用》

再次执行测试命令:

python cli.py --model large-v2 --vad silero-vad --language Japanese "https://www.youtube.com/watch?v=4cICErqqRSM"

看到输出如下,成功了!

更高级的一些用法,可以阅读README.md。

更新时间 2024-06-27