faster-whisper能用来做什么?
可以将视频文件中的音轨自动转换为文字。
所以,字幕组是要失业了么?
试试看吧,看看转化效果如何。
使用faster-whisper,最好选择python3.10版本,那好吧。
作者的系统环境是:
笔记本:ThindPad P520 OS:win11 显卡:Quadro P5201、安装anaconda
为什么要安装anaconda?
因为我日常开发用python3.11的版本,使用YOLOv8需要python3.8的环境,这次使用faster-whisper需要python3.10的环境,需要切换python环境。
anaconda的安装和配置,请参考《 YOLOv8入门篇--YOLOv8的安装和使用》。
2、创建虚拟环境(指定python3.10)
查看已有的conda虚拟环境
切换到创建好的虚拟环境
conda create -n fwhisper python=3.10
conda env list
conda activate fwhisper
3、安装git命令行工具
下载地址: Git - Downloads
并配置代理
//http || https
git config --global http.proxy 127.0.0.1:7890
git config --global https.proxy 127.0.0.1:7890
4、下载源码faster-whisper-webui
git clone https://github.com/ycyy/faster-whisper-webui.git
进入源码目录:
cd faster-whisper-webui
安装项目依赖:
pip3 install -r requirements.txt
还要安装faster-whisper依赖:
pip3 install -r requirements-fasterWhisper.txt
5、模型的下载和配置
首先在项目的目录建立模型文件夹:
mkdir models
faster-whisper项目内部已经整合了VAD算法,VAD是一种音频活动检测的算法,它可以准确的把音频中的每一句话分离开来,并且让whisper更精准的定位语音开始和结束的位置。
所以,首先需要配置VAD模型:
git clone https://github.com/snakers4/silero-vad
然后,将克隆下来的vad模型放入刚刚建立的Models文件夹中即可。
接着下载faster-whisper模型,下载地址:
git clone https://huggingface.co/guillaumekln/faster-whisper-large-v2
这里建议只下载faster-whisper-large-v2模型,也就是大模型的第二版,因为faster-whisper本来就比whisper快,所以使用large模型优势就会更加的明显。
注意: 下载后的目录是 faster-whisper-large-v2,要分成两级目录: faster-whisper和large-v2。
模型放入models文件夹的faster-whisper目录,最终目录结构如下:
models
├─faster-whisper
│ ├─large-v2
└─silero-vad
├─examples
│ ├─cpp
│ ├─microphone_and_webRTC_integration
│ └─pyaudio-streaming
├─files
└─__pycache__
至此,模型就配置好了。
6、测试模型
回到项目根目录faster-whisper-webui下,
执行如下命令:
python cli.py --model large-v2 --vad silero-vad --language Japanese "https://www.youtube.com/watch?v=4cICErqqRSM"
是不是碰到了如下错误?
安装一个合适的pytorch即可
访问: PyTorch
拷贝来自该网页的一个命令,并执行:
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
注意:要安装合适的版本,可以参考《 YOLOv8入门篇--YOLOv8的安装和使用》
再次执行测试命令:
python cli.py --model large-v2 --vad silero-vad --language Japanese "https://www.youtube.com/watch?v=4cICErqqRSM"
看到输出如下,成功了!
更高级的一些用法,可以阅读README.md。