当前位置:AIGC资讯 > AIGC > 正文

使用openai-whisper 语音转文字

前言:

最近由于ChatGPT 的大热,AI 应用领域再次进入大众的视线,今天介绍一款AI应用whisper 可以较为准确的将人声转换为文字(支持多国语言)

一、安装

安装有两种方式pip 和源码编译安装,这里介绍pip安装方式

安装python 3.9.9 和pyTouch 1.10.1 (安装步骤省略,官网下载安装即可)由于pip 的版本使用了指定的pyTouch 所以安装最新的python 版本会出现问题。

python3.9.9

安装ffmpeg,下方为各类OS 的安装方式

# on Ubuntu or Debian
sudo apt update && sudo apt install ffmpeg

# on Arch Linux
sudo pacman -S ffmpeg

# on MacOS using Homebrew (https://brew.sh/)
brew install ffmpeg

# on Windows using Chocolatey (https://chocolatey.org/)
choco install ffmpeg

# on Windows using Scoop (https://scoop.sh/)
scoop install ffmpeg

安装wisper 和rust

pip install -U openai-whisper
pip install setuptools-rust

二、使用

whisper 支持 cpu 和 gpu,默认完成后,只使用cpu加速

whisper.exe 屋顶.mp3 --language zh --model small

效果如何,当然是拿jay的歌来做测试,下图是结果;显然在语速慢的环境中效果还是不错的,换成双截棍...就不能看了...

(图:屋顶转换成歌词)

--model 表示AI使用的模型,共有5个模型,模型越大精确度也越高(当然对设备的性能要求也越高)

--language 表示语音的语种 这里 zh=Chinese

我们从截图看到,转译出来的文字有简体也有繁体,这主要是AI 的样本既有简体又有繁体,如果我们希望输出结果是简体,则加上 --initial_prompt "以下是普通话的句子。"

whisper 屋顶.mp3 --language zh --model small --initial_prompt "以下是普通话的句子。"

重新执行一次,结果如图:

使用CUDA

执行如下指令,安装带cuda 的pytorch

pip uninstall torch
pip cache purge
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116

--device cuda 使用device参数 指定 cuda

whisper 屋顶.mp3 --language zh --model small --device cuda --initial_prompt "以下是普通话的句子。"

其他未尽事宜可以通过 --help 来了解

whisper --help

注意:第一次调用时,会下载模型,国内直接下载速度会很慢!

参考文献

whisper blog

whisper github

更新时间 2023-11-28