当前位置:AIGC资讯 > AIGC > 正文

Linux 中的机器学习:Whisper——自动语音识别系统

Whisper 是一种自动语音识别 (ASR) 系统,使用从网络收集的 680000 小时多语言和多任务数据进行训练,Whisper 由深度学习和神经网络提供支持,是一种基于 PyTorch 构建的自然语言处理系统,这是免费的开源软件。

安装Whisper

我们用 Ubuntu 22.04 LTS 测试了 Whisper,为避免污染您的系统,我们建议使用 Anaconda 或 Miniconda 安装 Whisper。

使用 wget 下载并安装 Anaconda。

$ wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh

下载中的截图:

运行shell脚本:

$ bash Anaconda3-2022.10-Linux-x86_64.sh

接受 Anaconda 的许可证,然后通过运行 conda init 来初始化 Anaconda3,要使更改生效,请关闭并重新打开当前的 shell。

创建一个 conda 环境,并激活它。

$ conda create --name whisper
$ conda activate whisper

现在我们准备好使用 pip 安装 Whisper,pip 是 Python 的包管理器。

$ pip install -U openai-whisper

这是运行该命令的输出。

Successfully built openai-whisper
Installing collected packages: tokenizers, huggingface-hub, transformers, openai-whisper
Successfully installed huggingface-hub-0.12.1 openai-whisper-20230124 tokenizers-0.13.2 transformers-4.26.1

运行whisper

whisper 是从命令行运行的,项目中没有花哨的图形用户界面。

该软件带有一系列不同大小的预训练模型,可用于检查 Whisper 的缩放属性:

tiny.en tiny base.en base small.en small medium.en medium large-v1 large-v2 large

我们可以使用在 MP3 文件(也支持 FLAC 和 WAV)上使用媒体模型试用该软件,第一次使用模型时,会下载该模型。

如果我们不指定带有标志的语言,–language软件会自动检测使用最多前 30 秒的语言。我们可以告诉软件语言,避免自动检测的开销,一共支持 100 多种语言。

我们想要使用媒体模型转录 audio.mp3 文件,我们会告诉软件这个文件是英语语言。

$ whisper audio.mp3 --model medium --language English

下图显示正在进行的转录。

我们验证此转录正在使用我们的 GPU。

你可以看到我们的 GPU 有 8GB 的VRAM,请注意,大型模型无法在此 GPU 上运行,因为它需要超过 8GB 的VRAM。

有大量可用的选项,比如$ whisper --help

总结

Whisper 还是蛮不错的,从我们的测试来看,转录的准确性非常接近人类水平的稳健性和准确性。

Whisper 没有图形界面,也不能录制音频。它只能获取现有的音频文件和输出文本文件,Whisper 已经积累了超过 25000 个 GitHub 星,还是非常受欢迎的。

代码仓库地址:https://github.com/openai/whisper

更新时间 2023-12-02