介绍
Whisper 是一种通用的语音识别模型。它是在包含各种音频的大型数据集上训练的,也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。
地址:openai/whisper
whisper-webui
OpenAI 的 Whisper AI 模型的 HTML WebUI,可以转录和翻译音频。用户界面支持转录音频文件、麦克风音频和 YouTube 链接。
简而言之,提供了一个web版本的UI界面,可以让你通过点点点来处理自己的音频,无需使用命令行,
地址:aadnk/whisper-webui
可以做什么
B站有很多我非常喜欢的舞台剧,可是木有中文字幕,我只能望剧兴叹,谷歌也有一些实时翻译的插件,不过大多需要付费,很多也不能满足需求,直到我发现whisper这个好东西,我觉得主要妙在以下几点
开源 可以部署在自己电脑上,对硬件要求不是非常高 安装还算便捷,处理速度可以接受我该如何使用
我不打算再另外写一篇安装教程,不过可以提供两个写的比较好的教程,因为whisper是基于python安装使用的,所以python是必须的,从我的安装经验来看,直接安装出问题的概率较大,推荐使用Anaconda创建一个环境来安装,可以参考以下两篇文章:
Windows本地配置OpenAI Whisper+WebUI
如何在你的电脑上完成whisper的简单部署
获取字幕之后
whisper可以获取到字幕,其实它也支持直接翻译成英文,但是对咱们来说,最终还是需要中文字幕,可以手动翻译,也可以通过一些工具来达到:
nikse.dk
可以通过上面的网站将得到的字幕翻译成中文。
效果
经过我的测试,我的电脑装的是非常老的显卡,GTX960,但是能带动,2个小时大概120分钟的视频,日语的,大概要处理半个多小时,还可以接受,翻译效果来说,从视频到最终得到中文字幕,60%吧大概。