当前位置:AIGC资讯 > AIGC > 正文

当剪映识别字幕开始收费,我们用免费开源软件FFmpeg、Whisper、ChatGPT来快速制作中文或双语字幕

      最近剪映中的视频“智能提取字幕”的功能收费了,收费是按照会员功能年收费,收费还不低。由于我只需要剪映的字幕功能,其他会员功能并不需要,于是想了其他的办法来解决给视频增加字幕的功能,并且还能添加双语字幕,给中文字翻译成其他任何一门语言再加在中文幕的下方,做到多语言支持,比剪映做的更好。下面我们分以下几个步骤完成这些功能:

1、FFmpeg安装。从视频中提取音频文件,会用到FFmpeg,这是很程序员知道的神级开源软件,支持多平台下载使用,FFmpeg免费下载安装后,注意这里要设置环境变量,把ffmpeg中的bin文件复制到环境变量—系统变量的path中,再到运行环境cmd中运行,ffmpeg --vision,正确显示出版本号就表示FFmpeg安装成功了。

2、从视频文件中提取音频文件的指令如下:

在WIN运行中输入“cmd”,进入运行窗口,在视频文件的当前盘符下输入指令:

ffmpeg -i sitinfo.mp4 -f mp3 -vn sitinfo.mp3

sitinfo.mp4是要提取音频视频的当前盘符下的文件名

-f 表求要提取的音频格式   -vn 表示不需要视频

FFmpeg的指令功能可以在网上查阅,功能非常强大。

3、安装Whisper。将视频或音频文件生成生成文本文件、字幕文件。

这里用到的工具是大名鼎鼎的语音转文字功能whisper的windows桌面版,下载链接如下:Whisper windows 桌面版 https://github.com/Const-me/Whisper, Whisper下载安装完成之后,我们还需要到Hugging face https://huggingface.co/ggerganov/whisper.cpp/tree/main 上下载大语言模型。

ggml-large-v3.bin(large-v3要求显卡8G以上内存),

ggml-medium.bin (对显卡要求5G,配置要求稍低,满足基本要求)推荐下载中量级模型

上图是下载Whisper的版本号,windows桌面版

将下载的模型导入Whisper后,进行简单的设置,就可以把音频文件转换成文本文件或是字幕文件了,注意:在Whisper这个强大的工具中,是可以直接将视频文件生成字幕文件的,只是花的时候要长一些,可以省去从视频文件中提取音频文件,不在乎时间的可以省去FFmpeg从视频提取音频文件这一步了。

上图是导入模型库ggml-medium.bin。   

上图是点”advanced“后进行显卡的设置。

4、进入剪映添加字幕。选择最后一项“新建字幕”,导入刚才生成的本地字幕,剪映会根据字幕文件生成的时间戳来匹配视频,生成视频下面的字幕,到这一步,我们就生成了有字幕的视频了。

5、利用ChatGPT生成双语字幕。如果我们需要双语字幕,那么就需要用到大语言模型ChatGPT了,让AI来帮我们把中文的字幕文件翻译你想生成的任何一种语言,比如英语、日语、西班牙语、法语。你只需要给ChatGPT详细的Prompt描述和格式即可,参考的格式如下:

将字幕的中文翻译成日文,字幕的格式是一行中文,一行翻译的日文,如下面的格式:

1
00:00:00,000 --> 00:00:03,000
大家好,我是穿搭博主Mia
皆さん、こんにちは。ファッションブロガーのミアです。

ChatGPT就会根据你的提示语,帮你翻译后生成双语的字幕,我们再将生成的双语字幕导入剪映就生成双语字幕的视频了。

以上用到的软件都是免费开源,现在我们不需要用剪映的收费“识别字幕”,也可以快速的做出视频字幕,甚至比剪映的收费更牛逼,做出双语字幕,让视频更方便不同语种的观众收看。

总结

### 文章总结:避开剪映收费字幕功能的解决方案
随着剪映中“智能提取字幕”功能的收费,对于仅需字幕功能的用户来说,增加了成本压力。本文详细介绍了一种通过免费开源工具实现视频字幕提取及双语字幕添加的方法,既经济高效,又功能强大。以下是具体步骤总结:
**1. 使用FFmpeg提取视频音频**:
- **安装FFmpeg**:FFmpeg是强大的开源多媒体框架,可免费下载安装。安装时确保设置环境变量,测试通过输入`ffmpeg --version`验证是否成功。
- **提取音频**:在视频文件所在盘符的cmd窗口中,运行`ffmpeg -i video_file.mp4 -f mp3 -vn output_audio.mp3`命令,将视频文件中的音频分离出来。
**2. 安装Whisper生成字幕**:
- **下载与安装**:访问[Whisper GitHub页面](https://github.com/Const-me/Whisper)下载对应版本的Whisper,并根据需求选择合适的语言模型(如ggml-medium.bin)从[Hugging Face](https://huggingface.co/ggerganov/whisper.cpp/tree/main)下载。
- **音频转字幕**:在Whisper中导入模型后,可直接将音频或视频转换为字幕文件,省去FFmpeg提取音频的步骤(视时间容忍度而定)。
**3. 在剪映中添加字幕**:
- 将Whisper生成的字幕文件导入剪映,选择“新建字幕”并导入本地字幕。剪映会根据时间戳自动将字幕匹配到视频中的相应位置。
**4. 利用ChatGPT生成双语字幕**:
- 使用ChatGPT进行字幕翻译。向ChatGPT提供详细的翻译要求和格式(如中文-日文双语字幕格式),ChatGPT将根据指示生成对应的双语字幕文本。
- 将翻译后的双语字幕再次导入剪映,生成最终的双语字幕视频。
**总结的优势**:
- **经济实惠**:全过程使用的工具均为免费或开源。
- **功能强大**:不仅实现了字幕提取,还能轻松添加双语字幕,提升视频的国际化程度。
- **易于操作**:通过简单的命令行操作和几步设置,即可快速实现字幕的提取和转换。
此方法为依赖字幕功能的视频制作者提供了高性价比的解决方案,无需为剪映的收费字幕功能买单。

更新时间 2024-09-30