文章目录
前言 1.本地环境 2.安装所需要的库 3.导入相关库 4.获取指定路径下的所有视频文件 5.导入模型进行音频识别 6.将识别结果转换为srt字幕文件 7.完成代码前言
最近在看一些网课，由于没有字幕看着非常费劲，需要全神贯注的去听。网上很多生成字幕的网站都需要收费，想用某映但是它的智能字幕不允许上传大于两小时的视频。
基于这个问题就想着用openai开源的whisper来试试，最终整体的效果还行，硬件不行识别的有点慢，准确率不算高，但是配合音频基本能理解是什么意思，主要看视频更加轻松了。
注：由于我有很多视频，所以才用python自己写脚本批量处理，如不需要或者觉得写脚本麻烦可以看看WhisperDesktop，它识别更快一点，而且资源占用更低
1.本地环境
GPU：GTX 1650 4G
Cuda：10.1
Python：3.8.0
Pytorch：1.7.1
2.安装所需要的库
在已有的python环境上安装openai-whisper、ffmpeg和zhconv，其中zhconv是用来进行简繁体的。
pip install openai-whisper
pip install ffmpeg-python
pip install zhconv
3.导入相关库
import whisper
import os
import datetime,time
from zhconv import convert # 简繁体转换
from tqdm import tqdm
import imageio # 用来获取视频时长
4.获取指定路径下的所有视频文件
# 获取mp4文件列表
def find_files(path,suffix):
"""
用来获取path下的所有suffix格式文件
@params:
path - Required : 目标路径 (str)
suffix - Required : 视频文件格式 (str)
"""
mp4_files = []
for root, dirs, files in os.walk(path):
for file in files:
if file.endswith('.'+suffix):
mp4_files.append(os.path.abspath(os.path.join(root, file)))
return mp4_files
# 主文件夹
file_path = r'E:\视频'
mp4_files = find_files(file_path,suffix='mp4')
5.导入模型进行音频识别
whisper默认将模型权重下载到当前用户的.cache/whisper路径下，如果想使用其他路径可以通过参数download_root进行设置。
# 获取模型
model = whisper.load_model('small')
接下批量进行识别，生成srt格式的字幕文件
for file in tqdm(mp4_files):
# 字幕文件保存路径
# xxx.mp4 --> xxx. + srt
# 如果是其他格式，如mpweg需要改一下，这里因为都是mp4就直接对字符串切片了
save_file = file[:-3] + "srt"
# 判断文件是否存在，存在则说明已经有字幕，跳出不识别
if os.path.exists(save_file):
time.sleep(0.01)
continue
# 获取当前视频识别开始时间
start_time = datetime.datetime.now()
print('正在识别：{} --{}'.format('\\'.join(file.split('\\')[2:]),start_time.strftime('%Y-%m-%d %H:%M:%S')))
# 获取视频时长
video = imageio.get_reader(file)
duration = seconds_to_hmsm(video.get_meta_data()['duration'])
video.close()
print('视频时长：{}'.format(duration))
# 文字识别
res = model.transcribe(file,fp16=False,language='Chinese')
6.将识别结果转换为srt字幕文件
srt字幕文件内容格式如下，第一行是顺序，第二行是开始时间到结束时间，第三行是字幕文字。
1
00:00:00,000 --> 00:00:03,399
第一句
2
00:00:04,160 --> 00:00:06,560
第二句
由于whisper的识别结果中，其时间是秒数，不是srt的hh:mm:ss:mm时间格式，所有需要进行转换。
# 秒转时分秒毫秒
def seconds_to_hmsm(seconds):
"""
输入一个秒数，输出为H:M:S:M时间格式
@params:
seconds - Required : 秒 (float)
"""
hours = str(int(seconds // 3600))
minutes = str(int((seconds % 3600) // 60))
seconds = seconds % 60
milliseconds = str(int(int((seconds - int(seconds)) * 1000))) # 毫秒留三位
seconds = str(int(seconds))
# 补0
if len(hours) < 2:
hours = '0' + hours
if len(minutes) < 2:
minutes = '0' + minutes
if len(seconds) < 2:
seconds = '0' + seconds
if len(milliseconds) < 3:
milliseconds = '0'*(3-len(milliseconds)) + milliseconds
return f"{hours}:{minutes}:{seconds},{milliseconds}"
将结果转为srt字幕文件：
# 写入字幕文件
with open(save_file,'w',encoding='utf-8') as f:
i = 1
for r in res['segments']:
f.write(str(i)+'\n')
f.write(seconds_to_hmsm(float(r['start']))+' --> '+seconds_to_hmsm(float(r['end']))+'\n')
i += 1
f.write(convert(r['text'], 'zh-cn')+'\n') # 结果可能是繁体，转为简体zh-cn
f.write('\n')
7.完成代码
import whisper
import os
import datetime,time
from zhconv import convert # 简繁体转换
from tqdm import tqdm
import imageio # 用来获取视频时长
# 获取mp4文件列表
def find_files(path,suffix):
"""
用来获取path下的所有suffix格式文件
@params:
path - Required : 目标路径 (str)
suffix - Required : 视频文件格式 (str)
"""
mp4_files = []
for root, dirs, files in os.walk(path):
for file in files:
if file.endswith('.'+suffix):
mp4_files.append(os.path.abspath(os.path.join(root, file)))
return mp4_files
# 秒转时分秒毫秒
def seconds_to_hmsm(seconds):
"""
输入一个秒数，输出为H:M:S:M时间格式
@params:
seconds - Required : 秒 (float)
"""
hours = str(int(seconds // 3600))
minutes = str(int((seconds % 3600) // 60))
seconds = seconds % 60
milliseconds = str(int(int((seconds - int(seconds)) * 1000))) # 毫秒留三位
seconds = str(int(seconds))
# 补0
if len(hours) < 2:
hours = '0' + hours
if len(minutes) < 2:
minutes = '0' + minutes
if len(seconds) < 2:
seconds = '0' + seconds
if len(milliseconds) < 3:
milliseconds = '0'*(3-len(milliseconds)) + milliseconds
return f"{hours}:{minutes}:{seconds},{milliseconds}"
def main():
# 主文件夹
file_path = r'E:\视频'
mp4_files = find_files(file_path,suffix='mp4')
# 获取模型
model = whisper.load_model('small')
for file in tqdm(mp4_files):
# 字幕文件保存路径
# xxx.mp4 --> xxx. + srt
# 如果是其他格式，如mpweg需要改一下，这里因为都是mp4就直接对字符串切片了
save_file = file[:-3] + "srt"
# 判断文件是否存在，存在则说明已经有字幕，跳出不识别
if os.path.exists(save_file):
time.sleep(0.01)
continue
# 获取当前视频识别开始时间
start_time = datetime.datetime.now()
print('正在识别：{} --{}'.format('\\'.join(file.split('\\')[2:]),start_time.strftime('%Y-%m-%d %H:%M:%S')))
# 获取视频时长
video = imageio.get_reader(file)
duration = seconds_to_hmsm(video.get_meta_data()['duration'])
video.close()
print('视频时长：{}'.format(duration))
# 文字识别
res = model.transcribe(file,fp16=False,language='Chinese')
# 写入字幕文件
with open(save_file,'w',encoding='utf-8') as f:
i = 1
for r in res['segments']:
f.write(str(i)+'\n')
f.write(seconds_to_hmsm(float(r['start']))+' --> '+seconds_to_hmsm(float(r['end']))+'\n')
i += 1
f.write(convert(r['text'], 'zh-cn')+'\n') # 结果可能是繁体，转为简体zh-cn
f.write('\n')
# 获取当前视频识别结束时间
end_time = datetime.datetime.now()
print('完成识别：{} --{}'.format('\\'.join(file.split('\\')[2:]),end_time.strftime('%Y-%m-%d %H:%M:%S')))
print('花费时间:',end_time-start_time)
if __name__ == "__main__":
main()