使用OpenAI Whisper的说话人识别管道
whisper-diarizationAutomatic Speech Recognition with Speaker Diarization based on OpenAI Whisper项目地址:https://gitcode.com/gh_mirrors/wh/whisper-diarization
项目简介
Speaker Diarization Using OpenAI Whisper是一个基于OpenAI Whisper的强大工具，用于识别音频文件中不同说话人的片段。通过整合Whisper自动语音识别（ASR）技术和Voice Activity Detection（VAD）、Speaker Embedding，本项目能够精确地定位每句话的说话者，即使在多说话人环境中也能有出色表现。感谢@m-bain提供的批处理Whisper推理和@mu4farooqi的标点符号对齐算法，使得这个管道功能更加完善。
如果这个项目对你有所帮助，请在GitHub上点赞支持！
技术剖析
该管道首先从音频中提取人声以提高说话人嵌入的准确性，然后使用Whisper进行转录。接着，使用WhisperX进行时间戳校正和平移对齐，减少因时间差导致的错误。随后，MarbleNet实现VAD并排除静音部分，TitaNet则用来提取说话人特征，最后结合时间戳确定每个词的说话者，并利用标点模型对时间进行微调，确保准确度。
应用场景
无论是在会议记录、播客分析、电话对话分割或是多角色的音频内容整理等场合，Speaker Diarization Using OpenAI Whisper都能大显身手。它能帮助你快速高效地将多说话人音频拆分成独立的部分，便于后续的分析和处理。
项目特点
集成先进技术：结合Whisper的ASR、VAD以及Speaker Embedding技术，提供全面的说话人识别解决方案。 易用性：只需一行命令即可对音频文件进行处理，且提供多个可选参数以适应不同的需求。 并行处理：对于资源充足的系统，提供并行处理选项，提高了处理效率。 语言选择：支持手动指定语言，提升在语言检测失败情况下的性能。安装与使用
首先确保安装了PyTorch、FFmpeg和Cython，之后按照以下步骤安装依赖：
pip install cython torch
或
pip install torch
sudo apt update && sudo apt install cython3
安装FFmpeg：
# Ubuntu 或 Debian
sudo apt update && sudo apt install ffmpeg
# Arch Linux
sudo pacman -S ffmpeg
# MacOS（Homebrew）
brew install ffmpeg
# Windows（Chocolatey）
choco install ffmpeg
# Windows（Scoop）
scoop install ffmpeg
最后，运行pip install -r requirements.txt来安装剩余的依赖。要处理音频文件，只需执行：
python diarize.py -a AUDIO_FILE_NAME
或者如果你的系统有足够的GPU内存，可以尝试使用diarize_parallel.py进行并行处理。
未来计划
当前项目正在不断优化中，未来可能的改进包括处理重叠说话人的策略，以及增加最大句子长度限制等功能。
致谢
特别感谢@adamjonas对此项目的支持，以及OpenAI的Whisper、Faster Whisper、Nvidia NeMo和Facebook的Demucs的优秀工作，这些都为该项目的发展奠定了坚实基础。
如有任何问题或建议，欢迎提交issue，我们非常期待你的反馈！
whisper-diarizationAutomatic Speech Recognition with Speaker Diarization based on OpenAI Whisper项目地址:https://gitcode.com/gh_mirrors/wh/whisper-diarization
总结
**文章总结**：**项目名称**： Speaker Diarization Using OpenAI Whisper
**项目简介**： 该项目是一个基于OpenAI Whisper的强大工具，能够精准识别音频文件中不同说话人的片段。通过整合Whisper的ASR技术、VAD和Speaker Embedding，该工具在复杂的多说话人环境中表现出色。特别感谢了@m-bain和@mu4farooqi的贡献，使管道功能更加完善。
**技术剖析**：
- **人声提取**： 优先提取音频中的人声部分，提高说话人嵌入的准确性。
- **自动语音识别（ASR）**： 使用Whisper进行音频的自动转录。
- **时间戳校正**： WhisperX用于校正时间戳并平移对齐，减少误差。
- **静音排除与说话人特征提取**： MarbleNet进行VAD以排除静音部分，TitaNet提取说话人特征。
- **标点对齐**： 利用标点模型微调时间，确保准确性。
**应用场景**： 适用于会议记录、播客分析、电话对话分割及多角色音频内容整理等多种场景，可快速将多说话人音频拆分成独立部分。
**项目特点**：
- **集成先进技术**： 结合多种先进技术，提供全面的说话人识别解决方案。
- **易用性**： 仅需一行命令处理音频文件，并提供多个可选参数。
- **并行处理**： 支持并行处理，提升处理效率。
- **语言选择**： 可手动指定语言，提高性能。
**安装与使用**：
- 安装依赖：需安装PyTorch、FFmpeg和Cython等。
- 运行脚本：使用`diarize.py`处理音频文件，支持并行处理。
**未来计划**： 不断优化项目，包括改进处理重叠说话人的策略和增加最大句子长度限制等功能。
**致谢**： 特别感谢@adamjonas的支持，以及OpenAI的Whisper、Faster Whisper、Nvidia NeMo和Facebook Demucs等项目对本项目的基础性贡献。
**联系方式**： 鼓励用户提交问题和建议，期待用户反馈。
**项目地址**： https://gitcode.com/gh_mirrors/wh/whisper-diarization