whisper-diarization

whisper-diarization官网

whisper-diarization是一个结合了Whisper自动语音识别(ASR)能力、声音活动检测(VAD)和说话人嵌入技术的开源项目。它通过提取音频中的声音部分来提高说话人嵌入的准确性，然后使用Whisper生成转录文本，并通过WhisperX校正时间戳和对齐，以减少由于时间偏移导致的分割错误。接着，使用MarbleNet进行VAD和分割以排除静音，TitaNet用于提取说话人嵌入以识别每个段落的说话人，最后将结果与WhisperX生成的时间戳关联，基于时间戳检测每个单词的说话人，并使用标点模型重新对齐以补偿小的时间偏移。

whisper-diarization是什么？

whisper-diarization是一个基于OpenAI Whisper的开源项目，它能够对音频文件进行自动语音识别和说话人分割。它结合了Whisper的ASR能力、声音活动检测(VAD)、说话人嵌入技术以及WhisperX时间戳校正等多种技术，以提高转录和分割的准确性。简单来说，它能识别音频中不同说话人的声音，并将其对应的语音转换成文本，并标注每个单词的说话人。

whisper-diarization的主要功能

whisper-diarization的主要功能包括：自动语音识别（ASR）、说话人分割、声音活动检测(VAD)、时间戳校正和对齐、以及支持批处理推理。它可以将音频文件转换成文本，同时识别出每个说话人及其对应的语音片段，并对结果进行时间戳校准，提高准确性。

如何使用whisper-diarization？

使用whisper-diarization需要以下步骤：首先，确保系统已安装FFMPEG和Cython。然后，克隆或下载代码库。根据需要修改`diarize.py`和`helpers.py`中的WhisperX和NeMo参数。使用命令行工具，输入参数和音频文件名运行模型。根据系统VRAM容量选择`diarize.py`或`diarize_parallel.py`。最后，检查输出结果的准确性。如有问题，可在GitHub上提交issue或pull request。

whisper-diarization的产品价格

whisper-diarization是一个开源项目，因此它是免费使用的。

whisper-diarization的常见问题

我的电脑配置不高，能运行whisper-diarization吗？ 你可以尝试使用`diarize_parallel.py`进行处理，它可以利用多核CPU进行并行计算，降低对单个核心的压力。如果仍然遇到问题，可以尝试处理较短的音频片段。

whisper-diarization的准确率如何？ 准确率取决于音频质量、说话人数量、背景噪音等多种因素。一般来说，在理想条件下，它的准确率较高。但对于嘈杂环境或口音较重的音频，准确率可能会降低。

whisper-diarization支持哪些音频格式？ whisper-diarization主要支持常见的音频格式，例如WAV、MP3等。你可以尝试不同的格式，如果遇到问题，请参考项目的文档或在GitHub上提问。

whisper-diarization官网入口网址

https://github.com/MahmoudAshraf97/whisper-diarization

OpenI小编发现whisper-diarization网站非常受用户欢迎，请访问whisper-diarization网址入口试用。