Higgs Audio V2

Higgs Audio V2 – 开源语音大模型，能模拟多人互动场景

Higgs Audio V2 是由李沐及其团队 Boson AI 倾力打造的开源语音大模型。它基于海量音频数据训练而成，具备多语言对话生成、韵律自动调整、语音克隆以及歌声合成等强大功能。该模型能够模拟流畅自然的对话，并根据说话者的情绪和语调进行智能调整，同时支持低延迟的实时语音交互。

Higgs Audio V2：开启语音新纪元

Higgs Audio V2，由李沐及其团队 Boson AI 精心研发，是一款引领潮流的开源语音大模型。它以超过千万小时的音频数据为基石，集成了多项创新技术，致力于为用户带来前所未有的语音体验。

核心功能一览

• 多语种对话生成： 轻松驾驭多种语言，模拟多人对话场景，并智能调节说话者的情绪与能量，让交流更自然流畅。
• 韵律智能调整： 在长篇文本朗读中，自动调整语速、停顿和语调，无需手动干预，即可生成流畅自然的语音输出。
• 语音克隆与歌声合成： 仅需提供简短语音样本，即可实现零样本语音克隆，复制特定人物的声音特质，甚至还能让克隆的声音演绎旋律。
• 实时语音交互： 具备低延迟响应能力，能够理解用户的情感并进行情感化表达，带来近乎人类的交互体验。
• 语音与背景音乐同步生成： 轻松实现语音与背景音乐的同步生成，为“写一首歌并唱出来”的创作流程提供强大支持。

技术亮点

• AudioVerse 数据集： 借助一套自动化标注流程，结合多种先进模型，精心清洗并标注了海量音频数据，为模型的训练奠定了坚实基础。
• 统一音频分词器： 从零开始构建，能够同时捕捉语义和声学特征，为语音处理提供了更强大的支持。
• DualFFN 架构： 在几乎不增加计算负担的前提下，显著提升了模型对声学 token 的建模能力。
• 零样本语音克隆： 融入上下文学习，只需简单的提示，例如简短的参考音频样本，即可实现零样本语音克隆，精准匹配说话风格。

产品官网

• Github 仓库： https://github.com/boson-ai/higgs-audio
• 在线体验 Demo： https://huggingface.co/spaces/smola/higgs_audio_v2

应用场景

• 实时语音交互： 适用于虚拟主播、智能语音助手等场景，提供低延迟、情感丰富的自然互动。
• 音频内容创作： 为有声读物、互动培训、动态故事讲述等提供强大支持，轻松生成流畅的对话与旁白。
• 娱乐与创意领域： 语音克隆功能为娱乐和创意领域带来无限可能，复制特定人物的声音，开启全新体验。

常见问题解答

Q: Higgs Audio V2 支持哪些语言？
A: Higgs Audio V2 能够支持多种语言的对话生成。

Q: 语音克隆需要多长的语音样本？
A: 只需要提供简短的语音样本，即可实现语音克隆。

Q: Higgs Audio V2 的实时交互延迟如何？
A: Higgs Audio V2 支持低延迟的实时语音交互。