VITA-Audio

VITA-Audio – 开源的端到端多模态语音大模型，低延迟、推理快

VITA-Audio是一款开源的端到端多模态语音大模型，具备低延迟和快速推理的显著优势。它通过创新的多模态交叉标记预测（MCTP）模块，实现了在首次前向传播中即刻生成音频输出，显著缩短了流媒体场景下的延迟。VITA-Audio的设计旨在满足语音识别、文本转语音及口语问答等多种应用需求，其推理速度在相同规模的开源模型中快出3至5倍。

VITA-Audio是什么

VITA-Audio是一款开源的端到端多模态语音大模型，具有极低的延迟和快速的推理能力。它通过轻量化的多模态交叉标记预测（MCTP）模块，能够在首次前向传播中高效生成音频输出，从而显著降低流媒体场景中的延迟。采用四阶段渐进式训练策略，VITA-Audio在70亿参数的规模下，推理速度比其他同类开源模型快3至5倍，并在语音识别（ASR）、文本转语音（TTS）和口语问答（SQA）等任务中表现出色。

VITA-Audio的主要功能

• 实时对话能力：VITA-Audio在首次前向传播时能够快速生成音频输出，从而实现极低延迟的实时对话功能。通过多模态交叉标记预测（MCTP）模块，模型能够在一次前向传播中高效生成多个音频标记，大幅度降低了流媒体场景中生成首个音频的延迟。
• 高效推理加速：在70亿参数的规模下，VITA-Audio实现了3至5倍的推理加速。得益于其独特的四阶段渐进式训练策略，该模型在尽量减少语音质量损失的同时，提升了推理效率。
• 多模态交互能力：VITA-Audio能够理解和处理多种模态的数据，包括音频和文本。在多模态交互场景中，它展现出广泛的应用潜力，比如在语音助手和智能客服等领域，能够提供更加丰富和自然的用户体验。
• 语音生成与识别：VITA-Audio在自动语音识别（ASR）、文本转语音（TTS）和口语问答（SQA）等多项基准测试中，表现优于其他同规模的开源模型。它在语音生成和识别方面具有较高的准确性与效率，能够满足不同场景下的语音交互需求。

VITA-Audio的技术原理

• 多模态交叉标记预测（MCTP）模块：这是VITA-Audio的关键创新之一，该模块在单次模型前向传播中高效生成多个音频标记，从而显著降低流媒体场景下生成首个音频的延迟，实现了极低延迟的实时对话能力。
• TiCodec模块：该模块负责将连续的语音波形编码为离散的token，并将离散token解码回波形，使得语音与文本能够在同一序列空间中进行统一建模。
• 非自回归（NAR）与自回归（AR）解码器：NAR解码器一次性预测整句语音token的分布，速度快但准确度相对较低；而AR解码器依赖之前生成的token，生成质量更高但速度较慢。VITA-Audio结合了这两者的优势，首先用NAR生成初步的语音token分布，再由AR进行精细调整，兼顾了速度与质量。
• 四阶段渐进式训练策略
  • 第一阶段：视觉-语言对齐：通过训练视觉适配器，利用描述性字幕和视觉问答数据微调模型，建立强大的视觉理解能力。
  • 第二阶段：音频输入微调：使用语音转录配对数据训练音频编码器，随后用语音问答数据进行微调，使模型具备理解和响应音频输入的能力。
  • 第三阶段：音频输出微调：训练音频解码器，实现端到端的语音输出，无需外部文本转语音（TTS）模块。
  • 第四阶段：多模态指令微调：进一步优化模型在多模态任务中的表现，提升其对不同模态输入的处理能力。

VITA-Audio的项目地址

• Github仓库：https://github.com/VITA-MLLM/VITA-Audio
• HuggingFace模型库：https://huggingface.co/collections/VITA-MLLM/vita-audio
• arXiv技术论文：https://arxiv.org/pdf/2505.03739

VITA-Audio的应用场景

• 智能家居控制：VITA-Audio能够理解语音指令，从而控制家中的智能设备，如灯光、温度和安全系统等。
• 智能客服：在在线客服场景中，VITA-Audio能够同时理解用户的文字描述、图片上传或语音留言，迅速且准确地回复问题。
• 教育辅助：在在线教育平台或学习应用中，VITA-Audio能够辅助学生学习，通过分析学生上传的学习资料（如课本图片、教学视频等），结合学生的提问，提供知识点讲解和习题解答等服务。
• 医疗辅助：VITA-Audio可以帮助医生解读医学影像、分析病历数据，并结合最新的医学研究文献，提供辅助诊断和治疗方案的建议。
• 内容创作：在媒体公司或自媒体平台，VITA-Audio能够辅助内容创作者生成文章、视频脚本等，通过理解创作主题和风格要求，提供创意灵感和写作建议。