Aero-1-Audio

Aero-1-Audio – LMMs-Lab 推出的轻量级音频模型

Aero-1-Audio

Aero-1-Audio 是一个由 LMMs-Lab 开发的高效音频处理模型，专为长时间音频输入而设计。基于 Qwen-2.5-1.5B 构建，该模型仅包含 1.5 亿参数，能够处理长达 15 分钟的连续音频输入，确保上下文的连贯性，特别适合各种音频应用。

Aero-1-Audio是什么

Aero-1-Audio 是 LMMs-Lab 研发的一款轻量级音频模型，基于 Qwen-2.5-1.5B 构建，参数数量仅为 1.5 亿。该模型专注于长音频的有效处理，支持最长 15 分钟的连续音频输入，能够保持流畅的上下文连贯性。在语音识别（ASR）任务中，Aero-1-Audio 展现出了优秀的准确性，尤其在复杂的音频分析和基于指令的任务中表现突出。

Aero-1-Audio的主要功能

长音频处理：可处理最长达 15 分钟 的连续音频，无需分段，确保上下文的连贯性，适合长篇语音内容的处理。
语音识别（ASR）：在语音识别领域表现卓越，能够准确地将语音转化为文本，非常适合实时转写、会议记录和讲座转录等应用。
复杂音频分析：支持对多种音频类型（如语音、音效和音乐）的分析，能够理解音频中的语义和情感，适用于音频内容的分类和深入分析。
指令驱动任务：支持基于指令的音频处理任务，例如根据指令提取音频中的特定信息或执行特定操作，适用于智能语音助手等应用场景。

Aero-1-Audio的技术原理

轻量级设计与高效性能：Aero-1-Audio 仅包含 1.5 亿参数，体量较小，但在多个音频基准测试中表现优异，超越了一些更大型的模型，如 Whisper 和 Qwen-2-Audio。
高效的训练方法：该模型的训练数据量相对较小，仅使用约 50 亿个 tokens（约 5 万小时音频），远低于其他大型模型。通过高质量的过滤数据及优化的训练策略，模型训练在一天内可完成，仅需 16 个 H100 GPU。
动态批处理与序列打包技术：Aero-1-Audio 采用基于 token 长度的动态批处理策略，通过将样本分组到预定义的 token 长度阈值内，显著提高了计算资源的利用效率。结合 Liger 内核融合，模型的 FLOP 利用率从 0.03 提升至 0.34，进一步增强了训练效率。
多任务能力：在语音识别（ASR）任务中，Aero-1-Audio 展现了卓越的表现，能够在音频分析、语音指令跟随和音频场景理解等多个领域展示其强大的能力。例如，在 AMI、LibriSpeech 和 SPGISpeech 数据集上，词错误率（WER）达到最低水平。