R1-Omni

R1-Omni – 阿里通义开源的全模态大语言模型

R1-Omni是阿里通义推出的一款基于强化学习（RLVR）技术的全模态大语言模型，专注于情感识别任务。通过整合视觉与音频信息，R1-Omni能够清晰地阐释情感识别的推理过程，展现出其卓越的情感理解能力。在多个情感识别数据集上，R1-Omni的表现明显优于传统的监督微调（SFT）模型，尤其在分布外场景中展现了优异的泛化能力。

R1-Omni是什么

R1-Omni是阿里通义推出的一款全模态大语言模型，基于强化学习（RLVR）架构，专注于情感识别。它通过结合视觉和音频数据，能够清晰解释情感识别的推理过程，展现强大的情感理解能力。在多个情感识别数据集中，R1-Omni的表现显著优于监督微调（SFT）模型，并在分布外场景中表现出色，具备极强的泛化能力。

R1-Omni

R1-Omni的主要功能

多模态情感分析：R1-Omni能够同时处理视觉和音频信息，准确识别视频或音频内容中所表达的情感。
可解释的推理过程：模型不仅提供情感识别结果，还能生成详细的推理过程，封装在特定标签内，解释如何整合视觉和音频线索得出预测，从而增强可解释性。
基于RLVR的训练：R1-Omni采用RLVR训练范式，通过可验证奖励函数直接评估输出，简化了奖励机制，同时确保与任务内在正确性标准的一致性。
GRPO方法应用：结合生成相对策略优化（GRPO）方法，直接比较生成的响应组，避免了使用额外的评论家模型，增强了模型区分高质量与低质量输出的能力。
推理能力增强：与其他基线模型相比，R1-Omni提供了更连贯、准确和可解释的推理过程。
理解能力提高：在多个情感识别数据集上，R1-Omni的情感识别准确率显著高于其他模型。
泛化能力更强：在分布外（OOD）数据集上，R1-Omni表现优异，能够更好地适应未见场景。

R1-Omni的技术原理

RLVR训练范式：RLVR是一种新型训练方式，核心思想是基于验证函数直接评估模型输出，无需依赖传统的人类反馈强化学习（RLHF）中的奖励模型。给定输入问题q，策略模型πθ生成响应o，然后使用可验证奖励函数R(q,o)进行评估，优化目标是最大化验证奖励减去基于KL散度的正则化项，简化了奖励机制，确保了与任务内在正确性的一致性。
GRPO方法：GRPO（生成相对策略优化）是改进的强化学习方法，与传统的近端策略优化（PPO）不同，GRPO避免了使用额外的评论家模型，直接比较生成的响应组。针对一个问题q，采样多组输出{o1,o2,…,oG}，计算每个输出的奖励分{r1,r2,…,rG}，并对这些奖励分进行归一化处理，形成相对奖励，更直接地反映同一问题下不同输出的优劣关系。
冷启动策略：R1-Omni的模型构建受DeepSeek-R1启发，采用冷启动策略。在包含232个可解释多模态情感推理数据集（EMER）样本和348个手动标注的HumanOmni数据集样本的组合数据集上，对HumanOmni-0.5B进行微调，赋予模型初步的推理能力，并了解视觉和音频线索在情感识别中的作用，随后通过RLVR训练进一步优化模型。
奖励函数设计：在RLVR训练过程中，奖励函数由准确率奖励和格式奖励两部分组成。准确率奖励用于评估预测情感与真实情感的匹配度，格式奖励保障模型输出符合指定的HTML标签格式，从而确保情感识别的准确性与输出的可解释性。
模型输出格式：R1-Omni的输出包括推理过程和最终情感标签。推理过程封装在<think></think>标签内，解释模型如何整合视觉和音频线索得出预测；最终情感标签封装在<answer></answer>标签内，表示预测的情感。提供情感识别结果和详细推理过程，增强了模型的可解释性。