Skywork-VL Reward

Skywork-VL Reward – Skywork AI开源的多模态奖励模型

Skywork-VL Reward是什么

Skywork-VL Reward是由Skywork AI推出的开源多模态奖励模型，专为多模态理解与推理任务提供可靠的奖励信号。该模型基于Qwen2.5-VL-7B-Instruct架构，包含一个额外的奖励头结构，通过成对偏好数据进行训练，以输出与人类偏好相一致的标量奖励分数。目前，该模型在VL-RewardBench上取得了73.1的领先成绩，并在RewardBench中表现出色，得分高达90.1。Skywork-VL Reward通过混合偏好优化（MPO）显著增强了多模态推理能力，为多模态强化学习领域开辟了新局面。

Skywork-VL Reward的主要功能

• 多模态输出评估：对视觉-语言模型（VLM）生成的结果进行质量评估，以判断其是否符合人类的偏好。
• 奖励信号提供：输出标量奖励分数，反映生成内容的质量及其与人类偏好的匹配程度。
• 支持多种任务：适用多种多模态应用场景，如图像描述和复杂推理，展现出广泛的适用性。
• 提升模型性能：通过生成高质量的偏好数据，支持混合偏好优化（MPO），显著提升多模态推理的能力。

Skywork-VL Reward的技术原理

• 模型架构：模型基于Qwen2.5-VL-7B-Instruct架构，包含视觉编码器（Vision Transformer）、视觉-语言适配器和语言模型解码器。在基础模型上增加了奖励头结构，该结构通过全连接层处理最终隐藏状态，以生成奖励分数。
• 数据集构建：整合了多个开源偏好数据集（如LLaVA-Critic-113k、Skywork-Reward-Preference-80K-v0.2、RLAIF-V-Dataset）以及内部标注的复杂推理任务数据。通过去重、相似性过滤和偏好判断过滤等步骤，确保数据的高质量和一致性。利用高级VLM推理器生成高质量的偏好数据，增强模型的泛化能力。
• 训练方法：采用成对偏好损失函数，通过比较两个候选响应的优劣进行模型训练，使其能够学习相对排名。训练分为两个阶段，第一阶段使用多模态偏好数据进行训练，第二阶段再加入纯文本偏好数据，以进一步提升模型在纯文本场景下的表现。

Skywork-VL Reward的项目官网

• HuggingFace模型库：https://huggingface.co/Skywork/Skywork-VL-Reward
• arXiv技术论文：https://arxiv.org/pdf/2505.07263

Skywork-VL Reward的应用场景

• 内容生成评估：对多模态内容生成的质量进行评估，例如图像描述和视频字幕等，判断生成内容的准确性及其与人类偏好的契合度。
• 推理任务优化：在复杂的多模态推理任务中，如视觉问答和几何问题，评估推理过程及结果的合理性，助力优化推理模型。
• 模型对齐：确保多模态模型的输出与人类的价值观和道德标准保持一致，避免生成有害或误导性内容。
• 混合偏好优化（MPO）：作为MPO训练的核心组成部分，提供高质量的偏好数据，提升多模态模型的推理能力和泛化性能。
• 基准测试：作为多模态任务的基准测试工具，评估和比较不同模型的性能，推动多模态技术的进步。

常见问题

• Skywork-VL Reward如何提升多模态推理能力？通过生成高质量的偏好数据并应用混合偏好优化技术，Skywork-VL Reward能够显著提高模型的推理性能。
• 该模型适用于哪些任务？Skywork-VL Reward适用于图像描述、视觉问答、复杂推理等多种多模态任务。
• 如何访问Skywork-VL Reward？用户可以通过HuggingFace模型库访问该模型，并查看相关技术论文以获取更详细的信息。