VideoReward

VideoReward – 港中文、清华、快手等联合推出的视频生成偏好数据集及奖励模型

VideoReward 是由香港中文大学、清华大学及快手科技等机构联合开发的一套视频生成偏好数据集和奖励模型。该系统包含了182,000条标注数据，重点关注视觉质量、质量和文本对齐三个重要维度，旨在提升视频生成模型的性能。通过基于人类反馈的奖励模型，以及先进的多维度对齐算法（如Flow-DPO和Flow-RWR）和推理技术（如Flow-NRG），VideoReward 能够显著增强视频生成的连贯性和文本一致性，且支持用户个性化需求。

VideoReward是什么

VideoReward 是一个由香港中文大学、清华大学与快手科技共同创建的视频生成偏好数据集及其奖励模型。该数据集包含182,000条标注数据，涵盖了视觉质量（VQ）、质量（MQ）和文本对齐（TA）三个关键方面，用于捕捉用户对生成视频的偏好。其奖励模型基于人类反馈，通过多维度对齐算法（如Flow-DPO、Flow-RWR）及推理技术（如Flow-NRG），显著提升了视频生成的连贯性和文本对齐效果。Flow-NRG还允许用户在推理时自定义权重，以满足个性化需求。

VideoReward的主要功能

• 构建大规模偏好数据集：VideoReward 提供182,000条标注数据，涵盖视觉质量、质量和文本对齐三个维度，旨在全面捕捉用户对生成视频的偏好。
• 多维度奖励模型：该系统基于强化学习，引入了包括Flow-DPO和Flow-RWR在内的三种对齐算法，以及推理时的Flow-NRG技术，以优化视频生成过程。
• 个性化需求支持：Flow-NRG技术允许用户在推理阶段为多个目标设置自定义权重，以满足个性化的视频质量需求。
• 提升视频生成质量：通过整合人类反馈，VideoReward 能显著提高视频生成的连贯性及与提示文本的对齐效果，超越现有奖励模型的表现。

VideoReward的技术原理

• 对齐算法：VideoReward 采用三种专为流模型设计的对齐算法，旨在优化视频生成质量：
  • Flow-DPO（直接偏好优化）：在训练过程中，直接优化模型以更好地匹配人类的偏好视频对。
  • Flow-RWR（奖励加权回归）：通过奖励加权来优化模型，更加符合用户反馈。
  • Flow-NRG（噪声视频奖励引导）：在推理阶段，将奖励直接应用于噪声视频，支持用户自定义权重以满足多样化需求。
• 人类反馈优化：依靠人类反馈，VideoReward 能有效提升视频生成的连贯性及与提示文本的对齐效果，实验表明其性能优于现有奖励模型，Flow-DPO在效果上优于Flow-RWR和标准监督微调方法。

VideoReward的项目地址

• 项目官网：https://gongyeliu.github.io/videoalign/
• arXiv技术论文：https://arxiv.org/pdf/2501.13918

VideoReward的应用场景

• 视频生成质量优化：利用大规模的人类偏好数据集和多维度奖励模型，VideoReward显著提高了视频生成的质量，尤其在视觉、连贯性及文本对齐方面表现突出。
• 个性化视频生成：通过Flow-NRG技术，VideoReward允许用户在生成过程中为各项目标设置自定义权重，以满足其独特的视频质量需求。
• 视频生成模型的训练与微调：提供的多维度奖励模型和对齐算法（如Flow-DPO和Flow-RWR）可以用于训练和微调视频生成模型。
• 用户偏好分析与研究：该数据集涵盖多个维度，适用于对用户偏好的深入分析与研究。
• 视频内容创作与编辑：在视频创作与编辑领域，VideoReward能够生成更高质量的视频素材，从而提升创作效率。

常见问题

• VideoReward如何提升视频生成质量？通过多维度的奖励模型与人类反馈，VideoReward能够有效优化视频生成的连贯性和文本对齐效果。
• 用户如何自定义生成视频的质量？用户可以通过Flow-NRG技术，在推理时为多个目标设置自定义权重，满足个性化需求。
• VideoReward适合哪些应用场景？它适用于视频生成质量的优化、个性化视频生成、模型训练与微调，以及视频内容创作与编辑等多个领域。