WorldPM

WorldPM – 阿里Qwen团队联合复旦推出的偏好建模模型系列

WorldPM

WorldPM（World Preference Modeling）是由阿里巴巴集团的Qwen团队与复旦大合开发的偏好建模系列模型。该模型基于1500万条偏好数据，通过大规模训练揭示了偏好建模的可扩展性。研究发现，在客观领域，偏好模型呈现出明显的幂律下降趋势，而在主观领域，由于其多维特性，难以形成单一的扩展趋势。该项目提供了72B参数规模的基础模型及多个经过特定数据集微调的版本，例如适用于精确偏好判断的WorldPM-72B-HelpSteer2，适合处理大规模用户反馈的WorldPM-72B-UltraFeedback，以及专为低资源偏好建模设计的WorldPM-72B-RLHFLow。用户可以通过Hugging Face平台快速使用WorldPM。该模型在自然语言处理领域的对话系统和推荐系统等任务中展现出强大的偏好建模能力，为相关领域的发展提供了有力支持。

WorldPM是什么

WorldPM（World Preference Modeling）是阿里巴巴集团的Qwen团队与复旦大合推出的偏好建模模型系列。它通过大规模的训练过程，揭示了偏好模型的可扩展性。该模型基于1500万条偏好数据进行训练，研究发现偏好模型在客观领域展现出显著的幂律下降趋势，而在主观领域由于其多维特性，难以呈现单一的扩展趋势。WorldPM项目提供了一个72B参数的基础模型以及多个针对特定数据集进行微调的版本，能够满足不同应用场景的需求。

WorldPM的主要功能

偏好建模：通过学习人类的偏好模式，形成统一的偏好表示。
提升泛化能力：增强模型在不同数据集上的表现。
作为基础模型：为偏好微调提供基础，提升模型的整体性能。
增强鲁棒性：有效识别和处理错误或不完整的信息。

WorldPM的技术原理

偏好数据收集与处理：WorldPM通过从公共论坛（如StackExchange、Reddit等）收集用户生成的偏好数据，利用用户对不同回答的投票机制自然生成偏好对。
大规模训练与规模定律：WorldPM借鉴了语言建模中的规模定律，模型性能随着参数规模和训练数据量的增加而提升。通过在不同规模的模型（从1.5B到72B参数）上进行训练，WorldPM能够探索偏好建模的规模扩展潜力。实验表明，在对抗性和客观性评估任务中，模型性能随着训练数据和模型规模的增加显著提升。
偏好建模框架：WorldPM采用二元偏好对的建模框架。对于每对偏好样本，模型计算每个回答的奖励分数，并基于Bradley-Terry模型的BT损失函数进行优化，学习偏好模式。
风格偏好分析与控制：为了解决主观偏好评估中的风格偏好问题，模型引入了风格偏好分析和控制机制。通过分离风格特征（如文本长度、Markdown格式等）与内容特征，模型能够更准确地评估偏好，减少风格因素对评估结果的影响。
模型扩展与微调：WorldPM不仅可以直接应用于偏好评估，还可以作为其他模型的初始化基础，进行进一步的偏好微调。通过在不同规模的人类偏好数据集上进行微调，WorldPM能够显著提升模型性能，特别是在数据有限的情况下。