任意Prompt就能给大模型实时排名！竞技场新玩法，还能自动找最佳AI来作答

单个模型的优缺点也能分析

原标题：任意Prompt就能给大模型实时排名！竞技场新玩法，还能自动找最佳AI来作答
文章来源：量子位
内容字数：4030字

竞技场新功能：Prompt-to-Leaderboard (P2L)——大模型实时排名新玩法

文章介绍了竞技场（lmarena.ai）最新推出的P2L（Prompt-to-Leaderboard）排名系统，该系统允许用户输入任意Prompt，实时获得针对该Prompt的大模型排名，从而精准找到最适合处理特定任务的模型。

1. P2L 的核心功能与优势

P2L 的核心在于根据用户输入的Prompt，而非全局数据，实时生成模型排名。这意味着，对于不同的Prompt，排名结果也会有所不同。例如，针对数学计算Prompt，擅长计算的模型排名靠前；针对需要创造性回答的Prompt，则不受审查限制的模型排名更高。这与传统的全局排行榜相比，更能反映模型在特定任务下的实际表现。

2. P2L 的实际应用案例

文章通过多个案例展示了P2L 的实际效果。包括简单的算术题、要求不合适的Prompt、复杂的编程任务，以及一些更具趣味性的“弱智吧”风格的中文Prompt。结果显示，不同类型的Prompt会产生不同的排名结果，例如在“弱智吧”类型的Prompt中，Grok 3 和 DeepSeek R1 表现突出。

3. 竞技场其他功能

除了P2L，竞技场还提供其他功能，例如根据细分任务类别进行实时排名，以及通过对话方式输入Prompt，由系统自动选择最合适的模型进行回答。此外，还提供“P2L Explorer”栏目，方便用户查看不同类别和特定模型的排名及优缺点。

4. P2L 的技术原理与优势

文章简述了P2L 的技术原理，它基于Bradley-Terry (BT) 模型，通过训练一个LLM 来预测人类偏好投票，从而为每个Prompt生成特定排行榜。与传统的全局排行榜相比，P2L 考虑了Prompt 对模型性能的影响，更准确地评估模型在特定任务下的表现。实验结果表明，P2L 在预测人类偏好方面优于传统方法，尤其是在模型和数据集规模增加时，其优势更加明显。

5. 网友质疑与官方回应

文章也提到了网友对 P2L 排名可靠性的质疑，以及竞技场官方通过论文《Prompt to Leaderboard》进行回应。该论文详细阐述了P2L 的技术细节和优势，并指出其在Chatbot Arena 上取得了领先的成绩。

6. 总结

竞技场的P2L功能为大模型的评估和选择提供了一种新的思路，它更注重模型在特定任务下的表现，而非全局性能。虽然仍存在一些需要改进之处，但其创新性以及在特定场景下的实用性，使其成为大模型评估领域一个值得关注的新方向。 文章末尾也提供了体验地址，方便读者自行体验。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破