PlanningBench

PlanningBench – 腾讯混元等开源的大模型规划能力评测框架

PlanningBench：赋能大模型迈向真正可执行的规划新纪元

在人工智能飞速发展的浪潮中，大语言模型（LLM）展现出了惊人的理解和生成能力，但其在复杂、多约束的规划任务上的表现却常常停留在“看起来合理”的层面，距离“真正可执行”仍有距离。为了弥合这一鸿沟，腾讯混元团队携手中国人民大学高瓴人工智能学院等权威机构，重磅推出了开源框架 PlanningBench。该框架不仅为大模型的规划能力提供了严谨的评测标准，更开辟了高效的训练新路径，旨在将 LLM 的规划能力从理论推向实践。

PlanningBench：不止于评测，更在于训练

PlanningBench 的核心使命是提升大语言模型在规划领域的实战能力。它区别于以往的评测框架，将目光聚焦于真实世界的规划场景，构建了一套包含六大类、三十余种具体任务的、可验证的数据生成体系。通过创新的约束驱动闭环合成流程，PlanningBench 致力于让模型的规划结果真正具备可执行性，而非仅仅是华而不实的“纸上谈兵”。

PlanningBench 的核心功能亮点

• 全景式真实场景覆盖：PlanningBench 的魅力在于其对现实世界规划挑战的深度模拟。从日常的日程安排、精细的资源调配，到复杂的人力排班、高效的路径规划，再到生产运营的全局掌控以及应急服务的快速响应， PlanningBench 囊括了六大类共计三十余种贴近实际的规划任务，确保评测和训练的有效性。
• 精细化的三层约束体系：为了模拟真实世界规划的复杂性，PlanningBench 将任务难度拆解为基础、中等和困难三个层级。这种精细化的约束控制，使得框架能够精确地调控任务的难度，从而更有效地识别和提升模型的规划能力。
• 强大的自动验证机制：PlanningBench 的一大突破在于其内置的自动验证机制。每一条评测实例都配备了可执行的检查清单（checklist），能够自动、精确地判断模型生成的方案是否满足所有约束条件。这使得评测结果更加客观和可靠，并支持 Avg-pass（平均通过率）和 All-pass（全局可执行率）双指标的深度分析。
• 智能闭环数据生成：PlanningBench 采用了 Generator-Responder-Critic 的闭环流程来生成训练数据。Generator 负责创建问题，Responder 尝试解答，而 Critic 则进行严格验证。这个过程不仅能自动生成高质量的训练样本，还能通过迭代优化，不断增强数据的难度，从而主动挖掘模型的性能边界。
• 直接可用的训练信号：PlanningBench 生成的可验证样本，可以直接作为强化学习训练的奖励信号。这意味着模型可以通过 PlanningBench 提供的稳定、可靠的规划能力优化信号，进行高效的训练和提升。

PlanningBench 的技术内核剖析

• 真实场景抽象与约束体系的巧妙构建：PlanningBench 的数据生成并非凭空捏造，而是源于真实世界的深刻洞察。由资深标注人员和算法研究人员协作，从个人通勤、企业生产、医疗急救等场景中提炼出可复用的问题结构，形成了丰富多样的规划任务家族。同时，通过将约束划分为基础（如时间窗、资源限制）、中等（如多目标优化、依赖关系）和困难（如异常恢复、目标冲突）三个层级，PlanningBench 实现了在结构化设计空间中任务与约束的灵活组合。
• 约束驱动的闭环合成流程是核心引擎：PlanningBench 的强大之处在于其 Generator-Responder-Critic 的三方协作闭环系统。Generator 根据预设的任务与约束组合生成具有完整验证清单的规划问题；Responder 模型则致力于提供最优解决方案；而 Critic 则通过核对 checklist，严格评估方案的执行性。一旦方案通过，系统将自动提升难度；反之，则将其保留为具有挑战性的样本。这一动态流程使得 PlanningBench 能够主动探索模型的极限。
• 三层难度约束体系的精妙设计：PlanningBench 通过对任务结构、约束层级、资源紧张度、目标冲突、依赖关系和异常处理等多种因素的综合考量，构建了精巧的三层难度体系。通过精确控制约束池的采样分布，PlanningBench 能够生成不同难度的规划数据。基础约束确保方案的基本完整性和可执行性；中等约束引入了公平性与负载均衡的要求；而困难约束则着重考验模型在识别不可行性、最小化变更重规划以及设计鲁棒性方案等方面的能力，从而真正深化模型的规划推理能力。

如何驾驭 PlanningBench 的强大力量

• 轻松获取资源：用户可以通过访问 PlanningBench 的 GitHub 仓库来克隆源代码，或者从 HuggingFace 下载数据集，便捷地开启规划能力的探索之旅。
• 高效运行评测：加载 PlanningBench 的评测集，调用你的模型生成规划方案，并利用框架内置的 checklist 自动计算 Avg-pass 和 All-pass 指标，迅速评估模型的规划表现。
• 定制化数据生成：根据你的具体需求，配置任务类型和约束层级，运行 PlanningBench 的闭环生成流程，即可按需产出特定难度和领域的规划训练数据，为模型训练量身定制。
• 赋能模型训练：将 PlanningBench 生成的可验证样本作为奖励信号，通过强化学习训练你的目标模型，使其能够有效地迁移到下游的各类规划任务中。

PlanningBench 的核心竞争力

• 无懈可击的可验证性：通过自动化的 checklist，PlanningBench 能够精确地判定模型生成的方案是否全局可执行，确保评估的客观性。
• 高度可控的难度调控：PlanningBench 并非依赖于简单地增加提示词长度来提升难度，而是通过精巧的约束层级设计，更贴近真实规划的复杂性，实现难度上的精准控制。
• 洞察秋毫的诊断能力：Avg-pass 和 All-pass 双指标的结合，能够敏锐地识别出那些“局部正确但整体不可执行”的模型输出，为模型优化提供关键线索。
• 卓越的训练迁移效果：即使仅使用 300 条样本，通过 GRPO 训练，PlanningBench 也能显著提升模型在外部规划基准和通用指令遵循任务上的表现。
• 源于真实场景的训练数据：PlanningBench 的任务来源于通勤、排产、医疗调度等真实场景，有效避免了模型在固定题库上的过拟合现象。

PlanningBench 的项目入口

• GitHub 仓库：https://github.com/Tencent-Hunyuan/PlanningBench
• HuggingFace 模型库：https://huggingface.co/datasets/tencent/PlanningBench
• arXiv 技术论文：https://arxiv.org/pdf/2605.20873

PlanningBench 与同类竞品深度对比

PlanningBench 的广阔应用前景

• 模型能力深度诊断：PlanningBench 能够精准地揭示大模型在约束推理、资源分配、状态跟踪等规划核心能力上的不足之处。
• 智能体能力的强力赋能：为 AI Agent 提供可验证的规划训练数据，显著提升其在日程安排、物流调度等实际任务中的可靠性和执行力。
• 学术研究的坚实基石：作为规划能力研究的基准工具，PlanningBench 支持可复现、可扩展的模型对比实验，推动该领域的研究进展。
• 企业排程优化的利器：能够基于框架生成特定业务场景（如护士排班、生产排产）的评测数据，从而评估模型在实际业务中的落地可行性。
• 公平教育与资源分配的探索：通过设计学生分组、物资分发等任务类型，PlanningBench 可用于验证模型在多约束条件下实现公平性和最优性的能力。