PAST-Bench

PAST-Bench – 普林斯顿推出的个人 Agent 的性能归因基准

PAST-Bench：揭示 AI Agent 递归自我进化潜力的深度测评体系

由普林斯顿大学王梦迪团队精心打造的 PAST-Bench，是一套旨在深入探究个体 AI Agent 递归式自我优化能力的基准测试框架。它通过巧妙地对比 Agent 在具备记忆能力与缺乏记忆能力两种情境下的任务执行表现，来精准判断 Agent 所存储的跨会话经验，是否能够切实有效地提升其后续的行为效能。PAST-Bench 的设计涵盖了记忆、流程复用、信息搜集以及状态更新四大核心能力维度，共计包含 26 个精心设计的场景，细化为 204 个任务回合，为 Agent 的自我进化能力提供了一套全面而深入的评估体系。

PAST-Bench 的核心功能解析

• 深度评估递归式自我优化：PAST-Bench 的首要目标是检验 AI Agent 所保存的跨会话经验——包括其记忆、掌握的技能以及过往的任务历史——是否真正带来了后续行为的实质性改进。
• 精准隔离经验积累效果：该基准测试能够有效区分“得分的提升是否源于经验的积累”，还是“基础模型本身的增强”、“Prompt 的优化”或“任务难度的变化”等其他潜在因素的影响，从而提供更纯粹的经验积累效果评估。
• 多维度能力诊断：PAST-Bench 覆盖了记忆、流程复用、信息搜集和状态更新这四大关键能力维度，能够精确地定位 Agent 在具体哪一类能力上存在短板或不足。
• 机制归因深入分析：PAST-Bench 不仅仅关注最终的得分表现，更进一步追踪“存储→检索→应用”这一完整的经验利用路径，以判断 Agent 的改进是否拥有真实可信的机制支撑。

PAST-Bench 的技术原理剖析

• 任务族序列化设计：PAST-Bench 的核心机制在于 Agent 需要按顺序完成同一任务族下的多轮会话。早期的会话旨在为 Agent 创造积累和保存经验的机会，而后续的会话则用于检验这些宝贵的经验是否被 Agent 有效地识别和运用。
• 匹配对照实验设置：为了实现精确的因果分析，PAST-Bench 为每一轮的后期会话都设计了一个对照版本。在这个对照版本中，Agent 的持久化能力被暂时关闭，而其他所有条件均保持一致。通过计算“有记忆得分”与“无记忆得分”之间的差值（Δ），可以量化自我进化带来的效益。
• 机制证据追踪机制：在 Agent 运行过程中，PAST-Bench 会实时记录下包括记忆写入、技能调用、会话检索、状态更新等关键操作的遥测数据。基于这些数据，计算出“机制证据分数”，以验证 Agent 的改进是否遵循了预期的经验利用路径。
• 持久化产物审计：PAST-Bench 还会对 Agent 实际保存下来的内容进行细致的检查，包括记忆条目、技能文件以及会话索引等，并分析其结构、时效性以及可复用性，从而全面评估持久化机制的有效性。

如何运用 PAST-Bench 进行评估

• 环境配置准备：首先，需要从 GitHub 克隆 PAST-Bench 的代码仓库，并根据指南安装核心依赖库以及 Agent 的适配器。
• 模型接口配置：将您所使用的 AI 模型 API Key 配置到环境变量中，以便 PAST-Bench 能够调用相应的模型服务。
• 构建评估沙箱：执行命令 past-bench build-image --kind sandbox 来构建运行评估所需的 Docker 沙箱镜像。
• 快速验证（Smoke Test）：使用命令 past-bench evolve 运行单个任务族，并附加参数 --compare-no-persistence，进行初步的功能验证。
• 执行全面评估：遍历 PAST-Bench 提供的全部 26 个任务族，对每个任务族分别执行“启用持久化”和“禁用持久化”两组对照实验，完成完整的评估流程。
• 结果深度分析：在指定的 --trace-dir 目录下，您可以找到 sequence_comparison.json 文件，其中包含了计算出的 Δ 值（自我进化差值）和机制证据分数。
• 自定义 Agent 集成：如果您希望评估自己开发的 Agent，只需在 agents/ 目录下实现相应的适配器，并确保该适配器支持 --compare-no-persistence 参数的切换即可。

PAST-Bench 的独特优势

• 精准的归因能力：PAST-Bench 能够精确地区分 AI Agent 的性能提升究竟是源于“经验的积累”，还是仅仅因为“模型本身性能的增强”、“Prompt 的优化”或“任务难度的降低”。
• 精巧的对照实验设计：PAST-Bench 的核心在于，为每个任务族都精心设计了具有对照意义的关闭持久化版本。在所有其他条件完全一致的情况下，实现了有记忆与无记忆状态下的直接因果对比。
• 机制层面的深度诊断：PAST-Bench 引入了“机制证据分数”（Mechanism-Evidence Score），这不仅判断 Agent 是否能够给出正确答案，更重要的是追踪“存储→检索→应用”这一完整的经验利用路径，从而区分“碰巧猜对”与“真正复用经验”的本质区别。
• 多维度能力细分：将原本较为模糊的“自我改进”概念，拆解为记忆、流程复用、信息搜集以及状态更新这四个具体且可量化的能力维度，从而能够精准地定位 Agent 在不同能力上的短板。
• 诊断驱动的优化：PAST-Bench 所暴露出的运行时故障，直接催生了像 Hermes+ 这样的先进框架，有力地证明了它不仅是一个评估工具，更是一个能够指导 Agent 架构优化方向的强大诊断引擎。

PAST-Bench 的项目链接

• GitHub 仓库：https://github.com/Gen-Verse/PAST-Bench
• arXiv 技术论文：https://arxiv.org/pdf/2608.04003

PAST-Bench 与同类竞品的比较

PAST-Bench 的应用场景展望

• 学术研究的基石：为 Agent 递归式自我优化能力的评估提供了一个标准化、可复现的量化环境，有力支持不同 Agent 架构之间的客观比较。
• 框架开发的驱动力：通过对 Agent 四大核心能力的精细化拆解，PAST-Bench 能够精准地定位 Agent 框架的短板，从而指导更有效的架构优化（正如 Hermes+ 框架的诞生所证明的那样）。
• 模型选型的指南针：在统一的 Agent 框架下，PAST-Bench 可以用来对比不同基础模型的跨会话经验复用表现，帮助识别出各模型在这一能力上的特长与偏向。
• 持久化机制的验证器：PAST-Bench 有效地测试了不同记忆结构和检索策略的实际效果，避免了“数据存储了但未能有效检索”或“存储了但未被合理利用”的无效持久化问题。
• 产品迭代的可靠依据：PAST-Bench 能够清晰地区分新版本 Agent 得分提升的真正原因——是“跨会话经验的积累”还是“基础模型的进步”，从而确保持久化功能真正为产品带来价值。