VitaBench 2.0

VitaBench 2.0 – 美团 LongCat 推出的长期动态智能体评测基准

VitaBench 2.0：重塑智能体长期用户建模的评测新标杆

美团 LongCat 团队匠心独运，隆重推出 VitaBench 2.0，这是业界首个在真实生活场景下，针对长期动态用户建模智能体而设计的综合性评测基准。该基准集深度模拟了 56 位鲜活的拟真用户，构建了 819 个错综复杂的任务，并蕴藏了超过 2000 种随时间演变的动态偏好，同时集成了 66 个功能强大的可执行工具。更令人瞩目的是，其平均交互跨度长达惊人的 1580 天，旨在全面考量大型语言模型在长期互动中展现出的个性化服务和主动响应能力。

VitaBench 2.0 的核心亮点

• 栩栩如生的用户画像与轨迹：我们为 56 位虚拟用户精心绘制了覆盖送餐、到店消费、差旅出行等多元生活场景的长期活动轨迹，使其行为模式更贴近真实世界。
• 千变万化的动态偏好：内置超过 2000 种用户偏好设定，平均每位用户经历 48 次以上的偏好动态调整，生动还原了用户习惯在真实生活中的自然演变。
• 挑战重重的复杂任务群：精心设计了 819 个贯穿用户整个生命周期的可执行任务，全面检验智能体在不同阶段的应变能力。
• 双记忆模式的策略博弈：引入 Agentic Memory（主动档案维护）与 RAG Memory（检索历史片段）两种记忆模式，在统一的评测框架下进行公平对决，揭示不同记忆机制的优劣。
• 考验主动性的任务设计：特别设计了旨在考察 AI 在信息不完全的情况下，能否主动发起疑问而非盲目决策的任务，以此衡量其主动服务意识。

VitaBench 2.0 的技术精髓

• 三维解构的闭环架构：将用户信息（画像、偏好、历史、任务）的输入，转化为个性化记忆的构建，最终串联至智能体的任务执行，形成一个完整高效的闭环。
• 精密的“时间标尺”机制：严格按照时间顺序向智能体暴露交互，精准复现用户偏好的渐进演化与漂移，确保评测的真实性。
• 公平的“记忆擂台”：通过可扩展的接口，让两种记忆架构在相同的用户场景下同台竞技，直观评估不同设计对最终决策的实际影响。
• 敏锐的“噪音信号分离”：约 20% 的交互数据中融入了无关信息、探索或代理行为等“噪音”，以此考验模型从混杂线索中精准提炼真实用户偏好的能力。

如何驾驭 VitaBench 2.0

• 获取评测框架：请使用 git clone https://github.com/meituan-longcat/vitabench-2.0.git 命令克隆我们的代码仓库，即可获得评测框架和运行脚本。
• 下载标准化数据集：前往 HuggingFace 数据集，下载包含 56 位用户轨迹、819 个任务及 66 个工具的标准化数据集。
• 配置运行环境：进入项目目录，执行相应的安装命令，以配置好 Python 环境及所有必需的库。
• 选择评测模式：根据您的需求，在 Full Context、Agentic Memory、RAG Memory 三种记忆配置中选择一种作为评测基准。
• 集成您的模型：请参考仓库内的文档，将您的大模型或智能体接入评测接口，使其能够按照时间线接收用户并调用工具。
• 启动评测流程：运行评测脚本，让您的智能体在送餐、到店、差旅等模拟场景中，依次完成一系列标准化任务。
• 解读性能报告：仔细分析生成的性能报告，对比 Avg@4、Pass@4 等关键指标以及时间衰减曲线，精准定位模型在长期用户建模方面的不足之处。

VitaBench 2.0 的独特优势

• 开创性设计：作为业界首创，它将智能体的应用场景与丰富多样的用户生态深度融合，专注于真实生活中的长期动态用户建模，填补了评测领域的空白。
• 超长时序模拟：平均 1580 天（最长可达 2974 天）的交互周期，真实复现了用户偏好的长期演进和自然漂移。
• 高保真用户画像：56 位虚拟用户基于真实的统计数据精心构建，涵盖性别、年龄、城市层级、职业、婚恋状况等多维度特征，极大地提升了用户画像的真实感。
• 动态偏好模拟：内置超过 2000 种用户偏好，平均每位用户经历 48 次以上的动态变化，逼真地模拟了真实生活中习惯的改变过程。
• 统一记忆评测生态：首个在真实场景下搭建的长期智能体评测平台，为 Agentic Memory 和 RAG Memory 两种记忆架构提供了统一的对比评估环境。

VitaBench 2.0 的项目链接

• 官方网站：https://vitabench2.github.io/
• GitHub 仓库：https://github.com/meituan-longcat/vitabench-2.0
• HuggingFace 数据集：https://huggingface.co/datasets/meituan-longcat/VitaBench-2.0
• 技术论文 (arXiv)：https://arxiv.org/pdf/2605.27141

VitaBench 2.0 与同类竞品的比较

VitaBench 2.0 的应用场景展望

• AI 个人助理的深度评测：精准评估智能助手在长期陪伴过程中，对用户需求的理解深度和个性化服务能力。
• 智能客服系统的优化：检验客服系统在记忆用户偏好和动态适应性方面的准确性。
• 生活服务平台的智能化升级：为外卖、出行、酒店等领域的推荐算法提供更贴近真实使用场景的评测环境。
• 记忆模块的研发与选型：助力研究人员对比 Agentic Memory 和 RAG Memory 在不同场景下的性能表现。
• 长上下文模型能力的边界探索：检验大型语言模型在超长时序、高噪音环境下的极限能力。