能跨App比价的手机AI助手，UIUC阿里开源可自我进化多能体框架，超越SOTA性能33.9%

层次化多智能体框架，有长期记忆模块，可自我进化

原标题：能跨App比价的手机AI助手，UIUC阿里开源可自我进化多能体框架，超越SOTA性能33.9%
文章来源：量子位
内容字数：6050字

Mobile-Agent-E：一款自我进化的智能手机助手

1. **引言:** 现代人每天花费大量时间在手机上，人们需要一个更智能的助手来处理复杂任务。现有的手机助手功能有限，难以应对多步骤、跨应用的操作。UIUC和阿里通义实验室联合推出的Mobile-Agent-E框架，旨在解决这一问题，它能够执行复杂推理、多步规划以及跨应用操作，并具备自我进化能力。

2. 多层级多智能体架构

2.1 **核心思想:** Mobile-Agent-E采用层次化的多智能体架构，将高层规划与低层动作执行区分开来，提升了长期规划和错误恢复能力。它由一个“经理”和四个“助手”组成。

2.2 **智能体组成:**

• 管理者(Manager): 基于大型多模态模型(LMM)，负责高层规划和错误处理。
• 感知者(Perceptor): 基于视觉的感知模块，负责识别文本和图标信息。
• 操作员(Operator): 基于LMM，负责执行具体操作，并参考长期记忆中的提示(Tips)。
• 动作反思者(Action Reflector): 基于LMM，验证动作结果，并提供反馈。
• 记录员(Notetaker): 记录重要信息，例如商品价格等。

2.3 **工作流程:** 管理者制定计划，操作员执行，反思者验证结果，记录员记录信息。错误发生时，操作员先尝试解决，解决不了则上报给管理者。

3. 自我进化模块

3.1 **核心机制:** Mobile-Agent-E引入了自我进化模块，通过学习经验来提升效率。它定义了两种知识类型：提示(Tips)和捷径(Shortcuts)。

3.2 **Tips和Shortcuts:** Tips是关于有效交互的一般指导，类似情景记忆；Shortcuts是可复用的技能，类似程序性知识。它们存储在长期记忆模块中，并根据任务完成情况不断更新。

3.3 **经验反思者:** 两个经验反思者根据任务记录和错误日志优化Tips和Shortcuts。

3.4 **经验检索代理:** 为了应对长期记忆中信息过载的问题，引入了经验检索代理，只提取与新任务相关的Tips和Shortcuts。

4. 全新基准测试与实验结果

4.1 **Mobile-Eval-E Benchmark:** 研究团队设计了新的基准测试数据集Mobile-Eval-E，它比现有数据集更复杂，包含更多步骤和跨应用交互。

4.2 **满意度得分(Satisfaction Score):** 采用新的评估指标——满意度得分，更符合人类偏好，考虑了关键步骤和探索。

4.3 **实验结果:** Mobile-Agent-E在多个基础模型上超越了现有SOTA，启用自我进化模块后性能进一步提升，满意度得分提升了33.9%。

5. 结论

Mobile-Agent-E通过多层级多智能体架构和自我进化模块，实现了更强大的手机智能体。其在复杂任务上的出色表现，以及自我学习能力，为未来构建更智能的手机助手提供了新的方向。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破