手机「自动驾驶」大揭秘！vivo万字综述探讨大模型手机自动化

基于大模型的手机 GUI 智能体有望在复杂任务中实现更高自主性。

原标题：手机「自动驾驶」大揭秘！vivo万字综述探讨大模型手机自动化
文章来源：机器之心
内容字数：11368字

大模型驱动手机AI智能体综述：现状、挑战与未来

本文总结了vivo AI Lab联合香港中文大学MMLab等团队发布的关于“大模型驱动的手机AI智能体”的48页综述论文，该论文涵盖200余篇文献，对基于大模型的手机自动化技术进行了全面深入的研究。

1. 手机AI智能体兴起与研究目的

随着手机厂商和AI公司纷纷推出手机AI智能体产品，例如vivo的PhoneGPT，一句话完成订咖啡、订外卖等复杂任务成为现实。然而，该领域缺乏系统性综述。本论文旨在系统总结LLM驱动的手机GUI智能体的研究成果，分析其优势和挑战，并指出未来研究方向。

2. 手机自动化的发展历程与传统方法的挑战

手机GUI自动化经历了自动化测试、快捷指令和RPA等阶段，但传统方法存在通用性差、维护成本高、意图理解能力弱、屏幕GUI感知能力弱等问题。

3. LLM赋能手机自动化的优势

LLM通过上下文语义理解、屏幕GUI多模态感知以及推理和决策制定能力，解决了传统方法的诸多挑战，显著提升了手机自动化的效率和智能化水平。

4. 手机GUI智能体框架

论文介绍了三种主要的手机GUI智能体框架：基础框架（感知、大脑、行动模块）、多智能体框架（角色协调、基于场景）以及计划-然后-行动框架。这些框架通过不同的方式整合LLM的能力，实现对手机GUI的自动化操作。

5. 用于手机自动化的大语言模型

论文探讨了两种主要模型方法：提示工程（纯文本提示词和多模态提示词）和基于训练的方法（GUI任务专用模型架构、监督微调和强化学习）。多模态提示词和基于训练的方法在提升准确性和鲁棒性方面表现更好。

6. 数据集和基准

论文总结了现有数据集和基准，包括早期数据集和一些大规模数据集，以及用于评估智能体性能的各种基准和指标，例如任务完成率、行动准确性、资源利用效率等。

7. 挑战与未来方向

论文指出了该领域面临的挑战，包括数据集开发与微调的可扩展性、轻量级和高效的设备端部署、用户中心适应、模型定位和推理能力提升、标准化评估基准建立以及确保可靠性和安全性等。未来研究需要关注大规模、多模态数据集的构建，以及模型的轻量化、个性化和安全性。

8. 总结

这篇综述论文对LLM驱动的手机GUI智能体进行了全面系统的总结，为学界和产业界提供了宝贵的参考，并指明了未来研究方向。随着技术的不断发展，基于大模型的手机GUI智能体有望为用户提供更智能、便捷和个性化的体验。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台