MemGUI-Agent

MemGUI-Agent – 浙大联合快手推出的长程手机GUI智能体

MemGUI-Agent：浙大与快手携手，革新长程手机GUI智能体，赋能跨App、多步骤、长链条的移动端自动化新纪元。

MemGUI-Agent：长程移动自动化新范式

MemGUI-Agent，一项由浙江大学与快手联合研发的创新性长程手机GUI智能体，应运而生，旨在彻底改变移动端自动化任务的执行方式。它专注于解决跨App、多步骤、长链条等复杂场景下的自动化挑战。与传统ReAct风格的智能体不同，后者在处理长程任务时，历史记录会呈线性膨胀，导致关键信息被稀释，影响执行效率。MemGUI-Agent则通过其核心的ConAct协议，在每一步推理中，模型都能智能地同时决定操作UI的策略以及如何精炼和组织记忆，从而实现高效且结构化的上下文管理。

MemGUI-Agent的核心能力概览

• 卓越的长程任务处理能力：该智能体能够无缝地跨越多个App和页面，执行平均超过30步的连续自动化流程，轻松应对复杂的任务编排。
• 智能主动的上下文管理：借助ConAct协议，MemGUI-Agent能够自主判断何时需要压缩冗余历史信息，何时需要精确记录UI中的关键事实，以及如何恰当地描述当前的操作步骤。这种主动性使得上下文的更新成为一种可执行、可训练的策略输出。
• 结构化的记忆操作机制：该智能体支持诸如memory_add（添加记忆）、memory_update（更新记忆）和memory_delete（删除记忆）等精细化的记忆动作，能够持久地保存诸如商品价格、联系电话、产品规格等至关重要的UI事实信息，确保信息不丢失、不混淆。
• 端到端的模型训练方案：基于Qwen3-VL-8B模型，通过LoRA微调技术，MemGUI-Agent推出了MemGUI-8B-SFT模型。令人瞩目的是，仅需80亿参数，该模型便能胜任复杂的长程自动化任务，展现出高效能的特点。
• 全面的开源承诺：该项目的代码库、MemGUI-3K数据集、完整的训练与评测流程，乃至训练好的模型权重，均已全部向公众开放，极大地促进了社区的协作与创新。

MemGUI-Agent的技术基石

• ConAct（Context-as-Action）核心框架：MemGUI-Agent将上下文的管理从过去依赖的外部规则模块或事后总结器，提升到了与UI点击、滑动、输入同等重要的第一类动作层面。在每一次的推理过程中，模型都会主动地决策应该压缩哪些历史记录，需要记住哪些UI事实，以及如何清晰地表述当前的操作。这样一来，上下文的更新就变成了一个可以执行、可以进行策略训练的输出。
• 三位一体的结构化状态字段：Agent将复杂的上下文信息拆解为三个相互补充的字段，协同工作。Folded Action History 负责将已完成的子任务段落进行高效压缩，转化为可复用的摘要，有效避免了历史记录的线性膨胀。Folded UI State 则专门用于持久化存储跨屏幕的关键信息，确保即使经过数十步的操作，这些信息依然能够被精准地检索。Recent Step Record 记录了最近一步的屏幕观察、操作意图、实际执行动作以及反馈结果，为后续的历史折叠和记忆写入提供了可靠的局部依据。
• 五段式结构化输出与记忆整合：在每一次的执行步骤中，模型会生成包括thinking（思考过程）、folding（历史折叠）、tool_call（工具调用）、ui_observation（UI观察）和action_intent（动作意图）在内的五个结构化段落。其中，tool_call不仅可以执行常规的UI操作，还可以触发显式的记忆操作，如memory_add、memory_update、memory_delete等。

扫描微信二维码，回复“开源”，即可加入AI开源项目交流群，与同行一起探讨前沿技术。

MemGUI-Agent的便捷使用指南

• 克隆核心代码库：访问GitHub仓库 github.com/kwai/MemGUI-Agent，即可获取完整的代码以及训练和评测的pipeline。
• 下载所需数据集：前往HuggingFace平台，下载MemGUI-3K数据集。
• 获取模型权重：在HuggingFace平台上，下载预训练的MemGUI-8B-SFT模型权重。
• 配置Android运行环境：连接您的Android设备或启动模拟器，并部署Agent的执行环境。
• 输入您的任务指令：以自然语言清晰地描述您想要完成的长程自动化目标，MemGUI-Agent将自动规划并执行。

MemGUI-Agent的突出优势

• 大幅降低上下文成本：在长达150步的任务执行中，ConAct协议相比ReAct平均能节省约1500个输入token，有效抑制了上下文的线性增长。
• 关键信息精准留存：通过UI State的持久化存储，该智能体能够完整地保留关键事实信息，有效避免了在长程任务中信息被稀释或产生幻觉的问题。
• 小巧模型，强大能力：仅需8B参数的MemGUI-8B-SFT模型，在经过MemGUI-3K数据集的训练后，其在长程任务基准上的表现超越了许多32B甚至235B参数的基线模型，实现了高效的部署。
• 卓越的分布外泛化能力：MemGUI-8B-SFT在MobileWorld测试集上取得了17.9%的成功率，比基线模型提升了8.5个百分点，展现出强大的跨场景迁移能力。
• 全链路可复现，降低门槛：从数据的构建、模型的训练到评测的协议，整个流程完全开源，极大地降低了相关领域的研究门槛。

MemGUI-Agent的项目资源链接

• 项目官方网站：https://memgui-agent.github.io/
• HuggingFace模型仓库：https://huggingface.co/collections/lgy0404/memgui-agent
• arXiv技术论文链接：https://arxiv.org/pdf/2606.19926

MemGUI-Agent与同类竞品的比较分析

MemGUI-Agent的广泛应用场景

• 跨App信息整合助手：能够自动从电商、地图、社交等多个App中收集所需信息，并汇总至笔记软件，实现信息的高效整合。
• 智能长表单填写专家：基于来自邮件、通讯录、日历等多方信息源，自动完成复杂的注册流程或报销申请。
• 联系人信息自动更新与管理：从社交媒体帖子中提取新的电话号码或邮箱地址，自动更新通讯录，并可选择性地发送短信通知。
• 商品比价与分析工具：自动浏览多个电商平台，详细记录商品的价格、规格参数，并生成直观的对比文档。
• 移动端自动化测试与RPA解决方案：在移动设备上执行长链条的UI回归测试，或作为企业级流程自动化（RPA）的强大工具。