MAI-UI

MAI-UI – 阿里通义开源的全尺寸GUI智能体基座模型

MAI-UI：革新人机交互的智能体基座模型

MAI-UI，由通义实验室倾力打造，是一款性的全尺寸图形用户界面（GUI）智能体基座模型。它集用户交互、工具调用和端云协同三大核心能力于一身，通过创新的自主进化数据管线与海量在线强化学习技术，实现了从 2B 到 235B-A22B 的全尺寸覆盖，能够胜任各类复杂应用场景。MAI-UI 在 GUI 视觉定位与任务执行方面展现出卓越的领先优势，成功登顶多个权威评测榜单。其精妙的端云协同架构，在保障用户隐私安全的同时，显著提升了模型性能。加之其出色的动态环境适应能力，MAI-UI 在真实任务执行中表现尤为抢眼，为下一代人机交互树立了崭新的标杆。

MAI-UI的核心本领

智能用户交互：当用户指令含糊不清或信息不全时，MAI-UI 能够主动发起追问，精准捕捉用户的真实意图，确保任务的顺利执行。
高效工具调用（MCP）：借助 Model-Callable Protocol（MCP），MAI-UI 可以直接调用外部工具，将繁琐的 UI 操作转化为简洁、高效且可靠的 API 调用。
无缝端云协同：MAI-UI 采用端云协同策略，本地轻量级模型负责处理日常任务，而对于复杂任务，则能平滑过渡至云端模型，同时严格守护用户隐私与数据安全。
自动化任务执行：MAI-UI 能够在多种操作系统环境下实现 GUI 任务的自动化，支持跨应用操作，并能对复杂场景下的任务进行周密规划。
灵活环境适应：面对真实环境中层出不穷的弹窗、广告或 UI 布局变化等干扰，MAI-UI 能够自主进行回退或重新定位，确保任务的连续性不被打断。

MAI-UI的底层技术支撑

自主进化数据管线：MAI-UI 运用自主进化数据管线，整合了用户交互、MCP 工具调用等多元维度的数据进行训练。通过人工标注和模型自动生成相结合的方式，不断优化训练数据，使模型在复杂场景下持续精进，对真实任务的理解和执行能力日益增强。
海量在线强化学习：该模型通过大规模在线强化学习，显著提升了其泛化能力和鲁棒性。在动态环境中进行训练，支持长达 50 步的超长轨迹，并引入动态扰动注入机制（如弹窗、权限变更、UI 偏移等），使其能够从容应对真实 GUI 任务中的各种挑战，确保任务执行的流畅与成功。
精巧端云协同架构：MAI-UI 构建了精巧的端云协同架构。本地轻量级模型如同“轨迹”，实时判断任务执行路径是否偏离用户意图。一旦任务在端侧受阻且不涉及敏感信息，系统便会激活云端模型接管，确保任务圆满完成。更为重要的是，所有涉及隐私的操作均在本地执行，最大限度保障用户数据安全。
强大的多模态交互能力：依托于 Qwen3-VL 等多模态大语言模型，MAI-UI 实现了对 GUI 界面的深度视觉感知和语言理解。模型支持点击、滑动、输入等多种操作，能够高效完成一系列复杂任务，在手机、电脑、网页等多种操作系统上实现 GUI 任务的智能化自动化。