解放双手！OSCAR让操作系统交互实现自然语言「」

操作系统智能交互难题。

原标题：解放双手！OSCAR让操作系统交互实现自然语言「」
文章来源：机器之心
内容字数：4967字

机器之心AIxiv专栏：OSCAR——开启操作系统交互新时代的开源解决方案

本文介绍了加拿大蒙特利尔大学和Mila研究所研究团队的开源项目OSCAR，一个用于操作系统UI自动化的新型智能体。该研究已被ICLR录用，其创新之处在于结合了灵活的状态机和动态重规划能力，实现了在不同操作系统（Windows、Ubuntu、Android）上的泛化与验证。

1. 桌面任务UI自动化的挑战

现有的基于多模态大型语言模型（MLLM）的智能体在处理复杂任务时，存在通用性差、难以适应复杂工作流、缺乏实时反馈和自适应调整等问题。尤其是在面对动态的UI环境和多种操作路径时，传统智能体难以应对。

2. OSCAR的创新设计

为了解决上述挑战，OSCAR采用了以下创新设计：

1. 状态机架构：OSCAR 通过“初始化-观察-规划-执行-验证”循环处理任务，并利用实时反馈进行动态重规划，提高效率和适应性。
2. 视觉和语义双重UI定位：OSCAR 结合Set-of-Mark（SoM）提示技术、可访问性（A11Y）树和描述性标签，实现精准的UI元素定位。
3. 任务驱动重新规划：OSCAR 将用户指令分解为子任务，并根据反馈对特定子任务进行重规划，提高效率并防止错误传播。
4. 基于代码的动作：OSCAR 利用生成的语义定位信息，通过PyAutoGUI库生成控制代码，精确控制操作系统。

3. OSCAR的实验验证

研究人员在GAIA、OSWorld、AndroidWorld等基准数据集上对OSCAR进行了评估，结果显示：

1. 基准测评成绩突出：OSCAR在所有基准测试中均取得了最佳成绩，尤其在GAIA基准测试中最复杂的Level 3任务上，成功率达到13.5%，几乎是之前最先进方法的两倍。
2. 规划效率优势显著：OSCAR在成功案例中重新规划次数更少，效率更高；在失败案例中，其重新规划冗余度也明显低于其他智能体系统。

4. 结语

OSCAR作为一款开源的通用智能体，凭借其灵活的状态机和动态重规划能力，在桌面和智能手机操作系统任务中展现出强大的适应性和有效性。它为自动化工作流提供了高效通用的解决方案，有望成为提升生产力的有力工具，并推动通用人工智能与数字世界实现更完美的交互。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台