Cradle – 通用计算机控制的多模态AI Agent框架

Cradle是一款创新的多模态AI代理框架，旨在实现通用计算机控制（General Computer Control，GCC）。该项目由昆仑万维与北京智源人工智能研究院、新加坡南洋理工大学、北京大学等顶尖学术机构联合开发，允许AI代理无需额外训练即可像人类一样直接与计算机进行交互，通过键盘和鼠标控制各种开源和闭源软件。Cradle是首个能够同时操控多种商业游戏和软件应用的AI框架，其相关论文、项目和代码均已开源。

Cradle的主要功能

• 信息收集：从屏幕图像和音频中提取多模态信息，以便支持决策过程。
• 自我反思：评估之前操作的成效，并分析失误的原因，以指导后续行动。
• 任务推断：根据当前环境和历史数据，推理并选择下一个最优任务。
• 技能规划：生成和更新与特定任务相关的技能，以应对不同的计算机操作需求。
• 动作计划：为键盘和鼠标操作制定具体的执行步骤，将策略转化为可操作的指令。

Cradle的技术原理

• 多模态输入处理：Cradle可以接收并解析屏幕图像和音频的多模态输入，模拟人类对计算机界面的感知与理解。
• 信息提取与理解：利用大型多模态模型（如GPT-4V）识别图像中的视觉元素、文本信息以及音频中的指令或反馈。
• 自我反思机制：通过反思模块，Cradle能够评估先前动作的成功与否，并分析失败原因，从而调整策略。
• 任务推断与规划：Cradle通过任务推断模块识别当前的优先任务，并在动作规划模块中制定完成任务所需的新动作。
• 技能生成与更新：技能规划模块负责根据当前任务生成新的技能或更新已有技能，这些技能以代码函数的形式呈现，可以被实例化并执行。
• 记忆与知识管理：Cradle具备长期和短期记忆系统，存储过去的经验与技能，以便在需要时进行检索和应用。

Cradle的项目地址

• GitHub仓库：https://github.com/BAAI-Agents/Cradle
• arXiv技术论文：https://arxiv.org/pdf/2403.03186

Cradle的应用场景

• 桌面软件自动化：自动执行桌面应用中的重复性任务，如文档编辑、表格处理和图像编辑等。
• 网页内容交互：模拟用户与网页的互动，包括填写表单、点击按钮和导航链接等。
• 游戏环境：在游戏环境中，如《荒野大镖客：救赎II》，Cradle能够控制游戏角色进行任务、探索和战斗。
• 专业软件操作：在需要专业技能的软件中，如图形设计或视频编辑，Cradle能够学习并执行特定的创作任务。
• 日常计算机任务：处理日常计算机使用中的任务，比如文件管理、电子邮件处理和日程安排等。

常见问题

• Cradle是否需要额外的培训？ 不需要，Cradle可以直接控制计算机，无需任何额外训练。
• Cradle支持哪些类型的软件？ Cradle支持多种开源和闭源软件的操作。
• 如何获取Cradle的源代码？ 可以在GitHub上的Cradle仓库中获取源代码。
• Cradle是否有使用的限制？ 在合法和道德的框架内使用Cradle，无论是个人还是商业目的。