Open-AutoGLM

Open-AutoGLM – 智谱开源的手机端AI Agent框架

Open-AutoGLM：智谱开源的手机智能助理新篇章

在人工智能飞速发展的浪潮中，智谱科技再次引领创新，推出了其最新的开源力作——Open-AutoGLM。这不仅仅是一个框架，更是一个能够让手机操作“开口能懂，动手即成”的智能助理系统。Open-AutoGLM 基于强大的 AutoGLM 模型构建，其核心在于通过自然语言指令，实现手机端各项任务的自动化执行。它犹如一位身手敏捷的数字管家，能够精准理解用户意图，并通过其独特的 Phone Use 能力框架，将抽象的语言指令转化为具体的手机操作，诸如精准的点击、流畅的滑动、以及便捷的文本输入等。无论是在外卖订餐、社交互动，还是在客服场景中，Open-AutoGLM 都能游刃有余地代您完成复杂任务。

Open-AutoGLM 的独特之处

Open-AutoGLM 的诞生，标志着手机智能化操作进入了一个新纪元。它巧妙地利用云手机技术，为用户的数据安全和隐私保护筑起了一道坚实的屏障。智谱科技选择开源 Open-AutoGLM，旨在汇聚行业力量，共同推动 AI Agent 技术的发展与成熟，同时坚守用户隐私至上的原则，加速 Agent 技术的爆发式增长。目前，该框架已成功适配超过 50 款主流中文应用，并提供了一套完备的工具链和详尽的文档，旨在让开发者们能够轻松上手，并在此基础上进行二次开发，释放无限创意。

Open-AutoGLM 的核心能力概览

意图识别与执行的无缝衔接：用户只需用日常的语言表达需求，AI 便能智能解析其意图，并迅速转化为实际的手机操作，实现从“说”到“做”的流畅转化。
多模态界面洞察力：借助先进的视觉语言模型，Open-AutoGLM 能够“看懂”手机屏幕上的内容，精准识别界面元素，从而执行相应的操作。
逼真的自动化操作：该框架支持模拟用户在手机上的各种行为，包括但不限于点击、滑动、文本输入、长按以及双击等，操作体验如同真人一般自然。
安全至上的交互设计：对于涉及用户隐私或敏感信息的操作，Open-AutoGLM 会主动请求用户确认，或允许用户随时接管，确保操作的绝对安全。
便捷的远程操控与调试：通过 WiFi 或网络连接，用户可以实现对设备的远程 ADB 调试，无需物理接触即可完成设备操作。
广泛的应用兼容性：Open-AutoGLM 已经支持市面上超过 50 款热门中文应用，涵盖了社交、电商、外卖、影音娱乐等多个领域。
云端部署的安全保障：所有操作均在云端虚拟设备中进行，极大地提升了用户隐私和数据安全性。

轻松上手 Open-AutoGLM 的步骤

前期准备工作：
- Python 环境搭建：请确保您的计算机上已安装 Python（建议使用 3.10 或更高版本）。
- ADB 工具安装：下载并安装 Android Debug Bridge (ADB) 工具，官方下载链接为 https://developer.android.com/studio/releases/platform-tools。安装完成后，请务必将 ADB 的路径添加到系统的环境变量中。
- 安卓设备配置：请确保您的安卓设备已开启开发者模式和 USB 调试功能，并已成功连接至您的电脑。
下载与安装流程：
- 获取 Open-AutoGLM 代码：
  - 请访问 Open-AutoGLM 的官方 GitHub 仓库：https://github.com/zai-org/Open-AutoGLM。
  - 在页面右上角找到并点击“Code”按钮，然后选择“Download ZIP”选项，下载项目压缩包。
  - 将下载的文件解压至您方便管理的一个本地目录，例如 C:\Open-AutoGLM 或 ~/Open-AutoGLM。
- 安装项目依赖：
  - 打开您系统的命令行工具（Windows 用户可使用命令提示符或 PowerShell，Mac/Linux 用户使用终端）。
  - 使用 `cd` 命令切换到您解压后的项目目录：
  - cd path/to/Open-AutoGLM
  - 执行以下命令来安装所有必需的依赖库：
  - pip install -r requirements.txt
- 启动模型服务：
  - 在命令行中输入以下命令以启动模型服务（此步骤为必要操作，无需深入理解代码细节）：
  - python3 -m vllm.entrypoints.openai.api_server --model zai-org/AutoGLM-Phone-9B --port 8000
  - 当您看到服务成功启动的提示信息时，便可进行下一步操作。
执行您的任务：开启一个新的命令行窗口，输入以下命令来执行您的任务（只需根据您的需求替换“任务描述”部分即可）：python main.py --base-url http://localhost:8000/v1 --model "autoglm-phone-9b" "任务描述"

Open-AutoGLM 的项目资源入口

GitHub 源代码库：https://github.com/zai-org/Open-AutoGLM
HuggingFace 模型库：https://huggingface.co/zai-org/AutoGLM-Phone-9B

Open-AutoGLM 的广阔应用前景

外卖点餐的便捷体验：只需一句简单的自然语言指令，例如“帮我点一份肯德基全家桶”，Open-AutoGLM 就能自动打开美团应用，搜索商品并完成下单流程。
社交媒体的智能互动：在微信、微博等社交平台，您可以轻松指挥 AI 完成“点赞好友的最新动态”或“评论这条抖音视频”等操作，AI 将精准识别目标并执行互动。
办公效率的显著提升：在 WPS 或 Microsoft Office 等办公软件中，一句“创建一个名为‘项目计划’的文档并写入会议内容”的指令，AI 即可高效完成文档的创建与内容编辑。
智能家居的无感控制：通过小米智能家居等应用，Open-AutoGLM 能够精确识别并控制相应的智能设备，实现家居场景的自动化切换，让生活更加便捷。
出行导航的无忧助手：在高德地图或滴滴出行等应用中，AI 能根据您的需求实时规划最佳路线，并自动完成叫车操作，让您的出行更加省心高效。

阅读原文