未来已来！Open-AutoGLM开启手机自动化新时代

1. 背景与技术演进

近年来，AI Agent 的发展正从“对话助手”向“行动执行者”跃迁。传统大模型擅长理解与生成语言，但无法直接与物理或数字环境交互。而 Open-AutoGLM 的出现，标志着 AI 开始具备操作真实设备的能力——它能通过自然语言指令驱动安卓手机完成复杂任务。

这一能力并非凭空而来。早在豆包手机引发热议之前，学术界已有大量关于“视觉-动作”闭环系统的研究。这类系统统称为Phone Agent，其核心目标是让 AI 具备“看懂屏幕、理解意图、规划路径、执行操作”的全流程能力。Open-AutoGLM 正是智谱基于 AutoGLM 架构推出的开源实现，首次将这一能力开放给开发者和普通用户。

与商业产品不同，Open-AutoGLM 不依赖定制硬件，而是通过 ADB（Android Debug Bridge）连接标准安卓设备，在通用计算平台上运行多模态模型进行决策控制。这种设计使得任何拥有电脑和安卓手机的用户都能快速搭建属于自己的“AI 手机助理”。

2. 系统架构与工作原理

2.1 整体架构解析

Open-AutoGLM 是一个典型的三层架构系统：

感知层：利用视觉语言模型（VLM）对手机屏幕截图进行语义理解。
决策层：结合用户指令与当前界面状态，生成可执行的操作序列。
执行层：通过 ADB 发送底层命令，完成点击、滑动、输入等动作。

整个流程形成一个闭环反馈系统：每一步操作后都会重新截图并传入模型判断是否达成目标，若未完成则继续规划下一步。

[用户指令] ↓ [自然语言 → 意图解析] ↓ [ADB 截图 → 屏幕图像] ↓ [视觉语言模型 VLM 理解界面元素] ↓ [动作规划器生成操作序列] ↓ [ADB 执行 Tap / Swipe / Type ...] ↑___________↓ [等待响应 → 新截图 → 再次推理]

该机制赋予了系统强大的泛化能力，能够应对弹窗广告、UI 变更等非预期情况，远超传统脚本工具如按键精灵。

2.2 多模态理解的关键技术

系统的核心在于其使用的9B 参数量视觉语言模型 autoglm-phone-9b。该模型在训练阶段融合了大量“图文+动作”配对数据，即每张屏幕截图都标注了对应的操作标签（如Tap(坐标)、Type("搜索关键词")），从而建立起从视觉信息到行为决策的映射关系。

例如，当模型看到如下界面：

[屏幕截图：美团首页，“附近美食”按钮高亮]

并接收到指令：“找一家评分高的火锅店”，模型会自动识别出“附近美食”为关键入口，并输出动作：

{"action": "Tap", "x": 540, "y": 800}

这种端到端的学习方式避免了规则引擎的硬编码限制，使 AI 能够适应不同 App 的 UI 风格和布局变化。

2.3 安全机制与人工接管

考虑到自动化操作可能涉及敏感场景（如登录、支付），系统内置了Take_over 机制。一旦检测到验证码输入框、密码字段或支付确认页，AI 将主动暂停执行，提示用户介入处理。

此外，所有操作均需显式授权，且可通过远程调试接口实时监控执行过程，确保透明可控。

3. 实践部署指南

3.1 环境准备

硬件要求

控制端：Windows 或 macOS 电脑（建议 Python 3.10+）
设备端：Android 7.0+ 手机或模拟器
连接方式：USB 数据线或同一局域网 WiFi

软件依赖

ADB 工具包（来自 Android SDK Platform Tools）
Git（用于克隆仓库）
Python 包管理工具（pip）

ADB 配置步骤

Windows 用户：

下载 Platform Tools 并解压。
将解压路径添加至系统环境变量PATH。
打开命令行，输入adb version验证安装成功。

macOS 用户：

export PATH=${PATH}:~/Downloads/platform-tools adb version

3.2 手机端设置

开启开发者模式
进入“设置 → 关于手机”，连续点击“版本号”5次。
启用 USB 调试
返回“设置 → 开发者选项”，勾选“USB 调试”。
安装 ADB Keyboard
- 下载 ADBKeyboard.apk
- 安装后进入“语言与输入法”设置，将其设为默认输入法。

此举允许 AI 通过 ADB 命令直接向应用输入文字，无需手动打字。

3.3 部署控制端代码

# 克隆项目仓库 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 安装依赖 pip install -r requirements.txt pip install -e .

3.4 设备连接方式

USB 连接

adb devices

输出应包含设备 ID 和device状态。

WiFi 无线连接

首次需使用 USB 连接启动 TCP/IP 模式：

adb tcpip 5555 adb disconnect adb connect 192.168.x.x:5555

此后可在同一网络下无线控制手机。

3.5 启动 AI 代理

命令行方式运行

python main.py \ --device-id <your-device-id-or-ip:5555> \ --base-url http://<server-ip>:<port>/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

参数说明：

--device-id：通过adb devices获取的设备标识
--base-url：云端推理服务地址（支持自建 vLLM/SGLang 服务）
最终字符串：自然语言指令

Python API 调用示例

from phone_agent.adb import ADBConnection, list_devices conn = ADBConnection() # 连接远程设备 success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}") # 列出设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}") # 获取设备 IP ip = conn.get_device_ip() print(f"设备 IP: {ip}")

此接口适用于集成到更大规模的自动化平台中。

4. 应用场景与性能表现

4.1 支持的应用范围

目前 Open-AutoGLM 已适配主流安卓应用，涵盖多个生活场景：

分类	支持应用
社交通讯	微信、QQ、微博
电商购物	淘宝、京东、拼多多
美食外卖	美团、饿了么、肯德基
出行旅游	携程、12306、滴滴出行
视频娱乐	bilibili、抖音、爱奇艺
音乐音频	网易云音乐、QQ音乐、喜马拉雅
生活服务	大众点评、高德地图、百度地图
内容社区	小红书、知乎、豆瓣

4.2 实测任务表现

以下为实测三个典型任务的表现：

“打开高德地图找一家最近的火锅店”
- 成功识别地图图标 → 启动应用 → 输入“火锅” → 排序距离最近 → 显示结果
- 耗时约 110 秒
“点一杯最便宜的瑞幸咖啡”
- 进入美团 → 搜索“瑞幸” → 筛选价格最低饮品 → 加购 → 停止于结算页（需人工支付）
- 耗时约 135 秒
“找一篇西安一日游攻略”
- 打开小红书 → 搜索关键词 → 浏览笔记列表 → 点击点赞最高的文章
- 耗时约 98 秒

所有任务均顺利完成，期间遇到两次弹窗广告，AI 均能正确识别并关闭。

4.3 与传统脚本对比优势

维度	按键精灵类脚本	Open-AutoGLM
泛化性	固定坐标，UI 变动即失效	基于语义理解，适应多种界面风格
异常处理	无法应对弹窗、加载失败等情况	可动态调整路径，具备容错能力
开发成本	每个流程需单独编写脚本	自然语言驱动，零代码配置
可维护性	修改 UI 后需重写脚本	模型自动适应，无需人工干预