手把手教你搭AI手机代理，Open-AutoGLM保姆级入门教程

你有没有想过，以后不用自己点屏幕，只要说一句“帮我订杯星巴克”，手机就自动打开APP、选门店、加冰、下单付款？这不是科幻电影——Open-AutoGLM 已经把这件事变成了现实。它不是简单的语音助手，而是一个真正能“看懂”手机界面、“想明白”你要做什么、“动手完成”每一步操作的 AI 手机代理。

这个由智谱开源的框架，名字叫 Open-AutoGLM，核心是 AutoGLM-Phone —— 一个专为安卓设备打造的视觉语言驱动型 AI Agent。它不依赖预设脚本，不靠固定控件ID，而是像人一样：先截图看当前页面长什么样，再理解文字按钮、图标布局、输入框位置，最后规划点击、滑动、输入等动作序列，全程用自然语言指挥。

本文不讲空泛概念，不堆技术参数，只做一件事：带你从零开始，在自己的电脑和真机上跑通整个流程，让 AI 第一次替你点开抖音、搜索博主、完成关注。哪怕你没写过一行 Python，没连过 ADB，只要按步骤操作，20 分钟内就能亲眼看到 AI 操控你的手机。

1. 先搞清楚：它到底能干什么，又不能干什么

在动手前，花两分钟理清边界，能帮你少踩 80% 的坑。

Open-AutoGLM 不是万能遥控器，但它在几个关键能力上确实让人眼前一亮：

真·看图说话：它不是靠“找‘微信’文字”来识别 APP，而是分析截图里的图标形状、颜色、排版，即使图标被重命名、被隐藏在文件夹里，也能准确识别。
意图深度理解：你说“打开小红书搜美食”，它能拆解成三步：1）找到小红书图标并点击；2）等待首页加载完成；3）定位搜索框、输入“美食”、点击搜索按钮。
操作可接管、有兜底：遇到登录页、验证码弹窗、权限申请等敏感操作，它会自动暂停，等你手动处理完再继续——不是强行越权，而是聪明地“请示”。
远程也流畅：支持 WiFi 连接，不用一直插着 USB 线。你在客厅沙发上喊指令，AI 在书房电脑上操控卧室床头柜上的手机，完全可行。

但也要坦诚告诉你目前的限制：

❌不支持 iOS：目前仅适配安卓 7.0+ 设备（含模拟器），iPhone 用户暂需等待。
❌不替代人工决策：它不会替你做“要不要买”“信不信这个链接”的判断，所有涉及账户安全、支付确认的操作，必须你亲自点“确定”。
❌对动态界面响应稍慢：比如 APP 启动动画未结束就发下一条指令，可能因截图时机不准导致误判——这不是 bug，是多模态理解的固有节奏，稍作等待即可。

简单说：它是个极其靠谱的“数字手”，而不是一个擅自做主的“AI老板”。

2. 硬件与环境准备：三样东西，缺一不可

别急着敲代码，先把基础打牢。这一步看似琐碎，却是后续所有操作顺畅的关键。

2.1 你的本地电脑（控制端）

操作系统：Windows 10/11 或 macOS Monterey 及以上（Linux 也可，但本文以 Win/macOS 为主）
Python 版本：强烈建议使用Python 3.10（3.11/3.12 也可，但 3.9 及以下可能报依赖冲突）
验证方式：打开终端（Windows 用 PowerShell 或 CMD，macOS 用 Terminal），输入：
```
python --version
```
看输出是否为Python 3.10.x。

2.2 你的安卓手机（执行端）

系统要求：Android 7.0（Nougat）及以上，推荐 Android 10+（界面元素更规范，识别更稳）
必备设置（每一步都不能跳）：
1. 开启开发者模式：进入「设置」→「关于手机」→ 连续点击「版本号」7 次，直到提示“您现在处于开发者模式”。
2. 开启 USB 调试：返回「设置」→「系统」→「开发者选项」→ 打开「USB 调试」开关。
3. 安装 ADB Keyboard（关键！）：
  - 下载地址：https://github.com/senzhk/ADBKeyBoard/releases（找最新.apk文件）
  - 用浏览器在手机上下载并安装（需允许“未知来源应用”安装）
  - 安装后，进入「设置」→「语言与输入法」→「当前键盘」→ 切换为ADB Keyboard

小贴士：很多用户卡在这一步——装了 ADB Keyboard 却没在输入法里启用。务必确认“当前键盘”列表中，ADB Keyboard 是被选中的那个，否则后续所有文字输入都会失败。

2.3 ADB 工具（连接桥梁）

ADB（Android Debug Bridge）是你电脑和手机之间的“翻译官”。它不复杂，但必须配置正确。

Windows 用户：
1. 去官网下载 platform-tools（选 Windows 版 zip 包）
2. 解压到一个固定路径，例如C:\adb
3. 配置环境变量：
  Win + R→ 输入sysdm.cpl→ 「高级」→ 「环境变量」→ 在「系统变量」中找到Path→ 「编辑」→ 「新建」→ 粘贴你的解压路径（如C:\adb）→ 确定保存
4. 重启终端，输入adb version，看到类似Android Debug Bridge version 1.0.41即成功。
macOS 用户：
1. 下载 platform-tools，解压到~/Downloads/platform-tools
2. 打开 Terminal，运行：
```
echo 'export PATH=$PATH:~/Downloads/platform-tools' >> ~/.zshrc source ~/.zshrc
```
3. 输入adb version验证。

3. 连接手机：USB 和 WiFi 两种方式，选一个就行

连接稳定，是 AI 代理不“抽风”的前提。我们提供两种方案，推荐新手从 USB 开始。

3.1 USB 连接（最稳，首选）

用原装数据线将手机连接电脑
手机弹出“允许 USB 调试吗？”提示 → 勾选「始终允许」→ 点击「确定」
在电脑终端输入：
```
adb devices
```
如果看到类似0123456789ABCDEF device的输出（一串字母数字 +device），说明连接成功
如果显示unauthorized，请检查手机是否点了“允许”；如果空白，重插数据线或换 USB 口。

3.2 WiFi 连接（免线，适合长期使用）

注意：首次必须用 USB 连接开启 WiFi 调试模式。

先用 USB 连接手机，确保adb devices显示 device
在终端执行：
```
adb tcpip 5555
```
手机会显示“已重启为 TCP/IP 模式”
断开 USB 线，确保手机和电脑在同一 WiFi 下
查看手机 IP 地址：手机「设置」→「关于手机」→「状态信息」→「IP 地址」（通常是192.168.x.x）
在电脑终端输入：
```
adb connect 192.168.x.x:5555
```
成功后会显示connected to 192.168.x.x:5555

验证连接：无论哪种方式，再次运行adb devices，都应看到你的设备 ID（USB 是一串字符，WiFi 是IP:5555格式）。

4. 部署控制端：三行命令，搞定本地代码

这一步，就是把 Open-AutoGLM 的“大脑”装到你电脑上。

4.1 克隆代码仓库

打开终端，执行：

git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM

4.2 创建并激活虚拟环境（强烈推荐）

避免污染你系统的 Python 环境：

Windows：

python -m venv .venv .venv\Scripts\activate

macOS/Linux：

python3 -m venv .venv source .venv/bin/activate

4.3 安装依赖

在已激活的虚拟环境中，运行：

pip install -r requirements.txt pip install -e .

提示：pip install -e .是“开发模式安装”，意味着你修改项目代码后无需重新安装就能生效，对调试极友好。

4.4 快速验证部署是否成功

运行一个轻量测试，不碰手机，只测代码能否正常加载：

python scripts/check_deployment_cn.py --base-url http://localhost:8000/v1 --model autoglm-phone-9b

注意：这里的http://localhost:8000/v1是假设你已在本地或云服务器上部署好了大模型服务（如 vLLM）。如果你还没部署模型，请先参考官方文档完成模型服务启动。本文聚焦 Agent 控制端，模型服务视为已就绪。

如果看到{"status": "success", "message": "Model loaded"}类似输出，说明控制端代码已准备就绪。

5. 让 AI 第一次“动手”：运行第一条自然语言指令

万事俱备，现在让它干点实事。我们以最经典的场景为例：打开抖音，搜索指定博主并关注。

5.1 获取设备 ID

在终端运行：

adb devices

记下输出中的设备标识。如果是 USB 连接，它是一串字母数字（如ZY322KDL9J）；如果是 WiFi 连接，它是192.168.1.100:5555这样的格式。

5.2 执行指令（命令行方式）

在Open-AutoGLM目录下，运行：

python main.py \ --device-id ZY322KDL9J \ --base-url http://10.1.21.133:8000/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

参数说明：

--device-id：替换为你自己的设备 ID（来自adb devices）
--base-url：替换为你实际的大模型服务地址（IP + 端口 +/v1）
最后引号内的字符串：就是你给 AI 下达的完整自然语言指令，标点、空格、语气词都无所谓，它都能理解。

5.3 你将看到什么？

终端会实时打印日志：[INFO] Capturing screenshot...→[INFO] Sending to model...→[INFO] Planning action: CLICK on (x=320, y=120)→[INFO] Executing: adb shell input tap 320 120
手机屏幕会随之变化：自动点亮、解锁（如需）、打开抖音、点击搜索框、输入账号、点击搜索、进入主页、找到“关注”按钮并点击。
整个过程约 20–60 秒，取决于网络和手机性能。耐心等待，别中途打断。

成功标志：手机上真的出现了该博主的主页，且“关注”按钮已变为蓝色（已关注状态）。

6. 进阶玩法：用 Python API 写自己的自动化脚本

命令行适合快速测试，但如果你想把它集成进自己的工具、做批量任务、或加逻辑判断，Python API 是更灵活的选择。

6.1 连接管理：几行代码掌控设备

from phone_agent.adb import ADBConnection, list_devices # 创建连接管理器 conn = ADBConnection() # 连接设备（支持 USB ID 或 WiFi 地址） success, message = conn.connect("ZY322KDL9J") print(f"连接结果: {message}") # 查看所有已连接设备 for device in list_devices(): print(f"设备: {device.device_id} | 类型: {device.connection_type.value}")

6.2 发送指令：封装成函数，复用更简单

from phone_agent.agent import PhoneAgent # 初始化 AI 代理 agent = PhoneAgent( device_id="ZY322KDL9J", base_url="http://10.1.21.133:8000/v1", model_name="autoglm-phone-9b" ) # 一行代码，发起任务 result = agent.run("在美团上点一份麦当劳巨无霸套餐，不加冰，备注‘不要香菜’") print("任务状态:", result.status) print("执行步骤:", result.steps)

这样，你就可以轻松构建：