新手必学：Open-AutoGLM五步快速上手法

1. 引言：让手机拥有“贾维斯”般的智能助手

随着多模态大模型的发展，AI 正从“对话工具”向“自主执行者”演进。Open-AutoGLM是由智谱AI开源的手机端 AI Agent 框架，基于 AutoGLM-Phone 构建，能够通过自然语言指令驱动真实安卓设备完成复杂操作。

你只需说一句：“打开小红书搜索美食”，系统就能自动解析意图、理解当前屏幕内容、规划点击路径，并通过 ADB 实际操控手机完成任务。整个过程无需手动干预，真正实现“动口不动手”。

本教程面向零基础用户，以清晰、可落地的方式拆解 Open-AutoGLM 的部署与使用流程，涵盖环境配置、模型启动、设备连接和实战运行五大核心步骤，帮助你快速打造属于自己的 AI 手机助理。

2. 第一步：准备开发环境与硬件

2.1 硬件要求

要顺利运行 Open-AutoGLM，需具备以下基本硬件：

本地电脑：Windows 或 macOS 系统，建议内存 ≥16GB（若使用本地模型）
安卓手机或模拟器：Android 7.0 及以上版本
USB 数据线：支持数据传输（非仅充电线）
网络环境：稳定 WiFi，用于远程调试或云服务通信

提示：虽然可在 CPU 上运行，但推荐配备 NVIDIA 显卡（显存 ≥12GB）以获得流畅体验。

2.2 软件依赖安装

安装 Python 3.10+

确保已安装 Python 3.10 或更高版本：

python --version

如未安装，请前往 python.org 下载并勾选 “Add to PATH”。

配置 ADB 工具

ADB（Android Debug Bridge）是控制安卓设备的核心工具。

下载 platform-tools
解压后添加到系统环境变量PATH
- Windows：此电脑 → 属性 → 高级系统设置 → 环境变量 → Path → 新建
- macOS：在终端执行：
```
export PATH=$PATH:~/Downloads/platform-tools
```
验证安装：
```
adb version
```

输出类似Android Debug Bridge version X.X.X表示成功。

3. 第二步：配置手机端权限与输入法

3.1 开启开发者选项与 USB 调试

进入手机“设置” → “关于手机”
连续点击“版本号”7次，直到提示“您已进入开发者模式”
返回设置主界面 → “开发者选项” → 启用“USB 调试”

连接手机至电脑时，会弹出授权提示，请务必点击“允许”。

3.2 安装 ADB Keyboard 输入法

由于 AI 需要输入中文文本，必须安装专用输入法ADB Keyboard。

下载 ADBKeyboard.apk（GitHub 开源项目）
使用命令行安装：
```
adb install ADBKeyboard.apk
```
在手机中启用该输入法：
- 设置 → 语言与输入法 → 虚拟键盘 → 管理键盘 → 启用 ADB Keyboard
将其设为默认输入法

注意：若无法切换输入法，尝试重启手机后再设置。

4. 第三步：部署控制端代码与依赖

4.1 克隆 Open-AutoGLM 项目

在本地电脑执行以下命令获取控制端代码：

git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM

4.2 安装 Python 依赖

项目依赖较多，包括 ADB 控制库、vLLM 推理框架等。

pip install -r requirements.txt pip install -e .

建议使用虚拟环境（如 conda 或 venv），避免依赖冲突。

5. 第四步：连接设备并验证通信

5.1 USB 连接方式（推荐初学者）

使用 USB 线连接手机与电脑
手机端确认“允许 USB 调试”
在终端运行：
```
adb devices
```
输出应包含设备 ID 和device状态，例如：
```
List of devices attached 1234567890abc device
```

5.2 WiFi 远程连接（进阶用法）

适用于无线调试场景：

# 先通过 USB 启动 TCP/IP 模式 adb tcpip 5555 # 断开 USB，使用 IP 连接 adb connect 192.168.x.x:5555

可通过adb shell ifconfig wlan0获取手机 IP 地址。

6. 第五步：启动模型服务并运行 AI 助理

6.1 下载并启动 AutoGLM-Phone-9B 模型

AutoGLM 使用一个约 18GB 的多模态视觉语言模型来理解屏幕截图和用户指令。

方法一：Hugging Face 下载（国际用户）

git lfs install git clone https://huggingface.co/zai-org/AutoGLM-Phone-9B

方法二：ModelScope 镜像（国内用户推荐）

git clone https://www.modelscope.cn/ZhipuAI/AutoGLM-Phone-9B.git

启动 vLLM 模型服务

创建脚本start_model.sh（Linux/macOS）或.bat文件（Windows）：

python -m vllm.entrypoints.openai.api_server \ --model ./AutoGLM-Phone-9B \ --port 8000 \ --served-model-name autoglm-phone-9b \ --max-model-len 25480 \ --allowed-local-media-path / \ --limit-mm-per-prompt '{"image":10}'

运行后看到Uvicorn running on http://0.0.0.0:8000即表示服务启动成功。

6.2 执行第一条自然语言指令

在Open-AutoGLM根目录下运行：

python main.py \ --device-id 1234567890abc \ --base-url http://localhost:8000/v1 \ --model "autoglm-phone-9b" \ "打开设置"

参数说明：

--device-id：来自adb devices的设备标识
--base-url：模型服务地址（本地为http://localhost:8000/v1）
最后字符串为你的自然语言指令

如果一切正常，你会看到如下输出：

💭 思考过程: 当前位于桌面，需要找到“设置”应用图标 🎯 执行动作: {"action": "Launch", "app": "设置"}

同时手机将自动打开“设置”应用。

7. 实战案例：让 AI 帮你点外卖、刷抖音

7.1 点餐任务：美团搜索附近川菜馆

python main.py \ --device-id <your-device-id> \ --base-url http://localhost:8000/v1 \ --model "autoglm-phone-9b" \ "打开美团，搜索附近评分最高的川菜馆"

AI 将依次执行：

打开美团 App
截图分析首页布局
点击“美食”分类
搜索“川菜”
按评分排序并展示结果

7.2 社交任务：关注指定抖音账号

python main.py \ --device-id <your-device-id> \ --base-url http://localhost:8000/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号 dycwo11nt61d 的博主并关注他"

系统将自动完成搜索框定位、文字输入、列表查找、点击关注等全流程操作。

8. 安全机制与人工接管设计

8.1 敏感操作确认机制

为防止误操作造成损失，Open-AutoGLM 内置了敏感行为拦截机制。当检测到以下操作时，会暂停执行并请求人工确认：

支付行为（如微信付款、支付宝下单）
删除数据（卸载应用、删除聊天记录）
输入密码或验证码
修改系统设置（恢复出厂设置、关闭安全锁）

你可以自定义确认回调函数，在 Python API 中实现交互式决策：

def confirm_action(message): print(f"\n⚠️ 危险操作提醒: {message}") return input("继续执行？(y/n): ").lower() == 'y' agent = PhoneAgent( model_config=model_config, confirmation_callback=confirm_action )

9. 常见问题排查指南

问题现象	可能原因	解决方案
`adb devices`无设备显示	USB调试未开启或驱动异常	重新开启开发者选项，更换数据线
模型启动失败	显存不足或 CUDA 未安装	尝试降低`max-model-len`，或使用 CPU 模式
中文无法输入	ADB Keyboard 未启用	检查是否设为默认输入法
AI 识别错误	屏幕分辨率过高或 UI 复杂	缩放界面或简化操作路径
连接频繁断开	WiFi 不稳定	改用 USB 连接