5分钟上手Open-AutoGLM：手机AI助手一键部署指南

你有没有想过，对着手机说一句“帮我订明天上午10点去上海虹桥的高铁票”，手机就自动打开12306、登录账号、筛选车次、完成下单？这不是科幻电影——Open-AutoGLM 已经让这件事在真实安卓设备上跑通了。

Open-AutoGLM 是智谱开源的轻量级手机端 AI Agent 框架，它不依赖云端复杂交互，而是真正把“看懂屏幕+理解语言+动手操作”三件事闭环在本地控制端+远程模型服务的组合中。它不是另一个聊天机器人，而是一个能替你点、滑、输、确认的数字分身。

本文不讲原理、不堆参数，只聚焦一件事：从零开始，5分钟内让你的电脑连上真机，向 Open-AutoGLM 下达第一条自然语言指令，并亲眼看到它自动打开App、搜索内容、完成点击。全程无需编译、不配GPU、不改代码，只要你会复制粘贴命令。

1. 先搞清楚：它到底能帮你做什么

Open-AutoGLM 的核心能力，可以用三个关键词概括：看得见、听得懂、动得了。

看得见：它通过实时截取手机屏幕画面，用视觉语言模型（VLM）精准识别当前界面元素——按钮文字、输入框位置、列表项结构、甚至弹窗提示，全部一目了然。
听得懂：你用大白话发指令，比如“把微信里张三发的那张截图保存到相册”，它能准确拆解出动作目标（微信）、对象（张三的截图）、意图（保存）和路径（相册）。
动得了：基于识别结果和任务规划，它通过 ADB 自动执行 tap、swipe、input text、back 等操作，像真人一样完成整套流程。

更重要的是，它不是“全自动盲操”。系统内置敏感操作确认机制：当检测到支付、删除、授权等高风险动作时，会暂停并等待你手动点击确认；遇到登录页或验证码，也会主动交还控制权，由你来接管——安全与智能，它没做选择题。

下面这张图直观展示了它的运行逻辑：

你说话 → “打开小红书搜‘川菜探店’” ↓ 控制端截屏 + 发送图像+文本到云模型 ↓ AutoGLM-Phone 模型理解界面+解析意图+生成操作序列 ↓ 控制端执行 adb shell input tap 520 840（点击搜索框） ↓ adb shell input text "川菜探店" ↓ adb shell input keyevent 66（回车搜索） ↓ 结果返回：“已显示12条相关笔记”

整个过程，你只需要说一句话，剩下的交给它。

2. 环境准备：三步搞定所有依赖

别被“ADB”“VLM”“Agent”这些词吓住。Open-AutoGLM 对本地环境要求极低，我们只装最必要的东西，跳过所有可选配置。

2.1 安装 ADB 工具（5分钟）

ADB 是连接电脑和安卓手机的“桥梁”，也是 Open-AutoGLM 执行操作的唯一通道。它本身就是一个独立可执行文件，无需安装完整 Android SDK。

Windows 用户：
去 Android SDK Platform-Tools 官网下载 zip 包 → 解压到C:\adb（路径越短越好）→ 右键“此电脑”→属性→高级系统设置→环境变量→系统变量→Path→新建→填入C:\adb→ 打开新命令行窗口，输入adb version，看到版本号即成功。

macOS 用户：
打开终端，一行命令搞定：

curl -O https://dl.google.com/android/repository/platform-tools-latest-darwin.zip unzip platform-tools-latest-darwin.zip export PATH="$PATH:$(pwd)/platform-tools" adb version

如果想永久生效，把export PATH=...这行加到你的~/.zshrc文件末尾，再执行source ~/.zshrc。

验证成功标志：adb version输出类似Android Debug Bridge version 1.0.41，且无报错。

2.2 手机设置：开启“被操控权限”（2分钟）

这一步决定它能不能真正干活，必须在手机上操作：

开启开发者模式：进入「设置」→「关于手机」→连续点击「版本号」7次，直到弹出“您现在是开发者”的提示。
开启 USB 调试：返回「设置」→「系统」→「开发者选项」→打开「USB调试」开关。
允许电脑调试：用 USB 线连接手机和电脑 → 手机弹出“允许 USB 调试吗？”对话框 → 勾选“始终允许”，点确定。

注意：部分国产手机（如华为、小米）还需额外开启「USB安装」和「USB调试（安全设置）」，请在开发者选项里一并打开。

2.3 获取设备ID：确认“人机已握手”（30秒）

保持 USB 连接，回到电脑命令行，输入：

adb devices

如果看到类似这样的输出：

List of devices attached ZY225XXXXX device

说明电脑已成功识别你的手机，ZY225XXXXX就是你的设备ID——后面启动命令里要用到。

如果显示unauthorized，请检查手机是否点了“允许”；如果为空，重插USB线或换接口。

3. 一键部署控制端：3行命令完成

Open-AutoGLM 的控制端代码完全开源，我们不需要自己写，只需下载、安装、运行。

3.1 克隆代码并安装依赖

打开终端（Windows 用 PowerShell 或 CMD，macOS 用 Terminal），依次执行：

# 1. 下载控制端代码（约15秒） git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 2. 安装 Python 依赖（约1分钟，网络好则更快） pip install -r requirements.txt # 3. 安装为可调用包（关键！否则后续命令会报错） pip install -e .

验证：执行python -c "from phone_agent.adb import ADBConnection; print('OK')"，无报错即成功。

3.2 启动你的第一个AI指令（1分钟）

现在，一切就绪。我们用一条命令，让它完成一个经典任务：打开抖音，搜索指定博主并关注。

在 Open-AutoGLM 目录下，运行（请将<设备ID>替换为你上一步查到的真实ID）：

python main.py \ --device-id ZY225XXXXX \ --base-url http://127.0.0.1:8800/v1 \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

说明：

--device-id：必须是你自己的设备ID，不能照抄示例；
--base-url：这里先写http://127.0.0.1:8800/v1，代表你本地运行了一个模型服务（后文会说明如何快速启动）；
最后引号内的字符串：就是你给AI下的自然语言指令，支持中文，越接近日常说法越好。

如果你还没部署模型服务，别急——下一节就教你用一行命令拉起一个可用的 demo 服务。

4. 快速启动模型服务：不用GPU也能跑

Open-AutoGLM 的模型服务（即autoglm-phone-9b）对硬件要求友好。官方提供两种开箱即用方式：云服务直连（推荐新手）和本地轻量部署（进阶用户）。

4.1 方式一：直连公共云服务（零配置，立刻可用）

智谱已为 Open-AutoGLM 提供了公开测试 API（仅限学习和体验）。你无需任何服务器，直接使用：

python main.py \ --device-id ZY225XXXXX \ --base-url https://api.zhipu.ai/openapi/agents/v1 \ --model autoglm-phone-9b \ "打开小红书，搜索‘北京咖啡馆’，截图前三条笔记"

优势：免部署、免显卡、免网络配置；
注意：需提前注册 Zhipu AI 开放平台获取 API Key，并在命令中添加--api-key your_api_key_here参数（首次运行会提示）。

4.2 方式二：本地启动 vLLM 服务（可控、可调试）

如果你有 NVIDIA 显卡（哪怕只是 RTX 3050），或想完全离线运行，推荐用 vLLM 快速部署：

# 1. 安装 vLLM（支持 CUDA 11.8+） pip install vllm # 2. 一行命令启动模型服务（自动下载模型，约3分钟） vllm serve \ --model zhipuai/autoglm-phone-9b \ --host 0.0.0.0 \ --port 8800 \ --tensor-parallel-size 1 \ --max-model-len 4096

启动成功后，终端会显示INFO: Uvicorn running on http://0.0.0.0:8800—— 此时--base-url http://127.0.0.1:8800/v1就能正常工作了。

小技巧：第一次运行会自动下载约 5GB 模型权重，建议挂后台或使用nohup vllm serve ... &避免终端关闭中断。

5. 实战演示：亲眼见证“一句话变行动”

我们来走一个完整闭环：让 Open-AutoGLM 自动完成“查询天气+截图分享”全流程。

5.1 准备工作

确保：

手机已连接，adb devices可见设备；
模型服务已启动（云服务或本地 vLLM）；
手机已安装「墨迹天气」App（或其他任意天气 App，指令中可替换）。

5.2 下达指令并观察执行

在 Open-AutoGLM 根目录运行：

python main.py \ --device-id ZY225XXXXX \ --base-url http://127.0.0.1:8800/v1 \ "打开墨迹天气，查看北京今日天气，截图整个页面，然后用微信发送给文件传输助手"

你会看到终端实时打印执行日志：

[INFO] 截取屏幕 → 已识别「墨迹天气」图标位置 (240, 850) [INFO] 执行 tap(240, 850) → App 已启动 [INFO] 截屏分析 → 当前页面为「北京天气详情」 [INFO] 识别「今日天气」卡片区域 → 截图坐标 (100, 320, 900, 1200) [INFO] 执行截图保存 → /tmp/weather_screenshot.png [INFO] 启动微信 → 找到「文件传输助手」 → 粘贴图片 → 发送 [SUCCESS] 任务完成，耗时 28.4 秒

同时，你的手机屏幕上会真实发生：自动点击墨迹图标 → 加载天气页 → 截图 → 切换到微信 → 找到文件传输助手 → 发送图片。整个过程无需你触碰屏幕。

5.3 为什么它能“看懂”界面？

秘密在于它的多模态理解能力。当你下达指令时，控制端会：

立即截取当前屏幕（PNG 图像）；
将图像 + 你的文字指令一起发送给 AutoGLM-Phone 模型；
模型内部融合视觉特征（按钮位置、文字区域）和语言语义（“打开”=tap，“搜索”=click+input），输出结构化动作序列；
控制端按序执行 ADB 命令，每一步都带坐标和意图验证。

它不是靠“猜”，而是靠像素级定位 + 语义对齐——这才是真正可靠的手机自动化。

6. 常见问题与避坑指南

部署过程中，90% 的问题都集中在连接和权限环节。以下是高频问题及一招解决法：

6.1 ADB 显示 “device unauthorized” 或 “offline”

原因：手机未授权电脑调试，或 USB 连接不稳定。
解决：
1. 断开 USB 线；
2. 手机进入「开发者选项」→ 关闭「USB调试」→ 再打开；
3. 重新连接，手机弹窗务必点“允许”并勾选“始终允许”。

6.2 指令执行卡在“正在截屏”或无响应

原因：模型服务未启动，或--base-url地址错误。
解决：
- 检查模型服务终端是否显示Uvicorn running on http://...；
- 在浏览器访问http://127.0.0.1:8800/docs，看能否打开 Swagger 文档页；
- 若用云服务，确认--api-key已正确传入。

6.3 执行点击但手机没反应

原因：手机开启了「USB调试（安全设置）」但未启用「USB安装」，或 ADB Keyboard 未设为默认输入法。
解决：
1. 进入「设置」→「系统」→「开发者选项」→ 确保「USB安装」和「USB调试（安全设置）」均已开启；
2. 进入「设置」→「语言与输入法」→ 将「ADB Keyboard」设为默认键盘（即使不用输入，也必须启用）。

6.4 想换 WiFi 连接，不插 USB 线？

可以！但需先用 USB 连接一次，执行：

adb tcpip 5555

然后断开 USB，连接同一 WiFi，再运行：

adb connect 192.168.1.100:5555 # 替换为你的手机IP adb devices # 应显示 IP:5555 device

之后所有命令中的--device-id改为192.168.1.100:5555即可。

7. 总结：你已经拥有了一个真正的手机AI分身

回顾这不到5分钟的操作，你完成了：

配置 ADB 并让电脑认出手机；
在手机上开启开发者权限与调试开关；
下载并安装 Open-AutoGLM 控制端；
连接云模型或本地启动 vLLM 服务；
下达自然语言指令，亲眼看到手机自动执行全流程。

Open-AutoGLM 的价值，不在于它多“聪明”，而在于它足够“可靠”——它把复杂的多模态理解、动作规划、ADB 控制封装成一句中文，把技术门槛降到了“会说话”的程度。

下一步，你可以尝试：

把指令换成“导出钉钉本周会议纪要为PDF并邮件发送给王经理”；
用 Python API 写个定时脚本，每天早上8点自动打卡；
结合 OCR 插件，让 AI 读取图片里的文字并执行操作。

它不是一个玩具，而是一把打开手机自动化大门的钥匙。而你，已经握住了它。

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。