手把手教你部署Open-AutoGLM，轻松打造专属手机AI助理

1. 引言：让AI接管你的手机操作

你有没有想过，有一天只需要对手机说一句“打开小红书，搜索附近的美食推荐”，手机就能自动完成打开App、输入关键词、浏览结果的全过程？这不再是科幻电影里的场景——借助Open-AutoGLM，这个由智谱AI开源的手机端AI Agent框架，我们已经可以实现这样的智能自动化。

Open-AutoGLM（也称 Phone Agent）是一个基于视觉语言模型（VLM）的多模态智能助理系统。它不仅能“听懂”你的自然语言指令，还能通过截图“看懂”当前手机屏幕内容，并结合 ADB（Android Debug Bridge）技术自动执行点击、滑动、输入等操作。整个过程无需手动干预，真正实现了“AI替你用手机”。

本文将带你从零开始，一步步部署 Open-AutoGLM，连接真实安卓设备，让你亲手打造一个属于自己的手机AI助手。无论你是AI爱好者、自动化测试工程师，还是想提升效率的普通用户，这篇教程都能帮你快速上手。

2. 环境准备：搭建基础运行环境

在开始之前，我们需要准备好本地电脑和安卓设备的基础环境。整个流程分为三部分：操作系统与Python环境、ADB工具配置、手机端设置。

2.1 操作系统与Python版本要求

• 支持系统：Windows 或 macOS
• Python版本：建议使用 Python 3.10 或更高版本
• 验证方式：

  python --version pip --version

如果你尚未安装Python，请前往 python.org 下载对应系统的安装包并完成安装。

2.2 安装ADB调试工具

ADB 是 Android SDK 的一部分，用于与安卓设备通信。你可以通过以下方式获取：

Windows 用户

1. 前往 Android Studio 官网 下载Command Line Tools。
2. 解压后进入platform-tools目录。
3. 将该目录路径添加到系统环境变量PATH中：
   • 按Win + R输入sysdm.cpl
   • 进入“高级” → “环境变量”
   • 在“系统变量”中找到Path，点击“编辑” → “新建”，粘贴platform-tools的完整路径
4. 验证是否成功：

   adb version

   若输出类似Android Debug Bridge version 1.0.41则表示安装成功。

macOS 用户

在终端中执行以下命令（假设你已将 platform-tools 解压至 Downloads 文件夹）：

export PATH=${PATH}:~/Downloads/platform-tools

为永久生效，可将上述命令写入.zshrc或.bash_profile文件。

3. 手机端设置：开启调试权限

为了让电脑能够控制手机，需要在安卓设备上启用开发者选项和USB调试功能。

3.1 开启开发者模式

1. 打开手机“设置”
2. 进入“关于手机”
3. 连续点击“版本号”7次，直到提示“您已开启开发者模式”

3.2 启用USB调试

1. 返回设置主界面，进入“开发者选项”
2. 找到并勾选“USB调试”选项
3. 当手机通过USB连接电脑时，可能会弹出“允许USB调试？”的提示，选择“确定”

⚠️ 注意：不同品牌手机的菜单名称可能略有差异，请根据实际机型调整操作路径。

3.3 安装ADB Keyboard（关键步骤）

由于原生 ADB 不支持中文输入，我们需要借助第三方输入法ADB Keyboard来实现文本输入。

1. 下载 ADB Keyboard APK 并安装到手机
2. 安装完成后，在“设置” → “语言与输入法”中，将默认输入法切换为ADB Keyboard
3. 测试是否生效：

   adb shell am broadcast -a ADB_INPUT_TEXT --es msg "Hello世界"

   如果能在输入框看到正确显示的文字，则说明配置成功。

4. 部署控制端代码：安装Open-AutoGLM

现在我们可以从 GitHub 克隆项目代码，并安装必要的依赖库。

4.1 克隆项目仓库

git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM

4.2 安装Python依赖

pip install -r requirements.txt pip install -e .

📌 提示：建议使用虚拟环境以避免依赖冲突：

python -m venv venv source venv/bin/activate # Linux/macOS venv\Scripts\activate # Windows

5. 设备连接：USB或WiFi远程控制

Open-AutoGLM 支持两种连接方式：USB线缆直连 和 WiFi无线连接。推荐先使用USB进行初始调试，稳定后再切换为无线模式。

5.1 USB连接方式

1. 使用数据线将手机连接至电脑
2. 执行命令检查设备是否识别：

   adb devices

   正常情况下会输出如下内容：

   List of devices attached XXXXXXXX device

   其中XXXXXXXX即为你的设备ID。

5.2 WiFi远程连接（推荐用于长期运行）

若希望摆脱数据线束缚，可通过WiFi实现远程控制：

第一步：使用USB启用TCP/IP模式

adb tcpip 5555

第二步：断开USB，通过IP地址连接

adb connect 192.168.x.x:5555

其中192.168.x.x是你手机在同一局域网下的IP地址（可在“设置”→“WLAN”中查看）。

连接成功后，再次运行adb devices应能看到设备列表中出现IP地址。

6. 启动AI代理：下达第一条自然语言指令

一切准备就绪后，就可以启动AI代理，让它接管手机操作了。

6.1 命令行方式运行任务

在本地 Open-AutoGLM 根目录下执行：

python main.py \ --device-id <你的设备ID或IP:5555> \ --base-url http://<云服务器IP>:<映射端口>/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

参数说明：

• --device-id：通过adb devices获取的设备标识
• --base-url：指向运行 AutoGLM 模型服务的公网地址（如本地部署则填http://localhost:8000/v1）
• --model：指定使用的模型名称
• 最后的字符串：你要下达的自然语言指令

✅ 示例指令：

• “打开微信，给张三发消息：明天下午三点开会”
• “打开美团，查找附近评分4.5以上的川菜馆”
• “打开淘宝，搜索‘冬季保暖羽绒服’并按销量排序”

6.2 使用Python API进行编程调用

除了命令行，你也可以在自己的脚本中集成 Phone Agent 功能：

from phone_agent.adb import ADBConnection, list_devices # 创建ADB连接管理器 conn = ADBConnection() # 连接远程设备 success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}") # 列出所有已连接设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}") # 获取设备IP（用于后续连接） ip = conn.get_device_ip() print(f"设备IP地址: {ip}") # 断开连接 conn.disconnect("192.168.1.100:5555")

这种方式适合将其嵌入自动化测试平台、RPA流程或其他AI应用中。

7. 实际效果演示：AI如何一步步执行任务

当你发出一条指令后，Phone Agent 会按照以下循环流程工作：

1. 截取当前屏幕：通过 ADB 获取手机当前画面
2. 分析界面状态：提取当前应用名、页面结构信息
3. 构建多模态输入：将截图 + 文本指令打包发送给 AI 模型
4. AI推理决策：模型输出思考过程和具体动作（如点击坐标）
5. 执行操作：通过 ADB 模拟点击、滑动、输入等行为
6. 判断是否完成：若未完成，返回第1步继续循环

例如，当你说“打开小红书搜美食”时，AI可能经历以下步骤：

• 当前是桌面 → 启动“小红书”App
• 进入首页 → 点击顶部搜索框
• 输入“美食” → 触发搜索
• 浏览结果页 → 完成任务并返回总结

整个过程完全自主完成，无需人工干预。

8. 常见问题与解决方案

在实际部署过程中，可能会遇到一些常见问题。以下是高频故障排查指南：

8.1 ADB连接失败

• 现象：adb devices无设备显示或状态为unauthorized
• 解决方法：
  • 确保手机开启了“USB调试”
  • 拔插数据线，重新授权
  • 尝试重启 ADB 服务：

    adb kill-server adb start-server

8.2 截图为黑屏

• 现象：AI无法识别支付页面、密码输入框等内容
• 原因：Android系统出于安全考虑禁止敏感页面截图
• 应对策略：
  • 系统会自动检测并触发“人工接管”机制
  • AI将暂停执行，等待用户手动完成操作后再继续

8.3 中文输入乱码或失败

• 原因：未正确安装或启用 ADB Keyboard
• 检查项：
  • 是否已安装 APK
  • 是否已在“输入法”设置中切换为 ADB Keyboard
  • 是否在代码中正确调用了广播发送机制

8.4 模型响应缓慢或无响应

• 可能原因：
  • 云服务器防火墙未开放对应端口
  • vLLM服务未正常启动
  • 显存不足导致推理卡顿
• 建议配置：
  • 至少 16GB GPU显存（推荐使用 A10/A100/L4 等卡）
  • 启动参数确保包含--max-model-len 8192以支持长上下文

9. 安全机制与人机协同设计

尽管自动化带来了便利，但安全性始终是核心考量。Open-AutoGLM 内置了多重保护机制：

9.1 敏感操作确认机制

当AI检测到涉及支付、删除、登录等高风险操作时，会主动暂停并询问用户是否确认执行。例如：

do(action="Tap", element=[500, 300], message="即将进行付款，请确认")

此时程序会等待用户输入 Y/N 再决定是否继续。

9.2 人工接管支持

在验证码识别、人脸识别等AI难以处理的场景下，系统会自动调用takeover()指令，提示用户介入操作，完成后按回车键交还控制权。

9.3 可视化日志输出

每一步操作都会打印详细的日志信息，包括：

• AI的思考过程（thinking）
• 实际执行的动作（action）
• 推理耗时、首token延迟等性能指标

便于开发者监控和调试。

10. 总结：迈向真正的智能移动助手

通过本文的详细指导，你应该已经成功部署了 Open-AutoGLM，并体验到了AI自动操作手机的强大能力。这个框架不仅展示了多模态大模型在移动端的应用潜力，更为我们打开了通往“AI数字员工”的大门。

无论是日常生活中重复性的App操作，还是企业级的UI自动化测试、数据采集任务，Open-AutoGLM 都提供了一个开箱即用、高度可扩展的技术方案。更重要的是，它是完全开源的，意味着你可以自由定制、二次开发，打造符合自己需求的专属AI助理。

未来，随着模型精度提升和推理成本下降，这类手机Agent有望成为每个人的“数字分身”，帮我们在数字世界中更高效地生活与工作。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。