告别手动操作！Open-AutoGLM让手机自动执行任务
你有没有想过，有一天只需要说一句话，手机就能自己完成一系列复杂操作？比如：“打开小红书搜美食”“找到昨天那条抖音视频并点赞”“登录淘宝下单购物车里的商品”。听起来像科幻片？现在，这一切已经可以实现。
今天要介绍的主角是Open-AutoGLM—— 智谱开源的一款手机端 AI Agent 框架。它不仅能“看懂”你的手机屏幕，还能听懂你的指令，并通过自动化操作帮你把事情办妥。整个过程无需手动点击，真正实现“动口不动手”。
这不仅是一个技术玩具，更是一种全新的交互方式。接下来，我会带你一步步了解它是如何工作的、怎么部署使用，以及它能为我们的生活和工作带来哪些改变。
1. Open-AutoGLM 是什么？
简单来说，Open-AutoGLM 是一个能让 AI 自动操控安卓手机的智能助理框架。它的核心组件叫 Phone Agent，基于视觉语言模型（VLM）构建，结合 ADB（Android Debug Bridge）实现对设备的实际控制。
它是怎么做到的？
整个流程分为三步：
- 感知：AI 通过截图获取当前手机屏幕内容，利用多模态模型理解界面上的文字、按钮、图标等信息。
- 决策：根据用户输入的自然语言指令（如“打开微信给张三发消息”），AI 解析意图，规划出一系列操作步骤。
- 执行：通过 ADB 发送模拟点击、滑动、输入等命令，真实地在手机上完成操作。
整个过程就像有一个“数字分身”在替你操作手机。
核心亮点
- 多模态理解：不只是读文字，还能识别图像、布局结构，真正“看懂”界面。
- 自然语言驱动：不需要写代码或设置规则，直接用中文说话就行。
- 自动化执行：支持点击、滑动、输入、返回、长按等多种操作。
- 安全机制完善：遇到登录、支付、验证码等敏感场景时，会暂停并提示人工接管。
- 远程控制能力：支持 WiFi 连接，可在局域网甚至公网环境下远程调试和运行。
2. 如何部署 Open-AutoGLM？
虽然听起来很高级，但它的使用门槛并不高。只要你有一台安卓手机和一台电脑，就可以搭建起来。下面我将从环境准备到启动运行，手把手带你走一遍完整流程。
2.1 硬件与软件要求
| 类别 | 要求 |
|---|---|
| 电脑系统 | Windows / macOS |
| Python 版本 | 3.10 或以上 |
| 手机系统 | Android 7.0+（真机或模拟器均可） |
| 工具依赖 | ADB 工具、Git、pip |
注意：确保手机和电脑处于同一网络环境，尤其是使用 WiFi 连接时。
2.2 安装 ADB 工具
ADB 是连接电脑与安卓设备的关键桥梁。我们需要先安装它。
Windows 用户
- 下载 Android SDK Platform Tools 并解压。
- 将解压后的文件夹路径添加到系统环境变量
PATH中：- 按
Win + R输入sysdm.cpl - 进入“高级” → “环境变量”
- 在“系统变量”中找到
Path，点击编辑，新增 ADB 所在目录
- 按
- 打开命令行，输入：
如果显示版本号，则说明安装成功。adb version
macOS 用户
可以直接在终端中临时添加路径（建议写入.zshrc或.bash_profile永久生效）：
export PATH=${PATH}:~/Downloads/platform-tools然后同样用adb version验证。
2.3 手机端设置
为了让电脑能控制手机，需要开启开发者权限。
开启开发者模式
进入「设置」→「关于手机」→ 连续点击“版本号”7次，直到提示已开启开发者模式。启用 USB 调试
返回设置主界面 →「开发者选项」→ 开启“USB 调试”。安装 ADB Keyboard（可选但推荐）
这是一个特殊的输入法，允许通过 ADB 向手机发送文本输入，避免某些应用无法正常输入中文的问题。- 下载 ADB Keyboard APK 并安装
- 进入「语言与输入法」→ 将默认输入法切换为 ADB Keyboard
2.4 部署控制端代码
接下来，在本地电脑上拉取 Open-AutoGLM 的源码并安装依赖。
# 克隆项目仓库 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 安装依赖 pip install -r requirements.txt pip install -e .提示：建议在虚拟环境中操作，避免依赖冲突。
2.5 连接手机设备
有两种连接方式：USB 和 WiFi。推荐先用 USB 测试，稳定后再尝试无线连接。
方法一：USB 连接
用数据线将手机连上电脑，授权调试请求后执行：
adb devices如果输出类似：
List of devices attached ABCDEF1234567890 device说明设备已识别，记下设备 ID（如ABCDEF1234567890）。
方法二：WiFi 远程连接
适合不想插线的场景，前提是手机和电脑在同一局域网。
先用 USB 连接，开启 TCP/IP 模式：
adb tcpip 5555断开 USB，获取手机 IP 地址（可在「设置-关于手机-状态信息」中查看），然后连接：
adb connect 192.168.x.x:5555
再次运行adb devices查看是否连接成功。
3. 启动 AI 代理，开始自动操作
一切准备就绪，现在可以启动 AI 来接管手机了！
3.1 启动模型服务（云端或本地）
Open-AutoGLM 使用的是基于 AutoGLM 构建的专用模型，需提前启动一个兼容 OpenAI 接口的推理服务。推荐使用 vLLM 或 SGlang。
以 vLLM 为例，启动命令如下：
python3 -m vllm.entrypoints.openai.api_server \ --served-model-name autoglm-phone-9b \ --allowed-local-media-path / \ --mm-encoder-tp-mode data \ --mm_processor_cache_type shm \ --mm_processor_kwargs '{"max_pixels":5000000}' \ --max-model-len 25480 \ --chat-template-content-format string \ --limit-mm-per-prompt '{"image":10}' \ --model zai-org/AutoGLM-Phone-9B \ --port 8000启动成功后，模型服务地址为：http://<服务器IP>:8000/v1
注意：如果你是在云服务器上部署模型，请确保防火墙开放了对应端口（如 8000），并在本地调用时填写正确的公网 IP。
3.2 执行自然语言指令
回到本地 Open-AutoGLM 目录，运行主程序：
python main.py \ --device-id ABCDEF1234567890 \ --base-url http://192.168.1.100:8000/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"参数说明：
--device-id：通过adb devices获取的设备标识--base-url：模型服务的访问地址（注意替换为实际 IP）- 最后的字符串：你要下达的自然语言指令
运行后，你会看到 AI 开始自动截图、分析界面、规划动作，并逐步完成任务。整个过程会在终端中实时输出日志，包括每一步的操作类型、目标区域、置信度等。
3.3 使用 Python API 调用（适合集成开发）
除了命令行，你也可以在自己的项目中通过 API 调用 Phone Agent。
from phone_agent import PhoneAgent from phone_agent.model import ModelConfig # 配置模型服务地址 model_config = ModelConfig( base_url="http://192.168.1.100:8000/v1", model_name="autoglm-phone-9b", ) # 创建代理实例 agent = PhoneAgent(model_config=model_config) # 执行任务 result = agent.run("打开美团搜索附近的火锅店") print(result)这种方式非常适合嵌入到自动化测试、客服机器人、RPA 工具等系统中。
4. 实际应用场景与潜力
Open-AutoGLM 不只是一个炫技项目，它已经在多个实际场景中展现出巨大价值。
4.1 日常生活自动化
想象这些场景：
- “帮我查一下今天的天气，并发给妈妈。”
- “打开支付宝扫码付款。”
- “把昨晚拍的照片上传到百度网盘。”
这些原本需要多次点击的操作，现在一句话就能搞定。
4.2 移动端自动化测试
传统 App 测试依赖脚本录制或 XPath 定位，维护成本高。而 Open-AutoGLM 可以：
- 自动遍历 App 功能路径
- 检测 UI 异常或加载失败
- 支持跨页面跳转和动态内容识别
特别适合用于回归测试和兼容性验证。
4.3 辅助特殊人群
对于视障人士或行动不便者，语音控制手机是一项刚需。Open-AutoGLM 结合语音识别，有望成为下一代无障碍交互工具的核心引擎。
4.4 企业级 RPA 扩展
结合企业内部系统，可实现：
- 自动处理移动端审批流程
- 抓取竞品 App 数据（合规前提下）
- 批量管理多个账号（如社交媒体运营）
5. 常见问题与排查建议
在实际使用过程中，可能会遇到一些问题。以下是高频故障及解决方案：
| 问题现象 | 可能原因 | 解决方法 |
|---|---|---|
| ADB 无法识别设备 | 未开启 USB 调试 | 检查开发者选项中的“USB 调试”是否开启 |
| 连接频繁断开 | WiFi 信号不稳定 | 改用 USB 连接，或优化网络环境 |
| 输入中文乱码 | 默认输入法不支持 ADB 输入 | 切换为 ADB Keyboard |
| 模型无响应 | 服务端端口未开放 | 检查云服务器防火墙设置，确认端口已放行 |
| 操作卡住不动 | 屏幕内容变化慢或加载超时 | 等待加载完成，或手动干预后继续 |
| 敏感操作被拦截 | 涉及登录/支付等 | 系统自动暂停，需人工确认后继续 |
小贴士：首次使用建议从简单任务开始，如“打开相机”，逐步熟悉流程后再尝试复杂指令。
6. 总结
Open-AutoGLM 正在重新定义我们与手机的交互方式。它不再局限于“手指+屏幕”的传统模式，而是迈向“语言+意图”的智能时代。
通过多模态理解 + 自然语言指令 + 自动化执行，它实现了真正的“AI 代劳”。无论是提升个人效率、辅助特殊群体，还是赋能企业自动化，都有着广阔的应用前景。
更重要的是，它是开源的。这意味着你可以自由定制、二次开发，甚至训练属于自己的专属手机助手。
未来，也许每个 App 都会有对应的 AI Agent，而你只需说一句：“帮我搞定这件事”，剩下的交给 AI。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
