Open-AutoGLM适合新手吗？零基础部署实战入门必看

Open-AutoGLM – 智谱开源的手机端AI Agent框架，正悄然改变我们与移动设备的交互方式。它不是简单的自动化脚本工具，而是一个真正能“看懂屏幕、听懂指令、自动操作”的智能体。对于刚接触AI自动化的新手来说，这听起来可能像科幻电影里的桥段：我只要说一句“打开小红书搜美食”，手机就能自己完成点击、输入、搜索等一系列动作——没错，这就是Open-AutoGLM正在实现的能力。

AutoGLM-Phone 是一个基于视觉语言模型的 AI 手机智能助理框架。它能以多模态方式理解屏幕内容，并通过 ADB 自动操控设备。用户只需用自然语言下指令，如“打开小红书搜美食”，模型即可解析意图、理解界面并自动规划、执行操作流程，无需手动点击。而 Phone Agent 正是构建在 AutoGLM 之上的完整应用级实现，不仅支持本地真机控制，还能通过远程 ADB 实现 WiFi 或网络连接下的灵活调试与运行。更贴心的是，系统内置敏感操作确认机制，在涉及登录或验证码等关键步骤时可暂停并交由人工接管，兼顾智能与安全。本文将带你从零开始，一步步完成 Open-AutoGLM 的本地部署与真机连接，即使是编程小白也能轻松上手。

1. Open-AutoGLM是什么？为什么值得你关注

1.1 它不只是自动化，而是“会思考”的手机助手

传统自动化工具（比如Tasker或按键精灵）依赖预设规则和固定路径，一旦界面稍有变化就容易失败。而 Open-AutoGLM 的核心在于多模态理解 + 智能决策。

看得懂：通过视觉语言模型（VLM），它能实时分析手机屏幕截图，识别按钮、文字、布局结构。
听得懂：你用中文说“帮我订明天上午9点的高铁票”，它能准确提取时间、动作、目标App等信息。
做得对：结合历史状态和当前画面，自主规划操作路径，比如先打开12306 → 点击购票 → 输入出发地 → 选择车次 → 提交订单。

这种能力让它不再是个“死板的机器人”，而更像一个可以托付日常琐事的数字助理。

1.2 谁适合使用这个框架？

使用者类型	是否适合	原因
普通用户想解放双手	✅ 推荐	只需写一句话指令，就能自动完成重复操作
开发者做自动化测试	✅ 强烈推荐	可替代传统UI自动化脚本，适应性强
学生学习AI应用落地	✅ 非常适合	多模态+Agent的经典实践项目
企业做批量设备管理	⚠️ 视情况而定	目前更适合单设备场景，大规模需定制

如果你是第一次听说这类技术，不用担心。接下来的内容会像朋友教你装软件一样，一步一步讲清楚每一步该做什么。

2. 准备工作：软硬件环境搭建

要让 Open-AutoGLM 正常工作，你需要三样东西：

一台电脑（Windows 或 Mac）
一部安卓手机（Android 7.0以上）
ADB 工具（用于电脑控制手机）

别被这些术语吓到，“ADB”其实就像手机的“遥控器”，我们在电脑上安装一个叫 ADB 的程序，就可以发送命令让手机自动点击、滑动、截图。

2.1 安装ADB：给你的电脑装上“遥控器”

Windows 用户

下载 Android SDK Platform Tools 并解压。
按Win + R输入sysdm.cpl回车，打开“系统属性”。
点击“高级” → “环境变量”。
在“系统变量”中找到Path，双击编辑，添加你解压 platform-tools 的完整路径（例如：C:\platform-tools）。
打开命令提示符（CMD），输入：
```
adb version
```
如果看到类似Android Debug Bridge version 1.xx.xx的输出，说明安装成功。

macOS 用户

打开终端（Terminal），执行以下命令（假设你把文件解压到了 Downloads 文件夹）：

export PATH=${PATH}:~/Downloads/platform-tools

然后同样运行：

adb version

验证是否正常。为了以后不用每次都输入这条命令，你可以把它加到 shell 配置文件里（如.zshrc）。

重要提示
ADB 是整个系统的通信桥梁。没有它，AI 就无法“触达”你的手机。所以这一步一定要确保成功。

2.2 手机设置：开启“开发者权限”

很多新手卡在这一步，其实很简单：

进入手机“设置” → “关于手机” → 连续点击“版本号”7次，直到弹出“您已进入开发者模式”。
返回设置主菜单，找到“开发者选项” → 开启“USB调试”。
（可选但推荐）安装 ADB Keyboard APK。
- 安装后进入“语言与输入法”设置，将默认输入法切换为 ADB Keyboard。
- 这样 AI 下达的文字输入指令（如搜索关键词）才能正确填入文本框。

此时，用 USB 数据线把手机连上电脑。如果手机弹出“允许USB调试？”的提示，请点击“允许”。

3. 部署控制端：运行 Open-AutoGLM 代码

现在轮到主角登场了。

3.1 下载代码并安装依赖

打开你的命令行工具（CMD / Terminal），依次执行：

# 克隆官方仓库 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 安装所需库 pip install -r requirements.txt pip install -e .

小贴士
如果你是 Python 新手，建议使用虚拟环境：
python -m venv venv source venv/bin/activate # macOS/Linux venv\Scripts\activate # Windows

这一步完成后，你就拥有了本地的“指挥中心”。所有的指令都将从这里发出，经由 ADB 传达到手机。

3.2 检查设备连接状态

在命令行运行：

adb devices

你应该能看到类似这样的输出：

List of devices attached ABCDEF1234567890 device

其中ABCDEF1234567890就是你手机的设备ID。只要显示为device而不是unauthorized或空白，就说明连接成功。

❗ 如果出现unauthorized，请断开 USB 再重新连接，并在手机上确认授权弹窗。

4. 启动AI代理：让手机自己动起来

4.1 运行第一个自然语言指令

现在我们可以正式下达第一条命令了！

python main.py \ --device-id ABCDEF1234567890 \ --base-url http://<你的云服务器IP>:8800/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

参数说明：

--device-id：就是刚才adb devices显示的ID
--base-url：指向你部署了 vLLM 服务的云服务器地址（注意替换IP和端口）
--model：指定使用的模型名称
最后的字符串：你要执行的任务描述

当你按下回车后，奇迹会发生：

AI 会截取当前手机屏幕
分析界面上有哪些App图标
找到抖音并点击打开
等待加载完毕，定位搜索框
输入指定抖音号
点击搜索结果中的用户
找到“关注”按钮并点击

整个过程无需你动手，全程自动完成。

4.2 使用Python API进行远程控制（进阶玩法）

除了命令行，你还可以在自己的 Python 脚本中调用它，实现更复杂的逻辑。

from phone_agent.adb import ADBConnection, list_devices # 创建连接管理器 conn = ADBConnection() # 连接远程设备（WiFi模式） success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}") # 查看已连接设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}") # 获取设备IP（用于后续无线连接） ip = conn.get_device_ip() print(f"设备当前IP: {ip}") # 断开连接 conn.disconnect("192.168.1.100:5555")

这种方式特别适合集成到其他系统中，比如做一个定时自动打卡的小程序。