Open-AutoGLM部署教程：MacOS终端配置ADB全流程
1. 背景与核心价值
1.1 Open-AutoGLM：智谱开源的手机端AI Agent框架
Open-AutoGLM 是由智谱AI推出的开源项目，旨在构建一个可在移动端运行的AI智能体（Agent）系统。该框架基于视觉语言模型（VLM），结合Android Debug Bridge（ADB）实现对安卓设备的自动化控制。其核心目标是让AI具备“看懂屏幕”和“操作手机”的能力，从而以自然语言为接口，完成用户指定的任务。
这一技术突破了传统自动化脚本的局限性——无需预先编写固定流程，而是通过多模态理解实时界面内容，并动态规划操作路径。例如，当用户输入“打开小红书搜索美食”，系统会自动识别当前应用状态、解析UI元素、决定点击位置并执行滑动或输入等动作，真正实现类人操作逻辑。
1.2 AutoGLM-Phone 的工作原理与优势
AutoGLM-Phone 是 Open-AutoGLM 的核心实现模块，专为手机场景设计。它采用“感知-决策-执行”三层架构：
- 感知层：通过ADB截屏获取手机当前画面，送入视觉语言模型进行语义解析，识别按钮、文本、布局结构。
- 决策层：结合用户指令与屏幕信息，生成下一步操作意图（如“点击搜索框”、“输入关键词”）。
- 执行层：将抽象操作转化为具体的ADB命令（如
adb shell input tap x y），驱动设备响应。
相比传统RPA工具或宏录制软件，AutoGLM-Phone 具备以下显著优势：
- 自然语言驱动：非技术人员也能使用，降低使用门槛；
- 泛化能力强：不依赖固定ID或坐标，适应不同品牌/分辨率设备；
- 支持复杂交互：可处理登录验证、弹窗确认、滚动加载等动态场景；
- 安全机制完善：敏感操作需人工确认，支持中途接管；
- 远程调试便捷：可通过WiFi连接设备，便于开发测试。
2. 环境准备与依赖安装
2.1 硬件与软件要求
在开始部署前，请确保满足以下条件：
| 类别 | 要求 |
|---|---|
| 操作系统 | macOS（推荐macOS Monterey及以上） |
| Python版本 | 3.10 或更高版本 |
| 安卓设备 | Android 7.0+ 手机或模拟器 |
| ADB工具 | platform-tools包已下载并配置环境变量 |
| 网络环境 | 本地电脑与手机处于同一局域网（用于WiFi连接） |
提示：建议使用Python虚拟环境管理依赖，避免污染全局包。
python -m venv autoglm-env source autoglm-env/bin/activate2.2 下载并配置ADB工具（MacOS）
ADB（Android Debug Bridge）是控制安卓设备的核心工具。macOS默认未预装，需手动配置。
步骤一：下载platform-tools
访问 Android开发者官网 下载适用于macOS的platform-tools压缩包。
解压后建议放置于主目录下的~/Downloads/platform-tools路径。
步骤二：添加环境变量
打开终端，编辑shell配置文件（根据所用shell选择）：
# 如果使用zsh（macOS默认） nano ~/.zshrc # 或者使用bash nano ~/.bash_profile在文件末尾添加以下行：
export PATH=${PATH}:~/Downloads/platform-tools保存并退出（Ctrl+O → Enter → Ctrl+X），然后重新加载配置：
source ~/.zshrc步骤三：验证ADB安装
adb version若输出类似Android Debug Bridge version 1.xx.xx，则表示配置成功。
3. 手机端设置与连接准备
3.1 开启开发者选项与USB调试
- 进入手机“设置” → “关于手机”；
- 连续点击“版本号”7次，直到提示“您已进入开发者模式”；
- 返回设置主菜单，进入“开发者选项”；
- 启用“USB调试”功能；
- 当首次连接电脑时，手机会弹出授权提示，勾选“始终允许”并确认。
3.2 安装ADB Keyboard（可选但推荐）
由于AI代理无法直接调用第三方输入法，需使用ADB Keyboard作为默认输入法来实现文本输入。
安装步骤：
- 访问 ADB Keyboard GitHub Release 页面 下载最新
.apk文件； - 将APK拖入Android Studio的Device Explorer，或使用ADB命令安装：
adb install ADBKeyboard.apk- 在手机“设置” → “语言与输入法” → “当前输入法”中切换为“ADB Keyboard”。
注意：部分国产ROM可能限制ADB输入，建议关闭MIUI优化、EMUI纯净模式等安全策略。
4. 部署Open-AutoGLM控制端代码
4.1 克隆项目仓库
在本地终端执行以下命令：
git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM4.2 安装Python依赖
项目依赖主要包含PyTorch、transformers、Pillow、adbutils等库。
pip install -r requirements.txt pip install -e .-r requirements.txt：安装所有基础依赖；-e .：以可编辑模式安装当前包，便于后续调试修改。
常见问题：
- 若出现
torch安装失败，请前往 PyTorch官网 获取适配macOS的安装命令；- 若提示
wheel错误，先运行pip install --upgrade pip setuptools wheel。
5. 设备连接方式详解
5.1 USB连接（推荐初学者使用）
使用数据线将手机连接至MacBook。
在终端运行：
adb devices预期输出如下：
List of devices attached ABCDEF1234567890 device其中ABCDEF1234567890即为设备ID，后续将用于AI代理调用。
提示：若无设备显示，请检查是否已授权USB调试，或尝试更换数据线/接口。
5.2 WiFi无线连接（支持远程控制）
对于长期运行或远程调试场景，推荐使用WiFi连接。
第一步：通过USB启用TCP/IP模式
adb tcpip 5555此命令启动ADB的TCP监听服务，端口为5555。
第二步：断开USB，使用IP连接
获取手机IP地址（可在“设置”→“WLAN”中查看），假设为192.168.1.100：
adb connect 192.168.1.100:5555再次运行adb devices，应能看到设备以IP形式列出：
List of devices attached 192.168.1.100:5555 device此后即可拔掉USB线，继续通过网络控制设备。
注意：重启手机后需重新执行
adb tcpip 5555，建议在固定开发环境中使用。
6. 启动AI代理并执行任务
6.1 命令行方式启动
确保你已拥有一个运行中的云推理服务（如vLLM部署的AutoGLM模型），并知道其公网IP和映射端口（如http://your-server-ip:8800/v1）。
在项目根目录下运行：
python main.py \ --device-id 192.168.1.100:5555 \ --base-url http://your-server-ip:8800/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"参数说明：
| 参数 | 说明 |
|---|---|
--device-id | 设备标识符，可以是USB设备ID或WiFi IP:端口 |
--base-url | 云端大模型API地址，必须包含/v1路径 |
--model | 模型名称，需与服务器注册名一致 |
| 最后字符串 | 用户自然语言指令，支持中文 |
6.2 使用Python API进行高级控制
除了命令行，Open-AutoGLM也提供SDK接口，便于集成到其他系统中。
from phone_agent.adb import ADBConnection, list_devices # 创建连接管理器 conn = ADBConnection() # 连接远程设备 success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}") # 列出所有已连接设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}") # （可选）为USB设备开启TCP/IP以便后续无线使用 if devices: success, msg = conn.enable_tcpip(5555) if success: ip = conn.get_device_ip() print(f"设备IP: {ip}") else: print(f"启用TCP/IP失败: {msg}") # 断开连接 conn.disconnect("192.168.1.100:5555")该API可用于自动化设备发现、状态监控、批量控制等场景。
7. 常见问题与排查指南
7.1 连接类问题
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
adb devices无设备显示 | USB调试未开启或未授权 | 检查开发者选项，重新插拔并确认授权弹窗 |
unauthorized状态 | 电脑指纹未被信任 | 删除手机上的authorized_keys或重新授权 |
connection refused | 防火墙阻止端口 | 检查云服务器安全组规则，开放对应端口（如8800） |
failed to connect to 192.168.x.x:5555 | TCP/IP未启用或IP错误 | 先用USB执行adb tcpip 5555，确认IP正确 |
7.2 模型与执行问题
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 模型返回乱码或空响应 | vLLM参数配置不当 | 检查max_model_len、tensor_parallel_size是否匹配模型规格 |
| AI频繁误操作 | 屏幕识别不准 | 确保截图清晰，避免反光或遮挡；调整模型prompt策略 |
| 输入文字失败 | ADB Keyboard未设为默认输入法 | 进入手机设置手动切换 |
| 执行卡住不动 | 动作空间过大导致规划失败 | 改写指令更具体，如“先进入主页再点击搜索图标” |
建议：首次使用建议从简单指令开始测试，如“返回桌面”、“打开微信”，逐步增加复杂度。
8. 总结
本文详细介绍了如何在macOS环境下部署Open-AutoGLM框架，并通过ADB实现对安卓设备的AI自动化控制。我们覆盖了从环境配置、ADB安装、手机设置、代码部署到实际运行的完整流程，同时提供了命令行与Python API两种调用方式，满足不同层次的开发需求。
Open-AutoGLM代表了一种新型的人机交互范式——以自然语言驱动设备操作，极大提升了移动自动化的能力边界。未来随着模型轻量化和边缘计算的发展，这类AI Agent有望在智能家居、无障碍辅助、自动化测试等领域发挥更大价值。
对于开发者而言，掌握ADB与多模态Agent的集成方法，不仅是提升效率的实用技能，更是理解“具身智能”（Embodied AI）落地路径的重要实践。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
