Open-AutoGLM远程协作：团队共享设备控制权限方案
1. Open-AutoGLM：智谱开源的手机端AI Agent框架
你有没有想过，让AI帮你操作手机？不是简单的语音助手，而是真正“看懂”屏幕、理解界面、自动点击滑动，像真人一样完成复杂任务。这不再是科幻——Open-AutoGLM正是这样一个由智谱（Zhipu AI）开源的手机端AI Agent框架，它把大模型的能力直接延伸到了你的安卓设备上。
这个项目的核心是AutoGLM-Phone，一个基于视觉语言模型（VLM）构建的智能助理系统。它能通过多模态方式感知手机屏幕内容，结合自然语言指令进行意图解析，并利用 ADB（Android Debug Bridge）自动执行操作流程。比如你只需要说一句：“打开小红书搜索美食推荐”，AI 就会自己启动App、输入关键词、浏览结果，甚至完成点赞或收藏动作。
而在此基础上，Phone Agent进一步强化了工程化能力，支持远程调试、人工接管机制和云端模型调用，使得整个系统不仅适合个人使用，更具备在团队协作中部署的潜力。尤其是在远程开发、自动化测试、跨地域设备管理等场景下，这套方案展现出极强的灵活性和实用性。
本文将重点介绍如何搭建一个可被多人共享访问的远程控制环境，实现团队成员对同一台测试机的协同操作与AI代理调度。
2. 实现原理与核心架构
2.1 多模态理解 + 自动化执行
Phone Agent 的工作流程可以分为四个关键步骤：
- 屏幕感知：每隔几秒截取一次手机屏幕图像，送入视觉语言模型进行分析。
- 意图理解：用户输入自然语言指令后，模型结合当前画面内容判断下一步该做什么。
- 动作规划：生成具体的操作序列，如“点击坐标(x, y)”、“输入文本”、“滑动”等。
- ADB 执行：通过 ADB 协议将这些操作发送到设备端执行。
整个过程无需 Root 权限，也不依赖特定厂商SDK，兼容绝大多数安卓7.0以上设备，包括真机和模拟器。
2.2 支持远程连接的关键设计
为了让多个开发者或测试人员能够同时接入并控制设备，系统做了以下优化：
- WiFi ADB 模式：摆脱USB线束缚，设备只要在同一局域网内即可连接。
- 云模型服务暴露接口：vLLM 部署的推理服务通过公网IP+端口映射对外提供
/v1接口，本地控制端可通过--base-url参数指定目标地址。 - ADB Keyboard 输入支持：解决远程环境下无法手动输入的问题，所有文字输入均由 ADB 命令完成。
- 敏感操作确认机制：涉及支付、登录、删除等高风险行为时，系统会暂停并等待人工确认，避免误操作。
这意味着你可以把一台测试机放在办公室，人在家里也能通过网络让它自动跑脚本；或者让QA团队共用一组设备池，按需调用AI代理执行回归测试。
3. 客户端与真机连接（本地电脑配置）
要使用 Open-AutoGLM 实现远程协作，首先需要在本地电脑上配置好控制端环境。以下是详细步骤。
3.1 硬件与环境准备
确保满足以下条件：
- 操作系统：Windows 或 macOS
- Python 版本：建议 Python 3.10+
- 安卓设备：Android 7.0 及以上版本的手机或模拟器
- ADB 工具：必须安装并正确配置
ADB 安装与环境变量设置
Windows 用户：
- 下载 Android SDK Platform Tools 并解压。
- 按
Win + R输入sysdm.cpl→ “高级” → “环境变量”。 - 在“系统变量”中的
Path添加 ADB 解压路径（例如C:\platform-tools）。 - 打开命令行，运行
adb version，若显示版本号则说明配置成功。
macOS 用户：
在终端中执行以下命令（假设文件解压至~/Downloads/platform-tools）：
export PATH=${PATH}:~/Downloads/platform-tools为永久生效，可将其写入.zshrc或.bash_profile文件。
3.2 手机端设置
为了让电脑能控制手机，需开启开发者权限并安装专用输入法。
开启开发者模式
进入「设置」→「关于手机」→ 连续点击“版本号”5~7次，直到提示已开启开发者选项。启用 USB 调试
返回设置主菜单 →「开发者选项」→ 开启“USB 调试”。安装 ADB Keyboard
- 下载 ADB Keyboard APK 并安装。
- 进入「语言与输入法」→ 默认键盘 → 切换为 ADB Keyboard。
- 后续所有文本输入都将通过 ADB 命令完成，无需手动打字。
4. 部署 Open-AutoGLM 控制端代码
现在我们开始部署本地控制程序。
4.1 克隆仓库并安装依赖
打开终端或命令行工具，执行：
# 克隆项目仓库 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 安装依赖包 pip install -r requirements.txt pip install -e .注意：部分依赖可能需要编译，请确保已安装 Visual Studio Build Tools（Windows）或 Xcode Command Line Tools（macOS）。
5. 设备连接方式详解
有两种主流方式连接设备：USB 和 WiFi。推荐先用 USB 初始化，再切换为无线模式。
5.1 USB 连接方式
- 使用数据线将手机连接电脑。
- 手机弹出“允许USB调试？”提示时，点击“确定”。
- 在终端运行：
adb devices输出应类似：
List of devices attached ABCDEF123456 device表示设备已识别。
5.2 WiFi 远程连接方式（支持团队共享）
这是实现远程协作的核心环节。一旦配置完成，任何在同一网络下的成员都可以通过 IP 地址连接该设备。
步骤如下：
- 先用 USB 连接设备。
- 启用 ADB TCP/IP 模式：
adb tcpip 5555- 断开 USB 数据线。
- 查找手机当前局域网 IP 地址（可在「设置 → WLAN → 当前网络详情」中查看），假设为
192.168.1.105。 - 执行连接命令：
adb connect 192.168.1.105:5555连接成功后，再次运行adb devices应能看到设备以 IP 形式列出。
✅ 提示：若连接失败，请检查手机和电脑是否处于同一WiFi网络，并确认防火墙未拦截5555端口。
6. 启动 AI 代理并下发指令
一切就绪后，就可以启动 AI 代理来操控手机了。
6.1 命令行方式运行任务
在项目根目录下执行：
python main.py \ --device-id 192.168.1.105:5555 \ --base-url http://<你的云服务器公网IP>:8800/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"参数说明：
--device-id：设备标识，可用adb devices查看。支持物理ID或IP:端口格式。--base-url：指向你部署的 vLLM 服务地址，确保端口已在云服务器开放（如8800）。--model：指定使用的模型名称，需与服务端加载的一致。- 最后的字符串：你要下达的自然语言指令。
执行后，你会看到 AI 自动截图、分析界面、生成操作链，并逐步完成任务。过程中如有登录验证码或敏感操作，系统会暂停并提示人工介入。
6.2 使用 Python API 实现远程连接管理
除了命令行，你还可以在自己的脚本中集成连接逻辑，便于构建自动化平台。
from phone_agent.adb import ADBConnection, list_devices # 创建 ADB 连接管理器 conn = ADBConnection() # 连接到远程设备 success, message = conn.connect("192.168.1.105:5555") print(f"连接状态: {message}") # 列出所有已连接设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}") # （可选）从 USB 模式切换到 TCP/IP if not conn.is_wireless(): success, msg = conn.enable_tcpip(5555) ip = conn.get_device_ip() print(f"设备已启用无线调试，IP地址: {ip}") # 断开连接 conn.disconnect("192.168.1.105:5555")这段代码可用于构建设备监控面板、任务调度系统或 CI/CD 流水线中的移动测试模块。
7. 团队协作中的权限管理与安全建议
虽然 Open-AutoGLM 功能强大，但在团队环境中使用仍需注意安全与权限控制。
7.1 共享设备的最佳实践
- 固定设备池命名规则：如
test-android-01,qa-pixel-7，方便识别用途。 - 动态分配机制：开发一个轻量级 Web 页面展示设备状态（空闲/占用），避免冲突。
- 操作日志记录：保存每条指令的执行时间、发起人、结果截图，便于追溯。
7.2 安全防护措施
- 限制 ADB 端口暴露范围：不要将5555端口直接暴露在公网上，建议通过内网穿透或SSH隧道访问。
- 启用密码认证（可选）：某些定制ROM支持 ADB 密码验证，增强安全性。
- 定期重启设备：长时间运行可能导致内存泄漏或卡顿，建议每日定时重启。
- 关闭不必要的权限：禁止应用自启动、后台定位等非必要行为，减少干扰。
8. 常见问题排查指南
8.1 连接类问题
| 问题现象 | 可能原因 | 解决方法 |
|---|---|---|
adb devices无设备显示 | 未开启USB调试 / 驱动异常 | 重新开启USB调试，更换数据线或重装驱动 |
unauthorized状态 | 未授权电脑调试 | 手机端确认“允许USB调试”对话框 |
connection refused | ADB未启用TCP模式 | 先用USB执行adb tcpip 5555 |
| 连接后频繁断开 | WiFi信号不稳定 | 改用有线连接，或优化路由器设置 |
8.2 模型与执行问题
| 问题现象 | 可能原因 | 解决方法 |
|---|---|---|
| 模型响应慢或超时 | 显存不足 / max-model-len 设置过小 | 检查 vLLM 启动参数，适当降低 batch size |
| 操作错乱或无效点击 | 屏幕分辨率适配问题 | 确保模型训练时包含相似分辨率样本 |
| 文字输入失败 | ADB Keyboard 未设为默认输入法 | 进入设置手动切换 |
| 敏感操作未暂停 | 系统未识别高危场景 | 检查内置规则库是否更新至最新版 |
9. 总结
Open-AutoGLM 不只是一个炫酷的AI手机助手，它更是一个可扩展、可远程、可协作的自动化平台。通过结合视觉语言模型与 ADB 控制能力，我们实现了真正的“自然语言驱动设备操作”。而在引入 WiFi 连接与云端模型服务后，这套系统已经具备了企业级应用的基础条件。
无论是用于：
- 自动化测试脚本编写
- 跨地区团队共用测试机资源
- 批量账号运营（合规前提下）
- 移动端用户体验研究
它都能显著提升效率，降低人力成本。
更重要的是，作为开源项目，Open-AutoGLM 鼓励社区贡献更多功能模块，比如多设备并行调度、Web可视化控制台、权限分级系统等。未来，它有望成为移动端AI自动化领域的标准基础设施之一。
如果你正在寻找一种高效、灵活、低成本的方式来管理和操作安卓设备，不妨试试 Open-AutoGLM —— 让AI替你“动手”。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
