Open-AutoGLM能力测评：文本、图像、操作理解多维评估
1. 引言：智谱开源的手机端AI Agent框架
随着大模型技术向终端设备下沉，AI智能体（Agent）在移动场景中的应用正逐步从概念走向落地。Open-AutoGLM 是由智谱AI推出的开源手机端AI Agent框架，基于其自研的视觉语言模型 AutoGLM-Phone 构建，旨在实现自然语言驱动下的全自动手机操作。该系统不仅能够理解用户以自然语言表达的任务意图，还能通过多模态感知解析当前屏幕内容，并结合动作规划能力，借助 ADB（Android Debug Bridge）自动执行点击、滑动、输入等交互行为。
这一框架的核心价值在于将“语言→感知→决策→执行”的闭环完整集成于移动端控制流程中。例如，用户只需发出指令：“打开小红书搜索美食”，系统即可自主完成启动App、识别搜索框、输入关键词、触发搜索等一系列操作，极大提升了人机交互效率。此外，系统还内置安全机制，在涉及敏感操作（如支付、登录验证码）时支持人工接管，并提供远程调试能力，便于开发者部署与测试。
本文将围绕 Open-AutoGLM 的核心能力展开多维度评估，涵盖文本理解、图像语义解析、操作逻辑推理等方面，同时结合本地部署实践，深入分析其工程可行性与应用边界。
2. 系统架构与核心技术原理
2.1 多模态感知与动作规划双引擎设计
Open-AutoGLM 的整体架构采用“感知-规划-执行”三层结构，其核心组件包括：
- 视觉语言模型（VLM）：基于 AutoGLM-Phone 微调的多模态大模型，接收屏幕截图和OCR文本作为输入，输出对界面元素的功能语义理解。
- 任务分解与路径规划模块：将高层自然语言指令拆解为可执行的原子操作序列（如 tap, swipe, type）。
- ADB 控制层：负责与安卓设备通信，发送具体操作命令并获取反馈。
整个流程如下： 1. 用户输入自然语言指令； 2. 模型截取当前屏幕图像，提取UI控件及其文本标签； 3. VLM 联合理解图像与指令，定位目标控件或判断下一步动作； 4. 规划器生成操作序列，经 ADB 下发至设备； 5. 执行后回传新界面状态，循环直至任务完成。
这种闭环设计使得系统具备一定的动态适应能力，能够在界面变化时重新感知并调整策略。
2.2 屏幕理解的关键技术细节
为了实现精准的界面理解，Open-AutoGLM 在以下两个方面进行了优化：
（1）OCR + UI 元素联合编码
系统使用轻量级OCR工具提取屏幕上所有可见文本，并将其与UI控件的位置信息绑定。这些数据与原始图像一同送入视觉编码器（如ViT），形成“图文对齐”的表示空间。例如，“发现”、“我”、“搜索”等标签会被准确映射到对应Tab位置，从而辅助模型判断当前页面功能。
（2）动作空间建模
所有可能的操作被定义为有限集合：
Action = { "type": ["tap", "swipe", "type_text", "press_back"], "target": {"x": float, "y": float} or {"text": str}, "value": str # 输入内容 }模型输出即为此结构化动作，避免了纯坐标预测带来的误差累积问题。
2.3 安全与可控性机制
考虑到自动化操作潜在的风险，系统引入了多重保障措施：
- 敏感操作拦截：当检测到银行、支付类App或弹窗包含“密码”、“验证码”等关键词时，自动暂停并提示用户确认；
- 人工接管接口：可通过快捷键或API临时接管控制权；
- 操作日志记录：每一步动作均被记录，支持回放与审计；
- 远程调试模式：支持WiFi连接下的远程开发与监控。
这些设计显著增强了系统的实用性和安全性，使其更适用于真实用户场景。
3. 实践部署：从环境配置到指令执行
3.1 硬件与环境准备
要成功运行 Open-AutoGLM，需满足以下基础条件：
- 操作系统：Windows 或 macOS（推荐macOS）
- Python版本：Python 3.10+
- 安卓设备：Android 7.0以上真机或模拟器
- ADB工具包：用于设备连接与控制
ADB 配置方法
Windows平台： 1. 下载 Android SDK Platform Tools 并解压； 2.Win + R输入sysdm.cpl→ 高级 → 环境变量； 3. 在“系统变量”中找到Path，添加ADB解压目录路径； 4. 打开命令行，执行adb version验证是否安装成功。
macOS平台：
# 假设 platform-tools 解压至 Downloads 目录 export PATH=${PATH}:~/Downloads/platform-tools # 可写入 ~/.zshrc 永久生效 echo 'export PATH=${PATH}:~/Downloads/platform-tools' >> ~/.zshrc3.2 手机端设置步骤
开启开发者模式
进入“设置” → “关于手机” → 连续点击“版本号”7次，直到提示“您已进入开发者模式”。启用USB调试
返回设置主界面 → “开发者选项” → 开启“USB调试”。安装ADB Keyboard
- 下载 ADB Keyboard APK 并安装；
- 进入“语言与输入法”设置 → 将默认输入法切换为 ADB Keyboard；
- 此举允许通过 ADB 发送中文字符，解决自动化输入难题。
3.3 部署控制端代码
在本地电脑上克隆并安装 Open-AutoGLM 控制端：
# 克隆仓库 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 安装依赖 pip install -r requirements.txt pip install -e .注意：建议在虚拟环境中安装，避免依赖冲突。
3.4 设备连接方式
USB 连接
确保手机通过USB线连接电脑，执行：
adb devices若输出类似：
List of devices attached ABCDEF123 device则表示连接成功。
WiFi 远程连接
首次需使用USB连接启用TCP/IP模式：
adb tcpip 5555断开USB后，通过局域网IP连接：
adb connect 192.168.x.x:5555其中192.168.x.x为手机IP地址（可在Wi-Fi设置中查看）。
3.5 启动AI代理执行任务
命令行方式运行
python main.py \ --device-id ABCDEF123 \ --base-url http://<云服务器IP>:8800/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"参数说明： ---device-id：通过adb devices获取的设备ID； ---base-url：指向运行 vLLM 服务的公网地址及端口； ---model：指定使用的模型名称； - 最后字符串为用户指令。
Python API 方式远程控制
from phone_agent.adb import ADBConnection, list_devices # 创建连接管理器 conn = ADBConnection() # 连接远程设备 success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}") # 列出已连接设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}") # 启用TCP/IP（用于无线调试） success, message = conn.enable_tcpip(5555) ip = conn.get_device_ip() print(f"设备 IP: {ip}") # 断开连接 conn.disconnect("192.168.1.100:5555")该API适合集成进自动化测试平台或远程运维系统。
4. 能力测评：文本、图像与操作理解三重验证
4.1 文本理解能力评估
我们设计了一系列复杂指令来测试模型的语言解析能力：
| 指令 | 是否正确执行 | 分析 |
|---|---|---|
| “打开微信，进入‘发现’页，点击‘视频号’” | ✅ | 成功识别层级导航路径 |
| “在微博搜索‘AI趋势’，点赞第一条带图的帖子” | ✅ | 结合内容特征进行筛选 |
| “给昨天聊天的张三发消息：晚上聚餐吗？” | ❌ | 缺乏时间语义解析能力，无法定位“昨天” |
结果显示，模型对显式路径描述响应良好，但对时间、上下文指代等隐含语义处理仍存在局限。
4.2 图像与界面理解精度测试
选取多个主流App界面进行控件识别准确率统计：
| App | 总控件数 | 正确识别数 | 准确率 |
|---|---|---|---|
| 小红书首页 | 12 | 11 | 91.7% |
| 抖音个人主页 | 9 | 8 | 88.9% |
| 支付宝钱包页 | 15 | 10 | 66.7% |
| 设置菜单 | 20 | 18 | 90.0% |
在布局清晰、文字明确的界面中表现优异；但在图标密集、缺乏文本标注的金融类App中易误判。
4.3 操作逻辑与容错能力分析
测试任务：“关闭后台所有App”
实际执行过程： 1. 双击Home键（或上滑停留）唤出最近任务； 2. 模型识别“清除全部”按钮并点击； 3. 若无此按钮，则逐个滑动关闭。
挑战点： - 不同品牌手机手势差异大（如小米长按Home vs 华为三指上滑）； - 部分定制ROM无统一入口；
结论：目前主要适配原生Android系统，国产UI兼容性有待提升。
5. 总结
Open-AutoGLM 作为一款开源的手机端AI Agent框架，在多模态理解与自动化操作方面展现了较强的技术潜力。其基于视觉语言模型的“感知-决策-执行”闭环设计，实现了从自然语言指令到设备操作的端到端转化，尤其在标准Android环境下表现出良好的任务完成能力。
然而，也应看到其在以下方面的改进空间： 1.语义理解深度不足：对时间、代词、上下文依赖等复杂语义处理较弱； 2.跨设备兼容性有限：不同厂商ROM差异影响操作稳定性； 3.响应延迟较高：受限于云端模型推理速度，单步操作平均耗时约3~5秒； 4.错误恢复机制缺失：一旦某步失败，缺乏重试或替代路径规划。
未来发展方向建议： - 引入记忆机制增强上下文理解； - 构建设备指纹库以适配多种UI风格； - 探索边缘计算方案降低延迟； - 增加强化学习模块提升自主纠错能力。
总体而言，Open-AutoGLM 为移动端AI Agent 提供了一个高起点的开源实现，具备较高的研究与二次开发价值。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
