AutoGLM-Phone如何评估执行成功率？指标监控部署指南

Open-AutoGLM 是智谱开源的一款面向手机端的 AI Agent 框架，旨在通过多模态理解与自动化操作能力，让大模型真正“动手”完成用户指令。其核心项目 AutoGLM-Phone 和基于它构建的 Phone Agent，正在重新定义人机交互方式——你只需说一句话，AI 就能替你在手机上完成一系列复杂操作。

1. AutoGLM-Phone：让AI真正“会用手机”

AutoGLM-Phone 是一个基于视觉语言模型（VLM）的 AI 手机智能助理框架。它不仅能“看懂”屏幕上的内容，还能通过 ADB（Android Debug Bridge）自动操控设备。用户只需要输入一句自然语言指令，比如“打开小红书搜索美食”，系统就能自动解析意图、识别当前界面元素、规划操作路径，并一步步执行点击、滑动、输入等动作，全程无需人工干预。

这一能力的背后，是多模态感知 + 推理决策 + 自动化控制的深度融合。视觉语言模型负责理解屏幕截图中的文字、图标和布局；任务规划模块将高层语义转化为可执行的操作序列；ADB 则作为“手”，精准模拟用户的触控行为。

更进一步，Phone Agent 在 AutoGLM-Phone 基础上增强了安全机制与远程调试能力。系统内置敏感操作确认机制，在涉及支付、删除或权限变更时会暂停并提示用户确认。同时支持在登录验证、验证码输入等需要人类介入的场景中临时接管流程，确保任务既智能又可控。

此外，Phone Agent 提供完整的远程 ADB 调试支持，可通过 WiFi 或局域网连接设备，实现跨空间的远程控制与开发调试，极大提升了实验灵活性和部署便利性。

2. 本地控制端部署全流程

要让 AutoGLM-Phone 真正运行起来，你需要在本地电脑配置控制端，连接真机或模拟器，并调用云端部署的 AI 模型服务。以下是详细部署步骤。

2.1 硬件与环境准备

操作系统：Windows 或 macOS
Python 版本：建议使用 Python 3.10 及以上版本
安卓设备：Android 7.0+ 的真实手机或 Android 模拟器
ADB 工具：用于设备通信的核心工具包

ADB 安装与环境配置

Windows 用户：

下载 Android SDK Platform Tools 并解压。
使用Win + R输入sysdm.cpl，进入“系统属性” → “高级” → “环境变量”。
在“系统变量”中找到Path，点击编辑，添加 platform-tools 的解压路径（如C:\platform-tools）。
打开命令行，输入adb version，若显示版本信息则说明配置成功。

macOS 用户：

在终端中执行以下命令（假设文件解压至~/Downloads/platform-tools）：

export PATH=${PATH}:~/Downloads/platform-tools

为永久生效，可将该行写入~/.zshrc或~/.bash_profile文件。

2.2 手机端设置

开启开发者模式
进入“设置” → “关于手机” → 连续点击“版本号”5~7次，直到提示“您已进入开发者模式”。
启用 USB 调试
返回“设置”主菜单 → “开发者选项” → 开启“USB 调试”。
安装 ADB Keyboard（关键！）
- 下载并安装 ADB Keyboard APK。
- 进入“设置” → “语言与输入法” → “默认键盘” → 切换为“ADB Keyboard”。
- 此步骤至关重要，否则 AI 无法向应用输入文字（如搜索框、账号密码等）。

2.3 部署控制端代码（Open-AutoGLM）

在本地电脑克隆并安装 Open-AutoGLM 控制端：

# 1. 克隆仓库 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 2. 安装依赖 pip install -r requirements.txt pip install -e .

注意：pip install -e .会以可编辑模式安装包，便于后续调试修改。

2.4 设备连接方式

确保手机通过 USB 连接电脑，或处于同一局域网内。

USB 连接方式

adb devices

正常输出应类似：

List of devices attached ABCDEF123 device

如果显示unauthorized，请在手机上确认是否允许该电脑调试。

WiFi 远程连接方式

首次需通过 USB 启用 TCP/IP 模式：

# 启用 ADB over TCP/IP adb tcpip 5555 # 断开 USB 后，使用 IP 地址连接 adb connect 192.168.x.x:5555

连接成功后即可拔掉数据线，实现无线控制。

3. 启动 AI 代理：下达第一条指令

一切就绪后，就可以启动 AI 代理，让它接管手机操作。

3.1 命令行方式运行

在Open-AutoGLM根目录下执行：

python main.py \ --device-id <你的设备ID或IP:5555> \ --base-url http://<云服务器IP>:<映射端口>/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

参数说明：

--device-id：来自adb devices的设备标识，如ABCDEF123或192.168.1.100:5555
--base-url：指向你云端 vLLM 服务的地址，例如http://47.98.123.45:8800/v1
--model：指定使用的模型名称，目前主要为autoglm-phone-9b
最后的字符串：你要下达的自然语言指令

执行后，你会看到 AI 自动截屏、分析界面、生成操作计划，并逐步执行点击、跳转、搜索、关注等动作。

3.2 使用 Python API 实现远程连接管理

除了命令行，你也可以通过编程方式集成到自己的系统中：

from phone_agent.adb import ADBConnection, list_devices # 创建 ADB 连接管理器 conn = ADBConnection() # 连接远程设备（WiFi） success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}") # 查看所有已连接设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}") # 在 USB 设备上启用 TCP/IP（方便后续无线调试） success, message = conn.enable_tcpip(5555) if success: ip = conn.get_device_ip() print(f"设备 IP: {ip}") # 断开连接 conn.disconnect("192.168.1.100:5555")

这种方式适合构建自动化测试平台、远程运维系统或批量任务调度器。

4. 如何评估 AutoGLM-Phone 的执行成功率？

当 AI 开始替你操作手机，一个核心问题浮现：它到底做得好不好？

执行成功率是衡量 AI Agent 能力的关键指标。但在实际应用中，不能仅凭“有没有完成任务”来判断。我们需要建立一套细粒度、可观测、可复现的评估体系。

4.1 执行成功率的定义维度

我们通常从三个层面定义“成功”：

维度	定义	示例
任务级成功率	是否最终达成用户目标	“关注指定博主”是否完成
步骤级准确率	每一步操作是否正确	是否点到了正确的按钮
意图理解准确率	是否正确解析了用户指令	把“搜美食”误认为“发消息”即失败

其中，任务级成功率是最核心的业务指标，但难以实时量化；而步骤级准确率更适合用于训练优化和日志回放分析。

4.2 关键监控指标设计

为了全面评估系统表现，建议监控以下几类指标：

（1）任务执行状态统计

成功完成数
中途失败数
超时未完成数
人工干预次数

可通过日志标记每个任务的status字段进行汇总。

（2）单步操作置信度

每次模型输出操作时，附带一个置信度分数（0~1），反映其对当前决策的信心程度。低置信度往往预示风险操作。

{ "step": 3, "action": "click", "element": "搜索按钮", "confidence": 0.68, "screenshot": "step_3.png" }

长期收集可分析哪些界面容易导致低置信，进而优化提示词或微调模型。

（3）操作延迟与响应时间

截图上传耗时
模型推理时间
ADB 指令执行延迟
整体任务完成时间

这些数据可用于性能瓶颈分析，尤其是在高并发场景下。

（4）错误类型分类

对失败案例进行归因分类，常见类型包括：

界面识别错误：把“取消”识别成“确定”
操作越界：尝试点击不存在的元素
死循环：反复执行相同动作无进展
网络中断：ADB 断连或模型服务不可达
权限阻塞：未授权弹窗阻止后续操作

定期回顾错误日志，有助于持续改进系统鲁棒性。

4.3 日志与可视化建议

建议开启详细日志记录，保存每一步的：

时间戳
屏幕截图
模型输入输出
执行动作
置信度评分

结合 ELK 或 Grafana 等工具，可搭建简易监控面板，实现实时观察任务流、成功率趋势、平均耗时等关键指标。

5. 常见问题排查与优化建议

在实际部署过程中，可能会遇到一些典型问题，以下是解决方案汇总。

5.1 连接类问题

问题现象	可能原因	解决方案
`adb devices`无设备	ADB 未安装或路径未配置	重新安装并检查环境变量
显示`unauthorized`	未授权调试	在手机上点击“允许USB调试”
`connect refused`	防火墙拦截	检查云服务器安全组是否开放对应端口
WiFi 连接不稳定	路由器信号差	改用 USB 连接，或优化网络环境

5.2 模型与推理问题

问题现象	可能原因	解决方案
模型无响应	vLLM 服务未启动或参数错误	检查`--host 0.0.0.0`和端口映射
输出乱码或格式错误	tokenizer 不匹配	确保使用官方推荐的模型权重与分词器
推理速度慢	显存不足或 max-model-len 设置过大	调整 batch size 或升级 GPU

5.3 操作执行问题

问题现象	可能原因	解决方案
无法输入文字	ADB Keyboard 未设为默认输入法	进入设置手动切换
点击位置偏移	分辨率适配问题	检查设备 DPI 与模型训练数据是否一致
误触返回键	界面理解偏差	添加上下文记忆机制或强化提示词