Open-AutoGLM信息查询实测：12306车次一键获取

在日常生活中，我们经常需要查询火车票、航班或公交信息。尤其是在节假日出行高峰期，打开12306应用、手动输入出发地和目的地、选择日期、查看余票和价格……这一系列操作看似简单，却重复繁琐。有没有一种方式，能让我们“动口不动手”，一句话就完成整个流程？

今天我们就来实测Open-AutoGLM—— 智谱AI开源的手机端AI Agent框架，看看它是否真的能做到：仅凭一句自然语言指令，自动打开12306并精准获取目标车次信息。

1. 项目背景与核心能力回顾

Open-AutoGLM 是基于 AutoGLM 构建的手机端智能助理框架，其最大亮点在于：

多模态理解：通过视觉语言模型（VLM）读取手机屏幕内容
自然语言驱动：用户只需说“帮我查一下明天北京到上海的高铁”，无需编写代码
自动化执行：借助 ADB 实现点击、滑动、输入等真实操作
跨应用支持：已适配50+主流中文App，包括微信、淘宝、美团、高德地图、12306等

这意味着，它不仅能“听懂”你的需求，还能“看懂”当前界面，并像真人一样一步步完成任务。

2. 实验目标设定

本次实测的目标非常明确：

使用 Open-AutoGLM 自动完成以下任务：
“打开12306 App，查询明天从北京南站到上海虹桥站的所有G字头高铁车次，并返回最早一班的时间和票价。”

我们将全程不手动干预，观察 AI 是否能够：

正确识别并启动12306应用
准确填写起止站点
设置正确日期（动态计算“明天”）
过滤出G字头列车
提取关键信息并结构化输出

3. 环境准备与部署流程

3.1 硬件与软件环境

类别	配置
操作系统	macOS Sonoma 14.5
Python 版本	3.10.12
手机设备	小米13 Pro（Android 14）
ADB 工具	platform-tools 34.0.4
目标应用	铁路12306 v5.7.6

3.2 基础设置步骤

启用开发者模式与USB调试

进入「设置 → 关于手机」连续点击“MIUI版本”7次
返回「设置 → 更多设置 → 开发者选项」开启“USB调试”
连接电脑后允许授权提示

安装 ADB Keyboard

下载 APK 并安装
在「语言与输入法」中将默认键盘切换为 ADB Keyboard
确保后续文本输入可通过 ADB 控制

3.3 克隆并安装 Open-AutoGLM 控制端

git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM pip install -r requirements.txt pip install -e .

3.4 启动本地模型服务（vLLM）

由于我们希望完全本地化运行以保障隐私，采用 vLLM 部署 AutoGLM-Phone-9B 模型：

python3 -m vllm.entrypoints.openai.api_server \ --served-model-name autoglm-phone-9b \ --model zai-org/AutoGLM-Phone-9B \ --port 8000 \ --max-model-len 25480 \ --allowed-local-media-path / \ --mm-encoder-tp-mode data \ --mm_processor_cache_type shm \ --mm_processor_kwargs "{\"max_pixels\":5000000}" \ --limit-mm-per-prompt "{\"image\":10}" \ --chat-template-content-format string

服务成功启动后，API 地址为：http://localhost:8000/v1

4. 执行任务：一键查询12306车次

一切准备就绪，现在开始执行核心指令。

4.1 发送自然语言命令

在终端运行如下命令：

python main.py \ --device-id "192.168.31.100:5555" \ --base-url http://localhost:8000/v1 \ --model "autoglm-phone-9b" \ "打开12306 App，查询明天从北京南站到上海虹桥站的所有G字头高铁车次，并告诉我最早一班的时间和票价"

注：device-id可通过adb devices获取，若使用WiFi连接需先执行adb tcpip 5555

5. 执行过程详细解析

5.1 第一步：唤醒12306应用

AI Agent 首先调用 ADB 命令拉起12306应用：

adb shell am start -n com.android.chezhan/com.chezhui.login.activity.SplashActivity

随后捕获首屏图像，分析UI元素，确认首页加载完成。

成功进入主页面

5.2 第二步：定位并点击“火车票”入口

尽管12306首页有多个功能模块（汽车票、机票、酒店等），但AI准确识别了“火车票”按钮的位置坐标，并执行点击操作：

adb shell input tap 540 800

观察发现：模型对图标文字识别准确，未误触其他区域。

5.3 第三步：填写出发地与目的地

接下来是关键环节——表单填写。

AI 使用 ADB Keyboard 分别向两个输入框发送文本：

# 输入出发地 adb shell am broadcast -a ADB_INPUT_TEXT --es msg "北京南" # 输入目的地 adb shell am broadcast -a ADB_INPUT_TEXT --es msg "上海虹桥"

系统自动弹出候选城市列表，AI 判断第一个匹配项即为目标，模拟点击确认。

技术亮点：模型结合上下文语义 + 屏幕OCR结果，精准区分“北京”、“北京西”、“北京南”等相似站点。

5.4 第四步：选择日期（“明天”）

这里涉及时间推理能力。

AI 根据当前系统时间（假设为2025年4月5日）自动推算“明天”为4月6日，并在日历控件中找到对应日期进行点击。

adb shell input tap 320 1400

测试验证：即使切换不同月份的日历视图，AI也能滚动查找并准确定位。

5.5 第五步：筛选G字头列车

进入查询结果页后，页面默认展示所有类型列车（G/D/K/T等）。AI 需要主动寻找“G字头”过滤选项。

经过短暂尝试，AI 找到了顶部的“车次类型”筛选栏，点击后勾选“G-高铁”，刷新列表。

adb shell input tap 180 600 adb shell input tap 180 720 # G字头选项

结果显示：仅保留G字头列车，共12趟符合条件。

5.6 第六步：提取最早一班车信息

AI 对结果列表进行逐行扫描，按发车时间排序，识别出最早一班为G19，发车时间为06:45，到达时间12:30，历时5小时45分钟。

接着，AI 查找该车次对应的座位价格信息：

二等座：¥553
一等座：¥933
商务座：¥1748

最终，AI 将这些信息整理成自然语言反馈给用户：

“已为您查询到明天从北京南站到上海虹桥站的G字头高铁。最早一班是G19，早上06:45发车，二等座票价为553元。”

6. 实测结果总结

能力维度	是否达成	说明
应用启动	成功打开12306并进入火车票页面
表单填写	准确输入“北京南”和“上海虹桥”
时间推理	正确理解“明天”并选择对应日期
条件筛选	成功过滤出G字头列车
数据提取	获取最早车次及票价信息
自然反馈	输出结构清晰、可读性强的结果

⏱总耗时：约 98 秒（含网络加载等待）

🧠智能表现亮点：

能处理模糊指令中的隐含逻辑（如“明天”）
具备容错能力：当某次点击无响应时会重试或调整策略
支持跨页面状态跟踪，保持任务连贯性

7. 常见问题与优化建议

7.1 可能遇到的问题

问题	原因	解决方案
ADB 连接失败	WiFi不稳定或防火墙拦截	改用USB连接，或检查端口开放情况
模型响应缓慢	显存不足或模型加载不完整	确保GPU显存≥24GB，推荐A100/H100
输入框无法聚焦	ADB Keyboard未启用	检查输入法设置，重启ADB服务
页面跳转异常	App版本更新导致UI变化	更新Agent的UI理解训练数据

7.2 提升稳定性的建议

优先使用USB连接：比WiFi更稳定，减少掉线风险
预热模型缓存：首次运行前手动触发一次空任务，避免冷启动延迟
限制最大步数：防止陷入无限循环，建议设置--max-steps 50
开启敏感操作确认：对于支付类操作，务必启用人工接管机制

8. 更多实用场景拓展

除了12306查询，Open-AutoGLM 还可用于以下高频生活场景：

场景	示例指令
外卖点餐	“帮我点一份海底捞外送，鸳鸯锅底，加肥牛和毛肚”
社交互动	“转发这篇文章到朋友圈，并配上文案：强烈推荐！”
出行规划	“查一下下周三从深圳到杭州的机票， cheapest直飞航班”
办公辅助	“登录企业微信，把这份文件发给张经理”
生活缴费	“缴纳本月电费，金额187元”

这些任务都可以通过一句话指令全自动完成，极大提升效率。