AutoGLM-Phone教育场景应用：自动刷题助手部署教程

1. 为什么教育工作者需要一个“自动刷题助手”

你有没有遇到过这样的情况：备课时要反复打开多个教辅App，截图题目、识别文字、搜索解析、整理错题，一整套流程下来，光是点屏幕就花了十几分钟？或者学生提交的作业图片里有模糊、倾斜、反光的问题，手动处理一张就要两分钟，五十份作业就是近两小时——而这些时间本可以用来设计更生动的课堂互动。

AutoGLM-Phone 不是又一个“能跑模型”的玩具。它是一个真正理解手机屏幕、能替你动手操作的AI助理。在教育场景里，它能变成你的“第二双手”：你只需要说一句“把这张数学试卷里的第3题截图发到班级群”，它就能自动识别题目区域、调出微信、粘贴图片、发送消息——全程无需你碰一次屏幕。

这不是科幻设定。它基于智谱开源的 Open-AutoGLM 框架，专为移动端轻量化部署优化，核心能力不是“生成文字”，而是“看见界面 + 理解意图 + 执行动作”。尤其适合教育类高频、重复、多步骤的移动端任务：自动批改选择题截图、批量导出错题本、实时比对两个App的答案差异、甚至辅助视障教师操作教育类无障碍App。

下面我们就从零开始，把它部署成你专属的“自动刷题助手”。

2. 核心框架快速认知：Open-AutoGLM 与 AutoGLM-Phone 是什么关系

2.1 Open-AutoGLM：开源的手机端 AI Agent 基座

Open-AutoGLM 是智谱推出的开源项目，目标很明确：让大模型走出服务器，真正“长”在手机上。它不是一个单体模型，而是一套可插拔的框架，包含三个关键模块：

视觉感知层：用轻量级视觉语言模型（VLM）实时分析手机截屏，不依赖云端OCR，本地即可完成图文理解；
意图规划层：将自然语言指令（如“找到作业帮里这道题的视频讲解”）拆解为可执行动作序列（点击搜索框→粘贴题干→点击放大镜→滑动找视频标签）；
执行控制层：通过 ADB（Android Debug Bridge）直接向设备发送指令，模拟真实用户操作——点击、滑动、输入、返回，全部自动完成。

它最大的特点是“真端侧友好”：模型参数量压缩至9B以内，支持INT4量化，在中端安卓手机上也能以1.2秒/帧的速度完成推理+决策闭环。

2.2 AutoGLM-Phone：教育场景落地的“即插即用”形态

AutoGLM-Phone 是基于 Open-AutoGLM 构建的垂直应用框架。你可以把它理解为“教育版安装包”——它预置了针对学习类App的专用动作库和界面理解策略：

对“小猿搜题”“作业帮”“题拍拍”等App的首页、搜索页、结果页做了界面元素标注；
内置常见教育指令模板：“提取题目文字”“对比A/B两个App的答案”“保存解析步骤为PDF”；
特别强化了“手写体识别鲁棒性”：即使学生拍照时纸张歪斜、有阴影，也能准确定位题干区域。

它不强制你训练新模型，也不要求你写一行界面逻辑代码。你只需告诉它“做什么”，它负责“怎么做”。

3. 本地控制端部署全流程（Windows/macOS通用）

3.1 硬件与环境准备：三步确认法

部署前，请花1分钟做三件事，避免后续卡在90%：

确认你的电脑系统：Windows 10/11 或 macOS Monterey（12.0）及以上；
确认Python版本：打开终端（Windows用CMD/PowerShell，macOS用Terminal），输入python --version，必须 ≥ 3.10。若未安装，请前往 python.org 下载安装包，勾选“Add Python to PATH”；
确认安卓设备基础条件：
- Android 7.0（Nougat）或更高版本；
- 已开启“开发者选项”和“USB调试”（设置 → 关于手机 → 连续点击“版本号”7次）；
- 设备已连接电脑并弹出“允许USB调试”提示（勾选“始终允许”）。

小提醒：教育场景推荐使用旧款安卓平板（如华为MatePad 10.4、小米平板5）。它们屏幕大、续航久、无电话干扰，放在讲台旁就是一台“AI助教终端”。

3.2 ADB工具配置：一次设置，永久生效

ADB是连接电脑与手机的“神经通路”，配置好它，后续所有操作才可能成功。

Windows 用户（图形化操作，零命令行压力）

前往 Android SDK Platform-Tools 官网下载最新zip包；
解压到一个固定路径，例如C:\adb（不要放在中文路径或桌面）；
按Win + R输入sysdm.cpl→ “高级”选项卡 → “环境变量” → 在“系统变量”中找到Path→ “编辑” → “新建” → 粘贴C:\adb；
重启终端，输入adb version，看到类似Android Debug Bridge version 1.0.41即成功。

macOS 用户（终端一行命令）

# 将以下命令复制粘贴到终端（注意替换为你实际的解压路径） echo 'export PATH=$PATH:~/Downloads/platform-tools' >> ~/.zshrc source ~/.zshrc adb version

若显示版本号，说明配置完成。

3.3 手机端必要设置：三步打通“最后一米”

仅配置ADB还不够。为了让AI能真正“操控”手机，还需两项关键设置：

启用USB调试（已提及，再强调）：设置 → 开发者选项 → 开启“USB调试”；
安装ADB Keyboard（替代系统输入法）：
- 前往 GitHub Release 页面下载 ADBKeyboard.apk；
- 用数据线传输到手机，安装；
- 设置 → 语言与输入法 → 当前键盘 → 切换为“ADB Keyboard”；
- 为什么必须？因为AI需要向任意输入框发送文字，而系统键盘会触发安全弹窗，ADB Keyboard则绕过此限制，且完全静默。

教育场景特别提示：如果学校统一管理设备，无法安装第三方APK，可联系IT管理员开通“未知来源应用安装”权限，或使用已预装该键盘的定制ROM。

4. 控制端代码部署与连接实操

4.1 克隆与安装：三行命令搞定

打开你的终端（Windows用PowerShell，macOS用Terminal），依次执行：

# 1. 克隆官方仓库（国内用户建议加 --depth=1 加速） git clone https://github.com/zai-org/Open-AutoGLM --depth=1 cd Open-AutoGLM # 2. 创建虚拟环境（强烈推荐，避免依赖冲突） python -m venv env source env/bin/activate # macOS/Linux # env\Scripts\activate # Windows # 3. 安装依赖（含教育场景专用组件） pip install -r requirements.txt pip install -e .

等待约2分钟，当终端不再滚动输出，即表示安装完成。

4.2 设备连接：USB与WiFi双模式详解

USB直连（新手首选，稳定可靠）

用原装数据线连接手机与电脑；
终端输入：

adb devices

若看到类似ZY223456789 device的输出（一串字母数字+device），说明连接成功；若显示unauthorized，请检查手机是否弹出“允许USB调试”提示，并勾选“始终允许”。

WiFi远程连接（教室多设备管理必备）

适用于讲台电脑通过WiFi控制多台学生平板：

# 第一步：先用USB连接，开启TCP/IP模式 adb tcpip 5555 # 第二步：断开USB线，确保手机与电脑在同一WiFi下 # 在手机设置中查看IP地址（通常在 WLAN → 高级设置 → IP地址） # 第三步：用IP连接（替换为你的手机IP） adb connect 192.168.1.105:5555

连接成功后，adb devices会显示192.168.1.105:5555 device。

教育场景技巧：为方便管理，可在路由器后台为每台教育平板分配固定IP（DHCP保留），这样每次连接IP不变，无需反复查询。

5. 启动自动刷题助手：三条指令实战

5.1 命令行一键启动（最简方式）

假设你已部署好云服务端（vLLM托管AutoGLM-Phone-9b模型，监听在http://192.168.1.200:8800/v1），且手机设备ID为ZY223456789，现在执行：

python main.py \ --device-id ZY223456789 \ --base-url http://192.168.1.200:8800/v1 \ --model "autoglm-phone-9b" \ "打开小猿搜题，拍照识别这张物理试卷的第5题，把答案和解析步骤截图保存到相册"

你会看到终端逐行输出：

[INFO] 截取当前屏幕... [INFO] VLM分析中：检测到试卷区域，定位题干... [INFO] 规划动作：点击相机图标 → 拍照 → 点击‘识别’按钮... [INFO] 执行点击（x=520, y=1830）... [INFO] 等待识别完成（<3s）... [INFO] 截图已保存至 /sdcard/Pictures/auto-solution-20240520-1422.jpg

整个过程约8-12秒，无需人工干预。

5.2 Python API集成（嵌入教学管理系统）

如果你的学校已有Web教学平台（如自研的教务系统），可直接调用API集成：

from phone_agent.adb import ADBConnection from phone_agent.agent import PhoneAgent # 初始化连接 conn = ADBConnection() conn.connect("192.168.1.105:5555") # 连接学生平板 # 创建AI代理实例 agent = PhoneAgent( device_id="192.168.1.105:5555", base_url="http://192.168.1.200:8800/v1", model_name="autoglm-phone-9b" ) # 发送教育指令（返回结构化结果） result = agent.run("提取这张化学方程式配平题的所有反应物和生成物，按JSON格式返回") print(result.json()) # 输出：{"reactants": ["H2", "O2"], "products": ["H2O"]}

这意味着，你可以在自己的网页后台，为每个班级创建“AI刷题任务”，一键下发给指定设备组。

5.3 教育场景典型指令清单（即拿即用）

我们为你整理了10条高频教育指令，复制粘贴即可运行：

场景	自然语言指令示例
作业批改	“打开钉钉班级群，找到昨天发布的数学作业图片，识别第2题，判断答案是否正确”
错题归集	“在题拍拍App中，把‘三角函数’分类下的所有错题截图，合并为一个PDF发到邮箱”
跨App比对	“分别在小猿搜题和作业帮中搜索‘牛顿第二定律应用题’，截图前3个答案，横向对比解析差异”
实验记录	“打开Phyphox传感器App，记录30秒加速度数据，生成图表并截图”
无障碍支持	“用TalkBack朗读这道英语阅读理解题的全文，并高亮关键词”

安全机制说明：所有涉及“删除”“支付”“隐私授权”的敏感操作，AutoGLM-Phone会自动暂停并弹出确认框，需教师手动点击“继续”才执行，符合教育数据安全规范。

6. 常见问题排查指南（教育场景高频问题）

6.1 连接类问题

问题：adb devices显示offline或无设备
解决：重启手机ADB服务 —— 终端执行adb kill-server && adb start-server，再重连。
问题：WiFi连接后adb shell可用，但AI指令无响应
解决：检查手机是否开启了“省电模式”或“后台限制”，关闭后重试；教育平板建议设为“性能模式”。

6.2 识别与执行类问题

问题：AI总点错位置，比如该点搜索框却点了广告
解决：在main.py启动时添加--confidence-threshold 0.7参数，提高识别置信度阈值（默认0.5）。
问题：手写题拍照模糊，识别失败率高
解决：提前在手机设置中开启“相机专业模式”，手动调高ISO（800以内）和快门速度（1/60s以上），AutoGLM-Phone对清晰度敏感度高于人眼。

6.3 模型服务类问题

问题：云服务端返回503 Service Unavailable
解决：检查vLLM启动命令是否包含--max-model-len 4096（AutoGLM-Phone必需），显存不足时添加--gpu-memory-utilization 0.8。
问题：指令执行一半卡住，日志停在Waiting for screen update...
解决：这是界面加载延迟导致。在启动命令中加入--timeout 30（单位秒），避免无限等待。