AutoGLM-Phone日程管理应用：会议安排自动同步案例

1. Open-AutoGLM：手机端AI Agent的开源新范式

你有没有这样的经历？刚开完一场线上会议，正准备记录时间、添加日历提醒，结果电话又来了，手忙脚乱中漏掉了下一次会议的安排。我们每天被各种App来回切换，信息散落在微信、钉钉、飞书甚至邮件里，手动整理效率低还容易出错。

现在，一个叫Open-AutoGLM的开源项目正在改变这一切。这是由智谱推出的手机端AI Agent框架，它不只是一款工具，更像是一位能“看懂屏幕、听懂指令、动手操作”的数字助理。你只需要说一句：“把刚才群里说的周三下午三点的会议加到日历”，它就能自动识别聊天内容、提取关键信息，并在日历App中创建事件——全程无需你点一下屏幕。

这个能力背后，是AutoGLM-Phone的核心突破：它将视觉语言模型（VLM）与设备控制能力结合，通过ADB实现对安卓手机的全链路自动化操作。用户用自然语言下达任务，系统就能理解当前界面、规划操作路径、执行点击输入等动作，真正实现了“动口不动手”。

2. AutoGLM-Phone如何工作：多模态理解+自动执行

2.1 多模态感知：AI也能“看手机”

传统自动化工具依赖固定控件ID或坐标点击，一旦界面更新就失效。而AutoGLM-Phone完全不同——它先通过ADB截屏获取当前手机画面，再将图像和用户指令一起输入视觉语言模型进行分析。

比如你在微信看到一条消息：“明天上午10点开项目评审会，腾讯会议链接：xxx”。AI不仅读得懂文字，还能“看见”这条消息所在的聊天窗口位置，判断出它是最新未读消息，进而决定下一步操作。

这种“图文并重”的理解方式，让AI具备了类似人类的操作逻辑：先观察，再思考，最后行动。

2.2 操作规划与执行：从意图到动作

理解了用户需求后，系统会生成一个操作序列。以“把会议加入日历”为例：

识别消息中的时间（“明天上午10点”）、主题（“项目评审会”）、平台（“腾讯会议”）
打开系统日历App
点击“新建事件”
填写标题、时间、备注（含会议链接）
保存事件

每一步都由模型根据当前屏幕内容动态决策。如果发现日历权限未开启，它还会主动提示你授权，而不是直接报错中断。

2.3 安全机制：敏感操作有人兜底

完全放权给AI会不会有风险？AutoGLM-Phone考虑到了这一点。对于涉及支付、账号登录、短信验证码等敏感操作，系统默认会暂停并等待人工确认。你可以选择接管操作，也可以设置白名单信任某些App。

此外，整个流程支持远程调试。即使手机不在身边，只要连上WiFi，你就能通过云端服务调用AI代理完成任务，特别适合开发者测试或远程协助场景。

3. 实战演示：一句话同步会议到日历

下面我们来模拟一个真实场景：微信群里通知了新的会议安排，我们让AutoGLM-Phone自动处理。

3.1 场景描述

微信收到一条群消息：

@所有人明天（6月12日）下午2:00召开季度复盘会，使用飞书会议，链接：https://meet.feishu.cn/xxx，请准时参加。

我们的目标是：让AI自动提取信息，并在系统日历中创建对应事件。

3.2 下达指令

在本地控制端运行命令：

python main.py \ --device-id emulator-5554 \ --base-url http://192.168.1.100:8800/v1 \ --model "autoglm-phone-9b" \ "请查看最新的微信群消息，如果有会议安排，请添加到日历"

3.3 AI执行过程（日志还原）

截屏分析
AI获取当前屏幕截图，识别出微信App正在前台运行，且聊天界面中有未读红点。
消息解析
模型定位到最新一条@all的消息，提取结构化信息：
- 时间：2024年6月12日 14:00
- 主题：季度复盘会
- 工具：飞书会议
- 链接：https://meet.feishu.cn/xxx
启动日历App
AI发送指令打开系统日历，检测是否已有相同时间段的冲突事件。
填写表单
自动输入标题“季度复盘会”，设置时间为6月12日14:00，备注栏粘贴会议链接。
保存提醒
点击“完成”按钮，事件成功创建。系统返回确认信息：“已为您添加‘季度复盘会’至日历”。

整个过程耗时约18秒，期间无需任何人工干预。

4. 本地部署指南：连接你的真机

要体验这项能力，你需要在本地电脑配置控制端，通过ADB连接安卓设备，并调用云端AI模型。

4.1 硬件与环境准备

操作系统：Windows 或 macOS
Python版本：建议 3.10+
安卓设备：Android 7.0以上的真实手机或模拟器
ADB工具：Android SDK Platform Tools

ADB安装与配置

Windows用户：

下载 Platform Tools
解压后，将文件夹路径添加到系统环境变量Path
打开命令行，输入adb version验证是否成功

macOS用户：在终端执行以下命令（假设解压目录为~/Downloads/platform-tools）：

export PATH=${PATH}:~/Downloads/platform-tools

可将其写入.zshrc或.bash_profile实现永久生效。

4.2 手机端设置

开启开发者模式
进入“设置” → “关于手机” → 连续点击“版本号”7次，直到提示“您已进入开发者模式”。
启用USB调试
返回设置主菜单 → “开发者选项” → 开启“USB调试”。
安装ADB Keyboard（推荐）
下载并安装 ADB Keyboard APK，然后在“语言与输入法”中将其设为默认输入法。这样AI就能通过ADB发送文本，无需依赖虚拟键盘。

4.3 部署控制端代码

在本地电脑执行：

# 克隆仓库 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 安装依赖 pip install -r requirements.txt pip install -e .

4.4 设备连接方式

确保手机通过USB连接电脑，或处于同一局域网内。

USB连接

adb devices

若输出类似emulator-5554 device，表示连接成功。

WiFi无线连接（远程调试）

首次需用USB连接，然后启用TCP/IP模式：

adb tcpip 5555

断开USB线，使用IP连接：

adb connect 192.168.x.x:5555

之后即可通过网络远程控制设备。

5. 启动你的AI助理

一切就绪后，运行主程序：

python main.py \ --device-id 192.168.1.100:5555 \ --base-url http://your-server-ip:8800/v1 \ --model "autoglm-phone-9b" \ "打开小红书搜索最近的咖啡馆"

参数说明：

--device-id：通过adb devices获取的设备标识
--base-url：云服务器上vLLM服务的地址（如http://192.168.1.100:8800/v1）
--model：指定使用的模型名称
最后的字符串：你的自然语言指令

你也可以通过Python API集成到自己的项目中：

from phone_agent.adb import ADBConnection, list_devices conn = ADBConnection() success, msg = conn.connect("192.168.1.100:5555") print(f"连接状态: {msg}") devices = list_devices() for d in devices: print(f"{d.device_id} - {d.connection_type.value}")

6. 常见问题与优化建议

6.1 连接类问题

问题	可能原因	解决方案
`adb devices`无设备	USB调试未开启	检查开发者选项
连接被拒绝	防火墙阻断端口	放行8800等映射端口
ADB频繁掉线	WiFi信号弱	改用USB连接或优化网络