如何用Open-AutoGLM打造专属手机AI助理？
在智能手机成为生活中枢的今天，我们每天重复着上百次点击、滑动、输入——打开App、搜索内容、填写表单、切换账号……这些看似简单的操作，累积起来却消耗大量注意力。有没有一种方式，能让我们像对真人助手说话一样，直接说“帮我订明天下午三点的咖啡外卖”，手机就自动完成整个流程？Open-AutoGLM 正是为此而生：它不是另一个聊天机器人，而是一个真正能“看见”屏幕、“理解”意图、“动手”操作的手机端AI智能体框架。
本文将带你从零开始，亲手部署一个属于你自己的手机AI助理。不讲抽象概念，不堆技术参数，只聚焦三件事：它到底能做什么、你需要准备什么、怎样三步跑通第一个指令。无论你是刚接触ADB的新手，还是想快速验证多模态Agent落地可行性的开发者，这篇文章都为你留好了最短路径。
1. 它不是“会说话的App”，而是“能动手的AI眼睛”
1.1 真正的手机AI助理长什么样？
先看一个真实场景：
你说：“打开小红书，搜‘上海周末亲子活动’，把前三个笔记的标题和地点截图发到微信文件传输助手。”
传统方案需要你：
手动点亮屏幕 → 解锁 → 找到小红书图标点击 → 点击搜索框 → 输入文字 → 等待加载 → 滑动浏览 → 截图 → 切换微信 → 打开文件传输助手 → 发送图片
而 Open-AutoGLM 的执行过程是：
➡ 自动唤醒屏幕并解锁（需提前设置）
➡ 识别当前桌面布局，精准点击小红书图标
➡ 理解“上海周末亲子活动”是搜索关键词，自动填充并确认
➡ 分析搜索结果页UI，定位前三个笔记区域
➡ 截图、裁剪、生成图文摘要
➡ 自动跳转微信，找到文件传输助手，发送
整个过程无需你触碰手机，指令发出后只需等待结果。这不是自动化脚本的机械复刻，而是基于视觉语言模型（VLM）的理解-规划-执行闭环。
1.2 和普通自动化工具的本质区别
| 对比维度 | 传统UI自动化（如Appium） | Open-AutoGLM |
|---|---|---|
| 依赖前提 | 必须提前知道App包名、Activity名、控件ID或XPath路径 | 只需自然语言指令，自动识别当前界面元素位置 |
| 适应性 | App UI一改就失效，需人工重写脚本 | 界面重构后仍可工作，靠视觉理解而非硬编码定位 |
| 学习成本 | 需掌握编程、Android开发、XPath语法 | 只需会写中文指令，如“点右上角三个点，选‘清除缓存’” |
| 能力边界 | 只能执行预设动作序列 | 能处理模糊需求：“帮我把这张截图里的表格转成Excel发邮箱” |
它的核心突破在于：把手机屏幕当作一张可读的“画布”，把用户指令当作任务目标，让AI自己画出执行路径。
2. 准备工作：三件套，缺一不可
2.1 你的“硬件三角”必须齐备
Open-AutoGLM 不是纯云端服务，它需要本地控制端 + 远程模型 + 物理设备协同工作。就像做饭需要锅、火、食材一样，三者缺一不可：
控制端（你的电脑）：运行Python代码、发送指令、管理ADB连接
- 推荐配置：MacBook M1/M2（原生适配最佳）、Windows 10/11（需WSL2）、Ubuntu 20.04+
- Python 3.10+（别用3.12，部分依赖暂不兼容）
- 至少8GB内存（模型推理时吃内存）
模型服务（AI大脑）：提供视觉理解和动作规划能力
- 两种选择：
•省心版：用第三方API（如z.ai、Novita AI），免部署，按调用计费
•掌控版：本地部署vLLM服务（需NVIDIA GPU，RTX 3090起步，显存≥24GB）
- 两种选择：
执行端（你的安卓手机）：被操控的实体设备
- Android 7.0+（2016年后的主流机型基本都支持）
- 一根能传数据的USB线（重点！很多充电线无法识别为设备）
- 已开启“开发者选项”和“USB调试”（下文详解）
注意：iOS设备目前不支持。Open-AutoGLM 基于ADB协议，这是Android生态的底层通信机制。
2.2 手机设置：5分钟搞定开发者模式
这是新手最容易卡住的一步。别担心，按步骤来：
开启开发者模式：
设置 → 关于手机 → 连续点击“版本号”7次 → 弹出“您现在是开发者！”启用USB调试：
返回设置主菜单 → 找到“开发者选项” → 开启“USB调试”
➤部分国产机（华为、小米）还需额外开启“USB调试（安全设置）”连接电脑并授权：
用USB线连接手机和电脑 → 手机弹出“允许USB调试吗？” → 勾选“始终允许” → 点击确定验证是否成功：
在电脑终端输入：adb devices如果看到类似
ABC123456789 device的输出，说明连接成功
如果显示unauthorized，请回到第3步重新授权；如果无输出，请检查USB线或重启ADB服务（adb kill-server && adb start-server）。
2.3 安装ADB Keyboard：让AI能“打字”
普通ADB命令无法输入中文，必须借助专用输入法。这是关键一步：
- 下载APK：访问 ADBKeyboard GitHub Release 下载最新版
- 安装到手机：
adb install ADBKeyboard_v1.0.apk - 启用并设为默认：
adb shell ime enable com.android.adbkeyboard/.AdbIME adb shell ime set com.android.adbkeyboard/.AdbIME - 验证是否生效：
输出应为adb shell settings get secure default_input_methodcom.android.adbkeyboard/.AdbIME
小技巧：安装后去手机“设置→语言与输入法”，手动确认ADB Keyboard已启用。有些系统需要重启输入法服务。
3. 三步跑通：从克隆代码到执行第一条指令
3.1 第一步：下载并安装控制端（2分钟）
在你的电脑终端中依次执行：
# 克隆项目（国内用户建议加代理或使用镜像） git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 创建虚拟环境（强烈推荐，避免污染全局Python） python3 -m venv venv source venv/bin/activate # Mac/Linux # venv\Scripts\activate # Windows # 安装依赖（注意：不要跳过 -e . 参数） pip install --upgrade pip pip install -r requirements.txt pip install -e .验证安装：
python -c "from phone_agent import PhoneAgent; print('安装成功')"3.2 第二步：选择并连接模型服务（灵活二选一）
方案A：用现成API（推荐新手，5分钟启动）
注册 z.ai 获取免费API Key（新用户通常有额度），然后运行：
python main.py \ --base-url https://api.z.ai/api/paas/v4 \ --model autoglm-phone-9b-multilingual \ --apikey your_zai_api_key_here \ "打开Chrome，搜索'Open-AutoGLM GitHub'"方案B：本地部署vLLM（适合有GPU用户）
如果你有RTX 3090/4090，可本地部署模型（约20GB下载量）：
# 启动vLLM服务（需GPU） python3 -m vllm.entrypoints.openai.api_server \ --model zai-org/AutoGLM-Phone-9B-Multilingual \ --port 8000 \ --max-model-len 25480 \ --mm-processor-cache-type shm服务启动后，终端显示Uvicorn running on http://0.0.0.0:8000即成功。
再运行指令时，把--base-url改为http://localhost:8000/v1即可。
3.3 第三步：发出你的第一条自然语言指令（见证时刻）
确保手机已通过USB连接且adb devices显示在线，执行：
python main.py \ --device-id $(adb devices | sed -n '2p' | awk '{print $1}') \ --base-url http://localhost:8000/v1 \ --model autoglm-phone-9b-multilingual \ "打开设置，进入WLAN，关闭Wi-Fi开关"你会看到：
➡ 终端实时打印AI的思考过程（如“当前在桌面，需找到设置图标”）
➡ 手机屏幕自动亮起、解锁、滑动、点击
➡ 最终Wi-Fi被关闭，终端返回Task completed successfully
成功标志：手机状态按指令改变，且终端无报错。
提示：首次运行可能稍慢（需加载模型、截图分析），后续指令响应更快。若失败，加
--verbose参数查看详细日志。
4. 让它更懂你：实用技巧与避坑指南
4.1 写好指令的3个心法
Open-AutoGLM 不是魔法，它依赖清晰的指令。避免说“帮我弄一下那个App”，试试这样表达：
- 明确动作动词：用“打开”“搜索”“点击”“输入”“滑动”“长按”，不用“搞”“弄”“弄个”
- 指定对象特征：不说“点右边的按钮”，说“点标有‘立即购买’的蓝色按钮”或“点屏幕右下角的购物车图标”
- 分步复杂任务：把“订咖啡+发微信”拆成两条指令，成功率更高
好例子：
“打开美团App，搜索‘瑞幸咖啡’，在第一个店铺里点‘外卖’，选‘美式咖啡’，加入购物车，提交订单”
❌ 待优化：
“帮我买杯咖啡”（缺少App名、品类、操作路径）
4.2 远程WiFi控制：摆脱USB线束缚
想让AI助理在客厅遥控卧室的手机？用WiFi连接：
- 先用USB线连接手机，执行：
adb tcpip 5555 - 断开USB线，查看手机WiFi IP（设置→Wi-Fi→点击当前网络→IP地址）
- 电脑执行：
adb connect 192.168.1.100:5555 # 替换为你的手机IP adb devices # 应显示 IP:5555 device - 后续指令中，把
--device-id改为192.168.1.100:5555即可
注意：WiFi延迟会影响体验，建议局域网内使用，延迟<50ms为佳。
4.3 故障自查清单（90%问题在这里）
| 现象 | 快速排查步骤 |
|---|---|
adb devices无输出 | 换USB线 → 重启ADB（adb kill-server && adb start-server） → 检查手机是否弹出授权框 |
| 指令执行一半卡住 | 加--verbose看卡在哪步 → 检查手机是否息屏 → 确认ADB Keyboard已设为默认 |
| 中文输入乱码 | Windows用户执行$env:PYTHONIOENCODING="utf-8"（PowerShell）或set PYTHONIOENCODING=utf-8（CMD） |
| 模型返回空或乱码 | 检查vLLM端口是否被占用 →curl http://localhost:8000/v1/models测试API连通性 → 查看vLLM启动日志是否有CUDA错误 |
5. 进阶玩法：不止于单机控制
5.1 一次指挥多台手机
测试团队常需批量操作多台设备。Open-AutoGLM 原生支持并发：
from phone_agent import PhoneAgent from phone_agent.model import ModelConfig from phone_agent.adb import list_devices # 自动获取所有已连接设备 devices = list_devices() model_config = ModelConfig( base_url="http://localhost:8000/v1", model_name="autoglm-phone-9b-multilingual" ) # 并行执行不同任务 for device in devices[:3]: # 限制最多3台 agent = PhoneAgent(model_config=model_config, device_id=device.device_id) agent.run("清理后台应用") # 每台手机独立执行5.2 敏感操作人工接管
涉及支付、登录、验证码时，框架会自动暂停并提示你手动处理：
- 当检测到密码输入框、短信验证码页面、支付确认页时，终端会输出：
检测到敏感操作，请手动完成验证码输入，完成后按回车继续... - 你输入验证码、点击确认后，按回车，AI继续后续流程。
- 这种“人在环路”（Human-in-the-loop）设计，既保障安全，又不牺牲自动化体验。
5.3 用Python API深度集成
把它嵌入你的工作流，比如：
- 每天9点自动抓取企业微信未读消息并汇总发邮件
- 测试新App版本时，自动执行50个核心路径用例
- 监控竞品App价格变动，发现降价立即通知
只需几行代码：
agent = PhoneAgent( model_config=ModelConfig( base_url="http://localhost:8000/v1", model_name="autoglm-phone-9b-multilingual" ), device_id="your_device_id" ) result = agent.run("打开淘宝，搜索‘无线耳机’，截图价格最低的3款商品") print(result.screenshot_path) # 获取截图路径用于后续分析6. 总结：你的AI助理，现在就可以上岗
Open-AutoGLM 不是一个遥不可及的研究项目，而是一个已经开源、文档完整、社区活跃的实用框架。它把前沿的多模态AI能力，封装成一条命令、一句中文、一次点击就能触发的真实生产力工具。
回顾你今天的实践：
你学会了如何让手机“听懂”自然语言
你亲手部署了能“看见”屏幕的AI大脑
你发出了第一条无需手动操作的指令
你掌握了远程控制、多机协同、安全接管等进阶能力
下一步，不妨试试这些真实场景：
- “把微信收藏里的‘Python学习笔记’文章，转成PDF发我邮箱”
- “打开高德地图，查公司到机场的最快路线，截图发给老板”
- “每天早上8点，自动打开新闻App，朗读头条新闻”（配合TTS）
技术的价值不在参数多高，而在是否解决了你每天重复的麻烦事。当你第一次说出“打开小红书搜美食”，看着手机自动完成全部操作时，你就已经拥有了一个真正的AI助理——它不完美，但足够聪明；它不昂贵，但正在变得不可或缺。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
