无需显卡！Open-AutoGLM + 智谱API实现AI自动玩手机

1. 前言：当大模型有了“手”

你有没有想过，让AI像真人一样操作你的手机？不是简单的语音唤醒，而是真正理解屏幕内容、点击按钮、输入文字、滑动页面，完成一整套复杂任务。比如：“打开小红书，搜索‘上海周末去哪玩’，收藏前三篇笔记”，或者“在美团上找一家评分4.8以上的川菜馆，订今晚6点的两人位”。

这听起来像是科幻电影的情节，但今天，借助Open-AutoGLM和智谱 BigModel API，这一切已经可以轻松实现——而且不需要你有一块高性能显卡。

现在的语音助手（如Siri、小爱同学）大多只能执行系统级指令，比如“打电话给妈妈”或“打开蓝牙”。一旦涉及第三方App的深层操作，它们就束手无策了。而 Open-AutoGLM 不同，它是一个基于视觉语言模型（VLM）的 AI 手机智能助理框架。它能“看懂”手机屏幕，像人眼一样识别界面元素，再通过 ADB（Android Debug Bridge）下达操作指令，真正实现了“有手有眼”的自主行为。

本文将带你从零开始，使用一台普通电脑 + 一部安卓手机，配合智谱开放的云端大模型 API，低成本体验这一前沿的 Phone Agent 技术。整个过程无需本地部署大模型，对硬件要求极低，适合所有想动手尝试AI自动化的新手。

2. 核心原理：AI是如何“玩”手机的？

在深入操作之前，先来了解一下 Open-AutoGLM 的工作流程。它的核心逻辑可以用四个步骤概括：

2.1 截图：获取当前屏幕状态

每次执行任务前，系统会通过 ADB 命令自动截取手机当前屏幕画面。这张截图就是 AI “看到”的世界。

2.2 分析：视觉语言模型理解界面

截图被上传到云端的视觉语言模型（如 autoglm-phone），模型会分析图像中的 UI 元素：哪些是按钮？哪个是搜索框？文字内容是什么？并结合你输入的自然语言指令，理解当前界面状态和用户意图。

2.3 决策：规划下一步操作

基于对界面的理解，模型会生成一个操作决策链。例如：

“点击位于 (x=500, y=800) 的搜索图标”
“在输入框中输入‘南京旅游攻略’”
“滑动列表，加载更多结果”
“点击第一个推荐笔记”

2.4 执行：通过 ADB 控制设备

这些操作指令通过 ADB 发送到手机，由系统底层执行。同时，系统内置了敏感操作确认机制，在遇到登录、支付等关键步骤时会暂停，等待人工确认，确保安全可控。

整个过程形成一个“感知-思考-行动”的闭环，让 AI 真正具备了操作手机的能力。

3. 准备工作：软硬件环境搭建

要让这套系统跑起来，你需要准备以下几样东西：

3.1 硬件与系统要求

电脑：Windows 或 macOS，性能无需高端，能运行 Python 即可
手机：安卓 7.0 及以上版本的真实设备或模拟器
数据线：用于初始 USB 连接（后续可切换为无线）

3.2 软件依赖

Python 3.10+：建议使用 Conda 创建独立虚拟环境
ADB 工具：Android SDK 平台工具，用于设备通信
Open-AutoGLM 项目代码
智谱 BigModel API Key

4. 详细部署步骤

4.1 配置 ADB 环境

ADB 是连接电脑与安卓设备的桥梁。首先下载官方平台工具包：

Android Platform Tools 下载地址

解压后，将其路径添加到系统环境变量中。

Windows 配置方法：

解压文件夹，记下路径（如C:\platform-tools）
按Win + R输入sysdm.cpl，进入“环境变量”
在“系统变量”中找到Path，点击“编辑” → “新建”，粘贴 ADB 路径
打开命令行，输入adb version，若显示版本号则配置成功

macOS 配置方法：

在终端执行以下命令（假设解压路径为~/Downloads/platform-tools）：

export PATH=${PATH}:~/Downloads/platform-tools

可将其写入.zshrc或.bash_profile实现永久生效。

4.2 手机端设置

开启开发者模式
进入“设置” → “关于手机” → 连续点击“版本号”约 7-10 次，直到提示“您已进入开发者模式”。
启用 USB 调试
返回设置主菜单 → “开发者选项” → 开启“USB 调试”。
安装 ADB Keyboard
下载并安装 ADBKeyboard.apk
安装命令如下（替换为实际路径）：
```
adb install -r "C:\Users\YourName\Downloads\ADBKeyboard.apk"
```
安装完成后，在“语言与输入法”中将默认输入法切换为ADB Keyboard，这样 AI 才能自动输入文字。

4.3 克隆并安装 Open-AutoGLM

在本地电脑上执行：

git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 创建虚拟环境（推荐） python -m venv venv source venv/bin/activate # Linux/macOS # 或 venv\Scripts\activate # Windows # 安装依赖 pip install -r requirements.txt pip install -e .

4.4 获取智谱 BigModel API Key

访问智谱 AI 开放平台注册账号，进入“我的 API Key”页面，创建一个新的密钥。

复制保存你的API Key，后续调用模型时需要用到。

5. 启动 AI 代理：两种运行方式

5.1 命令行直接执行任务

最简单的方式是直接传入一条自然语言指令，让 AI 自动完成全流程：

python main.py \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model "autoglm-phone" \ --apikey "your_api_key_here" \ "打开抖音，搜索抖音号 dycwo11nt61d，并关注该博主"

参数说明：

--base-url：智谱 API 的接入地址
--model：指定使用的模型名称
--apikey：你的 API 密钥（注意保留双引号）
最后的字符串：你要下达的任务指令

执行后，AI 会自动截图、分析、规划并控制手机完成操作。

5.2 交互式模式：多轮对话控制

如果你希望连续下达多个指令，可以进入交互模式：

python main.py \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model "autoglm-phone" \ --apikey "your_api_key_here"

运行后会出现提示符：

Enter your task:

你可以依次输入：

“打开小红书”
“搜索‘北京周末露营好去处’”
“点赞第一条笔记”
“返回主页”

AI 会根据上下文记忆状态，持续完成任务。

6. 常见问题与解决方案

6.1 ADB 设备无法识别

运行adb devices无输出或显示unauthorized？

解决方法：检查手机是否弹出“允许USB调试？”的授权对话框，勾选“始终允许”并确认。
若仍无效，尝试更换数据线或重启 ADB 服务：
```
adb kill-server adb start-server
```

6.2 Windows 下中文报错：UnicodeDecodeError

在运行check_deployment_cn.py时可能出现：

UnicodeDecodeError: 'gbk' codec can't decode byte ...

这是由于 Windows 默认编码为 GBK，而项目文件为 UTF-8 编码。

修复方法：修改scripts/check_deployment_cn.py文件中读取 JSON 的代码：

with open(args.messages_file, encoding='utf-8') as f: messages = json.load(f)

添加encoding='utf-8'参数即可解决。

6.3 模型响应慢或超时

如果感觉 AI 响应延迟较高，可能是网络波动或 API 请求频率限制。

建议：避免频繁快速发送指令，给每步操作留出足够时间（5-10秒）
检查 API Key 是否有效，可在智谱后台查看调用记录

6.4 输入法未生效导致无法打字

确保已在手机设置中将ADB Keyboard设置为默认输入法，否则 AI 下达的“输入文字”指令将无法执行。

7. 实测案例：AI 自动生成南京旅游攻略

为了验证系统能力，我给出了一条复杂指令：

“帮我查找一份完整的南京两天一夜旅游攻略，包含景点、美食、住宿建议，并整理成清晰格式。”

AI 的表现令人惊喜。它自动完成了以下动作：

打开浏览器或小红书 App
搜索相关关键词
浏览多篇笔记，提取关键信息
综合整理出一份结构化攻略

最终输出如下：

Result: 已经为您找到了一个完整的南京两天一夜旅游攻略！ ## 📍 Day1: 南京博物馆 → 中山陵 → 音乐台 → 美龄宫 → 梧桐大道 → 夫子庙 ### 沿途推荐： - 梧桐大道：欣赏秋天的梧桐树美景 - 夫子庙：品尝李百蟹蟹黄面（蟹全宴）、金陵家宴传统南京菜、晚园江南火锅等美食 ## 📍 Day2: 回龙纪念馆 → 古鸡鸣寺 → 玄武湖 → 先锋书店 → 中华门 → 老门东 ### 沿途推荐： - 玄武湖：可乘船或环湖骑行 - 先锋书店：打卡网红书店 - 老门东：品尝秦淮八绝、桂花糕等特色小吃 ## 🏨 住宿建议 - 玄武湖附近（地铁线路交汇处）：出行便利 ## 🍜 美食推荐 1. **李百蟹蟹黄面夫子庙总店** - 蟹全宴好吃，四种浇头都很香 2. **金陵家宴传统南京菜** - 地道金陵烤鸭，秘制卤汁薄脆的鸭皮+细嫩多汁的鸭肉 3. **晚园江南火锅** - 露台位置，欣赏夫子庙美景 4. **青花瓷盖碗菜** - 九宫格荤素丰富 5. **文德食府** - 汉服拍照，松鼠桂鱼、酸甜适中 6. **秦淮八绝** - 小鸟胃推荐，一站式品尝南京特色小吃 7. **桂园春桂花糕** - 必吃，糕体松软绵密，不甜

整个过程完全自动化，AI 不仅完成了信息检索，还进行了内容整合与格式美化，展现了强大的多模态理解与任务规划能力。