新手友好！Open-AutoGLM结合智谱API快速体验
你有没有想过，让AI帮你操作手机？比如只说一句“打开小红书搜美食”，接下来的一切——打开App、输入关键词、点击搜索——全部自动完成。听起来像科幻片？其实现在就能实现。
今天要介绍的Open-AutoGLM，是智谱开源的一个手机端AI Agent框架，它能通过视觉理解+自然语言指令，真正实现“动口不动手”的智能操控。更棒的是，不需要本地部署大模型，只需接入智谱API，普通电脑也能轻松上手。
本文将带你从零开始，一步步配置环境、连接设备、调用云端模型，全程避开复杂技术术语，小白也能顺利完成部署。
1. 什么是 Open-AutoGLM？
Open-AutoGLM 是基于 AutoGLM 构建的手机智能助理框架，核心能力在于：
- 多模态理解屏幕内容：通过截图识别当前界面元素（按钮、输入框、标题等）
- 自然语言驱动任务执行：你说“发朋友圈”，它就知道要打开微信、点相机图标、发布动态
- 自动规划操作路径：结合上下文判断下一步该点哪里、输什么文字
- 支持远程控制：可通过WiFi使用ADB，摆脱数据线束缚
整个系统分为两部分：
- 本地控制端：运行在你的电脑上，负责抓取屏幕、发送指令、执行操作
- 云端AI模型：处理你的自然语言请求，返回具体操作步骤（我们使用智谱API，免去本地跑模型的高配需求）
这意味着你不需要显卡，只要有一台电脑+一部安卓手机，就能体验接近全自动的AI助手。
2. 准备工作：软硬件清单
2.1 硬件与系统要求
| 类别 | 要求 |
|---|---|
| 电脑 | Windows 或 macOS，建议8GB以上内存 |
| 手机 | 安卓7.0以上的真实设备或模拟器 |
| 连接方式 | USB数据线（推荐6A线）或同一WiFi网络 |
注意：iOS设备不支持ADB，目前仅限安卓。
2.2 软件依赖
你需要提前安装以下工具：
- Python 3.10+
- Git
- ADB 工具（Android Debug Bridge）
- Open-AutoGLM 控制代码
这些都不难获取，下面会一步步教你安装。
3. 第一步：安装 ADB 并连接手机
ADB 是 Android 提供的调试工具，能让电脑“控制”手机。这是整个流程的基础。
3.1 下载并配置 ADB
- 访问官网下载 Platform Tools
- 解压到任意目录，例如
C:\platform-tools（Windows）或~/Downloads/platform-tools（Mac） - 配置环境变量，让命令行可以直接使用
adb
Windows 设置方法：
- 按
Win + R输入sysdm.cpl - 进入“高级” → “环境变量”
- 在“系统变量”中找到
Path，点击“编辑” - 添加你解压的路径，如
C:\platform-tools - 打开新的 CMD 窗口，输入：
adb version如果显示版本号，说明安装成功。
Mac 设置方法：
在终端执行：
export PATH=${PATH}:~/Downloads/platform-tools你可以把这行加到.zshrc文件里，避免每次都要输入。
4. 第二步：开启手机开发者权限
为了让电脑能控制手机，必须开启两个关键设置。
4.1 开启开发者模式
进入手机「设置」→「关于手机」→ 连续点击「版本号」7~10次，直到提示“您已进入开发者模式”。
不同品牌路径略有差异，也可以直接在设置中搜索“开发者选项”。
4.2 启用 USB 调试
回到设置主页面，进入「开发者选项」，找到并开启：
- ✅ USB 调试
- ✅ USB 安装（部分小米/华为机型需要额外开启）
此时用USB线连接电脑，会弹出“允许USB调试？”的提示，勾选“始终允许”并确认。
5. 第三步：安装 ADB Keyboard（关键！）
默认情况下，AI无法向手机输入文字。我们需要一个特殊的输入法：ADB Keyboard，它可以通过命令行发送文本。
5.1 安装步骤
- 下载 APK 文件：ADBKeyboard.apk
- 将文件传到手机并安装（可通过USB传输或扫码下载）
- 安装完成后，进入「设置」→「语言与输入法」→「默认键盘」
- 切换为ADB Keyboard
成功后，在电脑上可以测试输入：
adb shell input text "HelloWorld"如果你能在任意输入框看到HelloWorld出现，说明键盘安装成功！
6. 第四步：部署 Open-AutoGLM 控制端
现在轮到主角登场了。
6.1 克隆项目代码
打开终端或命令行，进入你想存放项目的目录，执行：
git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM6.2 安装 Python 依赖
建议使用虚拟环境（可选），然后安装所需库：
pip install -r requirements.txt pip install -e .国内用户可使用清华源加速：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .没有报错即表示安装成功。
7. 第五步：选择模型服务（推荐智谱API）
这里有两种方案：
| 方案 | 是否需要GPU | 难度 | 推荐指数 |
|---|---|---|---|
| 使用第三方API（如智谱） | ❌ 不需要 | ⭐⭐☆ | ⭐⭐⭐⭐⭐ |
| 本地部署模型（vLLM/SGLang） | ✅ 需要24G显存 | ⭐⭐⭐⭐☆ | ⭐⭐ |
对于新手来说，强烈推荐使用智谱 BigModel API，无需高性能显卡，按量计费，成本低且稳定。
7.1 注册并获取 API Key
- 访问 智谱开放平台
- 注册账号并登录
- 进入「个人中心」→「API Key 管理」
- 创建一个新的 API Key，复制保存下来
这个密钥就是你调用模型的身份凭证，请妥善保管。
8. 第六步：启动 AI 代理，下达第一条指令
一切准备就绪，现在让我们正式唤醒AI。
8.1 查看设备ID
先确认电脑已识别手机：
adb devices输出类似：
List of devices attached ABCDEF1234567890 device其中ABCDEF1234567890就是你的设备ID。
8.2 运行主程序
执行以下命令（替换为你自己的API Key和设备ID）：
python main.py \ --device-id ABCDEF1234567890 \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model "autoglm-phone" \ --apikey "your_zhipu_api_key_here" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"参数说明：
| 参数 | 说明 |
|---|---|
--device-id | 通过adb devices获取的设备ID |
--base-url | 智谱API地址，固定为https://open.bigmodel.cn/api/paas/v4 |
--model | 使用的模型名称，这里是autoglm-phone |
--apikey | 你在智谱平台申请的API Key |
| 最后的字符串 | 你要交给AI完成的任务，用自然语言描述即可 |
回车运行后，你会看到AI开始行动：
- 自动截屏分析界面
- 判断当前状态
- 规划操作路径
- 执行点击、滑动、输入等动作
几分钟内，任务就会自动完成！
9. 高级玩法：远程无线控制（摆脱数据线）
不想一直插着线？可以用WiFi远程连接手机。
9.1 步骤如下：
- 先用USB连接手机
- 执行命令开启TCP模式：
adb tcpip 5555- 断开USB，获取手机IP地址（可在WiFi设置中查看）
- 通过IP连接设备：
adb connect 192.168.x.x:5555- 再次运行
adb devices，确认设备在线
之后就可以完全无线操作，适合长期挂机运行AI助手。
10. 常见问题与解决方案
10.1 设备未列出（adb devices 显示 offline）
- 检查是否开启了“USB调试”
- 更换数据线，建议使用6A高质量线缆
- 重启 adb 服务：
adb kill-server adb start-server10.2 屏幕黑屏 / 敏感屏幕警告
错误信息示例：
屏幕被标记为敏感屏幕（黑屏），这可能是由于应用正在加载中或设备安全设置导致的。 根据安全规则，我无法在敏感屏幕上执行任何操作。可能原因：
- 应用启动动画期间截图失败
- 手机启用了隐私保护模式（如小米“遮蔽通知内容”）
- 某些金融类App自带防截屏机制
解决办法：
- 等待应用完全加载后再运行
- 关闭“锁屏时隐藏通知内容”等隐私设置
- 手动进入目标App首页再启动AI
10.3 API 调用失败或响应乱码
- 检查
--base-url是否正确 - 确认 API Key 无误且未过期
- 查看智谱平台是否有调用记录和错误日志
- 确保网络可访问外部API（企业网络可能受限）
11. 总结：为什么你应该试试 Open-AutoGLM？
通过这篇文章，你应该已经完成了从环境搭建到实际运行的全过程。回顾一下，我们做到了：
- 用一句话指令驱动手机自动操作
- 借助智谱API省去了本地部署大模型的成本
- 实现了真正的“自然语言→自动化执行”闭环
它的潜力远不止“打开App搜东西”。想象一下这些场景：
- 每天定时打卡、签到、领红包
- 批量操作多个账号发布内容
- 自动化测试App功能流程
- 辅助老年人操作复杂App
更重要的是，这一切对普通人完全开放。你不需要懂深度学习，也不需要买显卡，只需要会基本的命令行操作，就能拥有一个属于自己的AI手机助手。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
