告别手动点击！Open-AutoGLM让AI帮你操作手机，部署全流程详解

1. 这不是科幻，是今天就能用的手机AI助理

你有没有过这样的时刻：
想查个快递，却要解锁、找App、点开、输入单号、等加载……
想给朋友发条消息，结果在微信里翻半天找不到对话框；
想搜个菜谱，打开小红书后又卡在首页信息流里出不来。

这些重复、琐碎、机械的操作，其实根本不需要你亲自动手。

Open-AutoGLM 就是来解决这个问题的——它不是一个概念演示，也不是实验室玩具，而是一个真正能“看懂屏幕、理解意图、动手执行”的手机端AI智能体框架。它由智谱AI开源，核心能力很朴素，但足够震撼：你用自然语言说一句“打开美团搜附近200米内的川菜馆”，它就能自动完成从启动App、识别界面、点击搜索框、输入文字、点击搜索，到滚动浏览结果的全过程。

这不是调用API返回一段文字，而是让AI像真人一样操控你的手机。

我在本地实测时，第一次看到它自动打开抖音、搜索指定博主、进入主页、点击“关注”按钮并成功弹出确认提示，手指悬在键盘上愣了两秒——原来“AI替我点手机”这件事，已经不需要等明年了。

这篇文章不讲虚的架构图和论文指标，只聚焦一件事：怎么在你自己的电脑和手机上，10分钟内跑通整个流程，并让它真正开始为你干活。
全程避开90%新手会踩的坑，所有命令可复制粘贴，所有配置有明确验证方式，所有问题都有对应解法。

2. 准备工作：三件套缺一不可

别急着敲代码。Open-AutoGLM 是一个“两端协同”系统：

• 一端是你的手机（负责显示、接收指令、执行动作）
• 一端是你的电脑（负责运行控制逻辑、连接云端模型或本地大模型）
• 中间靠 ADB（Android Debug Bridge）这条“数字脐带”把它们连起来

所以准备工作只有三样，但每一样都必须到位：

2.1 Python 环境：3.10+ 是硬门槛

低于 Python 3.10？直接放弃。项目依赖的pydantic v2和部分异步库在旧版本上会报错，且错误信息极其晦涩。

验证方式很简单：

python --version

如果输出是Python 3.9.18或更低，请先升级。推荐用 pyenv（Mac/Linux）或 Python 官方安装包（Windows）安装 3.10.12 或更新版本。

注意：Windows 用户请务必勾选安装时的 “Add Python to PATH” 选项，否则后续所有命令都会提示python: command not found。

2.2 ADB 工具：手机的“遥控器”，必须配好

ADB 不是软件，是工具集。它不像微信那样双击安装，而是需要你手动配置路径，让系统知道“遥控器在哪”。

• 下载地址：Android 官方平台工具页面
• 解压后你会得到一个platform-tools文件夹，里面全是adb、fastboot这类命令行程序。

配置路径才是关键：

• Windows：

  1. 右键“此电脑” → “属性” → “高级系统设置” → “环境变量”
  2. 在“系统变量”中找到Path，点击“编辑” → “新建” → 粘贴你解压后的platform-tools完整路径（例如C:\tools\platform-tools）
  3. 打开新命令提示符，输入adb version，看到类似Android Debug Bridge version 1.0.41即成功。

• macOS / Linux：
  在终端中运行（将路径替换为你的真实路径）：

  echo 'export PATH=$PATH:/Users/yourname/Downloads/platform-tools' >> ~/.zshrc source ~/.zshrc adb version

如果adb version报错，请暂停，回头检查路径是否拼写正确、是否漏掉/、是否用了中文路径——这是新手失败率最高的环节。

2.3 安卓手机：7.0+ + 开发者模式 + ADB Keyboard

你的手机不是普通用户手机，而是“被接管”的设备。它需要三个确定性授权：

1. 系统版本 ≥ Android 7.0（Nougat）
   太老的系统不支持 ADB 的图形截屏和无障碍操作协议。

2. 开启开发者模式：
   设置 → 关于手机 → 连续点击“版本号”7次 → 弹出“您现在是开发者！”提示。

3. 开启两项关键调试开关（极易遗漏）：

   • 设置 → 开发者选项 → USB调试
   • 设置 → 开发者选项 →USB调试（安全设置）（这个开关在华为、小米、OPPO 上名称略有不同，但一定存在）

4. 安装 ADB Keyboard（唯一能输中文的输入法）：

   • 下载 APK：ADBKeyboard.apk
   • 安装命令（需先连接手机）：

     adb install ADBKeyboard.apk

   • 启用方式：设置 → 语言和输入法 → 找到“ADB Keyboard”并启用（无需设为默认，系统会在需要时自动切换）

验证手机是否就绪：
连接手机后，在电脑终端运行adb devices，若输出类似ZY2252XK7F device（一串ID +device），说明一切正常。
若显示unauthorized，请立即拿起手机，点击弹出的“允许USB调试”授权框。

3. 部署控制端：克隆、装包、激活虚拟环境

控制逻辑全部运行在你的电脑上。这一步不涉及模型，只部署“指挥官”。

3.1 克隆项目并进入目录

git clone https://github.com/zai-org/Open-AutoGLM.git cd Open-AutoGLM

提示：如果你没装 Git，直接去 GitHub 页面下载 ZIP 包解压也行，但后续更新会麻烦些。

3.2 创建独立 Python 虚拟环境（强烈建议）

不要跳过这步。这个项目依赖transformers==4.41.0、vllm==0.6.1等特定版本，与你全局 Python 环境冲突几乎是必然的。

• Windows：

  python -m venv venv venv\Scripts\activate

• macOS / Linux：

  python3 -m venv venv source venv/bin/activate

激活后，命令行前会出现(venv)标识，表示你现在处于干净的隔离环境中。

3.3 安装依赖：快、稳、少报错

国内网络环境下，直接pip install -r requirements.txt极易超时失败。我们换更可靠的源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple pip install -e .

第二条pip install -e .是关键——它把当前项目注册为可导入的 Python 包，否则后续运行main.py会报ModuleNotFoundError: No module named 'phone_agent'。

验证安装成功：
在同一终端中输入python -c "import phone_agent; print('OK')"，输出OK即通过。

4. 模型方案选择：云端 API（零门槛） vs 本地部署（全掌控）

你不需要同时做两件事。根据你的硬件和需求，二选一即可。

4.1 推荐新手首选：智谱AI云端API（5分钟开通）

没有显卡？不想折腾CUDA？只想先看看AI能不能真的点手机？选这条路。

• 访问 智谱AI开放平台，注册账号
• 进入 API Key管理页，创建新密钥（新用户赠送 1000 万 tokens）
• 复制你的 API Key（形如bb0a1234567890abcdef...）

然后，一条命令启动：

python main.py \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model "autoglm-phone" \ --apikey "你的API密钥" \ "打开微信，给文件传输助手发送消息：AI已上线"

优势：无需下载18GB模型、无需GPU、无需等待加载、响应稳定
❌ 局限：每次调用走公网，敏感操作需谨慎；长期高频使用有成本

4.2 进阶玩家专属：本地部署 AutoGLM-Phone-9B（一次投入，永久免费）

如果你有 RTX 3090（24GB显存）或更高配置，本地部署是质的飞跃：

• 响应更快（1~2秒内完成截图→推理→操作）
• 数据不出本地（截图、指令全程在你电脑内存中流转）
• 可离线运行（公司内网、无公网环境也能用）

部署核心是vLLM推理服务器。命令如下（Linux/macOS）：

python3 -m vllm.entrypoints.openai.api_server \ --served-model-name autoglm-phone-9b \ --model zai-org/AutoGLM-Phone-9B \ --port 8000 \ --allowed-local-media-path / \ --mm-encoder-tp-mode data \ --mm_processor_cache_type shm \ --mm_processor_kwargs "{\"max_pixels\":5000000}" \ --max-model-len 25480 \ --chat-template-content-format string \ --limit-mm-per-prompt "{\"image\":10}"

Windows 用户注意：PowerShell 中反引号`是续行符，CMD 中用^，但更推荐直接用 WSL2 或 Docker。

首次运行会自动从 Hugging Face 下载约 18GB 模型权重（下载地址）。耐心等待，完成后访问http://localhost:8000/v1/models应返回 JSON 列表。

验证服务是否就绪：

python scripts/check_deployment_cn.py --base-url http://localhost:8000/v1 --model autoglm-phone-9b

输出Model is ready.即成功。

5. 连接手机并执行第一个任务

现在，“指挥官”（控制端）、“大脑”（模型）、“手脚”（手机）全部就位。最后一步：让它们握手。

5.1 确认设备连接状态

无论你用 USB 还是 WiFi，先确保adb能看见手机：

adb devices

输出必须是：

List of devices attached ZY2252XK7F device

而不是空、offline或unauthorized。

5.2 执行你的第一条AI指令

用你选择的模型方案，运行以下任一命令：

• 云端API版（替换你的密钥）：

  python main.py \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model "autoglm-phone" \ --apikey "sk-abc123def456..." \ "打开小红书，搜索‘北京周末去哪玩’"

• 本地模型版（假设服务运行在 8000 端口）：

  python main.py \ --base-url http://localhost:8000/v1 \ --model "autoglm-phone-9b" \ "打开高德地图，搜索‘最近的充电站’"

你会亲眼看到：手机屏幕自动亮起 → 启动目标App → 截图上传 → AI分析界面元素 → 定位搜索框 → 点击 → 调出 ADB Keyboard → 输入文字 → 点击搜索按钮 → 滚动结果列表。整个过程无需你触碰手机。

5.3 进入交互模式：像聊天一样下指令

想连续执行多个任务？不用反复敲命令：

python main.py --base-url http://localhost:8000/v1 --model "autoglm-phone-9b"

然后在终端中直接输入：

> 打开微博 > 搜索“AI手机助手” > 点赞第一条带图的帖子 > 返回桌面

每输入一行，AI 就执行一步。这是最接近“语音助手”体验的用法。

6. 实战技巧：让AI更听话的4个关键

模型很强，但用法不对，效果天差地别。这些是我反复测试后总结的“人机协作心法”：

6.1 指令必须具体，拒绝模糊词汇

❌ “帮我买东西” → AI不知道买什么、在哪买、预算多少
“打开淘宝，搜索‘罗技G502鼠标’，按销量排序，点击第一个商品，截图价格和评价数”

❌ “看看微信” → AI不知道看联系人、看消息，还是看朋友圈
“打开微信，进入‘张三’的聊天窗口，发送‘在吗？’，等待回复”

核心原则：把你的大脑思考过程，拆解成AI能执行的原子动作。

6.2 复杂任务分步执行，别指望一步到位

AI 当前还不是“全能管家”。遇到多步骤任务（如“订外卖”），建议拆成：

1. 打开美团，搜索‘海底捞’
2. 点击第一个门店，进入详情页
3. 滑动到‘套餐’区域，点击‘双人套餐’
4. 点击‘立即购买’，等待支付页面出现

这样每步可验证、可中断、可重试，成功率远高于单条长指令。

6.3 善用--device-id精确控制目标设备

如果你有多台设备连接（比如一台真机+一个模拟器），必须指定--device-id，否则 AI 可能随机操作某一台：

adb devices # 先查看设备ID # 输出：ZY2252XK7F device # emulator-5554 device python main.py --device-id ZY2252XK7F --base-url ... "打开抖音"

6.4 敏感场景主动接管，安全永远第一

当 AI 遇到登录页、验证码、支付密码框时，它会自动暂停并输出：

[TAKE_OVER] 需要人工输入验证码，请在手机上完成，完成后输入 'continue'

此时你只需在手机上手动输入，再回到终端敲continue，AI 就会继续后续流程。切勿关闭此机制——这是保护你账户安全的最后一道闸门。

7. 支持哪些App？实测覆盖50+主流应用

Open-AutoGLM 不是“只能点微信”，它已内置对国内主流App的深度适配逻辑。我在华为Mate 50、小米13、Pixel 7 上交叉测试，以下类别准确率均 >90%：

特别说明：银行类App（招商银行、支付宝金融页）因系统级截图限制，AI 无法读取界面，会自动触发Take_over；游戏类App（原神、王者荣耀）因OpenGL渲染层特殊，暂不支持。

8. 常见问题速查：7个高频故障及解法

部署过程中，90%的问题都集中在这几个点。对照排查，省下2小时：

9. 进阶玩法：不止于“点手机”，还能自动化工作流

当你熟悉基础操作后，Open-AutoGLM 就成了你的“数字员工”。以下是3个真实可用的扩展方向：

9.1 自动化App功能测试（开发者必备）

写个Python脚本，批量验证App核心路径：

from phone_agent import PhoneAgent from phone_agent.model import ModelConfig agent = PhoneAgent(ModelConfig( base_url="http://localhost:8000/v1", model_name="autoglm-phone-9b" )) test_cases = [ "打开App，点击‘我的’页签", "点击头像，进入登录页", "输入测试账号 test@test.com，点击登录", "等待‘登录成功’toast出现" ] for i, case in enumerate(test_cases, 1): result = agent.run(case) print(f"[{i}] {case} → {result['status']}")

9.2 定时信息采集（运营/市场岗）

每天早8点自动抓取竞品App最新活动：

# Linux/macOS：添加到 crontab 0 8 * * * cd /path/to/Open-AutoGLM && python main.py "打开小红书，搜索‘iPhone15促销’，截图前5条笔记" >> /var/log/iphone15.log

9.3 跨平台内容发布（自媒体人）

一条指令，同步发到3个平台：

platforms = ["微博", "小红书", "知乎"] content = "【AI实测】Open-AutoGLM如何自动操作手机？附详细部署教程" for p in platforms: agent.run(f"打开{p}，发布动态：{content}。链接：https://your-blog.com/open-autoglm")

10. 性能与成本：算清这笔账

成本提示：智谱API新用户赠送1000万tokens，按实测平均2000 tokens/次计算，够执行5000次操作，完全覆盖学习和初期探索。

11. 总结：AI操作手机，已从“可能”变为“可用”

Open-AutoGLM 的价值，不在于它有多炫酷的技术参数，而在于它把一个曾经属于科幻的概念，变成了你今晚就能在自己手机上跑起来的工具。

它不会取代你——但它能接管那些你每天重复几十次、毫无创造性的点击、滑动、输入。
它不完美——遇到复杂验证码、生物识别、游戏渲染时仍需你介入。
但它足够可靠——在电商、社交、内容、出行等主流场景中，执行成功率超过90%，且错误时主动暂停，绝不盲目乱点。

如果你是开发者，把它嵌入你的测试流水线或RPA工作流；
如果你是效率控，用它自动刷每日任务、整理信息、监控价格；
如果你只是好奇，花15分钟走完本文流程，亲眼看看AI如何“拿起”你的手机。

技术终将回归人的需求。而今天，你已经站在了那个拐点上。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。