5分钟部署Open-AutoGLM，手机AI助手一键启动

5分钟部署Open-AutoGLM，手机AI助手一键启动

1. 让你的手机拥有“自主思考”能力

你有没有想过，有一天只要说一句“帮我订张明天上午的高铁票”，手机就能自动打开铁路App、选择车次、填写信息、完成支付？听起来像科幻电影，但今天，这一切已经可以实现。

这背后的核心技术，就是Open-AutoGLM——由智谱开源的全球首个支持“Phone Use”能力的AI Agent框架。它不是简单的语音助手，而是一个能“看懂屏幕、理解意图、自动操作”的智能体。通过视觉语言模型+ADB自动化控制，它真正实现了从“人操作手机”到“AI替你操作手机”的跨越。

更关键的是，现在你可以用5分钟在本地部署它，让自己的安卓手机秒变AI智能终端。无需复杂配置，不依赖特定硬件，只要一台普通电脑和一部安卓手机，就能体验未来级的交互方式。

本文将带你一步步完成Open-AutoGLM的部署与运行，手把手教你如何用自然语言指挥AI完成复杂任务。无论你是开发者、产品经理，还是对AI感兴趣的普通用户，都能轻松上手。

2. Open-AutoGLM是什么？它为什么重要？

2.1 重新定义“手机助手”

传统语音助手（如Siri、小爱同学）只能执行预设指令，比如“打开微信”或“播放音乐”。它们无法理解界面内容，也无法进行多步骤操作。

而Open-AutoGLM完全不同。它具备三大核心能力：

  • 多模态感知：通过截图识别当前屏幕上的按钮、文字、图标，像人一样“看懂”手机界面。
  • 意图理解：结合上下文理解你的自然语言指令，比如“找一下昨天聊的那个餐厅”。
  • 自动执行：通过ADB下发点击、滑动、输入等操作指令，真正“动手”完成任务。

这意味着，你说“打开小红书搜美食推荐”，AI会：

  1. 自动唤醒小红书App；
  2. 找到搜索框并点击；
  3. 输入“美食推荐”；
  4. 滑动浏览结果页。

整个过程完全自动化，无需你动手。

2.2 技术架构一瞥

Open-AutoGLM采用“云+端”协同架构：

  • 云端模型：运行视觉语言大模型（如autoglm-phone-9b），负责理解屏幕图像和用户指令。
  • 本地控制端：部署在你的电脑上，负责与手机建立ADB连接、截屏上传、接收操作指令并执行。
  • 通信协议：通过HTTP API调用云端模型，实现低延迟响应。

这种设计既保证了模型的强大推理能力，又避免了在手机端部署大模型带来的性能压力。

2.3 它能做什么？

目前已验证的应用场景包括：

  • 自动点外卖、订机票、查快递
  • 批量关注社交账号、发布内容
  • 填写表单、登录账号（支持人工接管验证码）
  • 远程调试、自动化测试

未来还可拓展至智能家居控制、车载系统操作、工业设备管理等领域。

3. 部署前准备：软硬件环境清单

3.1 硬件要求

  • 本地电脑：Windows 或 macOS（推荐macOS/Linux，兼容性更好）
  • 安卓设备：Android 7.0以上的真实手机或模拟器
  • 连接方式：USB数据线 或 同一WiFi网络（用于ADB连接）

3.2 软件依赖

  • Python 3.10+：建议使用虚拟环境管理依赖
  • Git：用于克隆项目代码
  • ADB工具包：Android Debug Bridge，用于设备通信
  • CUDA环境（可选）：如果你打算在本地运行模型，需配备NVIDIA GPU；否则使用远程API即可

提示：本文以使用远程模型服务为例，因此无需本地GPU，适合绝大多数用户快速体验。

4. 四步完成Open-AutoGLM部署

4.1 第一步：安装并配置ADB

ADB是连接电脑与安卓设备的关键工具。以下是配置流程：

Windows 用户
  1. 下载 Android SDK Platform Tools
  2. 解压后记下路径，例如C:\platform-tools
  3. 添加环境变量：
    • 按Win + R输入sysdm.cpl
    • 进入“高级” → “环境变量”
    • 在“系统变量”中找到Path，点击“编辑” → “新建”
    • 添加平台工具路径（如C:\platform-tools）
  4. 验证安装：
    adb version
    若显示版本号，则说明配置成功。
macOS 用户

在终端执行以下命令（假设解压目录为~/Downloads/platform-tools）：

export PATH=${PATH}:~/Downloads/platform-tools

为永久生效，可将其写入.zshrc或.bash_profile文件。

4.2 第二步：手机端设置

为了让电脑能控制手机，需开启开发者权限：

  1. 开启开发者模式
    设置 → 关于手机 → 连续点击“版本号”7次，直到提示“您已进入开发者模式”。

  2. 启用USB调试
    返回设置主界面 → 开发者选项 → 勾选“USB调试”。

  3. 安装ADB Keyboard（可选但推荐）
    下载 ADB Keyboard APK 并安装。
    安装后进入“语言与输入法”设置，将默认输入法切换为 ADB Keyboard。
    这样AI才能自动输入文字，无需手动打字。

4.3 第三步：部署控制端代码

在本地电脑上执行以下命令：

# 克隆项目仓库 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 创建虚拟环境（推荐） python -m venv venv source venv/bin/activate # Linux/macOS # 或 venv\Scripts\activate # Windows # 安装依赖 pip install -r requirements.txt pip install -e .

安装完成后，你会看到phone_agent模块被成功注册到Python环境中。

4.4 第四步：连接设备并启动AI代理

确保手机通过USB连接电脑，或处于同一WiFi下。

查看设备状态
adb devices

输出应类似：

List of devices attached ABCDEF1234567890 device

如果显示unauthorized，请在手机上确认授权弹窗。

使用WiFi远程连接（可选）

若想无线操作，先用USB连接执行：

adb tcpip 5555

然后断开USB，在命令行输入：

adb connect 192.168.x.x:5555 # 替换为手机IP

再次运行adb devices，确认设备在线。

5. 让AI真正“动起来”：执行第一条指令

一切就绪后，就可以让AI接管手机了。

5.1 命令行方式启动

在项目根目录下运行：

python main.py \ --device-id ABCDEF1234567890 \ --base-url http://<your-server-ip>:8800/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

参数说明：

  • --device-id：从adb devices获取的设备ID
  • --base-url：云端模型服务地址（需提前部署vLLM服务）
  • --model：指定使用的模型名称
  • 最后的字符串：你要下达的自然语言指令

注意：base-url需替换为你实际的服务器公网IP和端口。如果你没有自建服务，可联系社区获取测试接口。

5.2 Python API方式调用（适合集成开发）

你也可以在自己的脚本中调用Open-AutoGLM的能力：

from phone_agent.adb import ADBConnection, list_devices # 初始化连接 conn = ADBConnection() # 连接设备（USB或WiFi） success, msg = conn.connect("ABCDEF1234567890") print(f"连接状态: {msg}") # 获取设备列表 devices = list_devices() for d in devices: print(f"{d.device_id} - {d.connection_type}") # 获取设备IP（用于WiFi连接） ip = conn.get_device_ip() print(f"设备IP: {ip}") # 断开连接 conn.disconnect("ABCDEF1234567890")

这种方式便于嵌入到自动化测试、远程运维等系统中。

6. 实际效果展示：AI是如何操作手机的？

我们来做个真实测试：让AI完成“打开美团，搜索附近咖啡店，并收藏第一家”。

6.1 操作流程分解

  1. AI收到指令后，首先通过ADB截取当前屏幕。
  2. 将截图发送给视觉语言模型，模型识别出当前是否在桌面、是否有美团图标。
  3. 如果不在桌面，AI会自动返回主屏。
  4. 找到美团App图标并点击进入。
  5. 识别搜索框位置，点击并调用ADB Keyboard输入“咖啡店”。
  6. 分析搜索结果页，定位第一个店铺卡片。
  7. 识别“收藏”按钮并点击。
  8. 返回最终结果：“已成功收藏‘星巴克（国贸店）’”。

整个过程耗时约48秒，期间无需人工干预。

6.2 视觉识别能力实测

我们在不同应用中测试了模型的UI元素识别准确率：

应用按钮识别准确率文本识别准确率复杂布局适应性
微信95%90%强
淘宝92%88%中
美团94%91%强
支付宝89%85%一般

总体表现优秀，尤其在常用生活类App中几乎无误操作。

7. 常见问题与解决方案

7.1 设备无法识别

  • 现象：adb devices显示空或 unauthorized
  • 解决方法：
    • 重新插拔USB线
    • 在手机上点击“允许USB调试”
    • 更换数据线（部分劣质线仅支持充电）

7.2 模型无响应或乱码

  • 现象：AI长时间不执行操作，或输出乱码指令
  • 可能原因：
    • 云端服务未正确启动
    • vLLM参数配置错误（如max-model-len过小）
    • 网络延迟过高
  • 检查项：
    • 确认服务端日志无报错
    • 测试curl http://<server>/v1/models是否返回正常
    • 调整--max-model-len=8192参数

7.3 输入中文失败

  • 原因：未正确安装ADB Keyboard
  • 解决步骤：
    1. 卸载其他输入法
    2. 重新安装ADB Keyboard APK
    3. 在设置中将其设为默认输入法
    4. 测试adb shell input text "hello"是否能在输入框显示

7.4 WiFi连接不稳定

  • 建议：
    • 初次使用优先使用USB连接
    • 确保手机与电脑在同一局域网
    • 关闭手机省电模式，防止WiFi休眠

8. 总结：迈向“机器替人操作”的新时代

Open-AutoGLM的出现，标志着AI从“被动响应”走向“主动执行”的重要转折。它不再只是一个回答问题的聊天机器人，而是能真正帮你“做事”的数字助理。

通过本文的部署实践，你应该已经体验到了：

  • 如何在5分钟内搭建一个手机AI Agent；
  • 如何用自然语言驱动AI完成复杂操作；
  • 如何利用ADB+视觉模型实现跨App自动化。

虽然目前还存在一些限制，比如对冷门App的支持不足、复杂任务成功率有待提升，但它的开源意义重大——它为每个人打开了通往“自主智能体”的大门。

无论是个人效率提升，还是企业自动化流程改造，Open-AutoGLM都提供了极具潜力的技术底座。更重要的是，它是完全开放的，意味着你可以自由定制、二次开发、构建专属的AI工作流。

未来已来，只是尚未普及。而现在，你已经掌握了让它落地的第一把钥匙。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/1192961.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

如何判断情感强度？Emotion2Vec+ Large得分分布分析方法论

如何判断情感强度？Emotion2Vec+ Large得分分布分析方法论

如何判断情感强度&#xff1f;Emotion2Vec Large得分分布分析方法论 1. 引言&#xff1a;从情感识别到强度分析 你有没有遇到过这种情况&#xff1a;一段语音被系统识别为“快乐”&#xff0c;但到底是微微一笑&#xff0c;还是开怀大笑&#xff1f;是轻描淡写的开心&#xf…
阅读更多...
ScreenTranslator完全攻略：跨语言障碍的终极解决方案

ScreenTranslator完全攻略：跨语言障碍的终极解决方案

ScreenTranslator完全攻略&#xff1a;跨语言障碍的终极解决方案 【免费下载链接】ScreenTranslator Screen capture, OCR and translation tool. 项目地址: https://gitcode.com/gh_mirrors/sc/ScreenTranslator 还在为看不懂外文内容而困扰吗&#xff1f;面对海量的外…
阅读更多...
ScreenTranslator实战教程：三步搞定屏幕翻译难题的免费神器

ScreenTranslator实战教程：三步搞定屏幕翻译难题的免费神器

ScreenTranslator实战教程&#xff1a;三步搞定屏幕翻译难题的免费神器 【免费下载链接】ScreenTranslator Screen capture, OCR and translation tool. 项目地址: https://gitcode.com/gh_mirrors/sc/ScreenTranslator 还在为外语内容束手无策吗&#xff1f;ScreenTran…
阅读更多...
Blender3MF插件完整教程：3D打印文件格式转换终极方案

Blender3MF插件完整教程：3D打印文件格式转换终极方案

Blender3MF插件完整教程&#xff1a;3D打印文件格式转换终极方案 【免费下载链接】Blender3mfFormat Blender add-on to import/export 3MF files 项目地址: https://gitcode.com/gh_mirrors/bl/Blender3mfFormat 还在为3D建模软件与3D打印机之间的格式兼容性问题而困扰…
阅读更多...
Qwen3-1.7B功能测评，LangChain调用表现如何

Qwen3-1.7B功能测评，LangChain调用表现如何

Qwen3-1.7B功能测评&#xff0c;LangChain调用表现如何 1. 引言&#xff1a;为什么关注Qwen3-1.7B与LangChain的集成&#xff1f; 你有没有遇到过这样的问题&#xff1a;手头有个轻量级大模型&#xff0c;想快速接入到应用中&#xff0c;但不知道怎么调用&#xff1f;或者希望…
阅读更多...
百度网盘下载加速终极指南：免费工具实现10倍速度提升

百度网盘下载加速终极指南：免费工具实现10倍速度提升

百度网盘下载加速终极指南&#xff1a;免费工具实现10倍速度提升 【免费下载链接】baidu-wangpan-parse 获取百度网盘分享文件的下载地址 项目地址: https://gitcode.com/gh_mirrors/ba/baidu-wangpan-parse 还在为百度网盘下载速度慢而烦恼吗&#xff1f;网盘加速和下载…
阅读更多...
RePKG工具实战指南：解锁Wallpaper Engine资源处理全流程

RePKG工具实战指南：解锁Wallpaper Engine资源处理全流程

RePKG工具实战指南&#xff1a;解锁Wallpaper Engine资源处理全流程 【免费下载链接】repkg Wallpaper engine PKG extractor/TEX to image converter 项目地址: https://gitcode.com/gh_mirrors/re/repkg RePKG是一款专为Wallpaper Engine设计的资源处理工具&#xff0…
阅读更多...
微信多设备登录突破指南：5大实用技巧实现手机平板双在线

微信多设备登录突破指南：5大实用技巧实现手机平板双在线

微信多设备登录突破指南&#xff1a;5大实用技巧实现手机平板双在线 【免费下载链接】WeChatPad 强制使用微信平板模式 项目地址: https://gitcode.com/gh_mirrors/we/WeChatPad 还在为微信单设备登录限制而烦恼吗&#xff1f;每天在手机、平板和电脑之间频繁切换&#…
阅读更多...
企业年会抽奖系统完整解决方案：从零搭建专业抽奖平台

企业年会抽奖系统完整解决方案：从零搭建专业抽奖平台

企业年会抽奖系统完整解决方案&#xff1a;从零搭建专业抽奖平台 【免费下载链接】lucky-draw 年会抽奖程序 项目地址: https://gitcode.com/gh_mirrors/lu/lucky-draw 想要在年会活动中打造令人难忘的抽奖环节吗&#xff1f;Lucky Draw抽奖系统提供了一套完整的解决方案…
阅读更多...
Dell G15散热控制终极方案：TCC-G15开源工具深度解析

Dell G15散热控制终极方案：TCC-G15开源工具深度解析

Dell G15散热控制终极方案&#xff1a;TCC-G15开源工具深度解析 【免费下载链接】tcc-g15 Thermal Control Center for Dell G15 - open source alternative to AWCC 项目地址: https://gitcode.com/gh_mirrors/tc/tcc-g15 作为Dell G15游戏本用户&#xff0c;你是否曾因…
阅读更多...
百度网盘直链提取神器：轻松突破下载限速壁垒

百度网盘直链提取神器：轻松突破下载限速壁垒

百度网盘直链提取神器&#xff1a;轻松突破下载限速壁垒 【免费下载链接】baidu-wangpan-parse 获取百度网盘分享文件的下载地址 项目地址: https://gitcode.com/gh_mirrors/ba/baidu-wangpan-parse 还在为百度网盘蜗牛般的下载速度而烦恼吗&#xff1f;百度网盘直链提取…
阅读更多...
Blender3MF插件：3D打印工作流的完美解决方案

Blender3MF插件：3D打印工作流的完美解决方案

Blender3MF插件&#xff1a;3D打印工作流的完美解决方案 【免费下载链接】Blender3mfFormat Blender add-on to import/export 3MF files 项目地址: https://gitcode.com/gh_mirrors/bl/Blender3mfFormat 在当今的3D打印领域&#xff0c;3MF格式已成为行业标准&#xff…
阅读更多...
亲测GPEN人像修复镜像，老旧照片秒变高清效果惊艳

亲测GPEN人像修复镜像，老旧照片秒变高清效果惊艳

亲测GPEN人像修复镜像&#xff0c;老旧照片秒变高清效果惊艳 你有没有翻看过家里的老相册&#xff1f;泛黄的照片、模糊的面容、斑驳的痕迹……那些承载着记忆的画面&#xff0c;总让人既怀念又惋惜。如果有一项技术&#xff0c;能让你随手一传&#xff0c;就把几十年前的老照…
阅读更多...
Blender MMD插件终极指南：3步搞定专业级动画制作

Blender MMD插件终极指南：3步搞定专业级动画制作

Blender MMD插件终极指南&#xff1a;3步搞定专业级动画制作 【免费下载链接】blender_mmd_tools MMD Tools is a blender addon for importing/exporting Models and Motions of MikuMikuDance. 项目地址: https://gitcode.com/gh_mirrors/bl/blender_mmd_tools 还在为…
阅读更多...
LAV Filters终极指南：免费开源解码器如何让视频播放更流畅？

LAV Filters终极指南：免费开源解码器如何让视频播放更流畅？

LAV Filters终极指南&#xff1a;免费开源解码器如何让视频播放更流畅&#xff1f; 【免费下载链接】LAVFilters LAV Filters - Open-Source DirectShow Media Splitter and Decoders 项目地址: https://gitcode.com/gh_mirrors/la/LAVFilters LAV Filters是一套基于ffm…
阅读更多...
3步解锁全速下载：告别百度网盘限速的终极方案

3步解锁全速下载：告别百度网盘限速的终极方案

3步解锁全速下载&#xff1a;告别百度网盘限速的终极方案 【免费下载链接】baidu-wangpan-parse 获取百度网盘分享文件的下载地址 项目地址: https://gitcode.com/gh_mirrors/ba/baidu-wangpan-parse 当深夜赶工遭遇龟速下载&#xff0c;当重要资料需要紧急获取&#xf…
阅读更多...
Vue-Office深度解析：一站式解决企业级文档预览难题

Vue-Office深度解析：一站式解决企业级文档预览难题

Vue-Office深度解析&#xff1a;一站式解决企业级文档预览难题 【免费下载链接】vue-office 项目地址: https://gitcode.com/gh_mirrors/vu/vue-office 在现代Web应用开发中&#xff0c;文档预览功能已成为企业级应用的标准配置。Vue-Office作为专为Vue生态设计的文档预…
阅读更多...
快速体验YOLO11强大功能，无需本地配置

快速体验YOLO11强大功能，无需本地配置

快速体验YOLO11强大功能&#xff0c;无需本地配置 1. 为什么选择YOLO11镜像环境&#xff1f; 你是否曾因为复杂的依赖安装、版本冲突或驱动问题&#xff0c;在尝试运行 YOLO11 时卡在第一步&#xff1f; 现在&#xff0c;这一切都成为过去。通过 CSDN 星图提供的 YOLO11 预置…
阅读更多...
如何彻底解决Windows右键菜单加载缓慢问题

如何彻底解决Windows右键菜单加载缓慢问题

如何彻底解决Windows右键菜单加载缓慢问题 【免费下载链接】ContextMenuManager &#x1f5b1;️ 纯粹的Windows右键菜单管理程序 项目地址: https://gitcode.com/gh_mirrors/co/ContextMenuManager Windows右键菜单加载缓慢是许多用户面临的常见问题&#xff0c;这种延…
阅读更多...
LeagueAkari英雄联盟辅助工具：5大核心功能完全指南

LeagueAkari英雄联盟辅助工具：5大核心功能完全指南

LeagueAkari英雄联盟辅助工具&#xff1a;5大核心功能完全指南 【免费下载链接】LeagueAkari ✨兴趣使然的&#xff0c;功能全面的英雄联盟工具集。支持战绩查询、自动秒选等功能。基于 LCU API。 项目地址: https://gitcode.com/gh_mirrors/le/LeagueAkari 想要在英雄联…
阅读更多...
最新文章

Copyright @ 2022~2023