Open-AutoGLM娱乐应用：AI自动刷短视频并点赞优质内容
1. 引言
1.1 技术背景与应用场景
随着移动互联网的普及，用户每天在短视频平台（如抖音、快手、小红书）上花费大量时间进行内容浏览、互动和社交。然而，重复性操作如滑动、点赞、关注、评论等不仅耗时，还容易造成注意力疲劳。如何让AI代理帮助用户自动化完成这些高频但低认知负荷的任务，成为智能助手领域的重要探索方向。
在此背景下，智谱推出的Open-AutoGLM框架应运而生。它是一个开源的手机端AI Agent系统，基于视觉语言模型（VLM）实现对安卓设备的感知与控制，能够理解屏幕内容、解析用户自然语言指令，并通过自动化操作完成复杂任务流程。
1.2 核心价值与创新点
Open-AutoGLM 的核心突破在于将多模态理解能力与设备控制能力深度融合：
- 多模态感知：利用视觉语言模型实时“看懂”手机屏幕上的UI元素、文本、图像内容。
- 自然语言驱动：用户只需用一句话描述目标（如“搜索美食博主并关注”），无需编写脚本或配置规则。
- 自主规划执行：AI能动态分析当前界面状态，推理下一步操作（点击、滑动、输入等），形成可执行的动作序列。
- 安全机制设计：内置敏感操作确认机制，在涉及支付、登录验证码等场景下支持人工接管，保障安全性。
本文将以“AI自动刷短视频并点赞优质内容”为典型娱乐应用场景，详细介绍 Open-AutoGLM 的部署流程、运行机制及实践优化建议。
2. 系统架构与工作原理
2.1 整体架构概览
Open-AutoGLM 是一个典型的客户端-服务端分离架构，主要由以下三个模块组成：
- 控制端（Client）：部署在本地电脑，负责与安卓设备通信（通过ADB）、采集屏幕截图、发送观察数据给云端模型，并接收动作指令执行操作。
- AI模型服务端（Server）：运行在具备GPU资源的云服务器上，加载 AutoGLM-Phone 模型，接收来自客户端的多模态输入（图像+文本），输出结构化操作命令。
- 安卓设备（Device）：真实手机或模拟器，作为被控终端，执行所有UI交互行为。
三者之间的协作流程如下：
用户指令 → 控制端 → 屏幕截图 + 文本 → 云端模型 → 动作预测 → ADB指令 → 手机执行2.2 多模态理解与动作生成机制
AutoGLM-Phone 模型本质上是一个基于Transformer的视觉语言模型，其输入包括：
- 当前屏幕截图（RGB图像）
- 上下文历史动作序列
- 用户原始自然语言指令
模型通过对图像进行编码（使用ViT或类似结构），并与文本指令融合，生成一系列结构化的动作输出，例如：
{ "action": "tap", "coordinates": [540, 800], "description": "点击推荐视频的点赞按钮" }或
{ "action": "swipe", "from": [540, 1600], "to": [540, 800], "duration_ms": 300 }该过程实现了从“语义理解”到“空间定位”再到“动作决策”的闭环。
2.3 安全与可控性设计
为防止误操作或恶意使用，系统引入了多重安全机制：
- 敏感操作拦截：当检测到可能涉及账户安全的操作（如输入密码、支付确认）时，自动暂停并提示用户手动处理。
- 人工接管接口：提供远程调试接口，允许开发者或用户在关键时刻介入流程。
- 操作日志记录：所有AI执行的动作均被记录，便于回溯与审计。
3. 部署与连接实战
3.1 硬件与环境准备
要成功运行 Open-AutoGLM，需满足以下基础条件：
| 组件 | 要求 |
|---|---|
| 本地电脑 | Windows 或 macOS，Python 3.10+ |
| 安卓设备 | Android 7.0+ 真机或模拟器 |
| ADB 工具 | 安装并配置至系统路径 |
| GPU服务器 | 支持CUDA的Linux主机，用于部署vLLM服务 |
ADB 配置说明
Windows 用户：
- 下载 Android SDK Platform Tools 并解压。
- 将解压目录添加到系统
PATH环境变量中：- Win + R →
sysdm.cpl→ 高级 → 环境变量 - 在“系统变量”中找到
Path，点击编辑 → 新建 → 添加路径
- Win + R →
- 打开命令行，输入
adb version验证是否安装成功。
macOS 用户：
在终端中执行以下命令（假设 platform-tools 解压在 Downloads 目录）：
export PATH=${PATH}:~/Downloads/platform-tools建议将此行加入.zshrc或.bash_profile文件以永久生效。
3.2 手机端设置步骤
开启开发者模式
进入「设置」→「关于手机」→ 连续点击“版本号”7次，直到提示“您已进入开发者模式”。启用USB调试
返回设置主菜单 →「开发者选项」→ 开启“USB调试”。安装 ADB Keyboard
- 从官方渠道下载 ADB Keyboard APK 并安装。
- 进入「语言与输入法」设置 → 默认键盘 → 切换为“ADB Keyboard”。
- 此输入法允许通过 ADB 命令向手机发送文字，避免依赖物理键盘。
3.3 部署控制端代码
在本地电脑上执行以下命令克隆并安装 Open-AutoGLM 控制端：
# 克隆仓库 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 安装依赖 pip install -r requirements.txt pip install -e .注意：确保虚拟环境已激活，且 pip 版本较新（≥21.0），以支持
-e .安装方式。
3.4 设备连接方式
USB 连接（推荐初学者）
使用数据线连接手机与电脑后，在命令行运行：
adb devices若输出类似：
List of devices attached ABCDEF1234567890 device则表示连接成功。
WiFi 远程连接（适合长期运行）
首次需通过 USB 连接启用 TCP/IP 模式：
adb tcpip 5555断开USB后，使用手机IP地址连接：
adb connect 192.168.x.x:5555可通过adb shell ifconfig wlan0或路由器后台查看设备IP。
4. 启动AI代理与任务执行
4.1 命令行方式启动
在 Open-AutoGLM 根目录下运行主程序：
python main.py \ --device-id ABCDEF1234567890 \ --base-url http://<your-server-ip>:8800/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"参数说明：
--device-id：通过adb devices获取的设备标识符。--base-url：指向运行 vLLM 的云服务器地址，格式为http://IP:Port/v1。--model：指定使用的模型名称，需与服务端加载的一致。- 最后的字符串：用户的自然语言指令。
4.2 Python API 方式调用
对于需要集成到其他系统的场景，可使用提供的 Python SDK：
from phone_agent.adb import ADBConnection, list_devices # 创建连接管理器 conn = ADBConnection() # 连接远程设备 success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}") # 列出已连接设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}") # 在 USB 设备上启用 TCP/IP success, message = conn.enable_tcpip(5555) ip = conn.get_device_ip() print(f"设备 IP: {ip}") # 断开连接 conn.disconnect("192.168.1.100:5555")此方式适用于构建自动化测试平台或远程运维系统。
4.3 实现“自动刷短视频并点赞优质内容”
我们可以设计一条复合指令来实现娱乐场景下的自动化：
打开抖音APP，持续向上滑动浏览推荐页，如果看到点赞数超过1万的视频，就双击屏幕点赞，否则继续下滑。每观看10个视频休息5秒。虽然目前模型尚不能直接理解“每10个视频休息”这类计数逻辑，但我们可以通过外层控制脚本配合AI模型实现：
import time from phone_agent.controller import PhoneController controller = PhoneController(device_id="ABCDEF1234567890", base_url="http://<server>/v1") view_count = 0 while True: # 截图并询问AI当前是否应点赞 should_like = controller.query( instruction="当前视频是否值得点赞？判断依据：点赞数>10000 或标题含‘爆款’‘神作’等词", actions=["tap", "swipe_up"] ) if should_like == "tap": controller.tap(x=540, y=800) # 双击点赞 controller.tap(x=540, y=800) print("已点赞高热度视频") else: controller.swipe(up=True) view_count += 1 if view_count % 10 == 0: print("休息5秒...") time.sleep(5)提示：此类循环任务建议在专用设备上运行，避免影响日常使用。
5. 常见问题与优化建议
5.1 连接类问题排查
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
adb devices无设备显示 | 未开启USB调试 | 检查开发者选项中的“USB调试”开关 |
| 连接被拒绝（Connection refused） | 服务器防火墙未开放端口 | 使用ufw allow 8800或云平台安全组配置放行 |
| ADB频繁掉线 | WiFi信号不稳定 | 改用USB连接，或优化网络环境 |
| 输入中文失败 | ADB Keyboard未设为默认输入法 | 进入系统设置重新切换 |
5.2 模型响应异常处理
- 模型返回乱码或无效动作：检查服务端 vLLM 启动参数是否正确，特别是
--max-model-len和显存分配。 - 响应延迟过高：建议使用至少 24GB 显存的 GPU（如 A100、RTX 3090/4090）以保证推理速度。
- 动作精度不准：尝试调整图像分辨率适配策略，确保截图与实际屏幕比例一致。
5.3 性能与稳定性优化建议
- 使用高性能GPU实例：推荐 NVIDIA T4/A10/G100 等云GPU机型，保障低延迟推理。
- 限制并发任务数：单个模型实例建议只服务一个设备，避免资源竞争。
- 定期重启服务：长时间运行可能导致内存泄漏，建议每日定时重启。
- 增加缓存机制：对重复出现的UI界面（如首页、个人主页）建立模板匹配缓存，减少模型调用频率。
6. 总结
6.1 技术价值总结
Open-AutoGLM 代表了新一代手机端AI Agent的发展方向——通过视觉语言模型实现真正的“所见即所得”操作。它不仅可用于娱乐场景下的短视频自动化，还可拓展至：
- 自动化测试：替代传统UI自动化工具（如Appium）
- 数字助理：帮老年人操作复杂APP
- 内容监控：自动巡查违规信息
- 数据采集：合规前提下抓取公开数据
其核心优势在于无需修改APP源码、不依赖API接口、完全模拟人类操作路径，具有极强的通用性和适应性。
6.2 实践建议
- 初学者建议从USB连接+简单指令开始，逐步熟悉流程。
- 生产环境中务必启用敏感操作拦截和日志审计功能。
- 结合外部脚本可扩展AI的能力边界，弥补其在状态记忆、计数等方面的不足。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
