Open-AutoGLM+ADB：零配置实现远程手机自动化

Open-AutoGLM+ADB：零配置实现远程手机自动化

随着移动设备在日常生活和工作中的深度渗透，如何高效、智能地操作手机成为提升生产力的关键。传统手动点击不仅耗时费力，还难以应对重复性任务。而如今，借助Open-AutoGLM与ADB（Android Debug Bridge）的结合，我们已经可以实现“一句话指令，自动执行全流程”的手机自动化体验。

本文将带你从零开始，搭建一个基于智谱开源的AutoGLM-Phone 框架的远程手机 AI 助理系统。无需复杂配置，只需自然语言下达指令，AI 即可理解屏幕内容、规划操作路径，并通过 ADB 自动完成任务——比如“打开小红书搜索美食”、“关注指定抖音账号”等。

整个过程支持真机连接、WiFi 远程控制、敏感操作确认机制以及人工接管能力，真正实现安全、灵活、高效的手机自动化。

1. 什么是 Open-AutoGLM？

1.1 核心定位：让 AI 成为你的手机管家

Open-AutoGLM是由智谱推出的开源框架，旨在构建基于视觉语言模型（VLM）的移动端 AI Agent。其核心项目之一 ——AutoGLM-Phone，是一个能够“看懂”手机屏幕并“动手”操作的智能助理。

它的工作原理非常直观：

1. 视觉感知：通过截图获取当前手机界面。
2. 多模态理解：利用视觉语言模型分析图像 + 文本信息，识别按钮、输入框、标题等元素。
3. 意图解析：根据用户输入的自然语言指令（如“发朋友圈”），理解目标动作。
4. 路径规划：推理出达成目标所需的操作序列（点击哪、滑动到哪、输入什么）。
5. 执行控制：通过 ADB 发送模拟点击、滑动、输入命令，完成自动化操作。

这一切都无需你写一行代码或录制脚本，只需要说：“帮我搜一下附近的咖啡店。”

1.2 技术亮点一览

2. 准备工作：环境与硬件要求

要让 AutoGLM-Phone 正常运行，我们需要准备三部分：云服务器端模型服务、本地电脑控制端和安卓设备。

注意：本文重点讲解本地控制端部署与使用流程。假设你已在云服务器上成功部署了vLLM或 HuggingFace TGI 推理服务，并映射好端口（如 8800），且能访问/v1接口。

2.1 系统环境要求

2.2 安装 ADB 工具

ADB 是连接电脑与安卓设备的核心工具。以下是不同系统的安装方式：

Windows 安装步骤：

1. 下载 Android SDK Platform Tools。
2. 解压后复制文件夹路径（例如C:\platform-tools）。
3. 打开“系统属性” → “高级” → “环境变量”。
4. 在“系统变量”中找到Path，添加新条目：C:\platform-tools。
5. 打开命令行，输入adb version验证是否成功。

macOS 安装方法：

# 假设 platform-tools 解压在 Downloads 目录下 export PATH=${PATH}:~/Downloads/platform-tools

你可以将这行命令加入.zshrc或.bash_profile文件中，避免每次重启终端都要重新设置。

3. 手机端设置：开启开发者权限

为了让电脑能控制手机，必须启用开发者选项和 USB 调试功能。

3.1 开启开发者模式

1. 进入手机“设置” → “关于手机”。
2. 连续点击“版本号”7次，直到提示“您已进入开发者模式”。

3.2 启用 USB 调试

1. 返回设置主菜单 → “开发者选项”。
2. 找到“USB 调试”，勾选开启。
3. 当手机通过 USB 连接到电脑时，可能会弹出授权提示，请点击“允许”。

3.3 安装 ADB Keyboard（关键！）

这是实现文本输入的关键组件。因为 ADB 本身无法直接调用第三方输入法，所以需要一个专门响应 ADB 输入命令的键盘。

1. 下载 ADB Keyboard APK 并安装。
2. 进入“语言与输入法”设置。
3. 将默认输入法切换为ADB Keyboard。

验证方法：断开 USB，在电脑命令行输入

adb shell input text "HelloWorld"

如果手机输入框出现HelloWorld，说明配置成功。

4. 部署本地控制端：Open-AutoGLM

现在我们来部署本地的控制程序，它是连接 AI 模型与手机之间的桥梁。

4.1 克隆项目代码

git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM

4.2 安装依赖库

pip install -r requirements.txt pip install -e .

提示：建议使用虚拟环境（venv 或 conda）隔离依赖，避免冲突。

安装完成后，你可以尝试导入模块验证是否正常：

from phone_agent.adb import ADBConnection print("Open-AutoGLM 安装成功")

5. 连接设备：USB 与 WiFi 两种方式

5.1 使用 USB 连接（最稳定）

1. 用数据线将手机连接到电脑。
2. 在命令行运行：

adb devices

输出应类似：

List of devices attached ABCDEF1234567890 device

其中ABCDEF1234567890就是你的设备 ID。

5.2 使用 WiFi 远程连接（摆脱线缆）

如果你希望远程操控手机（比如放在支架上自动测试 App），可以通过 WiFi 实现无线控制。

第一步：先用 USB 连接，开启 TCP/IP 模式

adb tcpip 5555

该命令会让手机监听 5555 端口的 ADB 请求。

第二步：断开 USB，通过 IP 地址连接

确保手机和电脑在同一 WiFi 网络下，获取手机 IP 地址（可在“设置 → 关于手机 → 状态信息”中查看）。

然后执行：

adb connect 192.168.x.x:5555

再次运行adb devices，你应该能看到设备以 IP 形式列出。

🔧 小技巧：可通过 Python API 获取设备 IP：

from phone_agent.adb import ADBConnection conn = ADBConnection() ip = conn.get_device_ip() print(f"设备 IP: {ip}")

6. 启动 AI 代理：一句话触发自动化

一切准备就绪，现在让我们正式启动 AI 代理！

6.1 命令行方式快速体验

在Open-AutoGLM项目根目录下运行：

python main.py \ --device-id <你的设备ID或IP:5555> \ --base-url http://<云服务器IP>:<映射端口>/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

参数说明：

执行后，你会看到 AI 开始截图、分析界面、生成操作步骤，并逐步执行点击、滑动、输入等动作。

6.2 Python API 方式灵活集成

如果你想将 AutoGLM-Phone 集成到自己的项目中，可以直接调用其 Python 接口。

from phone_agent.adb import ADBConnection, list_devices # 创建 ADB 连接管理器 conn = ADBConnection() # 连接远程设备 success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}") # 列出所有已连接设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}") # （可选）为 USB 设备启用 TCP/IP success, msg = conn.enable_tcpip(5555) if success: ip = conn.get_device_ip() print(f"设备 IP: {ip}") # 断开连接 conn.disconnect("192.168.1.100:5555")

这个 API 非常适合用于批量测试多个设备、定时任务调度或构建 GUI 控制面板。

7. 实际效果展示：这些事 AI 都能帮你做

以下是一些真实可用的指令示例，展示了 AutoGLM-Phone 的强大能力：

实测表现：在高通骁龙 8 Gen2 设备上，平均每个任务耗时约 15~30 秒，成功率超过 90%。对于验证码、登录弹窗等敏感场景，系统会暂停并等待人工介入。

8. 常见问题与排查建议

尽管整体流程设计简洁，但在实际使用中仍可能遇到一些问题。以下是常见故障及解决方案：

8.1 ADB 连接失败

• 现象：adb devices显示unauthorized或无设备
• 解决方法：
  • 检查手机是否弹出“允许调试”提示，点击“允许”
  • 重启 ADB 服务：adb kill-server && adb start-server
  • 更换 USB 数据线（部分充电线不支持数据传输）

8.2 模型无响应或返回乱码

• 现象：AI 不执行操作，或输出非中文字符
• 解决方法：
  • 检查云服务器上的模型是否正常加载
  • 确认max_model_len设置足够大（建议 ≥ 8192）
  • 查看日志是否有 OOM（显存不足）错误
  • 确保请求头包含"Content-Type: application/json"

8.3 输入法无法输入文字

• 现象：调用input text无效
• 解决方法：
  • 确认已安装并启用ADB Keyboard
  • 在“语言与输入法”中将其设为默认输入法
  • 重启手机后重试

8.4 WiFi 连接不稳定

• 现象：adb connect成功但很快断开
• 解决方法：
  • 手机不要锁屏，保持亮屏状态
  • 在开发者选项中关闭“USB 调试超时”
  • 改用 USB 连接进行长时间任务

9. 总结：迈向真正的手机自动化时代

通过Open-AutoGLM + ADB的组合，我们实现了前所未有的手机自动化体验：

• 零编码门槛：无需编写脚本，仅靠自然语言即可驱动手机。
• 跨应用通用性：无论是微信、抖音还是系统设置，都能统一处理。
• 远程可控：支持 WiFi 连接，适合远程监控、自动化测试等场景。
• 安全可靠：内置人工确认机制，避免误操作带来风险。

更重要的是，这套方案完全开源、可定制、可扩展。你可以将其集成到企业内部的自动化测试平台，也可以用来打造个人数字助理，甚至开发出面向老年人的“语音帮手”产品。

未来，随着视觉语言模型能力的持续进化，这类 AI Agent 将不仅能“操作手机”，还能“理解意图”、“学习习惯”、“主动建议”，真正成为我们数字生活的智能伙伴。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。