如何 5 分钟快速上手 Cua:AI 操作 macOS 桌面的完整指南
【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua
Cua(Computer-Use Agent)是一个开源框架:它先在 Apple Silicon 上快速起一台 macOS 虚拟机,再让 AI 直接看屏、点鼠标、敲键盘,替你干完真实桌面任务。本文给出一条命令装虚拟机的极简路径和一段最小代码的 Agent 教程,5 分钟跑通虚拟机快速上手流程。
它解决了什么问题
想验证"AI 操作桌面",你总得先有一台跑得快、随便折腾、坏了能重建的桌面——传统模拟器又慢又占地方,直接在自己电脑上跑又不安全。Cua 把两件事合在一起:Lume 基于 Apple Virtualization 框架创建 macOS 虚拟机,在 Apple Silicon 上接近原生性能;Python 侧的 Computer / Agent 框架负责让 AI 看屏、点鼠标、敲键盘。
虚拟机快速上手时,先对号入座,两条路成本差很多:
| 你的需求 | 装什么 |
|---|---|
| 只要一台 macOS 虚拟机,自己用或给别的工具当沙盒 | 一条命令装 Lume CLI,lume create/lume run建机开机 |
| 想让 AI 替你操作桌面 | 在上一行基础上,加装cua-computer、cua-agent,用自然语言下达任务 |
按需求选路径,5 分钟跑起来
路径 A:一条命令装好 macOS 虚拟机
你只要一行命令,装的就是 Lume CLI,源码在 libs/lume/:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/lume/scripts/install.sh)"装完就是给 Mac 的虚拟机管理器,创建并启动一台 macOS 虚拟机:
lume create macos-tahoe --ipsw ~/Downloads/macos-tahoe.ipsw --unattended tahoe lume run macos-tahoe路径 B:让 AI 替你点鼠标
虚拟机就位后,把 Agent 装进来,下面是 10 行以内的最小示例:
from computer import Computer from agent import ComputerAgent, AgentLoop, LLM, LLMProvider async with Computer() as vm: agent = ComputerAgent( computer=vm, loop=AgentLoop.OPENAI, model=LLM(provider=LLMProvider.OPENAI), ) async for r in agent.run("打开浏览器,搜索 trycua/cua 仓库"): print(r)跑起来后,AI 就会在虚拟机里自己打开浏览器、点搜索框、敲下关键词;想要调试面板和可复现的完整示例,直接打开 Agent Notebook 照着填任务就行。
能玩出什么花样
两个仓库里真实跑过的场景,看看 AI 替你干了什么 🖱️:
- AI-Gradio 多应用工作流:一句话任务里塞着"打开浏览器搜索、clone 仓库、打开 Cursor 继续改代码",AI 在虚拟机里自己切换浏览器、终端和编辑器,把整条工作流走完,你只负责看结果。
- Notebook 里修 GitHub Issue:把 issue 丢给 Agent,它在 macOS 虚拟机里定位代码、动手改文件、跑验证,全程不用你碰鼠标,改完直接回报结果。
生态组件速查表
| 组件 | 一句话职责 |
|---|---|
| Lume | 在 Apple Silicon 上创建、运行 macOS / Linux 虚拟机,接近原生性能 |
| Computer | 计算机使用接口:截屏、点击、键盘输入、跑代码,给程序控制桌面 |
| Agent | 计算机使用代理:把任务交给 LLM,在沙盒里自主跑完工作流 |
| Core | 其他 Cua 包共用的核心功能与工具 |
| PyLume | Lume 的 Python 绑定,想在代码里管虚拟机就用它 |
| Computer Server | Computer 框架的服务器组件,让桌面接口可远程访问 |
| SOM | Set-of-Mark 库,给屏幕元素打编号,帮 AI 看懂"该点哪儿" |
Cua 等于把"虚拟机快速上手"和"AI 操作桌面"缝成了一条流水线——下一步打开 Agent Notebook 跑通第一个任务,或进官方文档翻各组件的完整参考。
【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考