3分钟跑通 MidScene：用大白话指挥浏览器的AI浏览器自动化工具
【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene
每次产品让你"顺手把这个页面的价格数据抓下来"，你是不是又得手写脚本？MidScene 是一个 AI 浏览器自动化工具。你用自然语言描述任务，它看截图就能指挥浏览器点击、输入、提数据、验界面，全程不用你写选择器。
先搞清楚它是什么
它 = 一个"看屏幕又会动手"的代理：截图进，操作出。不是传统那种靠选择器的自动化框架——页面一改结构，脚本就废。
核心能力就三块：操作界面（Action）、提取数据（Query）、校验界面（Assert）。
最快路径跑起来
环境要求 Node 20.19+ 和 pnpm 9，三步起飞：
- 克隆仓库，装依赖
git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene && pnpm install- 配置一个视觉模型（它靠模型"看懂"屏幕，配置写法照抄文档即可）
export MIDSCENE_MODEL_BASE_URL="https://ark.cn-beijing.volces.com/api/v3" export MIDSCENE_MODEL_API_KEY="your-api-key" export MIDSCENE_MODEL_NAME="doubao-seed-2-1-turbo-260628"- 启动 Playground，它会自动拉好一个受控浏览器和交互面板
cd apps/playground pnpm run demo浏览器打开后，左边是命令面板，右边是实时浏览器画面。在 Prompt 输入框里敲一句"点击搜索框"，点 Run，你会亲眼看到画面里的光标自己挪到搜索栏上。到这里，你的第一次自然语言浏览器控制就成事了。
它能替你干哪些活
让它操作网页（自然语言控制浏览器）
- 你输入："打开登录页，输入用户名和密码，点登录"
- 它执行：看截图逐个定位元素，一步步操作，失败自动重试
- 你得到：一条走完的登录流程，一行代码没写，AI 自动填表也就这么顺手
批量抓取网页数据（零代码数据采集）
- 你输入："页面中的商品，{name: string, price: number}[]"
- 它执行：识别列表结构，按你给的字段格式逐个抽取
- 你得到：一份能直接用的 JSON 数组，转存 CSV 就是一张报表
校验界面长没长对
- 你输入："页面顶部有导航栏""商品列表至少有一件耳机"
- 它执行：拿真实截图跟你的描述逐条比对
- 你得到：通过或不通过的结果，写回归测试不用自己维护断言
跑完的执行报告会把每一步重放成视频，哪步成功哪步失败，一眼看清。
几个容易踩的坑
- Node 版本报错：装依赖就崩 → 仓库要求 Node 20.19+（22、24 都行），别用 16/18，直接升级
- 指令跑不了、报模型错误：没配模型，或模型不支持 UI 定位 → 补上
MIDSCENE_MODEL_*这组环境变量，具体写法看模型配置文档 - 当前目录冒出一堆产物：那是
midscene_run报告缓存目录，用MIDSCENE_RUN_DIR换个位置就行 - Playground 连不上浏览器：只跑了网页没跑 demo 服务 → 用
pnpm run demo让两个进程一起起，别分开跑
不想从源码构建的话，快速开始指南里有更轻的路子：装 Chrome 扩展直接用，能力一样，省去搭建。
适合谁用？不想维护选择器的测试同学、想让重复网页操作自己跑的开发、以及需要定期从网页拿结构化数据的人。核心价值就一句：你说人话，它看屏幕干活。别光看了，clone 下来试试，三分钟就能跑起来。
【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
