字节跳动UI-TARS模型震撼发布：重新定义GUI自动化交互范式-编程实验室

字节跳动UI-TARS模型震撼发布：重新定义GUI自动化交互范式

【免费下载链接】UI-TARS-2B-SFT项目地址: https://ai.gitcode.com/hf_mirrors/ByteDance-Seed/UI-TARS-2B-SFT

新一代图形界面智能交互系统横空出世

在人工智能与用户界面交互领域，一场静默的革命正在悄然发生。字节跳动最新推出的UI-TARS系列模型，以其突破性的全链路视觉语言融合架构，彻底改变了传统GUI自动化依赖模块化组件拼接的技术路径。这款原生集成感知、推理、定位与记忆功能的视觉语言模型（VLM），实现了从屏幕图像输入到界面操作输出的端到端闭环，无需任何预设工作流或人工规则配置，即可完成复杂的图形界面交互任务。

本技术成果源自学术论文《UI-TARS：开创原生智能体驱动的GUI自动化交互》，相关模型与代码已通过官方渠道开放。开发者可通过以下地址获取完整资源：

UI-TARS-2B-SFT | UI-TARS-2B-gguf
UI-TARS-7B-SFT | UI-TARS-7B-DPO(推荐版本) | UI-TARS-7B-gguf
UI-TARS-72B-SFT | UI-TARS-72B-DPO(推荐版本)
代码仓库：https://gitcode.com/hf_mirrors/ByteDance-Seed/UI-TARS-2B-SFT

技术架构：打破传统桎梏的一体化设计

UI-TARS的革命性突破在于其独创的"四合一"融合架构，将图形界面交互所需的四大核心能力——视觉感知、逻辑推理、元素定位与状态记忆，深度整合于单一模型框架中。这种架构设计彻底摆脱了传统方案中计算机视觉模块、自然语言理解模块与动作执行模块之间的通信瓶颈，实现了毫秒级的决策响应速度。

该架构图清晰展示了UI-TARS的核心技术路径，通过多模态注意力机制实现视觉信号与语言指令的深度交融。这种设计使模型能够像人类用户一样"看懂"界面元素、"理解"任务意图、"记住"操作历史，为实现真正的自主界面交互奠定了基础。

全面性能评测：多维度指标领跑行业

视觉感知能力：小参数模型实现大模型性能

在视觉感知能力评测中，UI-TARS系列展现出惊人的效率-性能平衡。在包含VisualWebBench、WebSRC和SQAshort三个权威数据集的综合测试中，72B参数版本以82.8分的VisualWebBench成绩、89.3分的WebSRC准确率和88.6分的SQAshort得分，全面超越GPT-4o、Claude-3.5-Sonnet等行业标杆。特别值得关注的是7B版本，以79.7分的VisualWebBench成绩和93.6分的WebSRC准确率，创下同参数规模模型的性能纪录，甚至超越了参数规模十倍于己的竞品模型。

模型名称	VisualWebBench	WebSRC	SQAshort
Qwen2-VL-7B	73.3	81.8	84.9
Gemini-1.5-Pro	75.4	88.9	82.2
Claude-3.5-Sonnet	78.2	90.4	83.1
GPT-4o	78.5	87.7	82.3
UI-TARS-7B	79.7	93.6	87.7
UI-TARS-72B	82.8	89.3	88.6

元素定位精度：跨场景交互能力全面领先

在屏幕元素精确定位测试（ScreenSpot Pro）中，UI-TARS-72B以38.1的平均得分大幅领先第二名UGround-V1-7B近7分。该测试覆盖文本与图标两类元素，横跨开发工具、创意设计、CAD工程、科研文献、办公软件和操作系统六大场景。UI-TARS在办公场景下实现了54.8的平均定位精度，创下单场景测试的历史纪录，充分证明其在实际工作环境中的实用价值。

在移动设备、桌面系统和网页三类界面的综合定位测试（ScreenSpot v2）中，UI-TARS-7B以91.6的平均得分刷新纪录，其中移动文本定位准确率达96.9%，桌面图标定位达85.0%，展现出卓越的跨平台适配能力。

离线任务执行：端侧环境下的全流程自动化

在Multimodal Mind2Web评测中，UI-TARS-72B在跨任务元素识别准确率（74.7%）、操作F1得分（92.5%）和步骤成功率（68.6%）三项核心指标上全面领跑。特别是在跨域名场景下，62.1%的步骤成功率较GPT-4提升近50%，证明其强大的环境适应能力。

Android控制系统测试更凸显UI-TARS的实用价值：在高难度任务场景中，72B版本以85.2%的类型识别准确率、81.5%的元素定位精度和74.7%的任务成功率，将行业基准提升了26%。GUI Odyssey测试中，88.6%的综合成功率意味着UI-TARS已能独立完成85%以上的智能手机日常操作任务。

在线环境适应：复杂系统的自主导航能力

在OSWorld和AndroidWorld在线环境测试中，UI-TARS-7B-SFT展现出优异的复杂系统适应能力，在Android平台实现37.1%的任务完成率，较同类模型平均提升42%。这种能力使模型能够应对实时变化的网络环境和不断更新的应用界面，为实际部署奠定了坚实基础。

这张对比图表直观呈现了UI-TARS与现有技术的代际优势。从基础定位能力到复杂任务执行，UI-TARS在12项核心指标中创下9项新纪录，尤其在中小参数模型性能上实现了质的飞跃，为边缘设备部署提供了可能。

技术突破与行业价值

UI-TARS系列模型的推出，标志着图形界面自动化交互进入"认知智能"新阶段。其核心技术突破体现在三个方面：一是首创的视觉-语言-动作三模态融合架构，实现了从"看见"到"行动"的认知闭环；二是提出的自适应界面理解机制，使模型能够零配置适配全新应用；三是轻量化部署方案，7B模型即可满足85%的日常办公自动化需求。

这些技术进步正在重塑多个行业：在软件开发领域，UI-TARS可自动完成80%的GUI测试用例；在智能办公场景，已实现从邮件解析到报表生成的全流程自动化；在无障碍服务领域，为视障用户提供实时界面导航支持。据测算，UI-TARS技术可为企业级用户平均降低40%的界面交互开发成本，提升65%的流程自动化覆盖率。