豆包1.5·UI-TARS

豆包1.5·UI-TARS – 字节豆包推出的 GUI Agent 模型

豆包1.5·UI-TARS是什么

豆包1.5·UI-TARS是字节豆包推出的一款专注于图形用户界面（GUI）交互的智能代理模型。该模型结合了感知、推理和执行等类人智能能力，能够与图形界面实现连续而流畅的互动。通过整合视觉理解、逻辑推理、界面元素的定位及操作，豆包1.5·UI-TARS无需预设的工作流程或手动规则，便可实现全自动化的任务处理。该模型已在火山方舟平台正式上线。

豆包1.5·UI-TARS的主要功能

• 图形界面交互能力：依托于感知、推理及动作执行，能够与图形用户界面进行高效互动，完成复杂任务。
• 视觉理解与定位：精准识别屏幕上的视觉信息，支持多目标及小目标的框定与点定，进行定位计数和内容描述等。
• 逻辑推理与决策：结合视觉信息与任务指令，进行逻辑推演，从而生成合理的操作步骤。
• 高效执行能力：基于方舟豆包的大模型推理服务，具备全网最高的处理能力，初始吞吐量达到500万TPM，推理延迟仅为30ms。
• 原生GUI代理：无须预定义流程或人工规则，能够实现端到端的自动化GUI交互任务执行。

豆包1.5·UI-TARS的技术原理

• 视觉大模型（VLM）：该模型基于强大的视觉大模型，能够理解和处理图形界面中的各种视觉信息，包括图像、文本和图标等。
• 多模态融合：将视觉感知、逻辑推理及动作执行的能力集成至同一模型中，实现多种信息的融合处理。
• 端到端学习：通过海量标注数据与强化学习，模型实现从任务输入到操作输出的端到端映射，避免了人工规则的定义。

豆包1.5·UI-TARS的项目官网

• 项目官网：https://www.volcengine.com/docs

豆包1.5·UI-TARS的应用场景

• 自动化办公：可自动执行文档、表格、邮件等多项任务，从而显著提升工作效率。
• 软件测试：通过模拟用户操作来检测软件中的问题，提升软件质量。
• 智能客服：能够实时回答用户问题，提供操作指导。
• 机器人交互：帮助机器人完成复杂操作，广泛应用于工业及物流领域。

常见问题

• 豆包1.5·UI-TARS的使用门槛高吗？：该模型设计为易于使用，用户无需具备专业知识即可操作。
• 豆包1.5·UI-TARS支持哪些平台？：目前已在火山方舟平台上线，并持续扩展支持范围。
• 是否可以自定义功能？：用户可以根据需求进行配置，适配特定的业务场景。