DeepEyesV2

DeepEyesV2 – 小红书开源的多模态智能体模型

DeepEyesV2：小红书团队打造的颠覆性多模态智能体

在人工智能飞速发展的浪潮中，小红书团队近日发布了一款名为DeepEyesV2的重磅多模态智能体模型。这款模型凭借其创新的两阶段训练方法，在工具调用和多模态推理两大核心能力上取得了显著突破，预示着智能体技术迈入了新的纪元。

DeepEyesV2的核心亮点在于其卓越的图文信息理解能力。它能够精准捕捉图像与文字的内在联系，并在此基础上，主动调用如代码执行、网络搜索等外部工具，以获取更丰富的信息或完成复杂指令。更令人称道的是，模型会将工具返回的结果巧妙地融入自身的推理流程，从而有效解决现实世界中层出不穷的复杂问题。

这款模型的强大并非一蹴而就。其训练过程分为两个关键阶段：首先，通过监督微调（SFT），DeepEyesV2得以建立起对工具使用的基础认知，学习如何感知、推理以及处理长篇幅的思维链条。这一阶段尤其注重数据的多样性，覆盖了多种任务类型，确保模型在面对不同场景时都能掌握恰当的工具调用策略。紧接着，进入强化学习阶段，模型在已有认知的基础上，进一步优化工具调用策略，大幅提升了调用的效率和泛化能力。其目标在于减少不必要的工具调用，并在未知且复杂的场景中，展现出创造性地组合工具的能力，从而赋予模型极高的灵活性和适应性。

DeepEyesV2在全新的RealX-Bench基准测试中大放异彩，充分证明了其在多技能协调方面的强大实力。

DeepEyesV2的核心功能一览

• 全方位多模态感知：模型能够融会贯通文本与图像信息，深刻理解复杂的图文内容，提供更深层次的洞察。
• 智能主动式工具调用：当任务需求显现时，DeepEyesV2能主动唤醒外部工具，如代码执行环境或网络搜索引擎，以获取关键信息或执行精密操作。
• 动态推理与决策优化：模型将工具调用结果无缝整合至推理过程中，通过迭代式思考，逐步攻克难题。
• 任务适配性极强：针对不同类型的任务，无论是感知、推理还是其他，DeepEyesV2都能智能甄选最合适的工具，显著提升工作效率与准确度。
• 复杂任务的终结者：通过灵活运用工具组合与迭代推理，DeepEyesV2能够应对需要多维度能力协同的复杂挑战，例如集感知、搜索与推理于一体的综合性任务。

DeepEyesV2的精湛技术原理

• “冷启动”阶段（Cold Start）：
  • 监督微调（Supervised Fine-tuning， SFT）：海量包含详尽工具使用步骤的样本数据（涵盖感知型、推理型以及长思维链数据）被用于模型微调，旨在构建模型对工具运用的基础认知。
  • 精巧的数据设计：数据集合充分覆盖了各类任务场景，确保模型能够习得适用于不同情境的精妙工具调用策略。
• 强化学习阶段（Reinforcement Learning）：
  • 策略精炼：在“冷启动”的基础上，借助强化学习技术，进一步打磨模型的工具调用策略，以提升效率与泛化能力。
  • 终极目标：力求最大限度地减少冗余的工具调用，同时在未曾谋面的复杂场景中，激发模型的创造力，灵活组合运用工具，从而增强其柔韧性与适应性。

DeepEyesV2的项目探索之路

• 官方网站：https://visual-agent.github.io/
• GitHub代码库：https://github.com/Visual-Agent/DeepEyesV2
• 深度解析的arXiv论文：https://arxiv.org/pdf/2511.05271

DeepEyesV2的广阔应用前景

• 智能问答与信息检索的革新：用户只需上传一张图片并提出疑问，DeepEyesV2便能凭借其图像识别与网络搜索的协同能力，提供精准到位的答案。
• 教育领域的智慧助手：通过图像识别与深度推理，DeepEyesV2能够为学生提供个性化的作业辅导和知识探索的有力支持。
• 内容创作与编辑的灵感源泉：模型能够剖析图片内容，并据此提供专业的图像编辑建议以及富有创意的文案生成。
• 智能客服与技术支持的利器：结合图像识别与网络搜索，DeepEyesV2能够高效地为用户提供故障诊断和详尽的咨询解答。
• 医疗健康领域的辅助先锋：DeepEyesV2能协助医生对医学影像进行分析，并结合网络搜索，提供健康咨询建议和初步诊断参考。