UNO-Bench

UNO-Bench – 美团LongCat推出的全模态大模型评测基准

UNO-Bench：革新全模态大模型评测的标杆之作

在人工智能飞速发展的浪潮中，全模态大模型正以前所未有的姿态改变着我们与技术的互动方式。然而，现有的评测体系在衡量这些复杂模型的能力时，往往显得力不从心。针对这一痛点，美团LongCat团队倾力打造了UNO-Bench——一个旨在提供更全面、更精准评估的全模态大模型评测基准。

UNO-Bench 的核心价值

UNO-Bench 不仅仅是一个评测工具，它更是一个深刻洞察全模态大模型能力构成的新视角。通过精心构建的、兼具高质量与多样性的数据集，UNO-Bench 能够精准地捕捉模型在单一模态（如图像、音频、视频、文本）以及跨模态融合任务上的表现。尤为值得一提的是，UNO-Bench 首次成功验证了全模态大模型所遵循的“组合定律”，深刻揭示了单模态能力与全模态能力之间错综复杂的关系。此外，UNO-Bench 引入了创新的多步开放式问题（MO）和高效的数据压缩算法，极大地提升了评测的区分度和效率，为推动全模态大模型技术的进步提供了坚实的科学评估基础。

UNO-Bench 的关键功能亮点

• 深度洞察模型潜能：借助海量高质量、多样化的数据集，UNO-Bench 全面审视模型在图像、音频、视频及文本等单模态任务上的表现，并深入评估其在整合多模态信息时的综合实力。
• 揭示能力协同机制：UNO-Bench 率先揭示了全模态大模型的“组合定律”，揭示了单模态能力与全模态能力之间并非简单的线性叠加，而是存在着更深层次的协同关系，为模型的设计与优化提供了宝贵的理论指导。
• 革新性评测范式：UNO-Bench 独创的多步开放式问题（MO）设计，能够有效检测模型在处理复杂推理任务时的能力衰减情况，从而精准地区分模型在推理深度上的差异。
• 优化评测效率：通过运用聚类引导的分层抽样技术，UNO-Bench 在显著降低评测成本的同时，依然能保持模型排名的稳定性和高度一致性。
• 赋能多模态研究前沿：UNO-Bench 为广大研究者提供了一个统一、标准的评测框架，有力地推动了全模态大模型领域的研究进展，为孕育更强大的下一代模型奠定了坚实基础。

UNO-Bench 的技术基石

• 统一的能力维度：UNO-Bench 将模型的能力体系划分为感知层与推理层。感知层涵盖了基础识别、跨模态对齐等能力，而推理层则深入到空间推理、时序推理等高阶任务。这种双维度的框架为数据的构建和模型的评测提供了清晰的指导蓝图。
• 精益求精的数据构建：
  • 严谨的数据采集与标注：通过细致的人工标注和多轮严格的质检，UNO-Bench 确保了数据集的高质量与丰富性。值得注意的是，超过90%的数据为原创私有化内容，有效规避了数据污染的风险。
  • 确保跨模态的必要性：通过精心设计的模态消融实验，UNO-Bench 确保了98%以上的问题必须依赖多模态信息才能得到解答，从而杜绝了单模态信息冗余的可能性。
  • 视听分离的巧妙融合：UNO-Bench 设计音频内容，并将其与视觉素材进行人工组合，这种方式打破了信息冗余的壁垒，迫使模型真正地进行跨模态的信息融合。
  • 智能数据优化与压缩：采用聚类引导的分层抽样方法，UNO-Bench 能够从海量数据中筛选出最具代表性的样本，从而有效降低评测成本，同时保障了模型排名的稳定性。
• 创新性的评测方：UNO-Bench 将复杂的推理任务分解为一系列子问题，并要求模型提供开放式的文本答案。通过专家加权评分机制，能够精准地评估模型的推理能力。通过对问题类型的细分以及多轮标注的迭代优化，UNO-Bench 实现了对多种问题类型的自动评分，其准确率高达95%。
• “组合定律”的严谨验证：通过回归分析和消融实验，UNO-Bench 揭示了全模态性能并非简单地由单模态能力线性叠加而成，而是遵循着幂律协同的规律。这种非线性的关系为评估模型融合效率提供了全新的分析视角。

UNO-Bench 的可及之处

• 项目官网：https://meituan-longcat.github.io/UNO-Bench/
• GitHub 仓库：https://github.com/meituan-longcat/UNO-Bench
• HuggingFace 模型库：https://huggingface.co/datasets/meituan-longcat/UNO-Bench
• arXiv 技术论文：https://arxiv.org/pdf/2510.18915

UNO-Bench 的广泛应用前景

• 驱动模型研发与精进：UNO-Bench 为模型开发者提供了一套标准化的评测工具，能够有效助力模型架构的优化，并显著提升其多模态融合能力。
• 赋能行业应用落地：在智能客服、自动驾驶等诸多领域，UNO-Bench 可以被用于评估模型在复杂多模态交互场景下的表现，从而优化用户体验，提升服务质量。
• 推动学术研究与竞赛创新：作为一项权威的学术评测基准，UNO-Bench 为模型性能的横向比较和多模态领域的竞赛提供了坚实的基础，有力地促进了技术的前沿突破。
• 支撑产品开发与市场洞察：UNO-Bench 能够帮助企业科学地评估其多模态产品的功能表现与市场竞争力，为相关产品的研发提供有力的决策支持。
• 加速跨模态应用开发进程：在多媒体内容创作、智能安防等领域，UNO-Bench 的应用能够显著提升多模态应用的性能和可靠性，推动相关产业的创新发展。