MV-MATH

MV-MATH – 中科院推出的基准数据集，评估模型处理多视觉信息的数学推理能力

MV-MATH是什么

MV-MATH是由中国科学院自动化研究所推出的创新基准数据集，旨在评估多模态大语言模型（MLLMs）在各种视觉场景中进行数学推理的能力。该数据集包含2009个高质量的数学问题，每道题目结合了多幅图像和文字，形成了图文交融的多视觉场景。问题类型包括选择题、填空题和多步问答题，覆盖11个数学领域，如解析几何、代数、度量几何等，并按难度分为三个等级。

MV-MATH的主要功能

• 多视觉场景推理：每个问题配有2到8张图像，与文本内容相辅相成，模拟真实的数学问题场景，全面评估模型处理多种视觉信息的推理能力。
• 广泛的数学领域覆盖：涉及11个数学学科（如解析几何、代数、立体几何等）和3个难度层次，能够全面评估模型在不同学科的推理表现。
• 图像关联性分析：首次引入图像相关性标签，将数据集分为相互依赖集（MD）和集（ID），从而分别评估模型在处理相关和图像时的推理能力。
• 教育应用：源自真实的K-12教育环境，可用于开发智能辅导系统，帮助学生通过图文结合的方式解决复杂的数学问题。
• 研究工具：为多模态学习领域提供标准化的评估工具，帮助研究人员识别和改善模型在数学推理中的性能差距。
• 高质量标注：每个样本经过至少两名标注者的交叉验证，包含问题、答案、详细分析及图像关联性标注，为模型评估提供详尽信息。
• 真实问题收集：所有问题均来源于实际场景，确保数据集的实用性和可靠性。

MV-MATH的技术原理

• 相互依赖集（Mutually Dependent Set，MD）：图像之间存在相互关联，理解一个图像需要参考其他图像。
• 集（Independent Set，ID）：图像之间相互，可以单独进行解读。

MV-MATH的项目地址

• 项目官网：https://eternal8080.github.io/MV-MATH.github.io/
• Github仓库：https://github.com/eternal8080/MV-MATH
• arXiv技术论文：https://arxiv.org/pdf/2502.20808
• HuggingFace数据集：https://huggingface.co/datasets/PeijieWang/MV-MATH

MV-MATH的应用场景

• 智能辅导系统：MV-MATH数据集可用于开发智能辅导平台，帮助学生通过图文结合的方式解决复杂的数学问题。
• 多模态学习研究：MV-MATH为多模态学习研究提供标准化评估工具，研究者可以利用该数据集评估MLLMs在多视觉场景中的数学推理能力，助力多模态学习技术的进步。
• 性能差距分析：通过广泛的实验，研究人员能够识别并改进模型在数学推理任务中的性能差距。
• 多图推理任务：该数据集可用于开发和优化多图推理任务的解决方案，从而在复杂数学问题中处理多个图像和文本信息。
• 自动化评估系统：数据集可用于评估和优化自动化考试系统，确保其在处理多模态输入时的准确性和可靠性。