更适合中文LMM体质的基准CMMMU来了：超过30个细分学科，12K专家级题目

AIGC动态欢迎阅读

原标题：更适合中文LMM体质的基准CMMMU来了：超过30个细分学科，12K专家级题目
关键字：错误,模型,题目,问题,能力
文章来源：机器之心
内容字数：6245字

内容摘要：

机器之心专栏
机器之心编辑部近期，随着多模态大模型（LMM）的能力不断进步，评估 LMM 性能的需求也日益增长。与此同时，在中文环境下评估 LMM 的高级知识和推理能力的重要性更加突出。
在这一背景下，M-A-P 开源社区、港科大、滑铁卢大学、零一万物等联合推出了面向中文大规模多学科多模态理解和推理基准 CMMMU（Chinese Massive Multi-discipline Multimodal Understanding and Reasoning），用于评估基本模型在中文各种任务中的专家级多模式理解能力。
CMMMU 涵盖 6 个大类学科，包括艺术、商业、健康和医学、科学、人文与社会科学、技术与工程，跨越 30 多个细分领域学科。下图给出了每个细分领域学科的一个题目示例。CMMMU 是第一个在中文背景下的多模态基准，也是现有少数的考察 LMM 复杂理解和推理能力的多模态基准之一。数据集构建
数据采集
数据采集分为三个阶段，第一阶段由研究者们为每一个科目收集满足版权许可要求的题目来源（网页或者书籍），同时避免题源重复，然后第二阶段，研究者们将题源转发给众包标注者以进行进一步的

原文链接：更适合中文LMM体质的基准CMMMU来了：超过30个细分学科，12K专家级题目