大模型版“5年高考3年模拟”来了！6141道数学题，还是多模态的那种｜微软&UCLA&UW联合出品

AIGC动态欢迎阅读

原标题：大模型版“5年高考3年模拟”来了！6141道数学题，还是多模态的那种｜微软&UCLA&UW联合出品

关键字：报告,模型,能力,问题,数学

文章来源：量子位

内容字数：11565字

内容摘要：Pan Lu投稿量子位 | 公众号 QbitAI大模型的“5年高考3年模拟”数学题来了，还是加强强强版！微软、加州大学洛杉矶分校（UCLA）、华盛顿大学（UW）联合打造全新多模态数学推理基准数据集。名为“MathVista”。涵盖各种题型共6141个问题，来源于28个现有的多模态数据集和3个新标注的数据集。这下想要知道一个大模型数学水平怎么样，直接让它来做这份试卷。12个最新的大模型已经抢先体验了一把试题难度。一份112页的详细评测报告连同数据集一起发布。报告显示，面对MathVista中丰富的任务类型、推理方式和图像类型，即使是当前最先进的GPT-4V做起来都有“挫败感”，准确率为49.9%，和人类还有10.4%的差距。Bard排名第二，准确率为34.8%，差距再次拉大。此外，报告中还深入分析了GPT-4V在自我验证、自洽性和多轮对话能力的研究潜力等。详细内容我们接着往下看。MathVi…

原文链接：点此阅读原文：大模型版“5年高考3年模拟”来了！6141道数学题，还是多模态的那种｜微软&UCLA&UW联合出品