大模型版“5年高考3年模拟”来了!6141道数学题,还是多模态的那种|微软&UCLA&UW联合出品

AIGC动态12个月前发布 量子位
17 0 0

大模型版“5年高考3年模拟”来了!6141道数学题,还是多模态的那种|微软&UCLA&UW联合出品

AIGC动态欢迎阅读

原标题:大模型版“5年高考3年模拟”来了!6141道数学题,还是多模态的那种|微软&UCLA&UW联合出品

关键字:报告,模型,能力,问题,数学

文章来源:量子位

内容字数:11565字

内容摘要:Pan Lu投稿量子位 | 公众号 QbitAI大模型的“5年高考3年模拟”数学题来了,还是加强强强版!微软、加州大学洛杉矶分校(UCLA)、华盛顿大学(UW)联合打造全新多模态数学推理基准数据集。名为“MathVista”。涵盖各种题型共6141个问题,来源于28个现有的多模态数据集和3个新标注的数据集。这下想要知道一个大模型数学水平怎么样,直接让它来做这份试卷。12个最新的大模型已经抢先体验了一把试题难度。一份112页的详细评测报告连同数据集一起发布。报告显示,面对MathVista中丰富的任务类型、推理方式和图像类型,即使是当前最先进的GPT-4V做起来都有“挫败感”,准确率为49.9%,和人类还有10.4%的差距。Bard排名第二,准确率为34.8%,差距再次拉大。此外,报告中还深入分析了GPT-4V在自我验证、自洽性和多轮对话能力的研究潜力等。详细内容我们接着往下看。MathVi…

原文链接:点此阅读原文:大模型版“5年高考3年模拟”来了!6141道数学题,还是多模态的那种|微软&UCLA&UW联合出品

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...