GPT-4不会图形推理？“放水”后准确率依然只有33%

AIGC动态欢迎阅读

原标题：GPT-4不会图形推理？“放水”后准确率依然只有33%

关键字：报告,数据,研究者,测试,图形

文章来源：量子位

内容字数：4204字

内容摘要：克雷西 发自 凹非寺量子位 | 公众号 QbitAIGPT-4的图形推理能力，竟然连人类的一半都不到？美国圣塔菲研究所的一项研究显示，GPT-4做图形推理题的准确率仅有33%。而具有多模态能力的GPT-4v表现更糟糕，只能做对25%的题目。△虚线表示16项任务的平均表现这项实验结果发表后，迅速在YC上引发了广泛热议。赞同这项结果的网友表示，GPT确实不擅长抽象图形处理，“位置”“旋转”等概念理解起来更加困难。但另一边，不少网友对这个结论也有所质疑，简单说就是：不能说是错的，但说完全正确也无法让人信服。至于具体的原因，我们继续往下看。GPT-4准确率仅33%为了评估人类和GPT-4在这些图形题上的表现，研究者使用了自家机构于今年5月推出的ConceptARC数据集。ConceptARC中一共包括16个子类的图形推理题，每类30道，一共480道题目。这16个子类涵盖了位置关系、形状、操作、比较…

原文链接：点此阅读原文：GPT-4不会图形推理？“放水”后准确率依然只有33%

联系作者

文章来源：量子位

作者微信：QbitAI

作者简介：追踪人工智能新趋势，关注科技行业新突破