GPT-4o攻破ARC-AGI无法被挑战的神话！71%准确率成新SOTA

AIGC动态欢迎阅读

原标题：GPT-4o攻破ARC-AGI无法被挑战的神话！71%准确率成新SOTA
关键字：测试,问题,人类,基线,示例
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：庸庸乔杨
【新智元导读】号称不可能轻易被击败的AGI基准ARC-AGI被GPT-4o撼动，GPT-4o以在公共测试集50%、在训练集71%的准确率成为了新的SOTA！ARC-AGI是唯一可以用来衡量通用人工智能进展的基准，创造者François Chollets曾经掷下豪言——
「它不可能轻易被击败！」
为了测试这一点，他于2020年在 Kaggle（Google LLC旗下的数据科学竞赛平台）上主办了首届ARC-AGI竞赛。
获胜团队icecuber在测试集上仅取得了21%的成功率，这个成绩强有力地证明了François的断言是正确的。
此后几年，来自世界各地的挑战者不断刷新这个纪录，但进展缓慢。ARC-AGI似乎成为了一座不可跨越的高山。
可是这周二，ARC-AGI基准无法被挑战的神话被GPT-4o撼动了！GPT-4o以在公共测试集50%、在训练集的保留子集71%的准确率成为了新的SOTA！
ARC-AGI上周被大肆宣传为LLM无法解决的基准。这个说法激发了我亲爱的同事Ryan Greenblatt的斗志，因此他上周试图用 LLMs 来解决这个问题。Ryan在一组

原文链接：GPT-4o攻破ARC-AGI无法被挑战的神话！71%准确率成新SOTA

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。