谷歌Gemini大逆转？斯坦福Meta华人证明其推理性能强于GPT-3.5

AIGC动态欢迎阅读

原标题：谷歌Gemini大逆转？斯坦福Meta华人证明其推理性能强于GPT-3.5
关键字：数据,常识,模型,能力,问题
文章来源：新智元
内容字数：7689字

内容摘要：

新智元报道编辑：编辑部
【新智元导读】谷歌放出的Gemini，在对标GPT的道路上似乎一直处于劣势，Gemini真的比GPT-4弱吗？最近，斯坦福和Meta的学者发文为Gemini正名。Gemini的推理能力，真的比GPT-4弱吗？
此前，谷歌憋出的重磅复仇神器Gemini Pro，被发现在常识推理任务中落后于OpenAI的GPT模型。
之后又有CMU发布的论文和实验，证明Gemini Pro的很多能力都略微落后于GPT-3.5 Turbo。
不过最近，斯坦福和Meta的学者为Gemini洗清了这一「冤屈」。
他们发现，这种基于有限数据集（HellaSWAG）的评估，并不能完全捕捉到Gemini真正的常识推理潜力。
论文地址：https://arxiv.org/abs/2312.17661
而在新测试集中，Gemini的推理能力比之前强很多！
Gemini的真正潜力斯坦福和Meta的研究人员表示，以前的基于有限数据集的评估，对于Gemini不够公平。
这次，研究人员设计了需要跨模态整合常识知识的任务，以对Gemini在复杂推理任务中的表现进行彻底的评估。
研究人员对12个常识推理数据

原文链接：谷歌Gemini大逆转？斯坦福Meta华人证明其推理性能强于GPT-3.5