谷歌Gemini大逆转?斯坦福Meta华人证明其推理性能强于GPT-3.5

AIGC动态10个月前发布 新智元
22 0 0

谷歌Gemini大逆转?斯坦福Meta华人证明其推理性能强于GPT-3.5

AIGC动态欢迎阅读

原标题:谷歌Gemini大逆转?斯坦福Meta华人证明其推理性能强于GPT-3.5
关键字:数据,常识,模型,能力,问题
文章来源:新智元
内容字数:7689字

内容摘要:


新智元报道编辑:编辑部
【新智元导读】谷歌放出的Gemini,在对标GPT的道路上似乎一直处于劣势,Gemini真的比GPT-4弱吗?最近,斯坦福和Meta的学者发文为Gemini正名。Gemini的推理能力,真的比GPT-4弱吗?
此前,谷歌憋出的重磅复仇神器Gemini Pro,被发现在常识推理任务中落后于OpenAI的GPT模型。
之后又有CMU发布的论文和实验,证明Gemini Pro的很多能力都略微落后于GPT-3.5 Turbo。
不过最近,斯坦福和Meta的学者为Gemini洗清了这一「冤屈」。
他们发现,这种基于有限数据集(HellaSWAG)的评估,并不能完全捕捉到Gemini真正的常识推理潜力。
论文地址:https://arxiv.org/abs/2312.17661
而在新测试集中,Gemini的推理能力比之前强很多!
Gemini的真正潜力斯坦福和Meta的研究人员表示,以前的基于有限数据集的评估,对于Gemini不够公平。
这次,研究人员设计了需要跨模态整合常识知识的任务,以对Gemini在复杂推理任务中的表现进行彻底的评估。
研究人员对12个常识推理数据


原文链接:谷歌Gemini大逆转?斯坦福Meta华人证明其推理性能强于GPT-3.5

联系作者

文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...