AIGC动态欢迎阅读
原标题:谷歌Gemini大逆转?斯坦福Meta华人证明其推理性能强于GPT-3.5
关键字:数据,常识,模型,能力,问题
文章来源:新智元
内容字数:7689字
内容摘要:
新智元报道编辑:编辑部
【新智元导读】谷歌放出的Gemini,在对标GPT的道路上似乎一直处于劣势,Gemini真的比GPT-4弱吗?最近,斯坦福和Meta的学者发文为Gemini正名。Gemini的推理能力,真的比GPT-4弱吗?
此前,谷歌憋出的重磅复仇神器Gemini Pro,被发现在常识推理任务中落后于OpenAI的GPT模型。
之后又有CMU发布的论文和实验,证明Gemini Pro的很多能力都略微落后于GPT-3.5 Turbo。
不过最近,斯坦福和Meta的学者为Gemini洗清了这一「冤屈」。
他们发现,这种基于有限数据集(HellaSWAG)的评估,并不能完全捕捉到Gemini真正的常识推理潜力。
论文地址:https://arxiv.org/abs/2312.17661
而在新测试集中,Gemini的推理能力比之前强很多!
Gemini的真正潜力斯坦福和Meta的研究人员表示,以前的基于有限数据集的评估,对于Gemini不够公平。
这次,研究人员设计了需要跨模态整合常识知识的任务,以对Gemini在复杂推理任务中的表现进行彻底的评估。
研究人员对12个常识推理数据
原文链接:谷歌Gemini大逆转?斯坦福Meta华人证明其推理性能强于GPT-3.5
联系作者
文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...