CMU权威对比Gemini，GPT-3和Mistral8×7B！GPT-3.5依旧拿捏Gemini，开源模型差距依然不小

AIGC动态欢迎阅读

原标题：CMU权威对比Gemini，GPT-3和Mistral8×7B！GPT-3.5依旧拿捏Gemini，开源模型差距依然不小
关键字：任务,模型,测试,问题,语言
文章来源：新智元
内容字数：10060字

内容摘要：

新智元报道编辑：山令alan
【新智元导读】谷歌发布Gemini以后，一直宣称Gemini Pro要优于GPT-3.5，而CMU的研究人员通过自己实测，给大家来了一个客观中立第三方的对比。结果却是GPT-3.5几乎还是全面优于Gemini Pro，不过双方差距不大。谷歌最近发布的Gemini掀起了不小的波澜。
毕竟，大语言模型领域几乎是OpenAI的GPT一家独大的局面。
不过作为吃瓜群众，当然希望科技公司都卷起来，大模型都打起来！
所以，作为科技巨无霸谷歌的亲儿子，Gemini自然承受了很高的期待。
虽然Gemini发布之后发生了一些奇奇怪怪的事情吧，什么视频造假啦，认为自己是文心一言啦。
不过问题不大，咱们不看广告看疗效。
最近在CMU，研究人员进行了一组公正、深入和可重复的实验测试，重点比较了Gemini和GPT在各项任务中的优劣，另外还加入了开源的竞争对手Mixtral。
论文地址：https://arxiv.org/abs/2312.11444
代码地址：https://github.com/neulab/gemini-benchmark
研究人员在论文中对Google G

原文链接：CMU权威对比Gemini，GPT-3和Mistral8×7B！GPT-3.5依旧拿捏Gemini，开源模型差距依然不小

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。