摸底谷歌Gemini：CMU全面测评，Gemini Pro不敌GPT 3.5 Turbo

AIGC动态欢迎阅读

原标题：摸底谷歌Gemini：CMU全面测评，Gemini Pro不敌GPT 3.5 Turbo
关键字：模型,任务,作者,测试,语言
文章来源：机器之心
内容字数：16000字

内容摘要：

机器之心报道
机器之心编辑部谷歌的 Gemini 到底几斤几两？和 OpenAI 的 GPT 模型相比表现如何？CMU 这篇论文测明白了。前段时间，谷歌发布了对标 OpenAI GPT 模型的竞品 ——Gemini。这个大模型共有三个版本 ——Ultra（能力最强）、Pro 和 Nano。研究团队公布的测试结果显示，Ultra 版本在许多任务中优于 GPT4，而 Pro 版本与 GPT-3.5 不相上下。
尽管这些对比结果对大型语言模型研究具有重要意义，但由于确切的评估细节和模型预测尚未公开，这限制了对测试结果的复现、检测，难以进一步分析其隐含的细节。
为了了解 Gemini 的真正实力，来自卡内基梅隆大学、BerriAI 的研究者对该模型的语言理解和生成能力进行了深入探索。
他们在十个数据集上测试了 Gemini Pro、GPT 3.5 Turbo、GPT 4 Turbo、Mixtral 的文本理解和生成能力。具体来说，他们在 MMLU 上测试了模型回答基于知识的问题的能力，在 BigBenchHard 上测试了模型的推理能力，在 GSM8K 等数据集中测试了模型解答数学问题的能力，

原文链接：摸底谷歌Gemini：CMU全面测评，Gemini Pro不敌GPT 3.5 Turbo

联系作者

文章来源：机器之心
作者微信：almosthuman2014
作者简介：专业的人工智能媒体和产业服务平台