单张A100全精度推理！谷歌明星开源模型Gemma 2上新9B/27B，挑战3140亿Grok-1

AIGC动态欢迎阅读

原标题：单张A100全精度推理！谷歌明星开源模型Gemma 2上新9B/27B，挑战3140亿Grok-1
关键字：模型,报告,注意力,性能,高效
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：耳朵
【新智元导读】昨晚，谷歌正式开源了自家最强的开源模型Gemma 2，直指为全球范围研究开发者提供实用部署工具。就在昨晚，谷歌的明星开源大模型系列，又迎来两位新成员——Gemma 2 9B和Gemma 2 27B！
四个月前谷歌宣布重磅开源Gemma，四个月后Gemma 2上线，专门面向研究和开发人员。
目前，模型权重已经在HuggingFace上公开。
项目地址：https://huggingface.co/collections/google/gemma-2-release-667d6600fd5220e7b967f315
Gemma 2的核心亮点概括来说就是：参数虽小但性能极佳。
而且，27B模型甚至可在单张谷歌云TPU、英伟达A100 80GB GPU或英伟达H100 GPU上，以全精度高效运行推理。
高效新模型的诞生Gemma 2在设计的架构上均有创新，旨在实现卓越的性能和提高推理效率。
在技术报告中，Gemma 2最引人注目的三大创新优势在于：
首先，性能远超同同等规模模型。
Gemma 2 27B在同类产品中性能最佳，甚至能挑战规模更大的模型。
Ge

原文链接：单张A100全精度推理！谷歌明星开源模型Gemma 2上新9B/27B，挑战3140亿Grok-1