单张A100全精度推理!谷歌明星开源模型Gemma 2上新9B/27B,挑战3140亿Grok-1

AIGC动态5个月前发布 新智元
10 0 0

单张A100全精度推理!谷歌明星开源模型Gemma 2上新9B/27B,挑战3140亿Grok-1

AIGC动态欢迎阅读

原标题:单张A100全精度推理!谷歌明星开源模型Gemma 2上新9B/27B,挑战3140亿Grok-1
关键字:模型,报告,注意力,性能,高效
文章来源:新智元
内容字数:0字

内容摘要:


新智元报道编辑:耳朵
【新智元导读】昨晚,谷歌正式开源了自家最强的开源模型Gemma 2,直指为全球范围研究开发者提供实用部署工具。就在昨晚,谷歌的明星开源大模型系列,又迎来两位新成员——Gemma 2 9B和Gemma 2 27B!
四个月前谷歌宣布重磅开源Gemma,四个月后Gemma 2上线,专门面向研究和开发人员。
目前,模型权重已经在HuggingFace上公开。
项目地址:https://huggingface.co/collections/google/gemma-2-release-667d6600fd5220e7b967f315
Gemma 2的核心亮点概括来说就是:参数虽小但性能极佳。
而且,27B模型甚至可在单张谷歌云TPU、英伟达A100 80GB GPU或英伟达H100 GPU上,以全精度高效运行推理。
高效新模型的诞生Gemma 2在设计的架构上均有创新,旨在实现卓越的性能和提高推理效率。
在技术报告中,Gemma 2最引人注目的三大创新优势在于:
首先,性能远超同同等规模模型。
Gemma 2 27B在同类产品中性能最佳,甚至能挑战规模更大的模型。
Ge


原文链接:单张A100全精度推理!谷歌明星开源模型Gemma 2上新9B/27B,挑战3140亿Grok-1

联系作者

文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...