英伟达Blackwell称霸MLPerf！推理性能暴涨30倍，新一代「AI怪兽」诞生

AIGC动态欢迎阅读

原标题：英伟达Blackwell称霸MLPerf！推理性能暴涨30倍，新一代「AI怪兽」诞生
关键字：模型,性能,芯片,测试,基准
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：乔杨好困
【新智元导读】MLPerf Inference发布了最新测试结果，英伟达最新的Blackwell架构芯片上场与谷歌、AMD同场竞技，展现出明显的性能提升，甚至刷新了部分任务上的测试纪录。大语言模型（LLM）推理是一个全栈挑战。
为了实现高吞吐量、低延迟的性能，不仅需要强大的GPU，还需要高带宽的芯片互连技术、高效的加速库以及高度优化的推理引擎。
就在刚刚，MLCommons发布了基准测试套件MLPerf Inference v4.1的最新测试结果，此次发布涵盖了专家混合（MoE）模型架构的首次评测结果，展示了与推理功耗相关的新发现。
MLCommons在最新的AI基准测试中添加了MoE模型
MLPerf是一个流行且得到广泛认可的测试套件，以架构中立、具有代表性和可重复的方式提供机器学习系统的性能基准测试，每年更新两次
本轮测试的参赛者如下：
AMD MI300x加速器（已上市）
AMD EPYC 「Turin」 CPU（预览版）
Google 「Trillium」 TPUv6e加速器（预览版）
Intel 「Granite Rapids」 Xeon CPU

原文链接：英伟达Blackwell称霸MLPerf！推理性能暴涨30倍，新一代「AI怪兽」诞生