4万亿晶体管5nm制程，全球最快AI芯片碾压H100！单机可训24万亿参数LLM，Llama 70B一天搞定

AIGC动态欢迎阅读

原标题：4万亿晶体管5nm制程，全球最快AI芯片碾压H100！单机可训24万亿参数LLM，Llama 70B一天搞定
关键字：模型,集群,芯片,系统,参数
文章来源：新智元
内容字数：4741字

内容摘要：

新智元报道编辑：桃子 好困
【新智元导读】AI世界的进化快的有点跟不上了。刚刚，全球最强最大AI芯片WSE-3发布，4万亿晶体管5nm工艺制程。更厉害的是，WSE-3打造的单个超算可训出24万亿参数模型，相当于GPT-4/Gemini的十倍大。全球最快、最强的AI芯片面世，让整个行业瞬间惊掉了下巴！
就在刚刚，AI芯片初创公司Cerebras重磅发布了「第三代晶圆级引擎」（WSE-3）。
性能上，WSE-3是上一代WSE-2的两倍，且功耗依旧保持不变。
90万个AI核心，44GB的片上SRAM存储，让WSE-3的峰值性能达到了125 FP16 PetaFLOPS。
这相当于52块英伟达H100 GPU！
不仅如此，相比于800亿个晶体管，芯片面积为814平方毫米的英伟达H100。
采用台积电5nm制程的WSE-3，不仅搭载了40000亿个晶体管（50倍），芯片面积更是高达46225平方毫米（57倍）。
专为AI打造的计算能力此前，在传统的GPU集群上，研究团队不仅需要科学地分配模型，还必须在过程中处理各种复杂问题，比如处理器单元的内存容量、互联带宽、同步机制等等，同时还要不断调整超参

原文链接：4万亿晶体管5nm制程，全球最快AI芯片碾压H100！单机可训24万亿参数LLM，Llama 70B一天搞定

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。