为Llama 3铺路：Meta推出2个24K GPU集群｜甲子光年

AIGC动态欢迎阅读

原标题：为Llama 3铺路：Meta推出2个24K GPU集群｜甲子光年
关键字：元宇宙,集群,模型,人工智能,性能
文章来源：甲子光年
内容字数：4324字

内容摘要：

35万张 H100 的算力平台将为大模型领域带来什么改变？编译｜艾伦
编辑｜栗子
3月12日，Meta 推出2个 24KGPU集群，为训练 Llama3 构建超强资源池。
在 Meta 工程网站，Meta 披露了有关万卡集群的硬件、网络、存储、设计、性能和软件的详细信息，并声称到 2024 年底将完成 350,000 个 NVIDIA H100GPU集群的构建。届时，其整个资源池计算能力将相当于近 600,000 个 H100。
Meta 构建大规模 AI 基础设施由来已久。
2022年10月，ChatGPT 发布前，Meta 就与全球领先的存储服务提供商共同推出了 RSC（Research SuperCluster）计算平台，并一度成为全球最快的 AI 超级计算机之一。
初代 RSC 配备有 16,000 个 NVIDIA A100 GPU，主要任务是为 Meta 元宇宙计划铺路。随着 ChatGPT 强势出圈，AGI 浪潮袭来。RSC 也从主要服务元宇宙转向服务于 GenAI 及其他 AI 领域的研发。2023年2月，Meta 在 RSC 支持下，发布了 Llama 并开源。RSC

原文链接：为Llama 3铺路：Meta推出2个24K GPU集群｜甲子光年