AIGC动态欢迎阅读
原标题:为Llama 3铺路:Meta推出2个24K GPU集群|甲子光年
关键字:元宇宙,集群,模型,人工智能,性能
文章来源:甲子光年
内容字数:4324字
内容摘要:
35万张 H100 的算力平台将为大模型领域带来什么改变?编译|艾伦
编辑|栗子
3月12日,Meta 推出2个 24KGPU集群,为训练 Llama3 构建超强资源池。
在 Meta 工程网站,Meta 披露了有关万卡集群的硬件、网络、存储、设计、性能和软件的详细信息,并声称到 2024 年底将完成 350,000 个 NVIDIA H100GPU集群的构建。届时,其整个资源池计算能力将相当于近 600,000 个 H100。
Meta 构建大规模 AI 基础设施由来已久。
2022年10月,ChatGPT 发布前,Meta 就与全球领先的存储服务提供商共同推出了 RSC(Research SuperCluster)计算平台,并一度成为全球最快的 AI 超级计算机之一。
初代 RSC 配备有 16,000 个 NVIDIA A100 GPU,主要任务是为 Meta 元宇宙计划铺路。随着 ChatGPT 强势出圈,AGI 浪潮袭来。RSC 也从主要服务元宇宙转向服务于 GenAI 及其他 AI 领域的研发。2023年2月,Meta 在 RSC 支持下,发布了 Llama 并开源。RSC
原文链接:为Llama 3铺路:Meta推出2个24K GPU集群|甲子光年
联系作者
文章来源:甲子光年
作者微信:jazzyear
作者简介:甲子光年是一家科技智库,包含智库、社群、企业服务版块,立足中国科技创新前沿阵地,动态跟踪头部科技企业发展和传统产业技术升级案例,推动人工智能、大数据、物联网、云计算、新能源、新材料、信息安全、大健康等科技创新在产业中的应用与落地。