百模大战引爆「千卡集群竞赛」，“中国英伟达”交卷了

AIGC动态欢迎阅读

原标题：百模大战引爆「千卡集群竞赛」，“中国英伟达”交卷了
关键字：集群,模型,华为,线程,政策
文章来源：智东西
内容字数：10375字

内容摘要：

大模型引发AI算力荒，新一代千卡集群喂饱国产新苗子。
作者|三北
编辑|漠影
大模型正引发一波新的AI算力荒，从此前的芯片紧缺，上升为AI算力集群级的饥渴症。
根据产业链消息，参数可能仅30亿的Sora用4200-10500块H100训练了1个月；最新出炉的Llama 3 8B和70B的训练需要24000多块H100组成的集群；据称有1.8万亿参数的GPT-4是在10000-25000张A100上完成了训练……
OpenAI、Meta等都在用数千卡、甚至万卡串联，满足不断攀升的大模型训练需求，也给了我国大模型企业一本可参考的算力账。
然而，多位GPU算力集群业内人士告诉智东西，当下我国智能算力处于严重的供不应求状态。在GPU全球稀缺背景下，单卡性能已相对没那么重要，通过集群互联实现整体算力的最大化，成为解决AI算力荒的必要路径。
政策也已经紧锣密鼓地下发。4月24日，北京市经济和信息化局、北京市通信管理局印发《北京市算力基础设施建设实施方案（2024—2027年）》，方案提出，规划建设支撑万亿级参数大模型训练需求的超大规模智算集群，并对采购自主可控GPU芯片开展智能算力服务的企业予以支

原文链接：百模大战引爆「千卡集群竞赛」，“中国英伟达”交卷了