小扎自曝砸重金训Llama 4，24万块GPU齐发力！预计2025年发布

AIGC动态欢迎阅读

原标题：小扎自曝砸重金训Llama 4，24万块GPU齐发力！预计2025年发布
关键字：元宇宙,报告,美元,模型,集群
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：桃子
【新智元导读】没想到，多模态Llama 4已经紧锣密鼓地开始训练中了。小扎表示，将投入Llama 3的十倍计算量训练模型，预计2025年发布。他不惜重金购买GPU，就是害怕为时已晚。Llama 3.1刚发布不久，Llama 4已完全投入训练中。
这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。
这笔账单，老黄又成为最大赢家
十倍计算量，是什么概念？
要知道，Llama 3是在两个拥有24,000块GPU集群完成训练。也就是说，Llama 4训练要用24万块GPU。那么，Meta存货还够不够？
还记得小扎曾在年初宣布，计划到年底要部署35万块英伟达H100。
他还透露了更多的细节，Meta内部将为训练LLM打造两个单集群，一个配备22,000块H100，另一个集群配备24,000块。
有网友曾回顾了Llama模型迭代过程中，GPU的用量如何增长的：
Llama 1：2048块GPU
Llama 2：4096块GPU
Llama 3.1：16384块GPU
或斥资400亿美金，小扎不愿为时

原文链接：小扎自曝砸重金训Llama 4，24万块GPU齐发力！预计2025年发布

联系作者

文章来源：新智元
作者微信：
作者简介：