2030年，Scaling Law会到达极限吗？GPT-6能出来吗？

AIGC动态欢迎阅读

原标题：2030年，Scaling Law会到达极限吗？GPT-6能出来吗？
关键字：数据,规模,模型,数据中心,电力
文章来源：Founder Park
内容字数：0字

内容摘要：

9 月 2 日，马斯克发文称，其人工智能公司 xAI 的团队上线了一台被称为「Colossus」的训练集群，总共有 100000 个英伟达的 H100 GPU。
他还表示，接下来的几个月里Colossus 的规模将扩大一倍，达到 200,000 个 GPU，其中 5 万个是更为先进的 H200。
毫无疑问，AI训练的规模正以惊人速度进化，年增长率已经高达400%。
不过，这种狂飙能持续到2030年吗？
EPOCHAI 的这篇文章论证了四个可能存在的增长瓶颈：供电、芯片产能、数据稀缺、延迟。
到2030年，AI训练的计算量有望达到2e^29 FLOP，预示着新一代AI模型的诞生。准备好迎接AI的下一个大了吗？这可能需要数千亿的投资，但回报可能是性的。
一些有意思的点：
2030年，很可能可以实现2e^29 FLOP的训练规模，2030的模型能力和现在相比，就像GPT-4和GPT-2的区别。
分布式训练有潜力克服集中式训练的电力瓶颈，实现比单一园区更大的训练规模。
到2030年，GPU的年产量预计将增长30%到100%。
五年内人类将耗尽全部文字语料，音视频数据或将缓解窘境，但质量

原文链接：2030年，Scaling Law会到达极限吗？GPT-6能出来吗？