Transformer正在耗尽Transformer｜甲子光年

AIGC动态欢迎阅读

原标题：Transformer正在耗尽Transformer｜甲子光年
关键字：数据中心,报告,字节跳动,腾讯,电力
文章来源：甲子光年
内容字数：9570字

内容摘要：

新的GPT还没来，AI数据中心先遇到困难了。作者｜艾伦‍‍
编辑｜王博赵健‍
模型微调平台OpenPipe创始人Kyle Corbitt近期爆了一个料。
他与微软工程师的中，微软工程师透露了以下信息：
GPT-6正在训练中
在不同地区之间的GPU上配置InfiniBand（无限带宽）级别的连接很困难
而在一个州内放置（使用）超过10万个H100，就会使电网瘫痪有网友做了计算，如果十万个H100同时开启，功耗将达到70MW。正常来说一般大型电厂输出功率能达到2000MW，70MW负载其实并不大，但突然在电网中增加70MW的负载，就很容易让电网系统出问题。
OpenAI CEO 萨姆·奥尔特曼（Sam Altman）上周在访谈中提到：“今年OpenAI将会发布一个令人惊叹的模型，即将发布的模型相当于200个中等大小模型的混合。”
而在前段时间举行的“博世互联世界2024”大会上，埃隆·马斯克（Elon Musk）表示，自己在一年多前就预测到了芯片短缺，接下来短缺的会是降压变压器（step-down transformer），而明年将没有足够的电力来运行所有的芯片。
马斯克还讲了一个并

原文链接：Transformer正在耗尽Transformer｜甲子光年