英伟达B200打破摩尔定律！老黄顺便公开GPT-4的秘密

AIGC动态欢迎阅读

原标题：英伟达B200打破摩尔定律！老黄顺便公开GPT-4的秘密
关键字：元宇宙,迪士尼,腾讯,知识产权,架构
文章来源：量子位
内容字数：7690字

内容摘要：

梦晨克雷西发自凹非寺量子位 | 公众号 QbitAI整个AI圈最想知道的秘密，被老黄在PPT某页的小字里写出来了？
时隔两年，英伟达官宣新一代Blackwell架构，为AI带来30倍推理加速。定位直指“新工业的引擎” 。
老黄PPT中拿了一个1.8万亿参数MoE的GPT系列大模型测试结果来证明。
眼尖的网友当场就盯上了这行不起眼的小字，截图发出神秘暗号。‍‍‍‍‍‍‍
1.8万亿参数、MoE架构，与初代GPT-4的细节传闻一毛一样，32k序列长度也能对得上。‍‍‍‍‍‍‍‍‍‍‍‍‍‍
刚升任研究经理不久的英伟达科学家Jim Fan，甚至直接摊牌了。
表达摩尔定律已经限制不住英伟达了的同时，直接点破了这层窗户纸。‍‍‍‍‍
不过个秘密之所以能以这种形式半官方确认，很可能说明对OpenAI来说已经无关紧要了。
很多人相信，最新版gpt-4-turbo经过一轮轮的优化，已经蒸馏到更小规模。
说回到英伟达GTC大会本身，作为架构更新的大年，老黄的主题演讲亮点颇多：
宣布GPU新B200，超级芯片GB200
Blackwell架构新服务器，一个机柜顶一个超算
推出AI推理微服务N

原文链接：英伟达B200打破摩尔定律！老黄顺便公开GPT-4的秘密