算力提高50%,显存也提高50%
原标题:英伟达年终!全新B300为o1推理大模型打造,RTX5090也曝光了
文章来源:量子位
内容字数:3437字
英伟达圣诞大礼包:AI芯片B300和GB300震撼发布
英伟达在圣诞节前夕发布了重磅AI芯片新品:B300 GPU和集成CPU的超级芯片GB300,引发业界热议。这两款芯片基于Blackwell架构,算力较前代B200提升50%,显存也从192GB提升至288GB。
1. B300和GB300的性能提升
B300系列的性能提升主要来自三个方面:工艺节点提升(虽然仍为台积电4N工艺,但功耗增加,GB300和B300 HGX的TDP分别达到1.4KW和1.2KW);架构微创新,例如在CPU和GPU之间动态分配功率;显存升级,从8层堆叠的HBM3E升级到12层(12-Hi HBM3E),显存容量增加,带宽保持不变。
2. GB300的创新设计及供应链影响
与前代GB200提供完整的Bianca Board不同,GB300系列只提供参考板,其他组件由客户自行采购,这为OEM和ODM厂商带来了新的机遇。
3. 针对推理大模型的优化
B300系列的显存升级对OpenAI o1/o3等推理大模型至关重要。GB300 NVL72“计算单元”包含72个GPU,能够以极低的延迟处理问题并共享显存,从而实现更长的思维链、更低的延迟和更低的推理成本。 SemiAnalysis的案例研究显示,相比H100,H200的内存带宽更大,处理效率提高43%,每秒生成的token数量增加3倍,成本降低约3倍。
4. 内存升级带来的效益
显存的升级不仅提升了性能,还显著缩短了推理时间,改善用户体验,并提升了模型的盈利能力。高性能模型的毛利率可达70%以上,而低性能模型则不足20%。
5. 英伟达的竞争优势
虽然其他厂商也能增加芯片内存,但英伟达拥有NVLink技术,构成了其竞争优势。
6. RTX 5090曝光
文章最后还提到了英伟达消费级显卡RTX 5090的PCB板曝光,预计配备32GB大显存,支持8K超高清游戏,或将于1月6日老黄CES演讲时发布。
总而言之,英伟达的B300和GB300系列芯片的发布,代表着AI芯片领域的一次重大飞跃,其性能提升和针对推理大模型的优化,将对整个AI产业产生深远的影响。
联系作者
文章来源:量子位
作者微信:
作者简介:追踪人工智能新趋势,关注科技行业新突破