颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍

AIGC动态欢迎阅读

原标题：颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍

关键字：模型,序列,架构,卷积,研究人员

文章来源：新智元

内容字数：15024字

内容摘要：新智元报道编辑：编辑部【新智元导读】诞生6周年的Transformer，霸主之位终于要被颠覆了？CMU、普林斯顿研究者发布的Mamba，解决了Transformer核心注意力层无法扩展的致命bug，推理速度直接飙升了5倍！一个时代要结束了？深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。Transformer虽强大，却有一个致命的bug：核心注意力层无法扩展到长期上下文。刚刚，CMU和普林斯顿的研究者发布了Mamba。这种SSM架构在语言建模上与Transformers不相上下，而且还能线性扩展，同时具有5倍的推理吞吐量！论文地址：https://arxiv.org/abs/2312.00752论文一作Albert Gu表示，二次注意力对于信息密集型模…

原文链接：点此阅读原文：颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。