Mamba论文为什么没被ICLR接收？AI社区沸腾了

AIGC动态欢迎阅读

原标题：Mamba论文为什么没被ICLR接收？AI社区沸腾了
关键字：华为,模型,作者,长度,序列
文章来源：机器之心
内容字数：7085字

内容摘要：

机器之心报道
编辑：张倩、蛋酱基于 Mamba 的创新正不断涌现，但原论文却被 ICLR 放到了「待定区」。
2023 年，Transformer 在 AI 大模型领域的统治地位被撼动了。发起挑战的新架构名叫「Mamba」，它是一种选择性状态空间模型（ selective state space model），在语言建模方面可以媲美甚至击败 Transformer。而且，它可以随上下文长度的增加实现线性扩展，其性能在实际数据中可提高到百万 token 长度序列，并实现 5 倍的推理吞吐量提升。
在发布之后的一个多月里，Mamba 逐渐展现出自己的影响力，衍生出了 MoE-Mamba、Vision Mamba、VMamba、U-Mamba、MambaByte 等多项工作，在克服 Transformer 短板方面表现出了越来越大的潜力。
但这样一颗冉冉升起的「新星」，却在 2024 年的 ICLR 会议中遭遇了滑铁卢。最新的公开结果显示，Mamba 的论文至今还没有被大会接收，我们只能在 Decision Pending（待定）一栏看到它的身影（可能是延迟决定，也可能是被拒）。总体来看，给

原文链接：Mamba论文为什么没被ICLR接收？AI社区沸腾了