AIGC动态欢迎阅读
原标题:Mamba论文为什么没被ICLR接收?AI社区沸腾了
关键字:华为,模型,作者,长度,序列
文章来源:机器之心
内容字数:7085字
内容摘要:
机器之心报道
编辑:张倩、蛋酱基于 Mamba 的创新正不断涌现,但原论文却被 ICLR 放到了「待定区」。
2023 年,Transformer 在 AI 大模型领域的统治地位被撼动了。发起挑战的新架构名叫「Mamba」,它是一种选择性状态空间模型( selective state space model),在语言建模方面可以媲美甚至击败 Transformer。而且,它可以随上下文长度的增加实现线性扩展,其性能在实际数据中可提高到百万 token 长度序列,并实现 5 倍的推理吞吐量提升。
在发布之后的一个多月里,Mamba 逐渐展现出自己的影响力,衍生出了 MoE-Mamba、Vision Mamba、VMamba、U-Mamba、MambaByte 等多项工作,在克服 Transformer 短板方面表现出了越来越大的潜力。
但这样一颗冉冉升起的「新星」,却在 2024 年的 ICLR 会议中遭遇了滑铁卢。最新的公开结果显示,Mamba 的论文至今还没有被大会接收,我们只能在 Decision Pending(待定)一栏看到它的身影(可能是延迟决定,也可能是被拒)。总体来看,给
原文链接:Mamba论文为什么没被ICLR接收?AI社区沸腾了
联系作者
文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...