Mamba正式被ICLR拒收!“年度最佳技术原理解读”却火了

AIGC动态9个月前发布 量子位
27 0 0

Mamba正式被ICLR拒收!“年度最佳技术原理解读”却火了

AIGC动态欢迎阅读

原标题:Mamba正式被ICLR拒收!“年度最佳技术原理解读”却火了
关键字:解读,腾讯,卷积,建模,作者
文章来源:量子位
内容字数:8734字

内容摘要:


丰色 发自 凹非寺量子位 | 公众号 QbitAI悬着的心终于死了:
被尊为Transformer挑战者的Mamba,已正式被ICLR拒绝。
(之前被“初拒”后在学术圈引起轩然大波,转为“待定(Decision Pending)”状态)
但这位“顶流”的热度岂受影响?
这不,一篇关于它的最新通俗解读(作者:Jack Cook,牛津互联网研究院研究员,曾在MIT、英伟达、微软工作),刚刚诞生,还在被网友们疯狂点赞收藏。
有人甚至称它为:
到目前为止的年度最佳(解读)。
咱也不能错过。
以下为原文精华传送:
背景:S4架构Mamba的架构主要基于S4,一种最新的状态空间模型(SSM,state space model)架构。
其主要思想如下:
在较高层次上,S4学习如何通过中间状态 h(t) 将输入x(t) 映射到输出 y(t) 上。
在此,由于SSM被设计于很好地处理连续数据,例如音频、传感器数据和图像,因此x、y、t 是x的函数。
S4通过三个连续参数矩阵A、B和C将它们互联,具体形式表现为以下两个方程(Mamba论文中的1a和1b):
由于在实践中,我们一般都是处理离散数据比如文本,


原文链接:Mamba正式被ICLR拒收!“年度最佳技术原理解读”却火了

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...