RNN回归!Bengio新作大道至简与Transformer一较高下

RNN回归!Bengio新作大道至简与Transformer一较高下

AIGC动态欢迎阅读

原标题:RNN回归!Bengio新作大道至简与Transformer一较高下
关键字:门控,模型,时间,序列,任务
文章来源:新智元
内容字数:0字

内容摘要:


新智元报道编辑:alan
【新智元导读】近日,深度学习三巨头之一的Yoshua Bengio,带领团队推出了全新的RNN架构,以大道至简的思想与Transformer一较高下。在Transformer统治的AI时代之下,
散落在世界各地的「RNN神教」信徒,一直相信并期待着RNN回归的那天:
毕竟,凭借强大的顺序和上下文感知能力,RNN曾在各种任务中表现惊艳。
直到后来遭遇了反向训练的瓶颈,因Scaling Law而跌落神坛。
然而,人们并没有忘记RNN。
RWKV、Mamba、xLSTM等RNN衍生模型接连出现,欲挑战Transformer之霸主地位。
就在近日,又有重量级人物下场——
深度学习三巨头之一的Yoshua Bengio,带领团队推出了全新的RNN架构,以大道至简的思想与Transformer一较高下。
论文地址:https://arxiv.org/pdf/2410.01201v1
研究人员对传统的两种RNN架构LSTM和GRU,进行了大刀阔斧的改造,从中诞生了两个新模型:minLSTM和minGRU。
这俩极简主义的版本到底怎么样?咱们先看疗效。
首先是RNN最大的问


原文链接:RNN回归!Bengio新作大道至简与Transformer一较高下

联系作者

文章来源:新智元
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...