7人创业、1人投敌！Transformer 八子谷歌坐冷板凳5年再成老黄座上宾

AIGC动态欢迎阅读

原标题：7人创业、1人投敌！Transformer 八子谷歌坐冷板凳5年再成老黄座上宾
关键字：解读,模型,注意力,团队,神经网络
文章来源：AI前线
内容字数：21636字

内容摘要：

作者｜Steven Levy
译者｜核子可乐
策划｜冬梅
导读：
3月21日，GTC AI大会，黄仁勋对话7位Transformer框架论文作者。他们认为，AI行业被困在了六七年前的原型上，这个世界需要更好的模型。
Transformer 架构的诞生源于自然语言处理（NLP）领域的迫切需求。在过去，传统的循环神经网络（RNN）和卷积神经网络（CNN）在处理序列数据时面临一些挑战。RNN 虽然能够捕捉序列中的依赖关系，但由于其顺序处理的方式，导致计算效率低下，并且难以处理长距离依赖。而 CNN 虽然可以并行计算，但在处理变长序列时不够灵活。
为了克服这些挑战，2017 年，谷歌的 8 名研究人员联合发表了名为《你所需要的是注意力》（Attention Is All You Need）的论文，并在这篇论文中提出了 Transformer 架构，它能真正地解决 RNN 和 CNN 在处理序列数据时存在的问题。
Transformer 采用了自注意力机制（Self-Attention Mechanism），使得模型能够同时关注序列中的所有位置，从而捕捉长距离依赖关系。此外，Transforme

原文链接：7人创业、1人投敌！Transformer 八子谷歌坐冷板凳5年再成老黄座上宾