独家专访新型神经网络FAN作者：用傅里叶分析弥补Transformer重要缺陷｜甲子光年

AIGC动态欢迎阅读

原标题：独家专访新型神经网络FAN作者：用傅里叶分析弥补Transformer重要缺陷｜甲子光年
关键字：周期性,建模,模型,甲子,神经网络
文章来源：甲子光年
内容字数：0字

内容摘要：

难点在于，如何实现“既要又要还要”。作者｜苏霍伊
编辑｜王博
2017年，Google团队发表了一篇文章《Attention Is All You Need》。
这篇开创性的论文介绍了基于Transformer的深度学习架构。Transformer彻底改变了自然语言处理（NLP）领域，它的自注意力机制也被广泛应用于计算机视觉等其他领域，并对AI研究产生了深远影响，成为了AI发展史上的一个里程碑。截至今天，这篇论文的被引用次数已超过14万次。
如果说ChatGPT是席卷AI行业的一场“风暴”，那么Transformer就是“扇动翅膀”的那只蝴蝶。
但Transformer架构并不完美。《Attention Is All You Need》论文作者之一、Cohere联合创始人&CEO Aidan Gomez今年3月的英伟达GTC大会上说出了一句意味深长的话：“我们希望这个世界可以创造出比Transformer更好的东西。”
周期性特征的外推性困难就是Transformer的重要缺陷之一。
周期性是指某些现象或函数在规律的间隔内重复出现的特性，是最重要的基本特性之一。周期性现象广泛存在，例如

原文链接：独家专访新型神经网络FAN作者：用傅里叶分析弥补Transformer重要缺陷｜甲子光年

联系作者

文章来源：甲子光年
作者微信：
作者简介：