颠覆传统：新型FAN神经网络如何用傅里叶分析Transformer的瓶颈

难点在于，如何实现“既要又要还要”。

原标题：独家专访新型神经网络FAN作者：用傅里叶分析弥补Transformer重要缺陷｜甲子光年
文章来源：甲子光年
内容字数：11468字

1. 引言

2017年，Google团队发表的论文《Attention Is All You Need》引入了Transformer架构，彻底改变了自然语言处理（NLP）领域。然而，Transformer在周期性特征建模上存在明显缺陷，无法有效捕捉周期性现象的本质。本文围绕北京大学李戈教授团队提出的FAN（傅里叶分析网络）展开，探讨其在周期性建模中的优势及应用。

2. 周期性建模的重要性

周期性现象广泛存在于自然科学和人类社会中，如天文学的行星和生物学的昼夜节律。有效建模这些周期性特征对许多实际任务至关重要。然而，现有的基础模型如MLP和Transformer在理解这些现象时表现不佳，甚至在外推时失控。

3. FAN的创新之处

FAN通过引入傅里叶原理，将周期性信息嵌入网络结构。其核心结构FAN Layer能够高效地捕捉周期性特征，同时保持其他能力不受影响。FAN在参数和计算需求上均优于传统模型，特别是在周期性建模和实际任务应用中展现了显著优势。

4. FAN的性能评估

实验表明，FAN在周期性建模和实际任务（如时间序列预测和语言建模）中优于现有模型。尤其在处理周期性数据时，FAN能够提供有效的助力，显著提升性能。整合FAN的改良Transformer模型在多项任务中同样表现出色。

5. 对神经网络理解的转变

FAN不仅增强了对周期性特征的建模能力，还简化了模型的参数和计算需求。它为基础模型提供了一种新的范式，强调了当前模型在周期性建模方面的潜在缺陷。

6. 未来研究方向

未来，FAN的研究将集中于优化与现有模型的结合方式、提升参数规模以及拓展应用范围。研究者们希望进一步验证FAN在更大参数规模的LLM中的表现，并探索其在图像识别等领域的应用潜力。

7. 结论

FAN的提出为周期性建模提供了有效的解决方案，可能在AI发展中扮演重要角色。研究团队期待FAN能够激发更多研究者的探索与创新，推动人工智能技术的进一步发展。

联系作者

文章来源：甲子光年
作者微信：
作者简介：甲子光年是一家科技智库，包含智库、社群、企业服务版块，立足中国科技创新前沿阵地，动态跟踪头部科技企业发展和传统产业技术升级案例，推动人工智能、大数据、物联网、云计算、新能源、新材料、信息安全、大健康等科技创新在产业中的应用与落地。