突破周期建模瓶颈：北大研发全新FAN神经网络技术！

原标题：揭示Transformer「周期建模」缺陷！北大提出新型神经网络FAN，填补周期性特征建模能力缺陷
文章来源：新智元
内容字数：6365字

北京大学研究团队开发FAN模型的创新

北京大学的研究团队在周期性建模领域取得了重要进展，提出了一种新型网络架构FAN（Fourier Analysis Networks）。该模型通过引入傅里叶级数的思想，能够有效捕捉数据中的周期性模式，展现出优于传统模型的性能，尤其在参数量和计算量上具有明显优势。

周期性现象的广泛存在

周期性现象普遍存在于自然科学和人类社会中，如天文学的行星运动、气象学的季节变化等。传统的基础模型（如MLP和Transformer）在处理周期性建模时存在不足，常常无法有效理解数据中的周期性规律。FAN模型的提出正是为了解决这一问题，提升周期性建模的效果。

FAN模型的核心设计

FAN模型通过将周期性信息直接嵌入网络结构中，利用深度学习的优势来增强周期性建模能力。研究团队设计了FAN层，使得模型在学习过程中能够更好地利用傅里叶系数，确保中间层特征可用于周期性建模。与传统模型相比，FAN在周期性建模的表现上展现出更高的准确性。

实验结果与应用潜力

实验结果显示，FAN在多个周期性建模任务中明显优于其他基线模型，如MLP、KAN和Transformer。FAN在训练和测试损失上的表现均优于这些模型，特别是在时间序列预测和语言建模等实际应用中，结合FAN的Transformer在性能上显著提升。研究团队还发现，FAN对非周期性函数的拟合能力同样出色，显示出其在更广泛任务中的应用潜力。

未来展望

FAN不仅在周期性建模上取得突破，也为基础模型的技术进步提供了新的思路。研究团队计划进一步拓展FAN的应用范围，加强其在基础模型组件中的表现，推动人工智能领域的创新与发展。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。