Transformer要变Kansformer？用了几十年的MLP迎来挑战者KAN

AIGC动态欢迎阅读

原标题：Transformer要变Kansformer？用了几十年的MLP迎来挑战者KAN
关键字：函数,报告,表示,定理,作者
文章来源：机器之心
内容字数：15115字

内容摘要：

机器之心报道
机器之心编辑部MLP（多层感知器）用了几十年了，真的没有别的选择了吗？多层感知器（MLP），也被称为全连接前馈神经网络，是当今深度学习模型的基础构建块。
MLP 的重要性无论怎样强调都不为过，因为它们是机器学习中用于逼近非线性函数的默认方法。
然而，MLP 是否就是我们能够构建的最佳非线性回归器呢？尽管 MLP 被广泛使用，但它们存在明显的缺陷。例如，在 Transformer 模型中，MLP 几乎消耗了所有非嵌入式参数，并且通常在没有后处理分析工具的情况下，相对于注意力层来说，它们的可解释性较差。
所以，是否有一种 MLP 的替代选择？
今天，KAN 出现了。这是一个灵感来源于 Kolmogorov-Arnold 表示定理的网络。
链接：https://arxiv.org/pdf/2404.19756
Github：https://github.com/KindXiaoming/pykan
该研究一经发布，就在国外社交平台引起了广泛的关注与讨论。
有网友称，Kolmogorov 早在 1957 年就发现了多层神经网络，比 Rumerhart、Hinton 和 Willi

原文链接：Transformer要变Kansformer？用了几十年的MLP迎来挑战者KAN