KAN结合Transformer，真有团队搞出了解决扩展缺陷的KAT

AIGC动态欢迎阅读

原标题：KAN结合Transformer，真有团队搞出了解决扩展缺陷的KAT
关键字：函数,模型,作者,参数,初始化
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：小舟、陈陈Transformer 是现代深度学习的基石。传统上，Transformer 依赖多层感知器 (MLP) 层来混合通道之间的信息。
前段时间，来自 MIT 等机构的研究者提出了一种非常有潜力的替代方法 ——KAN。该方法在准确性和可解释性方面表现优于 MLP。而且，它能以非常少的参数量胜过以更大参数量运行的 MLP。
KAN的发布，引起了AI社区大量的关注与讨论，同时也伴随很大的争议。而此类研究，又有了新的进展。
最近，来自新加坡国立大学的研究者提出了 Kolmogorov–Arnold Transformer（KAT），用 Kolmogorov-Arnold Network（KAN）层取代 MLP 层，以增强模型的表达能力和性能。论文标题：Kolmogorov–Arnold Transformer
论文地址：https://arxiv.org/pdf/2409.10594
项目地址：https://github.com/Adamdad/kat
KAN 原论文第一作者 Ziming Liu 也转发点赞了这项新研究。将 KAN 集成到 Transformer

原文链接：KAN结合Transformer，真有团队搞出了解决扩展缺陷的KAT