Transformer要变Kansformer?用了几十年的MLP迎来挑战者KAN

Transformer要变Kansformer?用了几十年的MLP迎来挑战者KAN

AIGC动态欢迎阅读

原标题:Transformer要变Kansformer?用了几十年的MLP迎来挑战者KAN
关键字:函数,报告,表示,定理,作者
文章来源:机器之心
内容字数:15115字

内容摘要:


机器之心报道
机器之心编辑部MLP(多层感知器)用了几十年了,真的没有别的选择了吗?多层感知器(MLP),也被称为全连接前馈神经网络,是当今深度学习模型的基础构建块。
MLP 的重要性无论怎样强调都不为过,因为它们是机器学习中用于逼近非线性函数的默认方法。
然而,MLP 是否就是我们能够构建的最佳非线性回归器呢?尽管 MLP 被广泛使用,但它们存在明显的缺陷。例如,在 Transformer 模型中,MLP 几乎消耗了所有非嵌入式参数,并且通常在没有后处理分析工具的情况下,相对于注意力层来说,它们的可解释性较差。
所以,是否有一种 MLP 的替代选择?
今天,KAN 出现了。这是一个灵感来源于 Kolmogorov-Arnold 表示定理的网络。
链接:https://arxiv.org/pdf/2404.19756
Github:https://github.com/KindXiaoming/pykan
该研究一经发布,就在国外社交平台引起了广泛的关注与讨论。
有网友称,Kolmogorov 早在 1957 年就发现了多层神经网络,比 Rumerhart、Hinton 和 Willi


原文链接:Transformer要变Kansformer?用了几十年的MLP迎来挑战者KAN

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...