反转了?在一场新较量中,号称替代MLP的KAN只赢一局

反转了?在一场新较量中,号称替代MLP的KAN只赢一局

AIGC动态欢迎阅读

原标题:反转了?在一场新较量中,号称替代MLP的KAN只赢一局
关键字:函数,数据,参数,解读,表示
文章来源:机器之心
内容字数:0字

内容摘要:


机器之心报道
机器之心编辑部KAN 在符号表示中领先,但 MLP 仍是多面手。
多层感知器 (Multi-Layer Perceptrons,MLP) ,也被称为全连接前馈神经网络,是当今深度学习模型的基本组成部分。MLP 的重要性无论怎样强调都不为过,因为它是机器学习中用于逼近非线性函数的默认方法。
然而,MLP 也存在某些局限性,例如难以解释学习到的表示,以及难以灵活地扩展网络规模。
KAN(Kolmogorov–Arnold Networks)的出现,为传统 MLP 提供了一种创新的替代方案。该方法在准确性和可解释性方面优于 MLP,而且,它能以非常少的参数量胜过以更大参数量运行的 MLP。
那么,问题来了,KAN 、MLP 到底该选哪一种?有人支持 MLP,因为 KAN 只是一个普通的 MLP,根本替代不了,但也有人则认为 KAN 更胜一筹,而当前对两者的比较也是局限在不同参数或 FLOP 下进行的,实验结果并不公平。
为了探究 KAN 的潜力,有必要在公平的设置下全面比较 KAN 和 MLP 了。
为此,来自新加坡国立大学的研究者在控制了 KAN 和 MLP 的参数或 FLO


原文链接:反转了?在一场新较量中,号称替代MLP的KAN只赢一局

联系作者

文章来源:机器之心
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...