全新神经网络架构KAN一夜爆火!200参数顶30万,MIT华人一作,轻松复现Nature封面AI数学研究

AIGC动态5个月前发布 量子位
7 0 0

全新神经网络架构KAN一夜爆火!200参数顶30万,MIT华人一作,轻松复现Nature封面AI数学研究

AIGC动态欢迎阅读

原标题:全新神经网络架构KAN一夜爆火!200参数顶30万,MIT华人一作,轻松复现Nature封面AI数学研究
关键字:函数,表示,定理,参数,连续函数
文章来源:量子位
内容字数:4349字

内容摘要:


白交 衡宇 发自 凹非寺量子位 | 公众号 QbitAI一种全新的神经网络架构KAN,诞生了!
与传统的MLP架构截然不同,且能用更少的参数在数学、物理问题上取得更高精度。
比如,200个参数的KANs,就能复现DeepMind用30万参数的MLPs发现数学定理研究。
不仅准确性更高,并且还发现了新的公式。要知道后者可是登上Nature封面的研究啊~
在函数拟合、偏微分方程求解,甚至处理凝聚态物理方面的任务都比MLP效果要好。
而在大模型问题的解决上,KAN天然就能规避掉灾难性遗忘问题,并且注入人类的习惯偏差或领域知识非常容易。
来自MIT、加州理工学院、东北大学等团队的研究一出,瞬间引爆一整个科技圈:Yes We KAN!
甚至直接引出关于能否替代掉Transformer的MLP层的探讨,有人已经准备开始尝试……
有网友表示:这看起来像是机器学习的下一步。
让机器学习每个特定神经元的最佳激活,而不是由我们人类决定使用什么激活函数。
还有人表示:可能正处于某些历史发展的中间。
GitHub上也已经开源,也就短短两三天时间就收获1.1kStar。
对MLP“进行一个简单的更改”跟MLP最


原文链接:全新神经网络架构KAN一夜爆火!200参数顶30万,MIT华人一作,轻松复现Nature封面AI数学研究

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...