LeCun新作：神经网络在实践中的灵活性到底有多大？

AIGC动态欢迎阅读

原标题：LeCun新作：神经网络在实践中的灵活性到底有多大？
关键字：数据,模型,神经网络,样本,标签
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：alan
【新智元导读】神经网络拟合数据的能力受哪些因素影响？CNN一定比Transformer差吗？ReLU和SGD还有哪些神奇的作用？近日，LeCun参与的一项工作向我们展示了神经网络在实践中的灵活性。人工智能在今天百花齐放，大模型靠规模称王，小模型则凭数据取胜。
当然我们也希望，可以付出更少的资源，并达到相同的效果。
很早之前，谷歌就有相关研究，探索了在固定算力的情况下，如何分配模型参数量和训练数据量，以达到最好的性能。
近日，LeCun参与的一项工作从另一个角度向我们展示了，神经网络在实践中的灵活性到底有多大？
论文地址：https://arxiv.org/pdf/2406.11463
这个灵活性指的是，神经网络拟合训练数据（样本数量）的能力，在实际应用中受到哪些因素的影响。
比如我们第一时间想到的可能就是模型的参数量。
人们普遍认为，神经网络可以拟合至少与自身参数一样多的训练样本。
这就像是解一个线性方程组，有多少个参数（或者方程）、多少个未知数，从而判断解的数量。
然而神经网络实际上要复杂的多，尽管在理论上能够进行通用函数逼近，但在实践中，我们训练的模型容

原文链接：LeCun新作：神经网络在实践中的灵活性到底有多大？

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。