一阶优化算法启发，北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法

AIGC动态欢迎阅读

原标题：一阶优化算法启发，北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法
关键字：网络,神经网络,架构,方法,算法
文章来源：机器之心
内容字数：9007字

内容摘要：

机器之心专栏
机器之心编辑部以神经网络为基础的深度学习技术已经在诸多应用领域取得了有效成果。在实践中，网络架构可以显著影响学习效率，一个好的神经网络架构能够融入问题的先验知识，稳定网络训练，提高计算效率。目前，经典的网络架构设计方法包括人工设计、神经网络架构搜索（NAS）[1]、以及基于优化的网络设计方法 [2]。人工设计的网络架构如 ResNet 等；神经网络架构搜索则通过搜索或强化学习的方式在搜索空间中寻找最佳网络结构；基于优化的设计方法中的一种主流范式是算法展开（algorithm unrolling），该方法通常在有显式目标函数的情况下，从优化算法的角度设计网络结构。
然而，现有经典神经网络架构设计大多忽略了网络的万有逼近性质 —— 这是神经网络具备强大性能的关键因素之一。因此，这些设计方法在一定程度上失去了网络的先验性能保障。尽管两层神经网络在宽度趋于无穷的时候就已具有万有逼近性质 [3]，在实际中，我们通常只能考虑有限宽的网络结构，而这方面的表示分析的结果十分有限。实际上，无论是启发性的人工设计，还是黑箱性质的神经网络架构搜索，都很难在网络设计中考虑万有逼近性质。基于优化的

原文链接：一阶优化算法启发，北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法