ICLR 2024 Oral｜用巧妙的「传送」技巧，让神经网络的训练更加高效

AIGC动态欢迎阅读

原标题：ICLR 2024 Oral｜用巧妙的「传送」技巧，让神经网络的训练更加高效
关键字：曲率,损失,梯度,算法,对称性
文章来源：机器之心
内容字数：6220字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本论文作者赵博是加州大学圣地亚哥分校的三年级在读博士，其导师为 Rose Yu。她的主要研究方向为神经网络参数空间中的对称性，及其对优化、泛化和损失函数地貌的影响。她曾获 DeepMind 奖学金，并且是高通创新奖学金的决赛入围者。邮箱：bozhao@ucsd.edu
众多神经网络模型中都会有一个有趣的现象：不同的参数值可以得到相同的损失值。这种现象可以通过参数空间对称性来解释，即某些参数的变换不会影响损失函数的结果。基于这一发现，传送算法（teleportation）被设计出来，它利用这些对称变换来加速寻找最优参数的过程。尽管传送算法在实践中表现出了加速优化的潜力，但其背后的确切机制尚不清楚。
近日，来自加州大学圣地亚哥分校、Flatiron Institu

原文链接：ICLR 2024 Oral｜用巧妙的「传送」技巧，让神经网络的训练更加高效