腾讯混元、北大发现Scaling law「浪涌现象」，解决学习率调参难题

AIGC动态欢迎阅读

原标题：腾讯混元、北大发现Scaling law「浪涌现象」，解决学习率调参难题
关键字：腾讯,风格,理论,区间,结论
文章来源：机器之心
内容字数：0字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com过去十年间，基于随机梯度下降（SGD）的深度学习模型在许多领域都取得了极大的成功。与此同时各式各样的 SGD 替代品也如雨后春笋般涌现。在这些众多替代品中，Adam 及其变种最受追捧。无论是 SGD，还是 Adam，亦或是其他优化器，最核心的超参数非 Learning rate 莫属。因此如何调整好 Leanring rate 是炼丹师们从一开始就必学的技能。
从直觉上讲，影响 Learning rate 取值的重要因素是 Batch size。不知你在学习炼丹术时，是否遇到或者思考过入如下问题：
我的 Batch size 增加一倍，Learning rate 该怎么调整？
网上有说 Batch size 和 Learning rate 是线性放缩，也有说是

原文链接：腾讯混元、北大发现Scaling law「浪涌现象」，解决学习率调参难题

联系作者

文章来源：机器之心
作者微信：almosthuman2014
作者简介：专业的人工智能媒体和产业服务平台