更通用、有效，蚂蚁自研优化器WSAM入选KDD Oral

AIGC动态欢迎阅读

原标题：更通用、有效，蚂蚁自研优化器WSAM入选KDD Oral

关键字：极值,损失,权重,基础,函数

文章来源：机器之心

内容字数：11790字

内容摘要：机器之心专栏机器之心编辑部蚂蚁 AI Infra 团队在深度学习最核心之一的优化器方向持续投入与创新，实现了 AI 训练节约资源、加速收敛、提升泛化等目标。我们将推出“优化器三部曲”系列，这是本系列的第一篇。深度神经网络（DNNs）的泛化能力与极值点的平坦程度密切相关，因此出现了 Sharpness-Aware Minimization (SAM) 算法来寻找更平坦的极值点以提高泛化能力。本文重新…

原文链接：点此阅读原文：更通用、有效，蚂蚁自研优化器WSAM入选KDD Oral

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台