字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%

AIGC动态欢迎阅读

原标题：字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
关键字：矩阵,模型,解读,字节跳动,动态
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心发布
机器之心编辑部字节跳动豆包大模型团队于近日提出超连接（Hyper-Connections），一种简单有效的残差连接替代方案。面向残差连接的主要变体的局限问题，超连接可通过动态调整不同层之间的连接权重，解决梯度消失和表示崩溃（Representation Collapse）之间的权衡困境。在 Dense 模型和 MoE 模型预训练中，超连接方案展示出显著的性能提升效果，使收敛速度最高可加速 80%。自从 ResNet 提出后，残差连接已成为深度学习模型的基础组成部分。其主要作用是 —— 缓解梯度消失问题，使得网络的训练更加稳定。
但是，现有残差连接变体在梯度消失和表示崩溃之间存在一种 “跷跷板式” 的权衡，无法同时解决。
为此，字节豆包大模型 Foundation 团队于近日提出超连接（Hyper-Connections），针对上述 “跷跷板式” 困境，实现了显著提升。
该方法适用于大规模语言模型（LLMs）的预训练，在面向 Dense 模型和 MoE 模型的实验中，展示了显著性能提升效果，使预训练收敛速度最高可加速 80%。研究团队还发现，超连接在两个小型的视觉任务中表现

原文链接：字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%