32卡176%训练加速，开源大模型训练框架Megatron-LLaMA来了

AIGC动态欢迎阅读

原标题：32卡176%训练加速，开源大模型训练框架Megatron-LLaMA来了

关键字：梯度,模型,参数,切分,通信

文章来源：机器之心

内容字数：8394字

内容摘要：机器之心发布机器之心编辑部9 月 12 日，淘天集团联合爱橙科技正式对外开源大模型训练框架 ——Megatron-LLaMA，旨在让技术开发者们能够更方便的提升大语言模型训练性能，降低训练成本，并且保持和 LLaMA 社区的兼容性。测试显示，在 32 卡训练上，相比 HuggingFace 上直接获得的代码版本，Megatron-LLaMA 能够取得 176% 的加速；在大规模的训练上，Megat…

原文链接：点此阅读原文：32卡176%训练加速，开源大模型训练框架Megatron-LLaMA来了

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台