性能对标Llama 3，算力消耗仅1/19！源2.0-M32大幅提升模算效率

AIGC动态欢迎阅读

原标题：性能对标Llama 3，算力消耗仅1/19！源2.0-M32大幅提升模算效率
关键字：模型,浪潮,企业,信息,专家
文章来源：智东西
内容字数：0字

内容摘要：

模更强，算更优！集成32个专家、模算效率大幅提升，浪潮信息让大模型应用火力全开。
作者|程茜
编辑|漠影
智东西5月28日报道，今天，浪潮信息发布基于MoE的源2.0-M32开源大模型，全面开源且支持免费可商用，全系列模型参数和代码均可免费下载使用。源2.0-M32采用基于注意力机制的门控网络技术，包含32个专家模块，参数量为400亿，模型运行时激活参数为37亿。同时，该模型在模型性能全面对标700亿参数规模Llama 3的同时，训练、微调、推理过程中的算力开销显著低于业界的头部开源模型Llama3-70B，源2.0-M32单Token下训练和推理所需的算力资源仅为Llama3-70B的1/19。
在模型推理运行阶段，源2.0-M32处理每Token所需算力为7.4GFLOPs，Llama3-70B所需算力为140GFLOPs。
在模型微调训练阶段，对1万条平均长度为1024 Token的样本进行全量微调，M32消耗算力为0.0026PD（PetaFLOPs/s-day），Llama3-70B为0.05PD。
可以看出，源2.0-M32正在提升模型性能与降低算力消耗上齐头并进，成为浪潮

原文链接：性能对标Llama 3，算力消耗仅1/19！源2.0-M32大幅提升模算效率