小米大模型提效新框架：训练最高提速34%，推理最高提速52%！Kaldi之父合作出品

AIGC动态欢迎阅读

原标题：小米大模型提效新框架：训练最高提速34%，推理最高提速52%！Kaldi之父合作出品
关键字：小米,模型,侵权,序列,模块
文章来源：算法邦
内容字数：0字

内容摘要：

直播预告 | 6月25日晚7点，「智猩猩机器人新青年讲座」第9讲正式开讲，UMass Amherst在读博士周沁泓将直播讲解《在具身智能模拟器中针对动态灾害进行具身决策》，欢迎扫码报名~文章转载自公众号：量子位，本文只做学术/技术分享，如有侵权，联系删文。
大模型推理速度提升50%以上，还能保证少样本学习性能！
小米大模型团队提出SUBLLM（Subsampling-Upsampling-Bypass Large Language Model），国际AI语音大牛、开源语音识别工具Kaldi之父Daniel Povey也参与指导。
与Llama等模型相比，SUBLLM在训练和推理速度以及降低内存方面都有了显著提升。
在大模型训练中，SUBLLM的速度提高了26%，每个GPU的内存减少了10GB。在推理中，它的速度提高了37%，每个GPU的内存减少了1GB。
训练和推理速度分别最高可以提高至34%和52%。SUBLLM通过智能地选择和处理数据，使得模型在训练和推理时更加高效：子采样模块剔除不必要的信息，上采样模块恢复数据的完整性，而绕过模块则加快了学习过程。01在一万字中挑选最关键的五百字

原文链接：小米大模型提效新框架：训练最高提速34%，推理最高提速52%！Kaldi之父合作出品

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：智猩猩矩阵账号之一，聚焦生成式AI，重点关注模型与应用。