吞吐量提升近30倍!田渊栋团队最新论文解决大模型部署难题

AIGC动态11个月前发布 新智元
32 0 0

吞吐量提升近30倍!田渊栋团队最新论文解决大模型部署难题

AIGC动态欢迎阅读

原标题:吞吐量提升近30倍!田渊栋团队最新论文解决大模型部署难题

关键字:缓存,注意力,策略,模型,矩阵

文章来源:新智元

内容字数:6857字

内容摘要:新智元报道编辑:alan【新智元导读】大语言模型在实际部署中,存在内存和输入长度限制的问题。最近,田渊栋团队一举解决这两大难题,将推理系统的吞吐量提高了近30倍。大型语言模型 (LLM) 在今年可谓是风光无限。不过惊艳的效果背后是一个巨大的模型以及夸张的硬件资源。LLM在现实中部署时通常会面临两个难题:昂贵的KV缓存成本,以及对长序列的泛化能力差。近日,田渊栋团队发表了一篇论文,成功解决以上两个难题,并将推理系统的吞吐量提高了近30倍!论文地址:https://arxiv.org/pdf/2306.14048.pdf代码地址:https://github.com/FMInference/H2O这个成果也将在NeurIPS’23上展示。下面,我们来看一下这两个难题的具体情况,以及论文提供的解决方案。首先是缓存,KV缓存用于存储生成过程中的中间注意力键和值,以避免重新计算。通常,除了模型参数外…

原文链接:点此阅读原文:吞吐量提升近30倍!田渊栋团队最新论文解决大模型部署难题

联系作者

文章来源:新智元

作者微信:AI_era

作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...