大模型生成提速2倍!单GPU几小时搞定微调,北大数院校友共同一作丨开源

AIGC动态1年前 (2023)发布 量子位
24 0 0

大模型生成提速2倍!单GPU几小时搞定微调,北大数院校友共同一作丨开源

AIGC动态欢迎阅读

原标题:大模型生成提速2倍!单GPU几小时搞定微调,北大数院校友共同一作丨开源

关键字:模型,参数,速度,内存,方法

文章来源:量子位

内容字数:4591字

内容摘要:萧箫 发自 凹非寺量子位 | 公众号 QbitAI只需给大模型“加点小零件”,推理速度立刻提升2倍!不需要额外训练一个模型,也不需要对计算硬件做优化,单张A100最快几小时就能微调完成。这项新研究名叫Medusa(美杜莎),来自普林斯顿、UIUC、CMU和康涅狄格大学,FlashAttention作者Tri Dao也在其中。目前,它已经成功部署到伯克利70亿参数的“骆马”Vicuna中,后续还会支…

原文链接:点此阅读原文:大模型生成提速2倍!单GPU几小时搞定微调,北大数院校友共同一作丨开源

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...