推理飙升2倍！普林斯顿北大校友祭出多头「美杜莎」，33B模型与13B一样快

AIGC动态欢迎阅读

原标题：推理飙升2倍！普林斯顿北大校友祭出多头「美杜莎」，33B模型与13B一样快

关键字：模型,研究人员,草稿,树状,阈值

文章来源：新智元

内容字数：12636字

内容摘要：新智元报道编辑：桃子 好困【新智元导读】大模型推理加速如何破局？普林斯顿、UIUC等机构华人团队提出一个简单框架Medusa，训练多个解码头，直接让LLM推理速度飙升2倍。由于LLM架构固有的内存限制，使得生成又慢又贵。对此，很多大佬都在寻找一种挽救的方法。Karpathy曾多次提出，大模型「投机采样」对于推理时间优化是一个出色的方案。但是，尽管投机解码能够加速生成速度，但因其太过复杂，并没有被许…

原文链接：点此阅读原文：推理飙升2倍！普林斯顿北大校友祭出多头「美杜莎」，33B模型与13B一样快

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。