AIGC动态欢迎阅读
原标题:大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE
文章来源:机器之心
内容字数:5624字
内容摘要:机器之心专栏机器之心编辑部大语言模型(LLM)被越来越多应用于各种领域。然而,它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则:每个词(token)的生成都需要进行一次前向传播,需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。近日,滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布 EAGLE,旨在提升大语言模型的推理速度,同时保证模型输出文本的分布一致。这种方法外推 LLM 的第二顶层特征向量,能够显著提升生成效率。技术报告:https://sites.google.com/view/eagle-llm代码(支持商用 Apache 2.0):https://github.com/SafeAILab/EAGLEEAGLE 具有以下特点:比普通自回归解码(13B)快 3 倍;比 Lookahead 解码(13B)快 2 倍;比 Medusa 解码(…
原文链接:点此阅读原文:大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE
联系作者
文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...