大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE

AIGC动态11个月前发布 机器之心
91 0 0

大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE

AIGC动态欢迎阅读

原标题:大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE

关键字:报告,特征,模型,向量,树状

文章来源:机器之心

内容字数:5624字

内容摘要:机器之心专栏机器之心编辑部大语言模型(LLM)被越来越多应用于各种领域。然而,它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则:每个词(token)的生成都需要进行一次前向传播,需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。近日,滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布 EAGLE,旨在提升大语言模型的推理速度,同时保证模型输出文本的分布一致。这种方法外推 LLM 的第二顶层特征向量,能够显著提升生成效率。技术报告:https://sites.google.com/view/eagle-llm代码(支持商用 Apache 2.0):https://github.com/SafeAILab/EAGLEEAGLE 具有以下特点:比普通自回归解码(13B)快 3 倍;比 Lookahead 解码(13B)快 2 倍;比 Medusa 解码(…

原文链接:点此阅读原文:大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE

联系作者

文章来源:机器之心

作者微信:almosthuman2014

作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...