大模型推理效率无损提升3倍，滑铁卢大学、北京大学等机构发布EAGLE

AIGC动态欢迎阅读

原标题：大模型推理效率无损提升3倍，滑铁卢大学、北京大学等机构发布EAGLE

文章来源：机器之心

内容字数：5624字

内容摘要：机器之心专栏机器之心编辑部大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则：每个词（token）的生成都需要进行一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。近日，滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布 EAGLE，旨在提升大语言模型的推理速度，同时保证模型输出文本的分布一致。这种方法外推 LLM 的第二顶层特征向量，能够显著提升生成效率。技术报告：https://sites.google.com/view/eagle-llm代码（支持商用 Apache 2.0）：https://github.com/SafeAILab/EAGLEEAGLE 具有以下特点：比普通自回归解码（13B）快 3 倍；比 Lookahead 解码（13B）快 2 倍；比 Medusa 解码（…

原文链接：点此阅读原文：大模型推理效率无损提升3倍，滑铁卢大学、北京大学等机构发布EAGLE