20倍压缩比！微软提出大模型提示压缩框架LLMLingua

AIGC动态欢迎阅读

原标题：20倍压缩比！微软提出大模型提示压缩框架LLMLingua

关键字：提示,模型,方法,语言,比例

文章来源：夕小瑶科技说

内容字数：7242字

内容摘要：夕小瑶科技说 原创作者 | 智商掉了一地、兔子酱近期，越来越多研究在探索大型语言模型（LLM）在实际应用中的推理和生成能力。随着 ChatGPT 等模型的广泛研究与应用，如何在保留关键信息的同时，压缩较长的提示成为当前大模型研究的问题之一。为了加速模型推理并降低成本，微软的新文章提出了一种粒度粗到细的提示压缩方法 LLMLingua，它在对齐后采用了经过良好训练的较小语言模型，通过给提示动态分配不同的压缩比率，在高压缩比率下保持语义完整性。虽然 token 级的压缩提示的格式难以被人类理解，但 LLM 可以很好地进行解释。实验证明，这种方法在 20 倍的压缩下性能损失仍较小，这不仅能够降低计算成本，还为处理 LLM 中更长的上下文提供了潜在解决方案。论文题目: LLMLingua: Compressing Prompts for Accelerated Inference of Large…

原文链接：点此阅读原文：20倍压缩比！微软提出大模型提示压缩框架LLMLingua

联系作者

文章来源：夕小瑶科技说

作者微信：xixiaoyaoQAQ

作者简介：更快的AI前沿，更深的行业洞见。聚集25万AI应用开发者、算法工程师和研究人员。一线作者均来自清北、国外顶级AI实验室和互联网大厂，兼备媒体sense与技术深度。