AIGC动态欢迎阅读
原标题:清华微软开源全新提示词压缩工具,长度骤降80%!GitHub怒砍3.1K星
关键字:研究人员,文本,模型,方法,上下文
文章来源:新智元
内容字数:6463字
内容摘要:
新智元报道编辑:润 好困
【新智元导读】最近,清华和微软的研究人员提出了一种全新的方法,能在保证输出质量不变的前提下,将提示词压缩到原始长度的20%!在自然语言处理中,有很多信息其实是重复的。
如果能将提示词进行有效地压缩,某种程度上也相当于扩大了模型支持上下文的长度。
现有的信息熵方法是通过删除某些词或短语来减少这种冗余。
然而,作为依据的信息熵仅仅考虑了文本的单向上下文,进而可能会遗漏对于压缩至关重要的信息;此外,信息熵的计算方式与压缩提示词的真正目的并不完全一致。
为了应对这些挑战,来自清华和微软的研究人员提出了一种全新的数据精炼流程——LLMLingua-2,目的是从大型语言模型(LLM)中提取知识,实现在不丢失关键信息的前提下对提示词进行压缩。
项目在GitHub上已经斩获3.1k星
结果显示,LLMLingua-2可以将文本长度大幅缩减至最初的20%,有效减少了处理时间和成本。
此外,与前一版本LLMLingua以及其他类似技术相比,LLMLingua 2的处理速度提高了3到6倍。
论文地址:https://arxiv.org/abs/2403.12968
在这个过程中,
原文链接:清华微软开源全新提示词压缩工具,长度骤降80%!GitHub怒砍3.1K星
联系作者
文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...