牛皮吹破？大模型长输入能力不能拿来做上下文学习

AIGC动态欢迎阅读

原标题：牛皮吹破？大模型长输入能力不能拿来做上下文学习
关键字：模型,标签,上下文,数据,性能
文章来源：夕小瑶科技说
内容字数：6321字

内容摘要：

夕小瑶科技说 原创作者 | 谢年年LLMs已经进入了长序列时代。众多的LLMs已经发布支持从32K到2M tokens的长序列窗口。
不过，面对如此庞大的输入，我们不禁要问：这些模型真的能够吃透超长文本，捕捉到其中的精华信息吗？
为了解答这一疑问，滑铁卢大学的学者们精心打造了一套名为LongICLBench的基准测试，专门用来评估LLMs在长上下文理解方面的能力。这套基准专注于极端标签分类中的长上下文学习，涵盖了六个难度不一的数据集，标签数量从28到174类不等，输入长度则从2K到50K tokens都有。它要求LLMs必须全面理解输入内容，准确识别庞大的标签空间，并作出精准预测。
先说结论。
由上图可以看到，作者评估了常见的13个长序列LLMs，LLMs在处理较不具挑战性的任务，且长度较短时，能有效利用长上下文窗口，表现相对较好。
随着难度提升，LLM在理解任务定义时遇到困难，性能大幅下降。
在最具有挑战性的Discovery数据集（174个标签）上，没有任何LLM能够理解长示例，导致准确率为零。这表明当前LLMs在处理和理解长、内容丰富的序列方面存在显著差距。
论文标题:Long-

原文链接：牛皮吹破？大模型长输入能力不能拿来做上下文学习

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189