「有效上下文」提升20倍！DeepMind发布ReadAgent框架

AIGC动态欢迎阅读

原标题：「有效上下文」提升20倍！DeepMind发布ReadAgent框架
关键字：上下文,记忆,任务,提要,要点
文章来源：新智元
内容字数：5907字

内容摘要：

新智元报道编辑：LRS
【新智元导读】模仿人类阅读过程，先分段摘要再回忆，谷歌新框架ReadAgent在三个长文档阅读理解数据集上取得了更强的性能，有效上下文提升了3-20倍。基于Transformer的大语言模型（LLM）具有很强的语言理解能力，但LLM一次能够读取的文本量仍然受到极大限制。
除了上下文窗口较小外，LLM的性能会随着输入内容长度的增加而下降，即便输入内容未超过模型的上下文窗口长度限制也是如此。
相比之下，人类却可以阅读、理解和推理很长的文本。
LLM和人类在阅读长度上存在差异的主要原因在于阅读方法：LLM逐字地输入精确的内容，并且该过程相对被动；但过于准确的信息往往会被遗忘，而阅读过程更注重理解模糊的要点信息，即不考虑准确单词的内容能记忆更长时间。
人类阅读也是一个互动的过程，比如回答问题时还需要从原文中进行检索。
为了解决这些限制，来自Google DeepMind和Google Research的研究人员提出了一个全新的LLM系统ReadAgent，受人类如何交互式阅读长文档的启发，将有效上下文长度增加了20倍。论文链接：https://arxiv.org/ab

原文链接：「有效上下文」提升20倍！DeepMind发布ReadAgent框架