拯救被「掰弯」的GPT-4！西交微软北大联合提出IN2训练治疗LLM「中间迷失」

AIGC动态欢迎阅读

原标题：拯救被「掰弯」的GPT-4！西交微软北大联合提出IN2训练治疗LLM「中间迷失」
关键字：上下文,信息,长上,模型,数据
文章来源：新智元
内容字数：6628字

内容摘要：

新智元报道编辑：alan
【新智元导读】近日，西交微软北大联合提出信息密集型训练大法，使用纯数据驱动的方式，矫正LLM训练过程产生的偏见，在一定程度上治疗了大语言模型丢失中间信息的问题。辛辛苦苦给大语言模型输入了一大堆提示，它却只记住了开头和结尾？
这个现象叫做LLM的中间迷失（Lost in the Middle），是大模型当前仍面临的最大挑战之一。
毕竟，LLM现在的上下文长度已经冲到了百万级别，而难以处理中间的信息，会使得LLM在评估大量数据时不再可靠。
Midjourney对于Lost in the Middle的理解
其实，我们人类也有类似「中间迷失」的毛病，心理学上叫「Primacy/recency effect」，感兴趣的读者可以参见：
https://www.sciencedirect.com/topics/psychology/recency-effect
「我怕零点的钟声太响……后面忘了」
不过就在不久前，来自西交、微软和北大的研究人员，开发了一种纯粹的数据驱动解决方案，来治疗LLM丢失中间信息的症状：
论文地址：https://arxiv.org/pdf

原文链接：拯救被「掰弯」的GPT-4！西交微软北大联合提出IN2训练治疗LLM「中间迷失」

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。