今日arXiv最热NLP大模型论文：清华提出LongAlign，打破长上下文对齐瓶颈，数据、训练策略、评估基准一网打尽

AIGC动态欢迎阅读

原标题：今日arXiv最热NLP大模型论文：清华提出LongAlign，打破长上下文对齐瓶颈，数据、训练策略、评估基准一网打尽
关键字：解读,模型,数据,指令,长上
文章来源：夕小瑶科技说
内容字数：9891字

内容摘要：

夕小瑶科技说原创编辑 | 谢年年随着LLMs的发展，其支持的上下文长度越来越长。仅一年时间，GPT-4就从一开始的4K、8K拓展到了128k。
128k什么概念？相当于一本300页厚的书。这是当初只支持512个tokens的BERT时代不敢想象的事情。
随着上下文窗口长度的增加，可以提供更丰富的语义信息，从而减少LLM的出错率和“幻觉”发生的可能性，提升用户体验。
但现有的构建长上下文LLMs的工作主要集中在上下文扩展方面，即位置编码扩展和长文本的持续训练。
而清华团队转而关注长上下文对齐的角度，即指令微调LLMs处理长文本提示，提供了一种全面的方法——LongAlign。
瞄准上下文对齐中缺乏长指令跟随数据集、训练效率低下以及缺乏强大的评估基准等挑战，作者构建了多样化的长指令数据集、采用了高效的训练策略，以及开发针对长上下文指令跟随能力的评估基准LongAlign-chat。
实验结果显示，LongAlign在长上下文任务中的表现显著优于现有方法，提升幅度高达30%。不仅如此，LongAlign还保持了模型在处理短、通用任务的能力，没有出现性能退化。
论文标题： LongAlign

原文链接：今日arXiv最热NLP大模型论文：清华提出LongAlign，打破长上下文对齐瓶颈，数据、训练策略、评估基准一网打尽