NeurIPS 2024 | Transformer长度外推，全新位置编码DAPE大幅提升模型性能

AIGC动态欢迎阅读

原标题：NeurIPS 2024 | Transformer长度外推，全新位置编码DAPE大幅提升模型性能
关键字：位置,长度,模型,注意力,语义
文章来源：机器之心
内容字数：0字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本篇论文已被NeurIPS 2024接收，论文第一作者郑传阳来自香港中文大学，共同作者包括新加波国立大学高伊杭，诺亚实验室石涵、任晓哲、蒋欣、李震国，香港中文大学黄敏斌、李靖瑶，香港大学熊璟，香港浸会大学吴国宝，香港中文大学李煜
在当今的人工智能领域，Transformer 模型已成为解决诸多自然语言处理任务的核心。然而，Transformer 模型在处理长文本时常常遇到性能瓶颈。传统的位置编码方法，如绝对位置编码（APE）和相对位置编码（RPE），虽然在许多任务中表现良好，但其固定性限制了其在处理超长文本时的适应性和灵活性。
为了应对这一挑战，提出了一种全新的位置编码方法：Data-Adaptive Positional Encoding（DAPE）。D

原文链接：NeurIPS 2024 | Transformer长度外推，全新位置编码DAPE大幅提升模型性能