破解自注意力推理缺陷的奥秘，蚂蚁自研新一代Transformer或实现无损外推

AIGC动态欢迎阅读

原标题：破解自注意力推理缺陷的奥秘，蚂蚁自研新一代Transformer或实现无损外推

关键字：模型,位置,注意力,长程,论文

文章来源：机器之心

内容字数：18272字

内容摘要：机器之心专栏作者：蚂蚁人工智能团队随着大语言模型的快速发展，其长度外推能力（length extrapolating）正日益受到研究者的关注。尽管这在 Transformer 诞生之初，被视为天然具备的能力，但随着相关研究的深入，现实远非如此。传统的 Transformer 架构在训练长度之外无一例外表现出糟糕的推理性能。研究人员逐渐意识到这一缺陷可能与位置编码（position encoding…

原文链接：点此阅读原文：破解自注意力推理缺陷的奥秘，蚂蚁自研新一代Transformer或实现无损外推

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台