解决Transformer根本缺陷，CoPE论文爆火：所有大模型都能获得巨大改进

AIGC动态欢迎阅读

原标题：解决Transformer根本缺陷，CoPE论文爆火：所有大模型都能获得巨大改进
关键字：位置,上下文,向量,任务,方法
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
机器之心编辑部即使最强大的 LLM 也难以通过 token 索引来关注句子等概念，现在有办法了。最近两天，马斯克和 LeCun 的口水战妥妥成为大家的看点。这两位 AI 圈的名人你来我往，在（现为 X）上相互拆对方台。LeCun 在宣传自家最新论文时，也不忘手动 @ 一把马斯克，并意味深长地嘱咐道：「马斯克，我们这项研究用来改善你家的 Grok 也没问题。」LeCun 宣传的这篇论文题目为《 Contextual Position Encoding: Learning to Count What’s Important 》，来自 Meta 的 FAIR。
骂战归骂战，这篇论文的重要性不言而喻。短短 24 小时之内就成为了 AI 领域最热门的论文之一。它有望解决如今大模型（LLM）最让人头疼的问题。论文地址：https://arxiv.org/pdf/2405.18719
总的来说，该研究提出了一种新的用于 transformer 的位置编码方法 CoPE（全称 Contextual Position Encoding），解决了标准 transformer 无法解决的计

原文链接：解决Transformer根本缺陷，CoPE论文爆火：所有大模型都能获得巨大改进