颠覆传统：DIFF Transformer 架构引领大语言模型的新纪元

微软 AI 和清华大学的研究人员提出了一种名为差分 Transformer（DIFF Transformer）的新架构，旨在提高大语言模型的性能。

原标题：微软和清华大学为 LLM 提出了 DIFF Transformer 架构
文章来源：AI前线
内容字数：2557字

DIFF Transformer：提升大语言模型性能的新架构

近日，微软 AI 与清华大学的研究人员联合提出了一种名为差分 Transformer（DIFF Transformer）的新架构，旨在提升大语言模型的性能。该模型通过改进上下文处理方式，有效减少无关信息干扰，从而增强了注意力机制。

差分注意力机制的创新

DIFF Transformer 的核心特性在于其差分注意力机制。该机制通过对比两张的注意力图来计算注意力，使得模型能够更高效地关注输入中的相关部分。这一创新显著提升了模型在问答和文本摘要任务中的准确性，展现出更强的性能。

可扩展性与高效性

DIFF Transformer 还具有良好的可扩展性，能够以更少的训练资源实现与大型模型相当的性能。这种高效性特别适合需要处理较长数据序列的任务，能够满足一次性处理大量信息的需求。

实验与性能对比

实验结果显示，DIFF Transformer 在语言建模和信息检索等任务中超越了传统的 Transformer 模型。通过增强长上下文建模、关键信息检索、幻觉缓解和上下文学习等功能，该模型提高了在不同数据集上的准确率，并增强了对输入顺序变化的鲁棒性。这使得 DIFF Transformer 更适合在低资源环境下应用。

行业反响与应用前景

多个对比模型，例如 OpenLLaMA-v2-3B、StableLM-base-alpha-3B-v2 和 StableLM-3B-4E1T，显示出 DIFF Transformer 在零样本性能方面的优势或相当的表现。AI 研究员和数据科学家对其在现实世界中的应用表现出了浓厚的兴趣，特别是在需要更多计算资源以提高预测准确度的场景中。

计算成本与预测准确性之间的权衡

虽然 DIFF Transformer 提升了模型性能，但也引发了关于计算成本和预测准确性之间的权衡讨论。该模型需要执行两次注意力操作，可能会导致训练和推理速度的减慢。然而，有观点认为这可能在更少的训练迭代或数据条件下带来更好的结果。

总之，DIFF Transformer 的推出为大语言模型的研究和应用提供了新的思路，其高效性和准确性使其在未来的 AI 发展中具有广阔的前景。

联系作者

文章来源：AI前线
作者微信：
作者简介：面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。