更像人脑的新型注意力机制，Meta让大模型自动屏蔽任务无关信息，准确率提高27%

AIGC动态欢迎阅读

原标题：更像人脑的新型注意力机制，Meta让大模型自动屏蔽任务无关信息，准确率提高27%

关键字：模型,注意力,机制,准确率,提示

文章来源：量子位

内容字数：4573字

内容摘要：克雷西发自凹非寺量子位 | 公众号 QbitAI关于大模型注意力机制，Meta又有了一项新研究。通过调整模型注意力，屏蔽无关信息的干扰，新的机制让大模型准确率进一步提升。而且这种机制不需要微调或训练，只靠Prompt就能让大模型的准确率上升27%。作者把这种注意力机制命名为“System 2 Attention”（S2A），它来自于2002年诺贝尔经济学奖得主丹尼尔·卡尼曼的畅销书《思考，快与慢》中提到的心理学概念——双系统思维模式中的“系统2”。所谓系统2是指复杂有意识的推理，与之相对的是系统1，即简单无意识的直觉。S2A通过提示词对Transformer中的注意力机制进行了“调节”，使模型整体上的思考方式更接近系统2。有网友形容，这种机制像是给AI加了一层“护目镜”。此外，作者还在论文标题中说，不只是大模型，这种思维模式或许人类自己也需要学习。那么，这种方法具体是如何实现的呢？避免…

原文链接：点此阅读原文：更像人脑的新型注意力机制，Meta让大模型自动屏蔽任务无关信息，准确率提高27%