历时8年终发Science，他证明老鼠有类人的想象力

AIGC动态欢迎阅读

原标题：历时8年终发Science，他证明老鼠有类人的想象力

关键字：模型,报告,注意力,机制,准确率

文章来源：人工智能学家

内容字数：4067字

内容摘要：来源：量子位关于大模型注意力机制，Meta又有了一项新研究。通过调整模型注意力，屏蔽无关信息的干扰，新的机制让大模型准确率进一步提升。而且这种机制不需要微调或训练，只靠Prompt就能让大模型的准确率上升27%。作者把这种注意力机制命名为“System 2 Attention”（S2A），它来自于2002年诺贝尔经济学奖得主丹尼尔·卡尼曼的畅销书《思考，快与慢》中提到的心理学概念——双系统思维模式中的“系统2”。所谓系统2是指复杂有意识的推理，与之相对的是系统1，即简单无意识的直觉。S2A通过提示词对Transformer中的注意力机制进行了“调节”，使模型整体上的思考方式更接近系统2。有网友形容，这种机制像是给AI加了一层“护目镜”。此外，作者还在论文标题中说，不只是大模型，这种思维模式或许人类自己也需要学习。那么，这种方法具体是如何实现的呢？避免大模型被“误导”传统大模型常用的Tran…

原文链接：点此阅读原文：历时8年终发Science，他证明老鼠有类人的想象力

联系作者

文章来源：人工智能学家

作者微信：AItists

作者简介：致力成为权威的人工智能科技媒体和前沿科技研究机构