更像人脑的新型注意力机制,Meta让大模型自动屏蔽任务无关信息,准确率提高27%

AIGC动态1年前 (2023)发布 量子位
15 0 0

更像人脑的新型注意力机制,Meta让大模型自动屏蔽任务无关信息,准确率提高27%

AIGC动态欢迎阅读

原标题:更像人脑的新型注意力机制,Meta让大模型自动屏蔽任务无关信息,准确率提高27%

关键字:模型,注意力,机制,准确率,提示

文章来源:量子位

内容字数:4573字

内容摘要:克雷西 发自 凹非寺量子位 | 公众号 QbitAI关于大模型注意力机制,Meta又有了一项新研究。通过调整模型注意力,屏蔽无关信息的干扰,新的机制让大模型准确率进一步提升。而且这种机制不需要微调或训练,只靠Prompt就能让大模型的准确率上升27%。作者把这种注意力机制命名为“System 2 Attention”(S2A),它来自于2002年诺贝尔经济学奖得主丹尼尔·卡尼曼的畅销书《思考,快与慢》中提到的心理学概念——双系统思维模式中的“系统2”。所谓系统2是指复杂有意识的推理,与之相对的是系统1,即简单无意识的直觉。S2A通过提示词对Transformer中的注意力机制进行了“调节”,使模型整体上的思考方式更接近系统2。有网友形容,这种机制像是给AI加了一层“护目镜”。此外,作者还在论文标题中说,不只是大模型,这种思维模式或许人类自己也需要学习。那么,这种方法具体是如何实现的呢?避免…

原文链接:点此阅读原文:更像人脑的新型注意力机制,Meta让大模型自动屏蔽任务无关信息,准确率提高27%

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...