找出9.9<9.11的真正原因：《圣经》！神经元干预可免重训练修复

AIGC动态欢迎阅读

原标题：找出9.9<9.11的真正原因：《圣经》！神经元干预可免重训练修复
关键字：神经元,解读,模型,圣经,经文
文章来源：量子位
内容字数：0字

内容摘要：

衡宇 发自 凹非寺量子位 | 公众号 QbitAI大模型分不清“9.9和9.11哪个更大”的谜团，终于被可解释性研究揭秘了！
而且简单到让人哭笑不得——
一个来自MIT、UC伯克利的独立实验室团队，开发了能抑制大模型体内某些（与具体概念相关的）神经元的AI工具。
他们发现，只要把与《圣经》经文、日期、重力等概念相关的神经元激活设为0，大模型立马能答对这道比较题。单单是拿走《圣经》经文相关神经元，就可以让“9.9和9.11哪个更大”这个问题的准确率，提高21个百分点！
而且修复这个bug，既不需要重新训练模型，也不需要添加额外提示词。
网友看了过后哭笑不得：
救大命了，看完过后我觉得这些因素都挺明显的，但在此之前我从未朝这上面想过。
这家AI独立实验室名叫Transluce AI，团队成员也趁机悉数亮相，创始团队来自MIT、UC伯克利、CMU等顶尖高校。
其中还有OpenAI和谷歌大脑的前员工。
揭秘是什么让大模型说“9.8<9.11”大模型硬说9.9<9.11这件事，想必大家都知道了。
直至今日，Claude-3.5-Sonnet和GPT-4o这样的顶尖模型，依旧固执地这样认为（或者出

原文链接：找出9.9<9.11的真正原因：《圣经》！神经元干预可免重训练修复

联系作者

文章来源：量子位
作者微信：
作者简介：