LLM为何频频翻车算术题？最新研究追踪单个神经元，「大脑短路」才是根源

AIGC动态欢迎阅读

原标题：LLM为何频频翻车算术题？最新研究追踪单个神经元，「大脑短路」才是根源
关键字：神经元,模型,算术,启发式,算法
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：peter东 乔杨
【新智元导读】大模型在数学问题上的表现不佳，原因在于采取启发式算法进行数学运算的，通过定位到多层感知机（MLP）中的单个神经元，可以对进行数学运算的具体过程进行解释。由于缺少对运行逻辑的解释，大模型一向被人称为「黑箱」，但近来的不少研究已能够在单个神经元层面上解释大模型的运行机制。
例如Claude在2023年发表的一项研究，将大模型中大约500个神经元分解成约4000个可解释特征。
而10月28日的一项研究，以算术推理作为典型任务，借鉴类似的研究方法，确定了大模型中的一个模型子集，能解释模型大部分的基本算术逻辑行为。
论文地址：https://arxiv.org/abs/2410.21272
该研究首先定位了Llama3-8B/70B, Pythia-6.9B及GPT-J四个模型中负责算术计算的模型子集。
如图1所示，少数注意力头对大模型面对算术问题的正确率有显著影响。第一个 MLP（多层感知机） 明显影响操作数和操作符位置，而中间层和后期层的 MLP 将token信息投影到最后位置，提升正确答案的出现概率。
图1：Llama3-8B中发现算术相

原文链接：LLM为何频频翻车算术题？最新研究追踪单个神经元，「大脑短路」才是根源

联系作者

文章来源：新智元
作者微信：
作者简介：