AI自己「长出」了类似大脑的「脑叶」？新研究揭示LLM特征的惊人几何结构

AIGC动态欢迎阅读

原标题：AI自己「长出」了类似大脑的「脑叶」？新研究揭示LLM特征的惊人几何结构
关键字：报告,特征,作者,结构,向量
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：张倩、蛋酱大型语言模型在学习概念时竟然会形成令人惊讶的几何结构，比如代码和数学特征会形成一个「叶（lobe）」，类似于我们在做磁共振功能成像时看到的大脑功能性脑叶。这说明什么呢？‍论文通讯作者、MIT 物理学教授 Max Tegmark 的推文。值得注意的是，Max Tegmark 也是著名的 KAN 论文的作者之一，是 KAN 论文一作 ZimingLiu 的导师。
在过去的一年，学术界在理解大型语言模型如何工作方面取得了突破性进展：稀疏自编码器（SAE）在其激活空间中发现了大量可解释为概念的点（「特征」）。最近，此类 SAE 点云已公开发布，因此研究其在不同尺度上的结构正当其时。
最近，来自 MIT 的一个团队公布了他们的研究成果。论文标题：The Geometry of Concepts: Sparse Autoencoder Feature Structure
论文链接：https://arxiv.org/pdf/2410.19750
具体来说，他们发现 SAE 特征的概念宇宙在三个层面上具有有趣的结构：
第一个是「原子」小尺度层面。在这个层面上，作者发现

原文链接：AI自己「长出」了类似大脑的「脑叶」？新研究揭示LLM特征的惊人几何结构

联系作者

文章来源：机器之心
作者微信：
作者简介：