大模型内部也有功能分区，MIT团队揭示其“大脑”结构

AIGC动态欢迎阅读

原标题：大模型内部也有功能分区，MIT团队揭示其“大脑”结构
关键字：特征,向量,模型,概念,几何
文章来源：人工智能学家
内容字数：0字

内容摘要：

来源：DeepTech深科技
AI 的“大脑”究竟长什么样？
近期，来自美国麻省理工学院的研究团队通过稀疏自编码器（SAE，Sparse Autoencoder）在大语言模型的激活空间中发现了大量可解释的向量点，这些向量点代表了模型所掌握的各种概念。
研究人员对这些概念空间（向量点）的结构进行了深入分析，从“原子”“大脑”“星系”三个不同的空间尺度揭示了其独特的几何特征。
这项研究的重要意义在于，它在试图搞清楚大模型是如何在内部组织知识的。研究成果以预印本的形式发表。（来源：arXiv）
就像理解人类大脑结构帮助我们理解人类思维一样，分析模型内部的概念结构有助于我们理解人工智能是如何工作的。这些发现不仅有理论价值，也可能帮助我们设计出更好的语言模型。
在最微观的“原子”尺度上，研究发现概念空间中存在“晶体”结构。这些晶体几何结构代表的是语义关系（semantic relations），呈现出平行四边形或梯形的形态。
这种几何理解为词汇和语义赋予了拥有数学特征的向量空间。
更通俗的解释是，它们可以呈现出一种经典的概念（词）类比关系：女人-男人≈ 女王-国王。
从向量的角度来看，从“女人”

原文链接：大模型内部也有功能分区，MIT团队揭示其“大脑”结构