AIGC动态欢迎阅读
原标题:AI「长脑子」了?LLM惊现「人类脑叶」结构并有数学代码分区,MIT大牛新作震惊学界!
关键字:报告,特征,向量,研究者,结构
文章来源:新智元
内容字数:0字
内容摘要:
新智元报道编辑:编辑部 HYZ
【新智元导读】Max Tegmark团队又出神作了!他们发现,LLM中居然存在人类大脑结构一样的脑叶分区,分为数学/代码、短文本、长篇科学论文等部分。这项重磅的研究揭示了:大脑构造并非人类独有,硅基生命也从属这一法则。LLM居然长「脑子」了?
就在刚刚,MIT传奇大牛Max Tegmark团队的新作,再次炸翻AI圈。
论文地址:https://arxiv.org/abs/2410.19750
他们发现,LLM学习的概念中,居然显示出令人惊讶的几何结构——
首先,它们形成一种类似人类大脑的「脑叶」;其次,它们形成了一种「语义晶体」,比初看起来更精确;并且,LLM的概念云更具分形特征,而非圆形。
具体而言,这篇论文探讨了LLM中稀疏自编码器(SAE)的特征向量表示的。
Max Tegmark团队的研究结果表明,SAE特征所代表的概念宇宙在多个空间尺度上展现出有趣的结构,从语义关系的原子层面到整个特征空间的大规模组织。
这就为我们理解LLM的内部表征和处理机制,提供了全新的见解。
总之,这个研究实在太过震撼!网友直言:如果LLM和人脑相似,这实在是给人一种不
原文链接:AI「长脑子」了?LLM惊现「人类脑叶」结构并有数学代码分区,MIT大牛新作震惊学界!
联系作者
文章来源:新智元
作者微信:
作者简介:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...