AI「长脑子」了？LLM惊现「人类脑叶」结构并有数学代码分区，MIT大牛新作震惊学界！

117 0 0

文章摘要

Max Tegmark团队的最新研究揭示了大型语言模型（LLM）在学习概念时展现出的惊人几何结构，类似于人类大脑的脑叶分区。研究发现LLM中的稀疏自编码器（SAE）特征向量表示的概念宇宙在多个空间尺度上展现出有趣的结构，包括原子层面的语义关系、大脑尺度的空间模块化特征以及星系尺度的大规模组织。

在原子尺度上，研究者发现了类似于晶体的微观结构，这些结构反映了概念之间的语义关系。通过使用线性判别分析（LDA）消除语义上无关的干扰向量，研究者能够显著提升晶体结构的质量。在大脑尺度上，研究者发现了类似于人类大脑功能分区的空间模块化特征，例如数学和代码特征形成了一个“脑叶”。通过量化分析，研究者发现共同出现的特征簇在空间上的聚集程度远超过随机分布的预期值。

在星系尺度上，特征点云表现出特征值幂律分布，中间层的斜率最陡，而聚类熵也在中间层周围达到峰值。这表明LLM的中间层可能充当了一个信息压缩的瓶颈，将信息压缩到更少的主成分中，以更有效地表示高层抽象概念。

这项研究不仅为我们理解LLM的内部表征和处理机制提供了新的见解，也证明了大脑构造并非人类独有，硅基生命也从属于这一法则。这一发现强调了数学作为一切基础的重要性，而非人类构造。通过进一步研究LLM的这些结构，我们有望破解LLM运作机制的黑箱，更深入地理解这些模型的工作原理。