MLP一夜被干掉！MIT加州理工等革命性KAN破记录，发现数学定理碾压DeepMind

838 0 0

文章摘要

【关键词】 神经网络、机器学习、Kolmogorov-Arnold、物理规律、AI变革

新智元报道了一项由MIT、加州理工、东北大学等机构的团队发布的全新神经网络结构——Kolmogorov–Arnold Networks（KAN）。这项研究挑战了一直以来统治机器学习领域的多层感知器（MLP）架构，预示着机器学习新纪元的开启。

KAN的理论基础是柯尔莫哥洛夫-阿诺德定理（Kolmogorov–Arnold representation theorem），该定理表明，如果一个函数是定义在有界域上的多变量连续函数，那么它可以表示为多个单变量、加法连续函数的有限组合。研究人员将可学习的激活函数从节点（神经元）移到边（权重）上，这一改变与逼近理论有着深刻的联系。

实验结果显示，KAN在性能上比传统的MLP更优越，提升了神经网络的准确性和可解释性。KAN的可视化和交互性让其在科学研究中具有潜在的应用价值，能够帮助科学家发现新的数学和物理规律。研究中，作者用KAN重新发现了纽结理论中的数学定律，并以更小的网络和自动化方式复现了DeepMind在2021年的结果。

此外，KAN在物理方面也显示出潜力，可以帮助物理学家研究Anderson局域化等相变现象。研究中KAN的所有示例（除了参数扫描）在单个CPU上不到10分钟就可以复现，显示出其高效性。

谷歌DeepMind研究科学家评论称，Kolmogorov-Arnold再次出击，展示了这种表示与集合/GNN聚合器构建方式之间的复杂联系。MIT教授Max Tegmark表示，最新论文表明，一种与标准神经网络完全不同的架构，在处理有趣的物理和数学问题时，以更少的参数实现了更高的精度。

KAN的诞生被视为人工智能训练和微调方式的重大变革，有人甚至认为这标志着AI进入了2.0时代。有网友形象地比喻KAN和MLP的区别：KAN就像一个可以烤任何蛋糕的三层蛋糕配方，而MLP是一个有不同层数的定制蛋糕。MLP更复杂但更通用，而KAN是静态的，但针对一项任务更简单、更快速。