神经网络也有空间意识！学会在Minecraft创建地图，登上Nature子刊

AIGC动态3个月前发布 almosthuman2014

515 0 0

文章摘要

在一项开创性的研究中，科学家们首次证明了神经网络能够创建自己的空间地图。这项研究由Heritage Medical研究所的计算生物学助理教授Matt Thomson和研究生James Gornet共同完成，他们的论文发表在《自然 – 机器智能》杂志上。这项研究的核心是使用了一种名为“预测编码”的算法，该算法使得神经网络能够在虚拟环境中学习和构建空间地图。

研究团队在游戏《我的世界》中构建了一个复杂的环境，包括树木、河流和洞穴等元素。通过录制玩家在该环境中随机移动的视频，他们训练了一个配备预测编码算法的神经网络。结果显示，神经网络不仅能够学习Minecraft世界中物体之间的组织方式，还能够预测在空间中移动时会遇到的环境。通过预测编码算法，神经网络成功地创建了空间地图，并使用这些地图来预测视频的后续帧，预测图像与最终图像之间的均方误差仅为0.094%。

更重要的是，研究小组通过“打开”神经网络，检查其内部结构，发现各种物体的表征是相对于彼此进行空间存储的。这意味着神经网络中存储的Minecraft环境地图是真实存在的。这一发现表明，神经网络可以创建自己的空间地图，而不仅仅是导航由人类设计者提供的地图，如使用GPS的自动驾驶汽车。

这项研究展示了人工智能在空间感知能力方面的重要进步。在此之前，即使是最先进的人工智能模型，也无法像人类一样在概念空间中导航和解决问题。然而，通过预测编码算法，神经网络现在能够在空间上存储和组织信息，这将有助于它们变得更加“聪明”，并解决更复杂的问题。

研究者们使用了Minecraft中的Malmo环境来创建一个40×65格单位的物理环境，包括山洞、森林和河流等视觉场景。智能体遵循由A*搜索确定的路径，以找到随机取样位置之间的最短路径，并接收每条路径上的视觉图像。为了进行预测编码，作者构建了一个编码器-解码器卷积神经网络，使用了ResNet-18架构和U-Net架构，并通过多头注意力处理编码潜在单元序列，以编码过去的视觉观察历史。

预测编码器通过最小化实际观测值与预测观测值之间的均方误差来近似预测编码。经过200个epoch的训练，预测编码器在82,630个样本上达到了良好的视觉保真度，预测图像与实际图像之间的均方误差为0.094。

这项研究由加州理工学院计算与神经系统（CNS）系的学生James Gornet领导，该系涵盖了神经科学、机器学习、数学、统计学和生物学等多个领域。Thomson教授表示，CNS项目为James提供了一个独特的研究环境，他们正在采用一种生物启发的机器学习方法，通过在人工神经网络中反向设计大脑的特性，以期更好地了解大脑。

总的来说，这项研究标志着人工智能在空间感知和问题解决能力方面的重要突破，为神经网络的进一步发展和应用奠定了基础。随着神经网络能够创建自己的空间地图，它们将能够更有效地处理复杂问题，为人工智能领域带来更广泛的应用前景。