
文章摘要
【关 键 词】 物理推理、神经网络、哈密顿力学、去噪机制、Transformer
何恺明团队提出的去噪哈密顿网络(DHN)将哈密顿力学融入神经网络,突破了传统局部时间步的限制,并通过独特的去噪机制在物理推理任务中表现出色。传统机器学习方法在处理复杂物理系统时存在局限性,而DHN通过引入块式离散哈密顿,能够捕捉更长时间范围内的状态关系,从而更好地把握系统的全局特征和高级别相互作用。DHN的创新之处在于它将哈密顿力学推广到神经网络,并通过去噪机制减轻数值积分误差,提高了模型的长期预测稳定性。
DHN的核心思想是将系统状态按时间维度划分为状态块,每个状态块包含多个时间步的状态信息。通过这种方式,DHN能够捕捉更广泛的时间相关性,同时保持哈密顿结构的不变性。块式离散哈密顿的引入使DHN能够突破传统方法只能关注局部时间步的限制,从而在处理复杂物理系统时表现出更强的能力。此外,DHN的去噪机制受到去噪扩散模型的启发,通过在训练过程中添加不同程度的噪声,逐步恢复真实的物理状态,有效提高了模型的适应性和稳定性。
DHN的架构基于仅解码Transformer,输入由不同时刻的堆叠状态组成,并引入全局潜在编码z对整个轨迹进行条件控制。这种架构使DHN能够在单个GPU上高效运行,同时通过将噪声尺度编码到位置嵌入中,让网络更好地感知噪声对状态的影响。此外,DHN采用自动解码架构,为每个轨迹维护一个可学习的潜在编码z,在训练过程中联合优化网络权重和潜在编码,从而快速适应新的轨迹。
在实验中,DHN在多个物理推理任务中表现出色。在正向模拟任务中,DHN能够根据初始条件准确预测物理系统的未来状态,误差显著低于传统的哈密顿神经网络(HNN)。DHN在表示学习任务中也表现出色,能够更准确地捕捉物理系统的潜在特征,并在轨迹插值任务中展现出强大的泛化能力。尽管DHN在物理推理领域取得了显著成果,但其计算成本较高,限制了其应用范围。
总的来说,DHN通过将哈密顿力学与神经网络结合,并通过去噪机制和块式离散哈密顿的创新设计,显著提升了物理推理任务的性能。DHN的成功不仅展示了物理约束在机器学习中的重要性,也为未来在复杂物理系统中的应用提供了新的思路。
原文和模型
【原文链接】 阅读原文 [ 2211字 | 9分钟 ]
【原文作者】 新智元
【摘要模型】 deepseek-v3
【摘要评分】 ★★★★★