驯服AI,更懂物理!何恺明团队提出全新DHN「去噪哈密顿网络」

AIGC动态1天前发布 AIera
194 0 0
驯服AI,更懂物理!何恺明团队提出全新DHN「去噪哈密顿网络」

 

文章摘要


【关 键 词】 物理推理神经网络哈密顿力学去噪机制Transformer

何恺明团队提出的去噪哈密顿网络(DHN)将哈密顿力学融入神经网络,突破了传统局部时间步的限制,并通过独特的去噪机制物理推理任务中表现出色。传统机器学习方法在处理复杂物理系统时存在局限性,而DHN通过引入块式离散哈密顿,能够捕捉更长时间范围内的状态关系,从而更好地把握系统的全局特征和高级别相互作用。DHN的创新之处在于它将哈密顿力学推广到神经网络,并通过去噪机制减轻数值积分误差,提高了模型的长期预测稳定性。

DHN的核心思想是将系统状态按时间维度划分为状态块,每个状态块包含多个时间步的状态信息。通过这种方式,DHN能够捕捉更广泛的时间相关性,同时保持哈密顿结构的不变性。块式离散哈密顿的引入使DHN能够突破传统方法只能关注局部时间步的限制,从而在处理复杂物理系统时表现出更强的能力。此外,DHN的去噪机制受到去噪扩散模型的启发,通过在训练过程中添加不同程度的噪声,逐步恢复真实的物理状态,有效提高了模型的适应性和稳定性。

DHN的架构基于仅解码Transformer,输入由不同时刻的堆叠状态组成,并引入全局潜在编码z对整个轨迹进行条件控制。这种架构使DHN能够在单个GPU上高效运行,同时通过将噪声尺度编码到位置嵌入中,让网络更好地感知噪声对状态的影响。此外,DHN采用自动解码架构,为每个轨迹维护一个可学习的潜在编码z,在训练过程中联合优化网络权重和潜在编码,从而快速适应新的轨迹。

在实验中,DHN在多个物理推理任务中表现出色。在正向模拟任务中,DHN能够根据初始条件准确预测物理系统的未来状态,误差显著低于传统的哈密顿神经网络(HNN)。DHN在表示学习任务中也表现出色,能够更准确地捕捉物理系统的潜在特征,并在轨迹插值任务中展现出强大的泛化能力。尽管DHN在物理推理领域取得了显著成果,但其计算成本较高,限制了其应用范围。

总的来说,DHN通过将哈密顿力学与神经网络结合,并通过去噪机制和块式离散哈密顿的创新设计,显著提升了物理推理任务的性能。DHN的成功不仅展示了物理约束在机器学习中的重要性,也为未来在复杂物理系统中的应用提供了新的思路。

原文和模型


【原文链接】 阅读原文 [ 2211字 | 9分钟 ]
【原文作者】 新智元
【摘要模型】 deepseek-v3
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

“极客训练营”

暂无评论

暂无评论...