去噪哈密顿网络与物理推理：清华校友Congyue Deng领衔，探索AI与物理结合的新突破

何恺明团队再次突破，这次他们将AI与物理学的结合推向了新的高度。通过引入去噪方法和哈密顿神经网络，他们的研究让AI在处理物理问题时表现得更加出色。

去噪哈密顿网络：AI更懂物理的关键
何恺明团队发现，传统的机器学习框架在处理物理问题时存在一些局限性。例如，这些框架往往只关注局部时间关系，忽略了长程和高层物理交互；同时，它们主要聚焦于正向模拟，忽视了其他物理推理任务。为了克服这些问题，团队受到生成图像的扩散模型启发，提出了去噪哈密顿网络（DHN），将哈密顿神力学运算符推广为通用的神经运算符。这种新框架不仅遵循物理约束，还利用了神经网络的灵活性和表现力，在钟摆等物理推理任务中展现了显著的效果。

哈密顿力学基础与创新
哈密顿力学是一种描述系统演化的理论，它通过相空间中的轨迹表示系统的演化规律。传统的哈密顿神经网络（HNN）虽然能够参数化哈密顿量，但在推理时却面临挑战，特别是在可用数据有限的情况下。为了解决这一问题，团队提出了一种新的解决办法——将优化过程合并到网络中，统一了每个时间步长状态优化的去噪更新规则和跨时间步的哈密顿建模状态关系。

Block-wise哈密顿量设计与掩码建模策略
Block-wise哈密顿量设计将系统状态按块划分和设置步长，建立起不同时间块之间的联系。这种方法可以观察系统在不同时间尺度上的行为，超越了经典HNN仅对相邻时间步的建模局限。此外，团队采用了掩码建模策略，在训练网络时，将部分输入状态掩码掉。具体操作上，向输入状态添加不同幅度的噪声，而不是简单地掩码掉输入状态。通过设计不同的掩码模式，团队实现了适应不同任务的灵活推理策略。

网络架构与实验结果
基于Block-wise哈密顿量构建的神经网络采用的是仅解码器Transformer架构。该架构与GPT系列类似，但没有因果注意力掩码。在实验中，团队在单摆和双摆系统上测试了去噪哈密顿网络在正向模拟、表征学习和轨迹插值三个任务中的性能。结果显示，去噪哈密顿网络在长期预测中表现更优，具有更好的稳定性和准确性。在处理不完整或损坏的观测数据时，也表现出较强的鲁棒性。

论文一作Congyue Deng
这项研究由来自麻省理工学院、斯坦福大学、哈佛大学等多所顶尖学府的研究人员联合完成。论文第一作者Congyue Deng是清华校友，2020年本科毕业于清华大学数学系，现为斯坦福大学计算机科学系五年级博士生。她的研究兴趣包括3D计算机视觉、几何深度学习以及物理表示学习。Congyue Deng特别感谢了在论文中出镜的猫猫Rell，并提出了几个开放性问题，如在深度学习中如何定义物理推理等。

本文来源： 量子位【阅读原文】