驯服AI,更懂物理!何恺明团队提出全新DHN「去噪哈密顿网络」
创始人
2025-03-15 16:13:49
0

新智元报道

编辑:英智

【新智元导读】何恺明团队提出的去噪哈密顿网络(DHN),将哈密顿力学融入神经网络,突破传统局部时间步限制,还有独特去噪机制,在物理推理任务中表现卓越。

近日,何恺明团队提出了去噪哈密顿网络(Denoising Hamiltonian Network,DHN),就像给物理知识开了挂。

传统的机器学习方法虽然能处理一些简单的物理关系,但面对复杂的物理系统时,却显得力不从心。

来自MIT、斯坦福、西北大学等的研究者将哈密顿力学算子推广到神经网络中,不仅能捕捉非局部时间关系,还能通过去噪机制减轻数值积分误差。

论文链接:https://arxiv.org/abs/2503.07596

现有的方法对相邻时间步之间的局部关系进行建模,这就像是只看到了树木,却忽略了整个森林。

这种局限性使模型在处理复杂物理系统时,难以把握系统的全局特征和高级别的相互作用。

另一方面,它们专注于正向模拟,而忽视了更广泛的物理推理任务。

实际应用中,往往还需要解决许多其他问题,比如从稀疏的观测数据中推断物理参数,对不完整的轨迹进行修复,或者提高轨迹数据的分辨率等。

DHN:物理推理的创新引擎

DHN的出现突破了传统机器学习在物理推理中的局限,它将哈密顿力学巧妙地推广到神经网络。

哈密顿力学是经典力学的一种重要表述形式,它通过哈密顿量来描述系统的能量和状态变化。

DHN引入了块式离散哈密顿的概念。它把系统状态按照时间维度划分为一个个状态块,每个状态块包含多个时间步的状态信息。

通过这种方式,DHN可以捕捉到更长时间范围内的状态关系,突破了传统方法只能关注局部时间步的限制。

就像看一段舞蹈表演,不再是只关注每一个瞬间的动作,而是能够连贯地看到舞者在一段时间内的整体动作变化和节奏韵律。

块式离散哈密顿

将状态块定义为沿时间维度连接的(p,q)状态堆叠,即

其中b为块大小。引入步长s作为一个可定义的超参数,取代固定的时间间隔Δt。

这种方法使网络能够捕捉更广泛的时间相关性,同时保持哈密顿结构的不变性。

通过关联两个重叠的状态块(每个块大小为b,偏移步长为s)来定义分块离散哈密顿量:

下图展示了一个块大小b=4且步长s=2的分块离散哈密顿量。经典HNN可被视为块大小b=1且步长s=1的特例。

类似于HNN,分块离散哈密顿网络

可通过以下损失函数训练:

去噪机制

DHN的去噪机制是其一大亮点。

受到去噪扩散模型的启发,DHN在训练过程中会对输入状态添加不同程度的噪声,然后通过网络自身的学习能力,逐步去除这些噪声,恢复出真实的物理状态。

通过这种方式,DHN能有效减轻数值积分误差,提高模型在长期预测中的稳定性。不同的噪声模式能让DHN在各种噪声条件下保持良好的适应性。

不同掩码模式

通过在训练过程中设计不同的掩码模式,研究团队实现了灵活的推理策略,以适应不同的任务。

中展示了三种不同的掩码模式:

  • 自回归(autoregression):对块的最后几个状态进行掩码,这类似于物理模拟中的前向建模,用于下一状态预测。

  • 超分辨率(super-resolution):对块中间的状态进行掩码,可用于数据插值。

  • 任意阶(arbitrary-order):包括随机掩码,掩码模式可根据任务需求自适应设计。

DHN网络架构

仅解码Transformer架构

对于每个哈密顿块,网络的输入由不同时刻的

堆叠以及

堆叠组成,同时引入一个全局潜在编码z,用于对整个轨迹进行条件控制。

仅解码Transformer采用类似于GPT的仅解码架构,但不包含因果注意力掩码。

对所有输入token

应用自注意力机制,将其作为长度为2b+1的序列处理。

其中,全局潜在编码z作为查询token,用于输出哈密顿值。

DHN还将每个状态的噪声尺度编码到位置嵌入中,让网络更好地感知噪声对状态的影响。

研究者实现了一个简单的两层Transformer,在单个GPU上就能高效运行。

自动解码

为了高效地存储和优化系统特定的嵌入,DHN采用了自动解码架构。

与传统的依赖编码器网络来推断潜在编码的方法不同,DHN为每个轨迹维护一个可学习的潜在编码z。

这就好比为每个轨迹建立了一个专属的「记忆库」,在训练过程中,网络权重和潜在编码会联合优化,不断地调整和完善这个「记忆库」。

训练完成后,当遇到新的轨迹时,只需冻结网络权重,对新轨迹的潜在编码进行优化,就能快速适应新的情况。

实验中的卓越表现

为验证DHN的有效性,研究人员进行了一系列实验,涵盖了多个不同的物理推理任务。

正向模拟

在正向模拟任务中,DHN需根据初始条件,逐步预测物理系统的未来状态。

在单摆和双摆系统中,通过在DHN块内应用掩码策略,让模型学习预测未来状态。

在拟合已知轨迹的实验中,与传统的HNN相比,DHN在预测单摆和双摆的状态时,误差更小。

当块大小为2时,DHN能稳定地守恒总能量,而HNN虽然是一个保证能量守恒的网络,但由于数值积分器的影响,仍然会出现不可控的能量漂移。

在对新轨迹进行补全的实验中,DHN同样表现优异。它能从稀疏的初始观测中准确地推断系统动力学,并预测未来状态。

相比之下,HNN和其他没有物理约束的基线模型在处理新轨迹时,误差较大,难以准确预测未来状态。

表示学习

表示学习是评估模型对物理系统参数编码和区分能力的重要任务。

DHN用随机掩码模式,利用去噪和随机掩码这两种自监督学习技术,来增强在动态物理系统中的表示学习能力。

研究人员在双摆系统上进行实验,预测摆长比

通过对自动解码器和代码进行预训练,然后用线性回归层对潜在代码进行线性探测,结果显示,DHN在学习表示物理属性方面很出色。

与HNN和普通网络相比,DHN的均方误差更低,能够更准确地捕捉到物理系统的潜在特征。

研究还发现,在双摆系统中,块大小为4是推断其参数的最佳时间尺度。

下图展示了不同块大小和步长的DHN的结果。对于简单的双层Transformer,最佳的块大小和步长约为

,具有适度的重叠。

轨迹插值

轨迹插值是DHN展示灵活性的另一个重要任务。DHN用渐进式超分辨率技术,通过重复应用2倍超分辨率来实现4倍超分辨率。

研究人员构建了块大小b=2、步长s=1的DHN块,对不同稀疏度的轨迹进行插值。

实验结果表明,在处理与训练集初始状态相同的轨迹时,DHN和基于CNN的方法都能取得较好的插值效果。

但在处理具有未见过初始状态的轨迹时,CNN由于严重依赖训练分布,难以泛化,而DHN凭借其受物理约束的表示,能够推断出合理的中间状态,展现出了强大的泛化能力。

尽管DHN在物理推理领域取得了显著的成果,但它也面临着一些挑战。

其中一个主要挑战是计算成本较高,相比传统Transformer,DHN需要更密集的梯度计算,这也限制了它的应用范围。

参考资料:

https://arxiv.org/abs/2503.07596

相关内容

驯服AI,更懂物理!何恺明...
新智元报道 编辑:英智 【新智元导读】何恺明团队提出的去噪哈密顿...
2025-03-15 16:13:49
网络犯罪的“智能帮凶”:A...
IT之家 3 月 15 日消息,网络安全公司 Symantec 于...
2025-03-15 13:42:36
Siri升级推迟 苹果高管...
苹果公司负责智能助手Siri的高管对员工表示,关键功能的发布延迟“...
2025-03-15 11:14:12
横竖研究所公开金秀贤金赛纶...
搜狐娱乐讯 14日,横竖研究所公开金秀贤、金赛纶最新比耶合照。此外...
2025-03-15 09:14:15
CentOS 5.3至最新...
CentOS 5.3升级指南:安全过渡与系统优化 对于仍在运行Ce...
2025-03-15 06:13:57
继续破!《哪吒2》票房距全...
据网络平台数据,截至目前,电影《哪吒之魔童闹海》全球票房(含预售及...
2025-03-14 16:12:53

热门资讯

原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
支持 AI 扩图,华为 Pur... 2024-07-28 09:05:02作者:姚立伟 华为Pura 70 Pro手机今日推出鸿蒙Ha...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
吞噬星空维妮娜美图/高清壁纸/... 国漫女神|《吞噬星空》维妮娜美图/高清壁纸/AI手机壁纸/无水印 国漫女神|《吞噬星空》维妮娜美图...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 商... 最近,各家的AI 9笔记本开始陆续登场,其实大家并不一定非选AI 9 HX 370,主要是这颗CPU...
AI智能+高效清洁!萤石RS2... 目前扫拖机器人市场的竞争非常激烈,在上下水扫拖一体机市场也出现了很多所谓的创新产品。但是对于这些产品...
2024年度中国银行业发展报告... 21世纪经济报道 记者李愿 北京报道 10月19日,中国银行业协会在2024金融街论坛年会·金融街之...