物理约束机器学习赋能科学计算

研究人员从有限体积法中汲取灵感，并调整神经算子，以在物理系统的深度学习模型中强制执行守恒定律和边界条件。

深度学习方法在科学计算领域也展现出前景，可用于预测偏微分方程的解。这些方程通常数值求解成本高昂；使用数据驱动方法有望改变科学计算的科学和工程应用。

一个根本性的挑战是，基于物理数据训练的深度学习模型的预测通常忽略基本的物理原理。例如，这类模型可能违反系统守恒定律：传热问题的解可能无法守恒能量，或者流体流动问题的解可能无法守恒质量。同样，模型的解也可能违反边界条件——例如，允许热量通过物理系统边界上的绝缘体流出。即使模型的训练数据中没有此类违规情况，在推理时，模型也可能只是以非法方式从训练数据中的模式进行外推。

在近期被国际机器学习大会和国际学习表征会议接受的两篇论文中，研究了在计算偏微分方程解时，如何将已知的物理约束添加到机器学习模型的预测输出中。

守恒定律

科学机器学习近期的工作侧重于将物理约束作为损失函数的一部分纳入学习过程。换句话说，物理信息被视为软约束或正则化。这些方法的一个主要问题是它们不能保证守恒这一物理特性得到满足。

为了应对这个问题，在《学习能够尊重守恒定律的物理模型》中，提出了ProbConserv框架，用于将约束纳入通用的科学机器学习架构。ProbConserv不是像科学机器学习中通常那样，将守恒定律以偏微分方程的微分形式表达，并将其作为损失函数的额外项，而是将其转换为积分形式。这使得可以利用有限体积法的思想来强制执行守恒。

具体而言，ProbConserv方法的第一步是使用概率机器学习模型（如高斯过程、注意力神经过程或神经网络模型集合）来估计物理模型输出的均值和方差。然后，利用守恒定律的积分形式对解剖面的分布均值和协方差进行贝叶斯更新，使其在极限情况下精确满足守恒约束。

论文详细分析了ProbConserv在广义多孔介质方程上的应用。通过改变偏微分方程参数，可以描述不同复杂程度的偏微分方程问题，从“简单”问题（如模拟平滑扩散过程的抛物线型偏微分方程）到“困难”的具有激波的非线性双曲型偏微分方程，如用于模拟水冰两相流、晶体生长等问题的斯蒂芬问题。

对于简单的广义多孔介质方程变体，ProbConserv与最先进的竞争对手表现相当；对于较难的变体，它优于其他不保证体积守恒的基于机器学习的方法。ProbConserv无缝地强制执行物理守恒约束，保持概率不确定性量化，并很好地处理了激波传播估计问题，这对于倾向于平滑连续行为的机器学习模型来说是困难的。它还能有效处理异方差性。在所有情况下，它在下游任务（如预测激波位置）上都实现了优越的预测性能。

边界条件

边界条件是物理强制约束，偏微分方程的解必须在特定空间位置满足这些约束。这些约束承载着重要的物理意义，并保证了偏微分方程解的存在性和唯一性。当前旨在求解偏微分方程的基于深度学习的方法严重依赖训练数据来帮助模型隐式地学习边界条件。然而，并不能保证这些模型在评估时会满足边界条件。

在《通过基于物理的边界约束指导连续算子学习》中，提出了一种高效的、硬约束的、基于神经算子的方法来强制执行边界条件。

大多数科学机器学习方法（例如物理信息神经网络）使用神经网络参数化偏微分方程的解，而神经算子的目标是学习从偏微分方程系数或初始条件到解的映射。每个神经算子的核心是一个核函数，它被表述为积分算子，用于描述物理系统随时间的演化。研究中选择了傅里叶神经算子作为基于核的神经算子的例子。

提出了一个称为边界增强算子网络的模型。给定一个表示偏微分方程解的神经算子、一个训练数据集和规定的边界条件，边界增强算子网络对神经算子进行结构修正，以确保预测解满足系统的边界条件。

提供了细化程序，并证明了边界增强算子网络的解满足基于物理的边界条件，如狄利克雷、诺依曼和周期性边界条件。还在广泛的问题上进行了大量数值实验，包括热方程、波动方程、伯格斯方程以及具有挑战性的用于气候和海洋建模的二维不可压缩纳维-斯托克斯方程。结果表明，强制执行这些物理约束可以实现零边界误差，并提高域内部解的准确性。边界增强算子网络的修正方法相对于给定的神经算子模型，在相对L2误差上表现出2倍到20倍的改进。

致谢：这项工作的完成离不开合著者、亚马逊学者Michael W. Mahoney；合著者及博士生实习生Derek Hansen和Nadim Saad；以及导师Yuyang Wang和Margot Gerritsen的帮助。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）