基于神经网络的偏微分方程求解器再度取得突破,北大字节的研究成果入选Nature子刊

news2024/11/18 20:17:27

目录

一.引言:神经网络与偏微分方程

二.如何基于神经网络求解偏微分方程

1.简要概述

2.基于神经网络求解偏微分方程的三大方向

2.1数据驱动

基于CNN

基于其他网络

2.2物理约束

PINN

基于 PINN 

可测量标签数据

2.3物理驱动(纯物理约束)

全连接神经网路(FC-NN)

CNN 求解偏微分方程

三.基于神经网络偏微分方程求解的新突破


一.引言:神经网络与偏微分方程

基于神经网络可以求解偏微分方程。通常情况下,神经网络将数据从一个有限维空间(例如,图像的像素值)映射或转换为另一个有限维空间(例如,将图像分类的数字,例如1代表猫,2代表狗)。求解偏微分方程的神经网络则是从无穷大的空间映射到无穷大的空间。
 
偏微分方程的用处和复杂性相伴而生,例如,想要观察空气在飞机机翼附近的流动二维透视图,建模人员想知道流体在空间中任何一点(也称为流场)以及在不同时间的速度和压力的话,就需要用到偏微分方程。考虑到能量、质量和动量守恒定律,特定的偏微分方程,即Navier-Stokes方程可以对这种流体流动进行建模。
 
在这些情况下,建模者会转向数值方法,将偏微分方程转换为一组易于处理的代数方程,假定这些方程可保持很小的空间和时间增量。在超级计算机上,用数值方式解决复杂的偏微分方程可能要花费数月的时间。如果初始条件或边界条件或所研究系统的几何形状(例如机翼设计)发生了变化,就必须重新开始求解。使用的增量越小(如研究人员所说,网格越细),模型的精度越高,数值求解所需的时间就越长。
 
神经网络更擅长拟合这样一个黑盒的未知函数,输入是一个向量,而输出是另一个向量。如果存在将一组输入向量映射到一组输出向量的函数,则可以训练网络以学习该映射,两个有限维空间之间的任何函数都可以通过神经网络近似。
 
2016年,研究人员研究了如何将通常用于图像识别的深度神经网络用于解决偏微分方程。首先,研究人员生成了用于训练网络的数据:一个数值求解器计算了流过xy且大小和方向不同的基本形状(三角形,四边形等)的简单对象上流动的流体的速度场。

二.如何基于神经网络求解偏微分方程

1.简要概述

使用神经网络来解决偏微分方程的基本思想是将偏微分方程转化为一个可学习的模型,然后使用神经网络来学习这个模型。
 
下面是一个简单的步骤概述:
 

  • 1. 定义问题:首先需要定义要解决的偏微分方程问题。这可能包括选择适当的坐标系、定义边界条件和初始条件等。
  • 2. 离散化:将连续的偏微分方程转化为离散的形式。这可以通过将空间和时间域划分为网格来实现。
  • 3. 构建神经网络:构建一个神经网络来逼近离散化后的偏微分方程。神经网络的输入可以是网格点上的初始条件和边界条件,输出可以是下一个时间步长的网格点上的解。
  • 4. 训练神经网络:使用训练数据来训练神经网络。训练数据可以是通过数值方法求解偏微分方程得到的结果。
  • 5. 预测:使用训练好的神经网络来预测新的初始条件和边界条件下的解。

 
需要注意的是,神经网络方法并不是一种精确的解析方法,而是一种数值方法。因此,其预测结果可能存在一定的误差。此外,神经网络的训练需要大量的数据和计算资源,因此在实际应用中需要考虑到这些因素。
 
总的来说,使用神经网络来解决偏微分方程是一种有前途的方法,但需要仔细选择模型和训练数据,以确保预测结果的准确性和可靠性。

2.基于神经网络求解偏微分方程的三大方向

2.1数据驱动

基于CNN

1.PDE-Net 2.0

是一种基于深度学习的偏微分方程(PDE)发现方法。它通过结合数值近似和符号神经网络,从观察到的动态数据中发现(时变的)PDE。这种方法具有很高的灵活性和表达能力,可以学习到微分算子和底层PDE模型的非线性响应函数。

2.基于卷积的三维非稳态偏微分方程模型求解方法

基于卷积的三维非稳态偏微分方程模型求解方法是由华侨大学计算机科学与技术学院的金镇上提出的。该方法以偏微分方程的差分格式为基础构造卷积迭代格式并提取卷积核,通过卷积核扫描数值解图像的方式逼近偏微分方程的解。该方法直接在数值解图像上进行卷积迭代,从而替代了传统数值方法求解离散线性方程组的过程。数值算例表明,卷积迭代方法在 GPU 上求解大规模问题的效率优于传统 ADI 算法等。

基于其他网络

1.神经网络作为一种函数逼近器及其在解决微分方程中的应用

神经网络作为一种函数逼近器在解决微分方程中有广泛的应用。下面是一些基本的概念和应用:
 

  • 1. 函数逼近:神经网络可以通过调整网络的权重来逼近任意函数。它们可以学习输入和输出之间的映射关系,从而实现对复杂函数的逼近。
  • 2. 微分方程求解:对于常微分方程(ODE)或偏微分方程(PDE),可以将其转化为函数逼近问题。通过使用神经网络来逼近微分方程的解函数,可以实现对微分方程的数值求解。
  • 3. 数值积分:对于积分问题,可以使用神经网络来逼近被积函数,然后通过数值积分方法计算积分结果。
  • 4. 边值问题:对于边值问题,例如求解ODE的初值问题或PDE的边界条件问题,可以使用神经网络来逼近解函数,并结合数值方法求解。
  • 5. 模型预测和控制:神经网络可以用于构建微分方程的模型,从而进行预测和控制。通过学习输入和输出之间的关系,可以预测系统的未来状态,并实现对系统的控制。

2.使用深度学习解决高维偏微分方程

使用深度学习解决高维偏微分方程是一个活跃的研究领域,它结合了深度学习的强大建模能力和偏微分方程的数学描述来解决复杂的物理问题。
 
以下是一些基本概念和方法:
 

  • 1. 深度神经网络:深度神经网络(DNN)是一种常见的深度学习模型,由多个神经元层组成,可以学习输入数据和输出之间的复杂映射关系。
  • 2. 物理模型:偏微分方程描述了物理系统中的动态行为,例如流体力学、电磁学、量子力学等。
  • 3. 数据驱动方法:通过使用大量的数值模拟或实验数据来训练深度学习模型,使其能够学习到物理系统的行为和特征。
  • 4. 模型预测:训练好的深度学习模型可以用于预测物理系统的未来状态或响应,例如流场的演化、物体的运动等。
  • 5. 结合数值方法:深度学习可以与传统的数值方法相结合,以提高求解的精度和效率。

3.基于深度学习的高维抛物型偏微分方程和向后随机微分方程的数值方法

基于深度学习的高维抛物型偏微分方程和向后随机微分方程的数值方法是一种利用深度学习技术来求解高维抛物型偏微分方程和向后随机微分方程的数值方法。这种方法的基本思想是将高维问题映射到低维空间,然后使用深度学习模型来学习低维空间中的映射关系。
 
以下是一些基本步骤:
 

  • 1. 空间降维:通过使用特征提取或其他降维技术,将高维问题映射到低维空间。
  • 2. 深度学习模型:构建深度学习模型,例如神经网络或循环神经网络,以学习低维空间中的映射关系。
  • 3. 数值求解:使用训练好的深度学习模型来近似求解高维抛物型偏微分方程或向后随机微分方程。
  • 4. 模型评估和优化:通过与传统数值方法或真实解进行比较,评估深度学习模型的准确性,并进行必要的优化。

这种方法的优点是可以利用深度学习的强大建模能力来处理高维问题,并且可以自动学习问题的特征和模式。然而,需要注意的是,深度学习模型的准确性和泛化能力可能受到数据和模型选择的影响,因此需要进行适当的评估和验证。
 

2.2物理约束

PINN

1.物理学启发的深度学习

物理学启发的深度学习是一种将物理学原理和概念应用于深度学习的方法。它旨在利用物理学中的对称、守恒定律和优化原理等来设计更强大、更高效的深度学习模型。
 
以下是一些物理学启发的深度学习的例子:
 

  • 1. 物理系統建模:利用物理学中的牛顿力学、热力学等原理来构建深度学习模型,以模拟物理系統的行为和特征。
  • 2. 对称约束:利用物理学中的对称原理,如旋转对称、平移对称等,来约束深度学习模型的结构,提高模型的泛化能力和效率。
  • 3. 守恒定律:利用物理学中的能量守恒、动量守恒等定律来设计深度学习模型,以确保模型在学习过程中保持某些物理量的守恒。
  • 4. 优化方法:借鉴物理学中的优化方法,如牛顿法、梯度下降法等,来优化深度学习模型的参数。
  • 5. 物理信息神经网络:结合物理学中的先验知识和约束,设计具有物理意义的神经网络结构和损失函数,以提高模型的准确性和可解释性。

物理学启发的深度学习旨在将物理学的原理和方法与深度学习相结合,以解决复杂的科学和工程问题,并推动深度学习在物理学领域的应用。

基于 PINN 

1.Richardson-Richards方程的单调约束物理神经网络

Richardson-Richards方程的物理信息神经网络(PINN)是一种基于深度学习的方法,用于求解Richardson-Richards方程。PINN是一种利用物理信息来约束神经网络的方法,它通过将物理规律转化为神经网络的约束条件,使得神经网络能够更好地模拟物理系统的行为。
 
Richardson-Richards方程是一种描述油藏驱替过程的偏微分方程,它在石油工程中有着广泛的应用。通过使用PINN来求解Richardson-Richards方程,可以提高计算效率和精度,并且可以更好地处理复杂的油藏模型。
 

可测量标签数据

1.基于理论指导的神经网络对地下流的深度学习

2.3物理驱动(纯物理约束)

全连接神经网路(FC-NN)

1.通过重要性采样对物理知识神经网络进行高效训练

通过重要性采样对物理知识神经网络进行高效训练是一种基于概率推理的训练方法。重要性采样是一种在概率分布中进行采样的技术,它可以根据样本的重要性来调整采样概率,从而更有效地利用有限的样本。
 
在物理知识神经网络的训练中,重要性采样可以用于优化训练过程,提高模型的泛化能力和准确性。具体来说,可以通过以下步骤实现高效训练:
 

  • 1. 定义目标概率分布:根据物理问题的特点,定义目标概率分布,即物理量的真实分布。
  • 2. 设计重要性采样策略:根据目标概率分布,设计合适的重要性采样策略,以更有针对性地获取具有代表性的样本。
  • 3. 训练神经网络:使用重要性采样策略采集到的样本训练物理知识神经网络,以学习物理量之间的关系和规律。
  • 4. 模型评估和优化:通过与真实数据或其他基准方法进行比较,评估训练得到的物理知识神经网络的性能,并进行必要的优化。

 
通过重要性采样对物理知识神经网络进行高效训练可以提高训练效率和模型的泛化能力,但需要根据具体问题进行合理的设计和调整。
 

CNN 求解偏微分方程

用于求解不规则域上的参数化稳定状态PDE的物理信息几何自适应卷积神经网络

提出了一种基于卷积神经网络(CNN)的物理知识神经网络(PINN),用于高效求解不规则域上的参数化偏微分方程(PDEs),无需任何标记数据。通过引入椭圆坐标映射,实现了不规则物理域和规则参考域之间的坐标转换,从而利用了强大的经典CNN主干网络。数值实验表明,该方法在效率和准确性上优于目前最先进的基于全连接神经网络的PINN,可用于解决具有参数化边界条件、可变几何形状和空间变化源场的稳态PDE。

三.基于神经网络偏微分方程求解的新突破

https://new.qq.com/rain/a/20240229A02ZMH00

近年来,基于神经网络的偏微分方程求解器在各领域均得到了广泛关注。其中,量子变分蒙特卡洛方法(NNVMC)在量子化学领域异军突起,对于一系列问题的解决展现出超越传统方法的精确度 [1, 2, 3, 4]。北京大学与字节跳动研究部门 ByteDance Research 联合开发的计算框架 Forward Laplacian 创新地利用 Laplace 算子前向传播计算,为 NNVMC 领域提供了十倍的加速,从而大幅降低计算成本,达成该领域多项 State of the Art,同时也助力该领域向更多的科学难题发起冲击。该工作以《A computational framework for neural network-based variational Monte Carlo with Forward Laplacian》为题的论文已发表于国际顶级期刊《Nature Machine Intelligence》,相关代码已开源。

图片

  • 代码地址:

  • https://github.com/bytedance/LapNet

  • https://github.com/YWolfeee/lapjax

该项工作一提出即受到相关研究人员的密切关注,围绕该工作已有多个开源项目实现,编程框架 JAX 也计划将该项工作吸收其中。

该项工作由北京大学智能学院王立威课题组、物理学院陈基课题组联合字节跳动研究部门 ByteDance Research 一同开发完成,作者中有多位北京大学博士生在 ByteDance Research 实习。

背景简介

基于神经网络的量子变分蒙特卡洛方法(NNVMC)已成为量子化学 - 从头计算领域中一项前沿技术。它具备精度高、适用范围广等优点。但它的阿克琉斯之踵在于过高的计算成本,这也限制了该方法在实际化学问题中的应用。

作者提出了一套全新的计算框架 "Forward Laplacian",利用 Laplace 算子的前向传播,显著提升了 NNVMC 方法的计算效率,为人工智能在微观量子问题中的应用打开了新的大门。

方法介绍

Forward Laplacian 框架

在 NNVMC 方法中,神经网络的目标函数是微观体系的能量,包括动能与势能两项。其中动能项涉及对神经网络的拉普拉斯算子的计算,这也是 NNVMC 中耗时最长的计算瓶颈。现有的自动微分框架在计算拉普拉斯算子时,需要先计算黑塞矩阵,再求得拉普拉斯项(即黑塞矩阵的迹)。而作者所提出的计算框架 "Forward Laplacian" 则通过一次前向传播直接求得拉普拉斯项,避免了黑塞矩阵的计算,从而削减了整体计算的规模,实现了显著加速。

图片

LapNet 网络

除了有效削减计算图规模之外,Forward Laplacian 框架的另一大特点是能有效利用神经网络梯度计算中的稀疏性,提出神经网络结构 LapNet。LapNet 通过增加神经网络中的稀疏性,在精度无损的同时,显著提升了网络计算的效率。

图片

计算结果

绝对能量

作者首先就方法的效率及精度同当前 NNVMC 领域有代表性的几项工作进行了比较。从绝对能量的计算结果而言,作者提出的 LapNet 在 Forward Laplacian 框架下的效率高于参考工作数倍,精度上也与 SOTA 保持一致。此外,如果在相同计算资源(即相同 GPU hour)的情况下比较,LapNet 的计算结果可以显著优于之前的 SOTA。

图片

加速标度

为了更明确地研究作者所提出方法相比于之前 SOTA 的加速标度,作者在不同大小的链式聚乙烯体系上进行了测试,结果可以很明显地看到 Forward Laplacian 工作带来的 O (n) 加速。此处 n 为目标分子中的电子数目。

图片

相对能量

在物理、化学研究中,相对能量相较于绝对能量具有更明确的物理意义。作者也在一系列的体系上进行了测试,均取得了理想结果。

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1505892.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

STM32CubeMX学习笔记15---CAN总线

1、CAN简介 CAN总线网络的结构有闭环和开环两种形式 闭环结构的CAN总线网络,总线两端各连接一个1202的电阻。这种CAN总线网络由ISO11898标准定义,是高速、短距离的CAN网络,通信速率为125kbit/s到1Mbit/s。在1Mbit/s通信速率时&#x…

IOS使用Unity容器动态加载3D模型

项目背景 我们的APP是一个数字藏品平台,里面的很多藏品需要展示3D模型,3D模型里面可能会包含场景,动画,交互。而对应3D场景来说,考虑到要同时支持iOS端,安卓端,Unity是个天然的优秀方案。 对于Unity容器来说,需要满足如下的功能: 1.在APP启动时,需要满足动态下载最…

【开源】SpringBoot框架开发软件学院思政案例库系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 系统管理员2.2 普通教师 三、系统展示四、核心代码4.1 查询思政案例4.2 审核思政案例4.3 查询思政课程4.4 思政案例点赞4.5 新增思政案例评语 五、免责说明 一、摘要 1.1 项目介绍 基于JAVAVueSpringBootMySQL的软件学…

OCP Java17 SE Developers 复习题09

答案 A, E. For the first scenario, the answer needs to implement List because the scenario allows duplicates, narrowing it down to options A and D. Option A is a better answer than option D because LinkedList is both a List and a Queue, and you just nee…

2024年【化工自动化控制仪表】新版试题及化工自动化控制仪表考试试题

题库来源:安全生产模拟考试一点通公众号小程序 化工自动化控制仪表新版试题是安全生产模拟考试一点通总题库中生成的一套化工自动化控制仪表考试试题,安全生产模拟考试一点通上化工自动化控制仪表作业手机同步练习。2024年【化工自动化控制仪表】新版试…

Go语言必知必会100问题-20 切片操作实战

前言 有很多gopher将切片的length和capacity混淆,没有彻底理清这两者的区别和联系。理清楚切片的长度和容量这两者的关系,有助于我们合理的对切片进行初始化、通过append追加元素以及进行复制等操作。如果没有深入理解它们,缺少高效操作切片…

如何查看centos7中启动了几个nginx

在 CentOS 7 中,最常用的几种方法如下: 1. 使用 ps 命令 ps 命令可以用来显示当前系统中正在运行的进程。要查看所有 Nginx 进程,可以使用以下命令: ps -ef | grep nginx这个命令会列出所有包含“nginx”字符串的进程。输出中会…

SDM450核心板_高通SDM450安卓核心板模块性能参数

高通SDM450核心板是基于SDM450移动平台开发的一款高性能核心板。采用领先的14纳米技术,该核心板为高端智能设备提供了卓越的性能和优质的体验。板载2GB16GB的内存(可选配4GB32GB),双 ISP(图像传感器处理器)支持丰富的照片细节和双摄像头体验,…

设计模式:观察者模式 ⑧

一、思想 观察者模式是一种常见的设计模式,也称作发布-订阅模式。它主要解决了对象之间的通知依赖关系问题。在这种模式中,一个对象(称作Subject)维护着一个对象列表,这些对象(称作Observers)都…

每日学习笔记:C++ STL 的Array

Array定义 Array模板有两个参数,一个是元素类型,一个是数组大小 Array初始化 Array的操作 Array当作C数组 Array的Tuple接口

NLP:文本相似度计算

前面我们已经实现了把长段的句子,利用HanLP拆分成足够精炼的分词,后面我们要实现“联想”功能,我这里初步只能想到通过文本相似度计算来实现。下面介绍一下文本相似度计算 (当然HanLP也有文本相似度计算的方法,这里我…

Day33-计算机基础3

Day33-计算机基础3 1.根据TCP/IP进行Linux内核参数优化1.1 例1:调整访问服务端的【客户端】的动态端口范围 ,LVS(10-50万并发),NGINX负载,SQUID缓存服务,1.2 企业案例:DOS攻击的案例&#xff1a…

第五十三天| 1143.最长公共子序列、1035.不相交的线、53. 最大子序和

Leetcode 1143.最长公共子序列 题目链接:1143 最长公共子序列 题干:给定两个字符串 text1 和 text2,返回这两个字符串的最长 公共子序列 的长度。如果不存在 公共子序列 ,返回 0 。 一个字符串的 子序列 是指这样一个新的字符串&…

no main manifest attribute,in xxx.jar(关于Spring项目,无法在云服务器上运行jar包的解决方法)

目录 问题详情 解决方法 问题详情 项目可以打包正常&#xff0c;但是云服务器上无法运行&#xff0c;报错&#xff1a;no main manifest attribute&#xff0c;in xxx.jar 解决方法 1.查看pom.xml配置文件&#xff0c;检查以下代码&#xff0c;没有则加上&#xff1a; <…

基于springboot+vue实现高校学生党员发展管理系统项目【项目源码+论文说明】计算机毕业设计

基于springboot实现高校学生党员发展管理系统演示 摘要 随着高校学生规模的不断扩大&#xff0c;高校内的党员统计及发展管理工作面临较大的压力&#xff0c;高校信息化建设的不断优化发展也进一步促进了系统平台的应用&#xff0c;借助系统平台可以实现更加高效便捷的党员信息…

P8680 [蓝桥杯 2019 省 B] 特别数的和:做题笔记

目录 思路 代码 题目链接&#xff1a; P8680 [蓝桥杯 2019 省 B] 特别数的和 思路 最开始我思路主要是从数字转字符串上想的。因为我们需要判断每一位是否是特殊数&#xff0c;字符串很容易做到这一点&#xff0c;只是在数字相加这一步不好实现。 需要用到字符串与数字的…

复盘-word

word-大学生网络创业交流会 设置段落&#xff0c;段后行距才有分 word-选中左边几行字进行操作 按住alt键进行选中 word复制excel随excel改变&#xff08;选择性粘贴&#xff09; 页边距为普通页边距定义 ##### word 在内容控件里面填文字&#xff08;调属性&#xff09…

会话_过滤器_监听器笔记

一&#xff1a;会话 1&#xff1a;Cookie&#xff1a; cookie是一种客户端会话技术,cookie由服务端产生,它是服务器存放在浏览器的一小份数据,浏览器以后每次访问该服务器的时候都会将这小份数据携带到服务器去。 服务端创建cookie,将cookie放入响应对象中,Tomcat容器将cookie…

缓解LLM的局限性:微调 VS RAG

原文地址&#xff1a;Knowledge Graphs & LLMs: Fine-Tuning Vs. Retrieval-Augmented Generation 2023 年 6 月 6 日 GitHub&#xff1a;https://github.com/neo4j/NaLLM 大型语言模型 (LLM) 的第一波炒作来自 ChatGPT 和类似的基于网络的聊天机器人&#xff0c;相信在…

Kap - macOS 开源录屏工具

文章目录 关于 Kap 关于 Kap Kap 是一个使用web技术的开源的屏幕录制工具 官网&#xff1a;https://getkap.cogithub : https://github.com/wulkano/Kap 目前只支持 macOS 12 以上&#xff0c;支持 Intel 和 Apple silicon 你可以前往官网&#xff0c;右上方下载 你也可以使…