基于元学习的内嵌物理知识的神经网络初始化设计方法

1.本发明涉及神经网络技术领域，尤其涉及一种基于元学习的内嵌物理知识的神经网络初始化设计方法，所述方法用于卫星组件布局板温度场重构计算。


背景技术：

2.神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。神经网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，随着神经网络学习技术的不断发展，近年来，神经网络在各个领域取得显著成绩，例如，自然语言处理、计算视觉以及基因学等，但是，如何将神经网络用于科学计算一直是一个难题。
3.传统数值方法，例如，有限元方法、有限差分等方法，是一种基于网格的方法，网格的建立是一个复杂的几何问题，而且到了更高维上传统数值方法更是会出现维度灾难无法求解的问题。在最近的研究中，神经网络已经成功的用于求解微分方程，其中，内嵌物理知识的神经网络是用于求解微分方程正、逆问题的通用框架。内嵌物理知识的神经网络通过将物理信息编码到损失函数中，再进行优化，建立解的代理模型，能够实现整个求解域的预测。相比于传统数值方法，内嵌物理知识的神经网络是一种无网格的方法，其避免了网格建立的复杂繁琐过程和可能出现的维度爆炸问题，节省了求解时间和计算成本，能够对整个域内所有点进行准确预测。
4.然而，当一些昂贵数据不易得到时，作为一个内嵌物理知识的数据驱动方法，内嵌物理知识的神经网络难以实现快速而准确的预测，甚至经过大量训练后仍无法求解，提高了计算的成本。例如，卫星布局板上需要设置多个组件，每个组件均可视为一个热源，在实际的使用中，热源分布不均匀将会影响卫星布局板的使用性能，更严重地可能会带来安全隐患，然而，卫星布局板上的热量分布又无法轻易的准确获取。因此，需要提供一种方法来对卫星组件布局板温度场进行重构计算。


技术实现要素：

5.为至少部分地解决上述现有技术中存在的技术问题，本发明提供一种基于元学习的内嵌物理知识的神经网络初始化设计方法。
6.本发明的技术方案如下：
7.一种基于元学习的内嵌物理知识的神经网络初始化设计方法，所述方法用于卫星组件布局板温度场重构计算，所述方法包括：
8.步骤s1：构建内嵌物理知识的神经网络；
9.步骤s2：利用元学习训练所述神经网络，获取所述神经网络的元初始化参数；
10.步骤s3：所述神经网络加载所述元初始化参数，利用测点温度重构待测卫星组件布局板的温度场，并利用测点温度构建损失函数，通过训练最小化所述损失函数得到最优的性能参数，从而获取所述待测卫星组件布局板的温度场的最优代理模型。
11.可选地，在所述方法中，所述待测卫星组件布局板的温度满足如下控制方程：
[0012][0013]
其中，边界：t＝t0或或
[0014]
在上述公式中，φ表示强度分布，k表示区域内的热传导系数，t0表示等温边界或对流边界的温度值，并且，在执行所述方法之前，提前获取部分测点温度值。
[0015]
可选地，所述强度分布φ存在于分布范围[φ
min
,φ
max
]内，
[0016]
在所述步骤s2中包括，在所述分布范围内随机采样得到一个测试值φi，并将其视为高阶先验信息，并利用每一次采样构建如下内嵌物理知识的损失函数：
[0017]
其中，
[0018]
或者
[0019]
其中，和均表示权重参数。
[0020]
可选地，每一次采样所得到的方程视为一个任务，
[0021]
在所述步骤s2中包括，在相同的任务下，采用随机梯度下降算法对网络参数更新m次，然后寻找n个任务下的最优性能参数该参数即为所述神经网络的元初始化参数。
[0022]
可选地，在所述步骤s3中包括，利用测点温度构成如下的损失函数：
[0023]
其中，
[0024][0025][0026]
或者
[0027]
之后，通过训练最小化损失得到最优的性能参数θ
**
，从而得到整个温度场的最优代理模型。
[0028]
可选地，在所述步骤s3中，采用随机梯度下降或自适应动量估计算法对损失函数进行优化，在设置的迭代周期n下找到最优的性能参数θ
**
。
[0029]
可选地，在所述步骤s2中包括，训练所述神经网络寻找在每个任务下最好的性能参数θ
*
，其中，
[0030]
在相同任务下，采用sgd或者adam算法更新神经网络参数θ，第k次更新后可以通过描述；在不同任务下，神经网络参数θ以方向进行更新，更新步长∈采用线性策略步∈＝∈0(1-k/n)，更新方式可以描述为
[0031]
可选地，在所述步骤s1中，所述神经网络的深度为d，d≥3，并对所述神经网络给定初始化参数，所述神经网络包括一个输入层、一个输出层和d-2个隐藏层。
[0032]
可选地，所述神经网络表示为n
θ
(
·
)，利用带有激活函数的多层感知机，使得：
[0033]
其中，
[0034][0035][0036][0037]
本发明技术方案的主要优点如下：
[0038]
本发明的基于元学习的内嵌物理知识的神经网络初始化设计方法，通过待测卫星组件布局板温度的控制方程，采集待测卫星组件布局板上的强度分布，然后通过元学习获取神经网络的最优性能参数，并利用测点温度重构出整个区域的温度场，之后构建与之相关的神经网络的损失函数，通过最小化损失函数得到最优的性能参数，从而获取待测卫星组件布局板的温度场的最优代理模型。在该方法中，可以通过较少的样本参数，并降低计算数据成本，能够在较短的时间内对卫星组件布局板温度场进行有效地重构计算。
[0039]
而且，基于本发明的通用方法中，通过对两类先验分布(零阶分布和高阶分布)进行学习得到三种不同的元初始化参数，在内嵌物理知识的神经网络加载元初始化参数后能实现更快的训练速度以及更高的收敛精度。设计的元初始化不仅对正问题，即求解微分方程，加速作用明显，同时也对使用小样本求解微分方程逆问题，即恢复控制方程中的未知参数，加速作用明显，大大降低了计算数据成本并解决了计算训练耗时长的问题，使得在误差范围内使用少量真实训练样本对控制方程求解以及未知参数预测变得可行。
附图说明
[0040]
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0041]
在附图中：
[0042]
图1为根据本发明的一个实施方式中的卫星组件布局板的结构示意图；
[0043]
图2为根据本发明的一个实施方式中的方法的简要流程示意图；
[0044]
图3为本实施方式中通过计算得到的卫星组件布局板的重构的温度场的示意图；
[0045]
图4为根据本发明的一个实施方式中的神经网络初始化设计方法的元学习初始化训练流程图；
[0046]
图5为根据本发明的一个实施方式中的内嵌物理知识的神经网络模型原理图。
具体实施方式
[0047]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
元学习是一种学习如何学习的学习方法，被广泛应用于小样本学习中，其中广泛应用的reptile算法是一种元初始化方法，能够通过学习任务后利用少量样本就能在新任务上的快速迭代求解。
[0049]
对于现在大多使用随机初始化或零初始化的内嵌物理知识的神经网络，若能将元学习算法应用于内嵌物理知识的神经网络中，就不仅能解决对训练样本的依赖，而且能对实现对微分方程解快速而又准确的预测，大大节约计算成本。
[0050]
在本实施方式中，元学习将应用于内嵌物理知识的神经网络初始化，利用元初始化达到利用少量训练样本加速求解微分方程的作用，该方法尤其能够用于卫星组件布局板温度场重构计算。
[0051]
为了更明确的说明本发明的方案，以下将以本方法求解卫星组件布局板温度场重构计算为例进行详细说明。
[0052]
本实施方式中，如图2所示，该方法包括：
[0053]
步骤s1：构建内嵌物理知识的神经网络；
[0054]
步骤s2：利用元学习训练所述神经网络，获取所述神经网络的元初始化参数；
[0055]
步骤s3：所述神经网络加载所述元初始化参数，利用测点温度重构待测卫星组件布局板的温度场，并利用测点温度构建损失函数，通过训练最小化所述损失函数得到最优的性能参数，从而获取所述待测卫星组件布局板的温度场的最优代理模型。
[0056]
具体而言，本实施方式中的方法在求解卫星组件布局板温度场重构计算时，如图1所示，待测卫星组件布局板分布着多个组件，每个组件可视作一个热源，其中，待测卫星组件布局板的温度满足如下控制方程：
[0057][0058]
其中，其中，边界：t＝t0或或
[0059]
在上述公式中，φ表示强度分布，k表示区域内的热传导系数，t0表示等温边界或对流边界的温度值，并且，在执行所述方法之前，提前获取部分测点温度值。
[0060]
可以理解，所述强度分布φ存在于分布范围[φ
min
,φ
max
]内，
[0061]
在所述步骤s2中包括，在所述分布范围内随机采样得到一个测试值φi，并将其视为高阶先验信息，并利用每一次采样构建如下内嵌物理知识的损失函数：
[0062]
其中，
[0063]
或者
[0064]
其中，和均表示权重参数。
[0065]
此外，在求解相关或其他领域内的非线性微分方程时，存在基于本实施方式中方法的通用方法。具体地，该通用方法可以包括：
[0066]
步骤s1：构建内嵌物理知识的神经网络；
[0067]
步骤s2：利用元学习训练所述神经网络，获取所述神经网络的元初始化参数；
[0068]
步骤s3：所述神经网络加载所述元初始化参数，求解微分方程。
[0069]
在该通用方法中，待求解的参数化的非线性微分方程可以描述为：
[0070]
[0071]
在求解该方程时根据专家先验或方案设计能够获取零阶分布或高阶分布信息。
[0072]
其中，零阶分布包含待求解的分布信息，可以描述为：
[0073]
u(x,t)～p1(τ),x∈ω,t∈[0,t]。
[0074]
高阶分布包含待求解的高阶信息，可以描述为：
[0075][0076]
零阶分布和高阶分布都能够作为元学习算法的学习任务，本发明能够将元学习算法reptile从原来的监督学习方法拓展到监督学习、无监督学习以及半监督学习方法中，然后将拓展的new reptile算法应用于内嵌物理知识的神经网络初始化，提升神经网络求解微分方程的速度与准确性。
[0077]
返回本实施方式的方法中，在步骤s1中包括，构建深度为d的神经网络，其中d≥3，将其表示为n
θ
(
·
)，并对该神经网络给定初始化参数。该神经网络包括一个输入层、一个输出层和d-2个隐藏层，这是一个从到的映射。利用带有激活函数的多层感知机，则：
[0078]
其中，
[0079][0080][0081][0082]
进一步地，本实施方式的方法中，每一个采样所得到的的方程视为一个任务，在步骤s2中包括：
[0083]
在相同的任务下，采用随机梯度下降算法对网络参数更新m次，然后寻找n个任务下的最优性能参数该参数即为所述神经网络的元初始化参数。
[0084]
进一步地，在所述步骤s2中包括，训练所述神经网络寻找在每个任务下最好的性能参数θ
*
，其中，
[0085]
在相同任务下，采用sgd或者adam算法更新神经网络参数θ，第k次更新后可以通过描述；在不同任务下，神经网络参数θ以方向进行更新，更新步长∈采用线性策略步更新方式可以描述为
[0086]
基于本实施方式中的通用方法中，在求解相关或其他领域内的非线性微分方程时，在步骤s2中可以包括：
[0087]
首先确定采样学习任务的数目为l，以及元学习训练的任务类型。其中，当仅能够获取零阶先验分布信息时，采用监督学习方法进行训练，从任务分布p1(τ)采样得到学习任务τk，再从任务τk中采样训练点，基于训练点真实值和神经网络预测值，建立损失函数当仅能够获取高阶先验分布信息时，采用无监督学习方法进行训练，从任务分布p2(τ)采样得到学习任务τk，再从任务τk中采样构建来自pde条件以及边值条件的训练点的损失函数当零阶分布以及高阶分布信息都能获取时，使用半监督学习方法进行训练，选取αl的任务用于监督学习，剩余任务用于无监督学习，其具体任务下的损失函数按照上述方式进行建立。
[0088]
之后，训练神经网络去寻找在每个任务下最好的性能参数θ
*
，其中，在相同任务
下，采用sgd或者adam算法更新神经网络参数θ，第k次更新后可以通过描述；在不同任务下，神经网络参数θ以方向进行更新，更新步长∈采用线性策略步∈＝∈0(1-k/n)，更新方式可以描述为具体的训练方式如图3所示。
[0089]
返回本实施方式的方法中，在所述步骤s3中包括，利用测点温度构成如下的损失函数：
[0090]
其中，
[0091][0092][0093]
或者
[0094]
之后，通过训练最小化损失得到最优的性能参数θ
**
，从而得到整个温度场的最优代理模型。
[0095]
进一步地，在所述步骤s3中，采用随机梯度下降或自适应动量估计算法对损失函数进行优化，在设置的迭代周期n下找到最优的性能参数θ
**
。
[0096]
示例性地，如图4所示，该图即为在一个具体的实施例中通过本实施方式中的方法得到的重构后的卫星组件布局板的温度场的示意图。
[0097]
基于本实施方式的通用方法中，在求解相关或其他领域内的非线性微分方程时，
[0098]
在步骤s3中，神经网络将会加载元初始化参数，需要对神经网络进行限制以使其满足物理限制，其中，主要方式是构造内嵌物理知识的损失函数损失函数包括偏微分结构损失边值条件损失初值条件损失以及真值条件损失损失函数可以表示为：
[0099]
其中，
[0100][0101][0102][0103][0104]
在上述公式中，wf,wi,wb和wd是权重参数，和表示来自pde、初始值、边值以及真实值数据点的集合。
[0105]
此时，在步骤s3中，如图5所示，采用随机梯度下降(stochastic gradient decent，简称sgd)或自适应动量估计(adaptive moment estimation，简称adam)算法对损
失函数进行优化，在设置的迭代周期n下找到最优的性能参数
[0106]
在输入相关的参数之后，即可以对微分方程进行求解。
[0107]
由此，在本实施方式的神经网络初始化设计方法中，通过待测卫星组件布局板温度的控制方程，采集待测卫星组件布局板上的强度分布，然后通过元学习获取神经网络的最优性能参数，并利用测点温度重构出整个区域的温度场，之后构建与之相关的神经网络的损失函数，通过最小化损失函数得到最优的性能参数，从而获取待测卫星组件布局板的温度场的最优代理模型。在该方法中，可以通过较少的样本参数，并降低计算数据成本，能够在较短的时间内对卫星组件布局板温度场进行有效地重构计算。
[0108]
而且，基于本发明的通用方法中，结合内嵌物理知识的神经网络的特性，对元学习reptile算法进行推广应用，从监督学习推广到监督、无监督以及半监督算法中，拓展了元学习reptile算法的应用范围以及应用条件，同时利用元学习算法new reptile，对内嵌物理知识的神经网络进行元初始化，实现仅使用少量昂贵真实训练样本就能加速求解微分方程正逆问题并提高神经网络的预测精度。
[0109]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，本文中“前”、“后”、“左”、“右”、“上”、“下”均以附图中表示的放置状态为参照。
[0110]
最后应说明的是：以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。