一种构建带边界条件约束的神经网络的方法与流程

本发明涉及模式识别和机器学习技术领域，更具体地涉及一种构建带边界条件约束的神经网络的方法。

背景技术：

“黑箱”建模与运行方式。这是指神经网络模型的参数具有不可解释性，没有明确的物理意义。克服“黑箱”缺陷的一个有效途径是增加神经网络的透明性，其中，将先验知识引入神经网络方法是一种有效的策略。先验信息种类丰富，表达形式多样，与特定的研究问题相关，其中，边界条件是一种常见的具有广泛应用价值的先验知识。

目前关于在神经网络中嵌入边界条件约束的主要思路包括：

(1)使用传统的解决带约束的优化问题的方法求解；

(2)将有边界条件约束的优化问题转化成不带约束条件的问题求解；

(3)生成一个新的网络，该网络能自动满足边界条件约束。

使用传统带约束的优化问题的方法求解是最直接简单的解决方法，但该方法只能处理插值点约束，即必须将连续的边界条件约束近似的转化成有限个插值点约束，转化后的边界条件约束并不等价于原始边界条件约束。将有边界条件约束的优化问题转化成不带约束条件的问题求解，转化后的优化问题容易求解，但通常情况下，转化后的优化目标函数不等价于原目标函数。生成一个新的网络，使该网络能自动满足边界条件约束是一种有效的解决边界条件约束的方法，有研究表明通过生成新的网络，边界条件约束能以离散的方式严格满足，但是目前的研究在处理连续边界条件约束问题上存在许多困难。

技术实现要素：

(一)要解决的技术问题

为了解决现有技术问题，本发明提供了一种构建带边界条件约束的神经网络的方法。

(二)技术方案

本发明提供了一种构建带边界条件约束的神经网络的方法，包括：步骤S1：构造训练数据集和测试数据集，确定神经网络隐层节点的个数、径向基核神经网络函数的中心点以及窗宽；步骤S2：基于所述训练数据集中的训练样本到指定边界的距离，得到神经网络的局部施加函数；步骤S3：根据已知的边界条件约束的属性，基于径向基核神经网络函数、边界条件约束函数和所述神经网络的局部施加函数，得到带边界条件约束的神经网络的误差函数；步骤S4：利用最小二乘法由所述带边界条件约束的神经网络的误差函数得到带边界条件约束的神经网络函数；以及步骤S5：利用测试数据集验证所述带边界条件约束的神经网络的性能。

(三)有益效果

从上述技术方案可以看出，本发明的构建带边界条件约束的神经网络的方法具有以下有益效果：

本发明利用一种局部施加函数使边界条件约束局部性作用于神经网络中，具有局部性激活边界条件约束的特征，处理边界条件约束时无需将边界条件离散化，对于Dirichlet边界条件和可转换的Neumann边界条件，该发明能严格满足边界条件使得边界条件约束局部性地影响目标函数的训练，提高了神经网络的性能。

附图说明

图1为本发明实施例的构建带边界条件约束的神经网络的方法的流程图；

图2为本发明实施例的Dirichlet边界条件约束和可积分的Neumann边界条件约束的带边界条件约束的神经网络函数的示意图；

图3为本发明实施例的得到三种边界条件约束的神经网络的误差函数的示意图。

具体实施方式

在机器学习领域，局部性是一种被广泛应用的指导思想，其目的是提高效率，降低能耗。本发明利用局部性思想，局部性的施加(或者激活)边界条件约束，使得边界条件约束局部性地影响目标函数的训练。针对局部性施加边界条件约束的问题，本发明首先判断边界条件约束的性质，并相应的建立两个模块，得到网络输出；利用局部施加函数计算训练样本的局部施加函数值并代入网络模型。本发明利用一种局部施加函数使边界条件约束局部性作用于神经网络中，具有局部性激活边界条件约束的特征。具体来说，首先，判断已知的边界条件约束的属性，根据边界条件约束的属性决定网络结构的设置，建立两个模块神经元网络模型，第一模块为给定原有的或转化的边界条件约束函数与特定局部施加函数的乘积，第二模块为径向基神经网络函数与特定局部施加函数的补函数的乘积，两个模块神经元网络模型以加和方式连接为整体神经网络；然后，计算训练样本的局部施加函数值，根据该值设置具体的神经网络方法使其满足边界条件；利用该神经网络方法得到测试样本的输出值。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

图1为本发明实施例的构建带边界条件约束的神经网络的方法的流程图，参照图1，该方法包括：

步骤S1：构造训练数据集和测试数据集，确定神经网络隐层节点的个数m、径向基核神经网络函数的中心点μ_i以及窗宽σ。

其中，步骤S1中的训练数据集中的数据包括两部分：一部分是在边界内部均匀采样的数据，另外一部分是在边界上均匀采样的数据；测试数据集中的数据也包括两部分：一部分是在与训练数据集同一边界内部随机采样的数据，另外一部分是在边界上随机采样的数据，其中边界包括：Dirichlet边界、Neumann边界和Robin边界。

在步骤S1中，所述神经网络隐层节点的个数m根据经验设定；径向基核函数的中心点μ_i利用k-means方法得到；窗宽σ由神经网络隐层节点的个数m和径向基核函数的中心点μ_i得到，如公式(1)所示：

$\mathrm{\σ}=\frac{d}{\sqrt{2m}}---\left(1\right)$

其中，m是神经网络隐层节点的个数；d是径向基核函数的中心点μ_i之间的最大距离。

步骤S2：基于训练数据集中的训练样本到指定边界的距离，得到神经网络的局部施加函数，如公式(2)所示，

$\mathrm{\η}\left(X\right)=\frac{{\mathrm{\δ}}_{norm}}{\mathrm{\β}\sqrt{2\mathrm{\π}}}\exp (-\frac{{\mathrm{\Δ}}^2}{2{\mathrm{\β}}^2})---\left(2\right)$

其中，η(X)为神经网络的局部施加函数；β为宽度调节参数，其通过训练得到，可以采用交叉验证方法得到β的最优值；A为训练数据集中的训练样本到指定边界的距离且X表示训练样本，C表示指定边界，包括Dirichlet边界、Neumann边界和Robin边界；x_C表示位于指定边界C上的样本；δ_norm为归一化参数，其目的是使局部施加函数满足0＜η(X)≤1，即，当训练样本位于指定边界时，其局部施加函数的值η(X)＝1，否则，0＜η(X)＜1，δ_norm由训练样本的局部施加函数值除以所有训练样本中的最大局部施加函数值得到。

本实施例的方法实际执行时，可以先计算训练数据集中的训练样本到指定边界条件约束的距离值，如公式(3)所示，

$\mathrm{\Δ}\left(x_i\right)=\underset{x_C\∈C}{min}\left|\right|x_i-x_C\left|\right|---\left(3\right)$

其中，x_i表示第i个训练样本，Δ(x_i)为第i个训练样本x_i到指定边界条件约束的距离值。

再得到训练样本的局部施加函数值，如公式(4)所示，

$\mathrm{\η}\left(\mathrm{\Δ}\right(x_i);\mathrm{\β})=\frac{{\mathrm{\δ}}_{norm}}{\mathrm{\β}\sqrt{2\mathrm{\π}}}\exp (-\frac{{\mathrm{\Δ}}^2\left(x_i\right)}{2{\mathrm{\β}}^2})---\left(4\right)$

其中，η(Δ(x_i)；β)表示第i个训练样本x_i的局部施加函数值，Δ(x_i)为第i个训练样本x_i到指定边界的距离值。

步骤S3：根据已知的边界条件约束的属性，基于径向基核神经网络函数、边界条件约束函数和神经网络的局部施加函数，得到带边界条件约束的神经网络的误差函数，参见图3。

当已知的边界条件约束为Dirichlet边界条件约束时，步骤S3包括：

子步骤S3a：确定径向基核神经网络函数，如公式(5)所示：

f_WC(X)＝Φ(X)W (5)

其中，f_WC(X)为径向基核神经网络函数；Φ(X)＝[Φ(x₁)，…，Φ(x_n)]^T，x₁，…，x_n表示训练样本，Φ(x)是径向基核函数且μ_i为径向基核神经网络函数的中心点，σ为窗宽；W为权重。

子步骤S3b：确定Dirichlet边界条件约束函数f_D(X)。

子步骤S3c：得到带边界条件约束的神经网络函数表达式，参见图2，如公式(6)所示：

f(X)＝(1-η(X))f_WC(X)+η(X)f_D(X) (6)

其中，f(X)为带边界条件约束的神经网络函数表达式；η(X)是神经网络的局部施加函数；f_WC(X)为径向基核神经网络函数；f_D(X)为Dirichlet边界条件约束函数。

由此可见，带边界条件约束的神经网络函数表达式由两个模块组成，公式(6)等号右边第一项为第一模块，第二项为第二模块；其中，第一模块为径向基核神经网络函数与局部施加函数的补函数的乘积；第二模块为Dirichlet边界条件约束函数与局部施加函数的乘积，两个模块以加和方式形成带边界条件约束的神经网络函数表达式。

子步骤S3d：构建带边界条件约束的神经网络的误差函数：

$\underset{w}{{\mathrm{minl}}_2}\left(W\right)=\frac{1}{2}\left|\right|y-f\left(X\right)|{|}^2---\left(7\right)$

其中，y表示训练样本的观测值，f(X)为带边界条件约束的神经网络函数表达式，W为权重。

当已知的边界条件约束为Neumann边界条件约束时，判断Neumann边界条件约束是否可积分，如果Neumann边界条件约束函数存在显式的积分形式，则Neumann边界条件约束是可积分的，步骤S3包括：

子步骤S3a：由Neumann边界条件约束函数得到转化的Neumann边界条件约束函数，如公式(8)所示：

${f_N}^{\′}\left(x\right)=\∫\frac{\∂f_N\left(x\right)}{\∂x_k}{\mathrm{dx}}_k=f_D^0\left(x\right)+c---\left(8\right)$

其中，f_N(x)表示Neumann边界条件约束函数(称作原Neumann边界条件约束函数)，x_k表示f_N(x)的第k个自变量，表示转化的Neumann边界条件约束函数，c为常数，将与c的和作为参与后续运算的转化的Neumann边界条件约束函数f_N′(x)，在本方法中，可将c设置为零。

子步骤S3b：确定径向基核神经网络函数，如公式(9)所示：

f_WC(X)＝Φ(X)W (9)

其中，f_WC(X)为径向基核神经网络函数；Φ(X)＝[Φ(x₁)，…，Φ(x_n)]^T，x₁，…，x_n表示训练样本，Φ(x)是径向基核函数且μ_i为径向基核神经网络函数的中心点，σ为窗宽；W为权重。

子步骤S3c：得到带边界条件约束的神经网络函数表达式，参见图2，如公式(10)所示：

f(X)＝(1-η(X))f_WC(X)+η(X)f_N′(x) (10)

其中，f(X)为带边界条件约束的神经网络函数表达式；η(X)是神经网络的局部施加函数；f_WC(X)为径向基核神经网络函数；f_N′(x)为转化的Neumann边界条件约束函数。

子步骤S3d：构建带边界条件约束的神经网络的误差函数：

$\underset{w}{{\mathrm{minl}}_2}\left(W\right)=\frac{1}{2}\left|\right|y-f\left(X\right)|{|}^2---\left(11\right)$

其中，y表示训练样本的观测值，f(X)为带边界条件约束的神经网络函数表达式，W为权重。

如果不存在显式的积分形式，则Neumann边界条件约束是不可积分的，步骤S3包括：

子步骤S3a：确定径向基核神经网络函数，如公式(12)所示：

f_WC(X)＝Φ(X)W (12)

其中，f_WC(X)为径向基核神经网络函数；Φ(X)＝[Φ(x₁)，…，Φ(x_n)]^T，x₁，…，x_n表示训练样本，Φ(x)是径向基核函数且μ_i为径向基核神经网络函数的中心点，σ为窗宽；W为权重。

子步骤S3b：构建带边界条件约束的神经网络的误差函数：

其中，η(X)是神经网络的局部施加函数，y表示训练样本的观测值，f_WC(X)为径向基核神经网络函数，表示径向基核神经网络函数在Neumann边界上对x_k的一阶导数，f_N(x)表示Neumann边界条件约束函数，ο表示Hadamard积。

当已知的边界条件约束为Robin边界条件约束时，步骤S3包括：

子步骤S3a：确定径向基核神经网络函数，如公式(14)所示：

f_WC(X)＝Φ(X)W (14)

其中，f_WC(X)为径向基核神经网络函数；Φ(X)＝[Φ(x₁)，…，Φ(x_n)]^T，x₁，…，x_n表示训练样本，Φ(x)是径向基核函数且μ_i为径向基核神经网络函数的中心点，σ为窗宽；W为权重。

子步骤S3b：构建带边界条件约束的神经网络的误差函数：

其中，η(X)是神经网络的局部施加函数，y表示训练样本的观测值，f_WC(X)为径向基核神经网络函数，(f_WC(x∈C))_R表示径向基核神经网络函数在Robin边界条件约束的输出，f_R(x)表示Robin边界条件约束，ο表示Hadamard积。

步骤S4：利用最小二乘法由带边界条件约束的神经网络的误差函数得到带边界条件约束的神经网络函数。

当已知的边界条件约束为Dirichlet边界条件约束时，步骤S4包括：利用最小二乘法计算径向基核神经网络函数的权重的最优值W^*，权重的最优值W^*为：

其中，ο表示Hadamard积，P＝[η(X)，…，η(X)]^T∈R^n×m，η(X)＝[η(x₁)，…，_η(x_n)]^T，f_D＝[f_D(x₁)，…，f_D(x_n)]^T，x₁，…，x_n表示训练样本，n为训练样本个数，Φ＝[Φ₁(X)，…，Φ_m(X)]，m为神经网络隐层节点的个数，1表示元素为1的矩阵，该矩阵的大小与Ξ一致。

将W^*代入公式(6)得到带边界条件约束的神经网络函数：

f(X)＝(1-η(X))Φ(X)W^*+η(X)f_D(x) (17)

当已知的边界条件约束为Neumann边界条件约束且Neumann边界条件约束是可积分时，步骤S4包括：利用最小二乘法计算径向基核神经网络函数的权重的最优值W^*，权重的最优值W^*为：

其中，ο表示Hadamard积，P＝[η(X)，…，η(X)]^T∈R^n×m，η(X)＝[η(x₁)，…，η(x_n)]^T，f_N′＝[f_N′(x₁)，…，f_N′(x_n)]^T，x₁，…，x_n表示训练样本，n为训练样本个数，Φ＝[Φ₁(X)，…，Φ_m(X)]，m为神经网络隐层节点的个数，1表示元素为1的矩阵，该矩阵的大小与Ξ一致。

将W^*代入公式(10)得到带边界条件约束的神经网络函数：

f(X)＝(1-η(X))Φ(X)W^*+η(X)f_N′(x) (19)

当已知的边界条件约束为Neumann边界条件约束且Neumann边界条件约束是不可积分时，步骤S4包括：利用最小二乘法计算径向基核神经网络函数的权重的最优值W^*，权重的最优值W^*为：

其中，ο表示Hadamard积，Φ为径向基核函数，Φ＝[Φ₁(X)，…，Φ_m(X)]，表示径向基核函数Φ对第k个变量的一阶导数，f_N表示Neumann边界条件约束函数，f_N＝[f_N(x₁)，…，f_N(x_n)]^T，x₁，…，x_n表示训练样本，n为训练样本个数，P＝[η(X)，…，η(X)]^T∈R^n×m，m为神经网络隐层节点的个数，η(X)＝[η(x₁)，…，η(x_n)]^T，1表示元素为1的矩阵，该矩阵的大小与Ξ一致。

带边界条件约束的神经网络函数为：

f(X)＝Φ(X)W^* (21)

其中，Φ(X)是径向基核函数；W^*为权重的最优值。

当已知的边界条件约束为Robin边界条件约束时，步骤S4包括：利用最小二乘法计算径向基核神经网络函数的权重的最优值W^*，权重的最优值W^*为：

其中，ο表示Hadamard积，A和B表示Robin边界条件约束中的线性系数a和b构成的系数矩阵，为已知参数，A的所有元素都为a，A矩阵的大小与Φ一致，B的所有元素都为b，B矩阵的大小与一致；Φ为径向基核函数，Φ＝[Φ₁(X)，…，Φ_m(X)]，表示径向基核函数Φ对第k个变量的一阶导数，f_R表示Robin边界条件约束函数，f_R＝[f_R(x₁)，…，f_R(x_n)]^T，x₁，…，x_n表示训练样本，n为训练样本个数，P＝[η(X)，…，η(X)]^T∈R^n×m，η(X)＝[η(x₁)，…，η(x_n)]^T，1表示元素为1的矩阵，该矩阵的大小与Ξ一致。

带边界条件约束的神经网络函数为：

f(X)＝Φ(X)W^* (23)

其中，Φ(X)是径向基核函数；W^*为权重的最优值。

步骤S5：利用测试数据集验证带边界条件约束的神经网络的性能。

步骤S5包括：

子步骤S5a：将测试数据集中的测试样本输入带边界条件约束的神经网络函数，得到测试样本的输出值和边界上测试样本的输出边界条件值；

步骤S52：计算测试数据集的MSE(均方误差值)，对带边界条件约束的神经网络的输出性能进行测试，计算公式如下：

${\mathrm{MSE}}_{all}=\frac{1}{N_{all}}\underset{i=1}{\overset{N_{all}}{\Σ}}{(y_i-{\hat{y}}_i)}^2---\left(24\right)$

其中，N_all表示测试样本的数量，y_i表示测试样本的观测值，表示测试样本的输出值。

步骤S53：计算边界条件上数据的MSE，对带边界条件约束的神经网络的约束满足性能进行测试，计算公式如下：

${\mathrm{MSE}}_{boundary}=\frac{1}{N_{boundary}}\underset{i=1}{\overset{N_{boundary}}{\Σ}}{(f_{boundary\_i}-{\hat{f}}_{boundary\_y})}^2---\left(25\right)$

其中，N_boundary表示边界上测试样本的数量，f_{boundary_i}表示边界上观测到的测试样本的边界条件值，表示边界上测试样本的输出边界条件值。

在本方法中，还可以将测试样本的观测值与测试样本的输出值进行对比，将二者的差值作参数c的值以修正公式(8)中参数c的值，以提高神经网络的性能。

至此，已经结合附图对本发明实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明的一种构建带边界条件约束的神经网络的方法有了清楚的认识。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施例中提到的各种方式，本领域普通技术人员可对其进行简单地更改或替换，例如：

(1)实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本发明的保护范围；

(2)上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。