基于集员估计和神经网络的非线性系统构建方法与流程

本发明涉及实际工程设计以及参数优化领域，具体是一种基于集员估计和神经网络的非线性系统构建方法。

背景技术：

在数字信号处理和控制系统的实际工程应用中都需要对非线性系统进行建模。当对非线性系统的物理、化学等特性不了解的情况下，且只能够获得系统输入输出的数据，对这样的非线性系统进行建模较困难。由于径向基函数(径向基函数)神经网络简单的拓扑结构和强大的逼近能力，而被广泛应用于非线性系统的建模问题。径向基函数神经网络不同于传统的多层神经网络，径向基函数网络有着简单的单隐层网络拓扑结构，并且有着快速的收敛速度。在不需要对非线性系统进行任何数学描述的情况下，可以使用径向基函数神经网络来逼近非线性系统，径向基函数神经网络的特性由其隐层节点数目来反映。在选择径向基函数神经网络对非线性系统进行建模时，常会遇到以下两个问题：神经网络隐层节点数目的选择和输出权值的确定。通常径向基函数神经网络隐层节点的数目只能够通过经验来选择。在实际中仅能获得较少数据的情况下，用传统的统计学习方法难以取得理想的效果，是因为在传统的统计学习方法中普遍采用经验风险最小化原则，需要同时最小化经验风险和置信范围。支持向量回归(svr)，在解决小样本、非线性及高维函数拟合等方面有着特有的优势。svr是结构风险最小化的具体实现方法。

技术实现要素：

本发明的目的就是为了解决现有技术存在的上述问题，提供一种基于集员估计和神经网络的非线性系统构建方法，在使结构风险最小化的前提下，使复杂性尽量减少，提高所建模系统的预测精度和鲁棒性。

为实现本发明的上述目的，本发明提供一种基于集员估计和神经网络的非线性系统构建方法，包括：

根据所获得的非线性系统的输入输出数据集合d＝{(x1,y1),…,(xk,yk)}和非线性系统所受到的噪声数据集合e＝{e1,e2,…,ek}，以高斯径向基函数作为支持向量回归的核函数，通过支持向量回归求解获得支持向量；

将获得的支持向量的个数作为径向基函数神经网络隐层节点的数量，通过集员估计递推公式获得径向基函数神经网络隐层节点的权值；

通过获得的权值和径向基函数神经网络，构建非线性系统函数。

其中，所述非线性系统模型的表达式为：

yk＝f(xk,θ)+ek

其中，yk为非线性系统的输出，θ为待估计的未知参数，f(·)为未知的非线性系统函数，ek为系统所受到的未知但有界噪声扰动。

其中，通过支持向量回归求解获得支持向量时，采用高斯径向基函数作为支持向量回归的核函数φk(x)，核函数采用如下公式：

其中：φk(x)为网络的输出，是一个从到的函数，||·||表示欧式范数，x为网络的输入，ck∈r^n×1为相应的神经元激活所对应的中心，σ为影响对应激活函数径向传播速度的参数。

其中，通过支持向量回归求解获得支持向量时，支持向量回归优化问题的时子函数采用如下公式：

其中：ε的选择采用

其中，计算支持向量回归优化问题的时子函数时，约束为：

其中，在得到最优解集合后，最优解集合中不为零的α的下标所对应的输入数据为支持向量，在得到最优解集合中m个支持向量xk(k＝1,2,...,m)后，确定径向基函数神经网络的隐层节点数目为m；

其中，c为惩罚因子，代表模型复杂度和训练误差之间的折中度。

其中，通过集员估计递推公式获得径向基函数神经网络隐层节点的权值，集员估计递推公式包括：

其中，θk-1为上一步递推得到的一步预测权值，θk为当前时刻递推得到的权值，为系统输入输出数据矩阵，pk为当前时刻估计状态的协方差矩阵，δk为算法估计残差；λk为权重因子。

进一步的，通过集员估计递推公式获得径向基函数神经网络隐层节点的权值，集员估计递推公式还包括：

其中，pk-1为上一时刻估计状态的协方差矩阵，为上一步递推的椭球半径，为当前时刻的椭球半径，γ²为噪声的界。

其中，通过集员估计递推公式获得径向基函数神经网络隐层节点的权值时，λk通过最小化估计误差的lyapunov函数的上界来计算。

优选的，所述λk采用如下公式计算：

其中，为gk的最大特征值。

根据权利要求1所述的方法，其特征在于，构建的非线性系统函数为：

与现有技术相比，本发明实施例的基于集员估计和神经网络的非线性系统构建方法具有如下优点：

本发明采用集员估计算法作为修正径向基函数神经网络从隐层到输出层的权值修正算法，采用支持向量回归确定支持向量的数目，将支持向量的数目作为径向基函数神经网络隐层节点数目，用径向基函数神经网络对有界噪声影响下的非线性系统进行建模。这种使用集员估计和支持向量回归通过径向基函数神经网络对非线性系统的建模方法，可以在使结构风险最小化的前提下，使复杂性尽量减少，提高所建模系统的预测精度和鲁棒性。

(1)本发明采用支持向量回归算法获得径向基函数神经网络隐层节点的数目，在使神经网络结构风险最小化的前提下，使神经网络的复杂性尽量减少，增加算法的推广能力。

(2)工程实际中的噪声大多都是有界的，本发明采用集员估计算法，仅要求系统噪声有界，不需要已知噪声的统计分布，可降低对非线性系统所受噪声的敏感性，增加非线性系统建模的鲁棒性。

下面结合附图对本发明实施例进行详细说明。

附图说明

图1是本发明基于集员估计和神经网络的非线性系统构建方法的流程图；

图2是采用本发明方法与支持向量机非线性系统建模仿真对比图；

图3是采用本发明方法的径向基函数神经网络权值修正图。

具体实施方式

如图1所示，为本发明提供的基于集员估计和神经网络的非线性系统构建方法的流程图，由图可知，本发明的方法包括：

根据所获得的非线性系统的输入输出数据集合d＝{(x1,y1),…,(xk,yk)}和非线性系统所受到的噪声数据集合e＝{e1,e2,…,ek}，以高斯径向基函数作为支持向量回归的核函数，通过支持向量回归求解获得支持向量；

将获得的支持向量的个数作为径向基函数神经网络隐层节点的数量，通过集员估计递推公式获得径向基函数神经网络隐层节点的权值；

通过获得的权值和径向基函数神经网络，构建非线性系统函数。

具体的，本发明的方法包括如下步骤：

s01、根据所获得的非线性系统的输入输出数据集合d＝{(x1,y1),…,(xk,yk)}和非线性系统所受到的噪声数据集合e＝{e1,e2,…,ek}，以高斯径向基函数作为支持向量回归的核函数，通过支持向量回归求解获得支持向量。

根据获得的已知的非线性系统的输入输出数据集合d＝{(x1,y1),…,(xk,yk)}和非线性系统所受到的噪声数据集合e＝{e1,e2,…,ek}，选择适当的惩罚因子c、ε及核函数φk(x)，以高斯径向基函数作为支持向量回归的核函数，并根据支持向量回归优化问题的时子函数，通过支持向量回归求解获得支持向量。

核函数采用如下公式计算：

公式(1)中：φk(x)为网络的输出，是一个从到的函数，||·||表示欧式范数，x为网络的输入，ck∈r^n×1为相应的神经元激活所对应的中心，ck＝xk，σ为影响对应激活函数径向传播速度的参数，通常σ＝1。

支持向量回归优化问题的时子函数采用如下公式计算：

公式(2)中：ε的选择采用并且λ∈(0,1)。其中，惩罚因子c代表模型复杂度和训练误差之间的折中度，c常取值为100，而λ通常取为0.8。

将公式(2)约束为可得到最优解集合

其中，最优解集合中不为零的α的下标所对应的输入数据就为支持向量，从而可得到最优解集合中m个支持向量xk，k＝1,2,...,m。

s02、将获得的支持向量的个数作为径向基函数神经网络隐层节点的数量，通过集员估计递推公式获得径向基函数神经网络隐层节点的权值。

通过步骤s01得到最优解集合中的m个支持向量后，将径向基函数神经网络的隐层节点数目选择为支持向量的数目m，并通过集员估计递推公式对径向基函数神经网络从隐层到输出层的权值进行修正，其中，集员估计算法的待估计参数的个数与支持向量的数目相等，为m个。

其中，集员估计算法的递推公式如下：

公式(3)中，θk为当前时刻获得的权重(即权值)，θk-1为上一步递推获得的一步预测权重，为非线性系统输入输出矩阵，pk为当前时刻估计状态的协方差矩阵，pk-1为上一时刻估计状态的协方差矩阵，δk为算法估计残差，λk为权重因子，为上一步递推的椭球半径，为当前时刻的椭球半径，γ²为噪声的界，γ²＝max{e1,...,ek}，即，γ²取系统受到的噪声数据集合中的最大值，k＝1,...,m。

其中，通过集员估计递推公式对径向基函数神经网络从隐层到输出层的权值进行修正时，需将公式(3)与以下公式(4)-(9)联合计算：

权重因子λk是通过最小化估计误差的lyapunov函数的上界来计算，公式(9)中的为gk的最大特征值。

s03、通过获得的权值和径向基函数神经网络，构建非线性系统函数。

本发明的非线性离散系统公式为yk＝f(xk,θ)+ek，其中，为输入向量，yk为非线性系统的输出，θ为与非线性系统物理特性有关的参数，f(·)为未知的非线性系统函数，ek为非线性系统所受到的未知统计特性但有界的噪声扰动。

在获得径向基函数神经网络隐层节点的权值θm后，构建径向基函数神经网络函数表达式为：

将径向基函数神经网络的输出作为对有界噪声下非线性系统输出的逼近，从而对该非线性系统进行了径向基函数神经网络建模，即，构建非线性系统f(xk,θ)的模型如下：

其中，公式(11)中，θm为从隐层到输出层的权值，m为隐层的节点数目。

本发明用集员估计算法作为修正径向基函数神经网络从隐层到输出层的权值修正算法，采用支持向量回归确定支持向量的数目，将支持向量的数目作为径向基函数神经网络隐层节点数目，用径向基函数神经网络对有界噪声影响下的非线性系统进行建模。采用本发明的使用集员估计和支持向量回归通过径向基函数神经网络对非线性系统的建模方法，可以在使结构风险最小化的前提下，使复杂性尽量减少，提高所建模系统的预测精度和鲁棒性。

下面，利用本发明构建的非线性系统的模型进行仿真，仿真采用如下的参数设置：径向基函数中参数σ＝1；支持向量回归中参数c＝100，λ＝0.8，用集员估计算法用于修正径向基函数隐层节点权值。

采用如下的非线性系统：

yk＝3sin(0.6*xk)+cos(xk)+sin(1.5*xk)+ek

其中输入为xk＝0.4*(k-1)，噪声为以下界内的均匀分布，即

|ek|≤0.05max(ymin,ymax)

信噪比为40db，仿真结果如附图2所示。

从图2所示的径向基函数神经网络与支持向量机非线性系统建模仿真对比图和图3所示的神经网络权值修正图可以看出，经过递推求解，所求出的支持向量个数较少。在这种情况下，通过本发明的集员估计构建的径向基函数神经网络能够对非线性系统较精确的建模，而支持向量回归方法则误差较大。

综上所述，与现有技术相比，本发明的优点在于：

(1)本发明采用支持向量回归算法获得径向基函数神经网络隐层节点的数目，在使神经网络结构风险最小化的前提下，使神经网络的复杂性尽量减少，增加算法的推广能力。

(2)工程实际中的噪声大多都是有界的，本发明采用集员估计算法，仅要求系统噪声有界，不需要已知噪声的统计分布，可降低对非线性系统所受噪声的敏感性，增加非线性系统建模的鲁棒性。

尽管上文对本发明实施例作了详细说明，但本发明实施例不限于此，本技术领域的技术人员可以根据本发明实施例的原理进行修改，因此，凡按照本发明实施例的原理进行的各种修改都应当理解为落入本发明实施例的保护范围。