基于混合核RVM的电子装备状态预测方法与流程

技术特征：

1.一种基于混合核RVM的电子装备状态预测方法，其特征在于所述方法包括如下步骤：

将采集的装备原始数据划分为训练数据和测试数据两部分；

将训练数据送入混合核RVM模型中进行训练，通过混合核函数的构造将训练数据映射至高维特征空间之中，对RVM模型中的超参数a和噪声方差σ²进行迭代更新，求解最优权重分布，当达到收敛精度要求时，混合核RVM模型训练结束；

将测试数据送入训练好的混合核RVM模型之中进行预测，得到装备的预测输出数据；

将预测输出数据送入模糊SVDD状态评估模型之中进行评估，从而得到装备的健康度预测值。

2.如权利要求1所述的基于混合核RVM的电子装备状态预测方法，其特征在于，所述混合核RVM模型的构造方法如下：

1)构造混合核函数；

2)通过混合核函数构造混合核RVM模型。

3.如权利要求2所述的基于混合核RVM的电子装备状态预测方法，其特征在于所述的混合核函数的构造方法如下：

假设核函数由M个核线性组成，其中任意一个核k_m均对应某一Hilbert空间H_m及相应内积运算<·，·>_m，对于d_m∈[0，1]，任一k(x，x)＝d_mk_m(x，x)则对应某一Hilbert空间H′_m，其内积运算为：

$\&lt;f,g{\&gt;}_{H_m^{\&prime;}}=\frac{1}{d_m}\&lt;f,g{\&gt;}_m$

有：

$f\left(x\right)=\&lt;f,k_m\left(\&CenterDot;,x\right){\&gt;}_m=\frac{1}{d_m}\&lt;f,d_m{k}_m\left(\&CenterDot;,x\right){\&gt;}_m=\&lt;f,d_m{k}_m(\&CenterDot;,x){\&gt;}_{H_m^{\&prime;}}$

根据再生核的性质，可知H′_m亦为再生核Hilbert空间；定义混合核的核空间H为H′_m空间的直和，则核空间H也是定义在核函数下的再生核Hilbert空间；混合核函数的组合形式为：

$k(x_i,x_j)=\underset{m=1}{\overset{M}{\&Sigma;}}{d}_m{k}_m(x_i,x_j)$

式中，为混合核的权重系数，且

4.如权利要求2所述的基于混合核RVM的电子装备状态预测方法，其特征在于所述的通过混合核函数构造混合核RVM模型的构造方法如下：

将混合核函数代入RVM模型表达式中，得到混合核RVM模型的输出为：

$\left\{\begin{array}{c}y(x;w)=\underset{i=1}{\overset{N}{\&Sigma;}}\underset{m=1}{\overset{M}{\&Sigma;}}{w}_i{d}_m{k}_m(x,x_i)+w_0\\ t_i=y(x_i;w)+{\mathrm{\&epsiv;}}_i\end{array}\right.$

同时对基函数矩阵进行更新，从而得到基于混合核的RVM预测模型。

5.如权利要求4所述的基于混合核RVM的电子装备状态预测方法，其特征在于所述的RVM模型表达式的构造方法如下：

给定训练样本集t＝[t₁,t₂,…,t_N]^T为目标函数值，其中x_i∈R^d,t_i∈R，d为输入变量的维数；假设目标值采样时附带误差ε_i，则RVM模型的输出定义为：

$\left\{\begin{array}{c}y(x;w)=\underset{i=1}{\overset{N}{\&Sigma;}}{w}_{i}k(x,x_i)+w_0\\ t_i=y(x_i;w)+{\mathrm{\&epsiv;}}_i\end{array}\right.$

式中k(x,x_i)为核函数。

6.如权利要求4所述的基于混合核RVM的电子装备状态预测方法，其特征在于所述的核函数k(x,x_i)的构造方法如下：

其中表示特征空间中任意样本。

7.如权利要求4所述的基于混合核RVM的电子装备状态预测方法，其特征在于所述的RVM模型的超参数a和噪声方差σ²的构造方法如下：

设随机变量x、θ的联合分布密度为p(x,θ)，它们的边际密度分别为p(x)和p(θ)；设x为观测向量，θ为模型的超参数向量，通过观测向量来获得未知参数向量的估计，则贝叶斯定理为：

$p\left(\mathrm{\&theta;}\right|x)=\frac{p\left(\mathrm{\&theta;}\right)|p\left(x\right|\mathrm{\&theta;})}{p\left(x\right)}=\frac{p\left(\mathrm{\&theta;}\right)|p\left(x\right|\mathrm{\&theta;})}{\&Integral;p\left(\mathrm{\&theta;}\right)p\left(x\right|\mathrm{\&theta;})d\mathrm{\&theta;}}$

其中，p(θ)为θ的先验分布；

在稀疏贝叶斯框架下，假设ε_i服从独立的均值为0，方差为σ²的高斯分布，即ε_i～N(0,σ²)，则p(t_i|x)＝N(t_i|y(x_i；w),σ²)，因此训练样本集的似然函数可表示为：

其中，t＝(t₁,t₂,…,t_N)^T，w＝(w₀,w₁,…,w_N)^T，φ为一个N×(N+1)的基函数设计矩阵，即其第i(i≤N)行可表示为：

由结构风险最小化原则可知，直接最大化该似然函数来估计w与σ²通常会使得w中元素大部分均不为0，从而导致模型过拟合；假设权值w_i服从均值为0，方差为的先验高斯正态分布，则：

$p\left(w\right|a)=\underset{i=0}{\overset{N}{\&Pi;}}N\left(w_i\right|0,{\mathrm{\&alpha;}}_i^{-1})$

式中，α＝(α₀,α₁,…,α_N)^T为决定权值w_i先验分布的超参数向量；

由于高斯正态分布方差倒数的共轭分布为Gamma分布，因此，假设α与σ²的超先验概率分布分别为：

$p\left(\mathrm{\&alpha;}\right)=\underset{i=0}{\overset{N}{\&Pi;}}Gamma\left({\mathrm{\&alpha;}}_i\right|a,b)$

p(σ^-2)＝Gamma(σ^-2|c,d)

且满足：

Gamma(α|a,d)＝Γ(a)^-1b^aα^a-1e^-ba

其中

为使a与σ²的超先验概率分布不提供先验信息，假定a＝b＝c＝d＝0，此时可获取一致的超先验分布；由此可得：

$p\left(w_i\right)=\&Integral;N\left(w_i\right|0,{\mathrm{\&alpha;}}_i^{-1})Gamma\left({\mathrm{\&alpha;}}_i\right|a,b){\mathrm{d\&alpha;}}_i;$

若已知模型参数的先验概率分布，根据贝叶斯公式可得训练样本集的后验概率为：

$p(w,\mathrm{\&alpha;},{\mathrm{\&sigma;}}^2|t)=\frac{p\left(t\right|w,\mathrm{\&alpha;},{\mathrm{\&sigma;}}^2)p(w,\mathrm{\&alpha;},{\mathrm{\&sigma;}}^2)}{p\left(t\right)}$

假设待测样本为x^*，则相应的预测值t^*的分布为：

p(t^*|t)＝∫p(t^*|w,α,σ²)p(w,α,σ²|t)dwdαdσ²

由于模型参数的后验分布p(w,α,σ²|t)不能直接通过积分获得，可采用贝叶斯定理将其分解为：

p(w,α,σ²|t)＝p(w|t,α,σ²)p(α,σ²|t)

由于p(t|α,σ²)＝∫p(t|w,σ²)p(w|α)dw可以通过积分得到，即：

$\begin{array}{c}p\left(t\right|a,{\mathrm{\&sigma;}}^2)=\&Integral;p\left(t\right|w,{\mathrm{\&sigma;}}^2)p\left(w\right|a)dw=N\left(t|0,{\mathrm{\&sigma;}}^{2}I+{\mathrm{\&phi;A}}^{-1}{\mathrm{\&phi;}}^T\right)\\ ={\left(2\mathrm{\&pi;}\right)}^{-N/2}{\left|{\mathrm{\&sigma;}}^{2}I+{\mathrm{\&phi;A}}^{-1}{\mathrm{\&phi;}}^T\right|}^{-1/2}\exp \left(-\frac{1}{2}{t}^T{\left({\mathrm{\&sigma;}}^{2}I+{\mathrm{\&phi;A}}^{-1}{\mathrm{\&phi;}}^T\right)}^{-1}t\right)\end{array}$

因此权值向量w的后验概率分布p(w|t,α,σ²)可表示为：

$p\left(w|t,\mathrm{\&alpha;},{\mathrm{\&sigma;}}^2\right)=\frac{p\left(t|w,{\mathrm{\&sigma;}}^2\right)p\left(w|\mathrm{\&alpha;}\right)}{p\left(t|\mathrm{\&alpha;},{\mathrm{\&sigma;}}^2\right)}={\left(2\mathrm{\&pi;}\right)}^{-\left(N+1\right)/2}{\left|\mathrm{\&Sigma;}\right|}^{-1/2}\exp \left(-\frac{1}{2}{\left(w-\mathrm{\&mu;}\right)}^T{\mathrm{\&Sigma;}}^{-1}\left(w-\mathrm{\&mu;}\right)\right)$

其均值和方差分别为：

μ＝σ^-2∑φ^Tt

∑＝(A+σ^-2φ^Tφ)^-1

且A＝diag(α₀,α₁,…,α_N)；

超参数a的后验概率分布p(α,σ²|t)无法由解析公式给出，而是通过一个delta函数近似表示：

$p(\mathrm{\&alpha;},{\mathrm{\&sigma;}}^2|t)\&Proportional;\mathrm{\&delta;}({\mathrm{\&alpha;}}_{MP},{\mathrm{\&sigma;}}_{MP}^2)$

最大化p(α,σ²|t)∝p(t|α,σ²)p(α)p(σ²)即可得出α_MP和

$({\mathrm{\&alpha;}}_{MP},{\mathrm{\&sigma;}}_{MP}^2)=\underset{a,{\mathrm{\&sigma;}}^2}{\mathrm{argmax}}p\left(t\right|\mathrm{\&alpha;},{\mathrm{\&sigma;}}^2)$

其中，p(t|a,σ²)被称为边缘似然分布，只需最大化该边缘似然分布就可得到α_MP和

对式两边取对数，可得超参数的对数似然分布为：

$\begin{array}{c}\ln p\left(t\right|a,{\mathrm{\&sigma;}}^2)=\ln N\left(t\right|0,{\mathrm{\&sigma;}}^{2}I+{\mathrm{\&phi;A}}^{-1}{\mathrm{\&phi;}}^T)\\ =-\frac{1}{2}\{Nln\left(2\mathrm{\&pi;}\right)+ln|{\mathrm{\&sigma;}}^{2}I+{\mathrm{\&phi;A}}^{-1}{\mathrm{\&phi;}}^T|+t^T{({\mathrm{\&sigma;}}^{2}I+{\mathrm{\&phi;A}}^{-1}{\mathrm{\&phi;}}^T)}^{-1}t\}\end{array}$

将上式分别对α和σ²求偏微分并令其等于0，得：

${\mathrm{\&alpha;}}_i^{new}=\frac{{\mathrm{\&gamma;}}_i}{{\mathrm{\&mu;}}_i^2}$

${\left({\mathrm{\&sigma;}}^2\right)}^{new}=\frac{\left|\right|t-\mathrm{\&phi;}\mathrm{\&mu;}|{|}^2}{N-{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_i}$

γ_i≡1-α_i∑_ii

其中，μ_i为后验概率分布均值μ＝σ^-2∑φ^Tt的第i个权重；∑_ii为后验概率分布方差∑＝(A+σ^-2φ^Tφ)^-1的第i个对角线元素；

通过式和的迭代更新即可逼近α_MP和实现超参数的优化求解。