一种前置核的RBF-MLP混合结构神经网络分类器的制作方法

本发明属于模式识别领域，具体涉及一种前置核的rbf-mlp混合结构神经网络分类器。

背景技术：

在rbf神经网络中，一般认为经过隐藏层核参数的选取优化，可以很大程度上将原始样本空间的非线性问题转化为线性问题，后续的任务是如何找到优化的超平面，以解决非线性核映射后的模式识别问题。但是在实际中，对于较为复杂的非线性问题，一般很难直接将原来样本空间中的非线性问题映射为线性问题，即一般不能保证核空间的分类器是线性可分的。这就导致这些优化rbf网络输出的线性分类算法的局限性。

技术实现要素：

为了改善现有技术存在的上述问题，本发明目的在于提供一种前置核的rbf-mlp混合结构神经网络分类器。

本发明所采用的技术方案为：

一种前置核的rbf-mlp混合结构神经网络分类器，包括输入层、输出层；还包括rbf隐藏层，由一组不同参数的高斯核函数组成；

mlp隐藏层，由rbf隐藏层到输出层之间的各层节点组成。

进一步地，所述输入层由t个源节点组成，其中t为输入向量x的维数，即x∈r^t。

进一步地，rbf隐藏层的计算用下式表示：

其中，k为rbf隐藏层中的节点个数，μi为高斯径向基函数的中心，σi为对应的第i个高斯径向基函数的核宽。

进一步地，mlp隐藏层，由rbf隐藏层到输出层之间的各层节点组成；将rbf隐藏层双极化后的输出hi(x)作为bp网络第一个隐藏层的输入，则在第l个bp隐藏层的第i个节点诱导局部域表示为

其中，是从第l-1层的节点j指向第l层的节点i的权值，为前面第l-1层的节点j的输出信号。

进一步地，输出层，设mlp网络的深度为l，这里mlp网络的深度等于mlp网络输入层、隐藏层以及输出层各层层数之和；在输出层第k个节点处，有

进一步地，所述mlp隐藏层为单个。

进一步地，所述mlp隐藏层为两个。

本发明的有益效果为：

本发明的分类器将rbf网络及mlp网络的有点结合起来，同时有效抑制了单一mlp网络及rbf网络的不足；一方面，本发明的网络结构将原始的rbf网络中隐藏层到输出层的线性分类器更改为非线性分类器，这种非线性分类器采用非线性的mlp神经网络来实现，它有效降低了对原始rbf网络核参数选取的依赖；另一方面，本发明的网络结构模型将rbf网络稳定性好的优点和mlp网络泛化能力强的优点有效结合。经过rbf网络核映射后，使得原始样本的可分性得到了改善，当映射后的样本作为后续所连接bp网络的输入，可以有效改善mlp神经网络的收敛速度及陷入局部最小的风险，同时降低了对bp网络隐节点参数的经验选取的依赖。因此可以对训练样本空间进行更有效的学习，同时有效改善了单一rbf网络及mlp网络的分类性能。

附图说明

图1是本发明前置核的rbf-mlp混合结构神经网络分类器映射效果示意图。

图2是本发明具有单个mlp隐藏层的rbf-mlp混合结构神经网络实际网络模型图。

图3是本发明具有两个mlp隐藏层的rbf-mlp混合结构神经网络实际网络模型图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，下面结合附图及具体实施例对本发明作进一步阐述。

对于rbf网络，决定网络性能的主要参数在于隐节点核参数的选择优化以及输出权值的调整问题。现有的rbf网络输出层权值一般使用线性分类算法，包括递归最小二乘(rls)，最小均方算法(lms)，正交最小二乘算法(ols)等，对于较为复杂的非线性问题，往往并不能保证核空间样本是线性可分的，这就加大对隐节点核参数选择的依赖。

基于以上主要问题，本发明将原有连接rbf网络隐藏层到输出层的线性分类器更改为非线性分类器，该非线性分类器通过mlp网络来实现。这样将两种不同的网络结构按照一定方式进行融合，以构成一个结构互补的网络模型，可以改善mlp网络的收敛速度，并降低对rbf隐节点核参数的选取依赖，改善网络泛化性能。

本发明提出的前置核的rbf-mlp混合结构神经网络分类器中，其中rbf网络部分可以用来实现对训练样本空间进行局部化处理，它将样本空间中不同区域的样本映射到单位超立方体的各个顶点附件，超立方体的维度就是rbf-mlp混合结构神经网络中rbf网络部分隐节点核的个数。这里为了描述方便，设定被不同rbf网络隐节点所覆盖的输入样本在相应的rbf网络隐节点中心附近，并且不同的隐节点之间彼此没有重叠。对于不同的分类问题，通过改变前置rbf核的个数，可以实现对样本空间的不同映射效果。

在实际的分类问题中，设rbf网络部分隐节点核的个数为k，对于一个任意的输入向量x∈r^t，当该样本通过本章所提混合结构神经网络分类器中某个rbf核的局部化映射后，这种映射关系可以表示为f:r^t→(0,1]^k。按照这种方式，原始样本空间中一些不好分的野值将限定在一个有限的空间里，可以把样本空间中样本分布的几何形态作为映射特征，从而形成新的特征向量，使得原始样本空间的可分性得到了改善；随后通过非线性的mlp网络可以完成经rbf核映射后特征空间样本的有效分类，可以在一定程度上降低对原始rbf网络空间核映射的依赖。即使在原始空间映射中出现一定偏差，非线性的mlp网络可以在一定程度上进行补偿。因此，本发明所提前置核的rbf-mlp混合结构神经网络分类器可以将rbf网络隐节点处的局部非线性映射能力与mlp网络隐节点处的全局泛化能力有效结合起来，并有效改善单一结构rbf神经网络及mlp神经网络的不足。

为了能进一步说明本发明所提前置核的rbf-mlp混合结构神经网络的优越性，我们尝试从理论上对其进行了分析，主要目的是说明原始样本经过rbf核映射后，在满足一定条件下可以改善原始样本空间的可分性。

为了分析的简便性，设定将每个样本直接作为rbf网络隐节点的中心，以完成原始样本的高维空间非线性映射。设k为rbf网络隐节点的个数，训练集由两个模式类别组成，其中xk∈r^t，x1与x2分别为两个模式类别集合，这里x＝x1∪x2，m＝m1+m2。设zb和zt分别为训练集的类间散布矩阵和总体散布矩阵，和分别为训练样本经过rbf网络核映射后的类间散布矩阵和总体散布矩阵；μ1,μ2,μ0分别为第一个模式类训练样本、第二个模式类训练样本以及总体训练样本的均值。

对于这种情况，我们给出如下定理：

若k＝m，当满足条件时，则有这里φk是样本xk经过第k个rbf网络隐节点映射后的输出。

证明：根据类间散布矩阵以及总体散布矩阵的定义，

设λk＝mk/m，则有

因此

设分别为第一个模式类训练样本、第一个模式类训练样本以及所有训练样本分别经过rbf网络映射后的输出。类似以上推导，可得

为了对问题进行简化并方便理论分析，对一个任意样本xk，设是xk经过rbf网络映射后的输出，每一次映射仅有一个rbf网络隐节点在起作用，则有

在另一方面，

由于则有

因此

另一方面，

因此，结合式(1.1)和(1.2)，当满足

时，则有

定理表明当k＝m时，当原始样本经过rbf网络，一旦原始样本集合的总体散布与类间散布之比值不低于所有样本经过rbf核映射后的均方和与每个模式类样本均方和之比值时，原始样本的可分性可以得到改善，这就意味着可以通过调整rbf核参数使映射得到的各个φk到达一个合适的值。在可分性得到改善的前提下，随后通过非线性的mlp网络可以完成经rbf核映射后特征空间样本的有效分类，以改善网络的分类性能。

本发明前置核的rbf-mlp混合结构神经网络分类器，主要由四部分组成：

1、输入层，该层由t个源节点组成，其中t为输入向量x的维数，即x∈r^t。

2、rbf隐藏层，该层由一组不同参数的高斯核函数组成，设隐藏层中的节点个数为k，训练样本个数为m，这里k<m。隐藏层单元的计算可用下式表示：

这里μi为高斯径向基函数的中心，σi为高斯径向基函数的核宽。

3.mlp隐藏层。该层由rbf隐藏层到输出层之间的各层节点组成，将rbf隐藏层双极化后的输出hi(x)作为bp网络第一个隐藏层的输入，则在第l个bp隐藏层的第i个节点诱导局部域表示为

其中是从第l-1层的节点j指向第l层的节点i的权值，为前面第l-1层的节点j的输出信号。

若选择双曲正切函数作为mlp隐藏层的sigmoid函数，则第l层的节点i的输出信号为：

这里a,b是常数。

若节点i在第一个mlp隐藏层中，即l＝1，则有

其中hi(x)是φi(x)的双极化输出，可表示为

hi(x)＝2·φi(x)-1(1.7)

4.输出层。设mlp网络的深度为l，这里mlp网络的深度等于mlp网络输入层、隐藏层以及输出层各层层数之和。例如，若l＝1，则l＝3；若l＝2，则l＝4。在输出层第k个节点处，有

在mlp网络中，一般使用基于梯度下降的反向传播算法来更新网络权值参数。为了使网络避免陷入局部最小，输入变量一般要进行预处理，以使在整个训练集上的均值接近于0，或者与标准偏差相比的值较小。但在本发明所提的混合rbf-mlp网络结构模型中，原始样本经过rbf网络隐节点的核映射后，各个隐节点的输出值在0到1之间，其整体均值是一个大于0的数。因此，在式(1.7)中，这种双极化输出的调整可以使得对整个训练集求平均的均值接近于0，以确保经rbf核映射后mlp网络输入的有效性。

当前置核的rbf-mlp网络模型建立起来，后续的任务是建立起网络模型的优化学习算法。本发明所提网络模型的算法学习任务在rbf网络模型中的两阶段学习任务的基础上来设计实现。在各种rbf网络的学习算法当中，“k均值，rls”算法是训练rbf网络的常用算法。其中k均值聚类用于训练rbf网络隐藏层中隐节点核参数，rls算法用来实现从隐藏层到输出层的权值优化。本发明所提的前置核的rbf-mlp混合结构神经网络分类器当中，将原有连接rbf网络隐藏层到输出层的线性分类器用非线性的mlp网络来替代。首先通过rbf网络隐节点核函数完成对原始样本空间进行局部化核映射，然后通过mlp网络实现核映射后样本的非线性分类。按照这种思路，所提网络分类器的学习算法的具体实现步骤给定如下：

1、初始化。主要包括设置rbf网络隐节点个数，设定mlp网络层数及隐节点个数，随机初始化mlp网络各层权值参数等。

2、对训练样本进行k-均值聚类。采用自组织选取聚类中心：

(1)从训练样本中随机选择k个不同的样本作为初始中心，并记这k个初始中心记为

(2)从训练数据中随机选择训练样本xm作为输入；

(3)计算该输入样本距离哪一个聚类中心最近，就把它归为该聚类中心的同一类，即计算：

找到相应的k值，将xm归为第k类。

(4)更新聚类中心：

其中η代表学习率，n代表迭代步长。

(5)判断算法是否收敛，若不收敛，则转到第(2)步继续迭代。

3、将聚类均值作为隐藏单元i＝1,2...,k的高斯函数φi(·)的中心。利用式(1.3)计算输入样本经过各个rbf网络隐节点的输出。这里为简化设计，可以取dmax是所有中心点之间的最大距离。

4、利用式(1.7)完成对φi(x)的双极化处理。

5、设置mlp网络阈值ε作为迭代停止条件。将标准化的rbf网络隐藏层的输出h(x)作为mlp网络的输入值，计算mlp网络的输出，这里h(x)＝(h1(x),h2(x),...,hk(x))。

6、分别使用式(1.4)-(1.6)以及(1.8)完成mlp网络的前向计算。

7、计算mlp网络的总体均方误差

其中dk为mlp网络的目标输出，ok为目标网络的实际输出，c为输出隐节点的个数。判断是否j(ω)<ε，若是，算法停止，否则进行下一步。

8、mlp网络的反向计算。计算网络的局域梯度：

9、调整mlp网络第l层的突触权值：

其中η为学习率，α为动量项常数，n为迭代步长。

10、mlp网络的迭代计算。呈现新一回合样本给前置核的混合rbf-mlp网络并根据第5-9步进行计算，直到j(ω)<ε时算法结束。

采用本发明的方法对训练样本进行监督学习，能够得到有效的神经网络分类器参数，从而完成对类别未知的样本进行分类。

本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求。