基于无标记样本的rbf神经网络构建方法及其装置制造方法
【专利摘要】本发明公开一种基于无标记样本的RBF神经网络构建方法及其装置，方法以RBF神经网络中隐层神经元的敏感性为基准，通过逐渐裁剪隐层神经元中敏感性低的神经元达到逐渐简化网络结构、提高分类器性能的目的。与传统方式相比，在计算RBF隐层神经元敏感性的过程中，本发明不但使用了有标记的样本，还大量使用了没有标记的样本，这样大大提高了敏感性计算精度。装置包括初始模块、训练模块、隐层神经元选择模块和输出模块，可以有效提高神经网络构建效率，并提高RBF神经网络的性能。
【专利说明】基于无标记样本的RBF神经网络构建方法及其装置
【技术领域】
[0001]本发明涉及神经网络设计时的网络构建方法及其装置，尤其涉及一种可有效提高神经网络分类效率或回归效率的网络构建方法及其装置，属于智能科学与技术中的机器学习领域。
【背景技术】
[0002]在设计RBF神经网络分类器时，如何确定神经网络的结构是一个重要而且关键的步骤。针对具体问题构建一个合适的网络对提高分类精度、泛化能力都有巨大的帮助。目前广泛使用的是三层神经网络。文献已经证明，三层神经网络当第二层(也称隐层、中间层)神经元数增多时可以逼近任何连续函数。在具体应用中，三层神经网络的第一层神经元数依赖于输入变量的维数，第三层神经元数依赖于输出变量的维数。因为输入变量和输出变量的维数一般都是确知的，所以第一层和第三层神经元的个数一般也是确定的。对于三层神经网络的网络构建实际上是确定第二层神经元数目的一个过程。
[0003]在训练神经网络的时候，通常使用有监督的学习方法。有监督的学习方法是指在训练神经网络的过程中通过告诉网络输入和相对应的输出来调节网络参数，达到训练神经网络的目的。在这个过程中需要使用有标记的训练样本。训练样本的标记一般是由专家来完成的，这往往要花费大量的金钱和时间代价。在实际应用中，无标记的样本比有标记的样本要容易获得的多。例如在某些互联网应用中，由专家标记的有标记样本和无标记样本相比只占很少的一部分。能否使用那些没有标记的样本帮助辅助确定网络的最优结构就变得很有必要。
[0004]对于三层RBF神经网络，确定隐层神经网络的方法主要有:
[0005]I)增枝法。这个方法确定隐层神经元数量的过程是首先选择一个很小的隐藏神经元数。由于隐层神经元数太少，所以网络的结构太简单，导致使用训练样本训练神经网络不成功。数学上的表征就是误差不收敛。在这个隐层神经元数量的基础上一个一个地增加隐层神经元数量，每增加一个隐层神经元重新训练一次网络，直到隐层神经元数量增加到某一数量时神经网络能够训练成功为止。能够使得神经网络训练成功的最小隐层神经元数量就是我们需要寻找的隐层神经元数。
[0006]2)减枝法。这个方法与增枝法相反，它的操作方法是首先确定一个足够大的隐层神经元数来构造一个三层神经网络，在这个结构下能够使用有标记的样本很容易地训练好神经网络。然后对隐层神经元去除一个，在去除之后的网络基础上使用有标记的样本进行训练，使得网络再次训练完成。重复上述去除过程，直到网络训练不能完成为止。这时候取最小能完成的隐层神经元数量作为最终确定的隐层神经元数。增枝法和减枝法背后的理论基础是统计学习理论要求对于一个具体的分类问题分类器要有一个合适的复杂度，保证既不过拟合也不欠拟合。只有这样的分类器才能具有最好的泛化能力。对于三层RBF神经网络这样的分类器而言，网络复杂度就体现在隐层神经元的数量上，神经元数量太少网络欠拟合，训练不能完成，神经元数量太多网络过拟合，泛化能力差。[0007]3)经验法。这种方法确定隐层神经元数需要对具体问题所涉及的领域有深刻的理解，从而凭借经验确定隐层神经元的数量。即使这样也不能保证所取的隐层神经元数量是最优的。
[0008]对于上述方法减枝法目前使用较多。在具体的减枝过程中，首先减去哪个隐层神经元、其次减去哪个隐层神经元对于确定最终的网络结构非常重要。一般认为每个隐层神经元在训练过程中起到的作用或者重要程度是不一样的。理论上首先去掉对分类没有作用的或者不重要的神经元可以使得最终训练完成的神经网络的泛化性能更好。如何利用无标记的样本来辅助确定隐层神经元以更好地确定网络就变得非常重要。
【发明内容】
[0009]发明目的:针对现有技术中存在的问题，本发明提供一种基于无标记样本的RBF神经网络构建方法及其装置。
[0010]技术方案:一种基于无标记样本的RBF神经网络构建方法，包括以下步骤:
[0011](SlOl)选取一个足够大的正整数m (m最大不超过训练样本的个数)作为隐层神经元数，构建一个三层RBF神经网络，并给定初始网络参数；
[0012](S103)利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e Ce取值小于10的-2次方)，得到经过训练的分类器；
[0013](S105)利用有标记和无标记样本计算隐层神经元的敏感性，并按照敏感性由小到大排序；
[0014](S107)去掉敏感性最小的隐层神经元，得到新结构的RBF神经网络；
[0015](S109)对新的RBF神经网络在原有参数的基础上再次使用有标记的样本集进行训练，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复步骤(S107)、(S109);如果不能收敛则进入下一步；
[0016](Slll)取隐层神经元数最小且能收敛的RBF神经网络网络结构为最终的网络结构，其网络为最终输出的分类器。
[0017]本发明所述方法为裁剪隐层神经元以确定网络结构提供依据，提高了神经网络分类器的分类性能。
[0018]本发明中还公开了一种基于无标记样本的RBF神经网络构建装置，包括:初始模块、训练模块、隐层神经元选择模块和输出模块；上述模块按照如下顺序依次构建:初始模块、训练模块、隐层神经元选择模块、输出模块。
[0019](I)构建初始模块:其选取一个足够大的正整数m作为隐层神经元数，构建一个三层RBF神经网络，并给定初始网络参数；
[0020](2)构建训练模块:其利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e，得到经过训练的分类器；
[0021](3)隐层神经元选择模块:其利用有标记的样本和无标记样本计算隐层神经元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隐层神经元，形成新结构的RBF神经网络；重新利用有标记样本集训练新结构的RBF神经网络，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复本步骤；如果代价函数不能够收敛到某个很小的阈值e，则进入下一个步骤；[0022](4)构建输出模块:取隐层神经元数最小且能收敛的神经网络网络结构为最终的网络结构，并输出这个网络为最终的分类器。
[0023]本发明所属基于无标记样本的RBF神经网络构建装置有效利用了无标记样本所蕴含的信息，从而在判断隐层神经元个体重要性方面比以往的方法更加准确，更加方便。
[0024]与现有技术相比，本发明具有以下有益效果:
[0025]本发明所述基于无标记样本的RBF神经网络构建方法为裁剪隐层神经元以确定网络结构提供依据，提高了神经网络分类器的分类性能。
[0026]本发明所述基于无标记样本的RBF神经网络构建装置有效利用无标记样本所蕴含的信息，从而在判断隐层神经元个体重要性方面比以往的方法更加准确，更加方便，同时采用基于无标记样本的RBF神经网络构建装置的工作方法裁剪过的神经网络具有更好的泛化性。
【专利附图】
【附图说明】
[0027]图1为RBF神经网络结构图；
[0028]图2为本发明实施例的基于无标记样本的RBF神经网络构建方法流程图。
【具体实施方式】
[0029]下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0030]现以RBF神经网络为例，说明根据本发明的前向神经网络样本选择方法。
[0031]RBF神经网络是一种全连接的前向神经网络，适用于目标的分类。RBF神经网络的结构如图1所示，它是一种三层前向网络:输入层MA由输入模式节点组成，Xi表示输入模式向量的第i个分量(i=l, 2，...，n);第二层是隐含层MB,它由m个节点b」(j=l, 2,..., m)组成。弟二层是输出层MC，它由P个T1点ck (k=l, 2，...，p)组成。
[0032]在训练之前需要对输入向量的每个元素规范化，这里将每个元素规范化到[-1，I]。
[0033]对于上述RBF神经网络的训练在这里采用标准BP算法。
[0034]下面我们定义上述RBF神经网络隐层神经元的敏感性，这样的定义可以很容易地推广到其它前向神经网络。
[0035]当神经网络训练完成后，它的映射关系也就确定了。设映射关系函数为F(X)(其中X为输入向量)。假设裁掉的是第j个隐层神经元，那么去掉第j个隐层神经元后神经网络的映射关系函数变成h (X)，定义第j个隐层神经元的敏感性为:
[0036]Sj ⑴=E (I IF ⑴-Fj ⑴ | |2) (I)
[0037]I I.I I2是求取.的欧几里德范数的算符。E为求取期望的算符。
[0038]由敏感性的定义可以看出，敏感性实际上代表了有第j个隐层神经元和没有第j个隐层神经元函数输出的差别。这个差别越小表示第j个隐层神经元越不重要，反之则越重要。
[0039]在计算Sj(X)的过程中，S」?可以变形为:[0040]Sj ⑴=/ Ω (F⑴-Fj ⑴)2p ⑴ dX (2)
[0041]其中Ω是定义域，p(X)为X在定义域Ω中的密度函数。一般来说P (X)是未知的，由于有标记的样本数量很少，只依靠有标记的样本估计P (X)非常困难。无标记的样本数量非常多，并且里面也蕴含了样本的分布信息。这里我们采用有标记的样本和无标记的样本一起估计P (X)，这能使估计精度大大提高。
[0042]假设(X1, Y1)，(X2, y2)，…(Xb, yb)是有标记的样本集,Xb+1, Xb+2...Xn是无标记的样本集，那么SdX)的一个好的估计是:
[0043]
【权利要求】
1.一种基于无标记样本的RBF神经网络构建方法，其特征在于，包括以下步骤: (SlOl)选取一个足够大的正整数m作为隐层神经元数，构建一个三层RBF神经网络，并给定初始网络参数； (S103)利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e，得到经过训练的分类器； (S105)利用有标记和无标记样本计算隐层神经元的敏感性，并按照敏感性由小到大排序; (S107)去掉敏感性最小的隐层神经元，得到新结构的RBF神经网络； (S109)对新的RBF神经网络在原有参数的基础上再次使用有标记的样本集进行训练，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复步骤(S107)、(S109);如果不能收敛则进入下一步； (Slll)取隐层神经元数最小且能收敛的RBF神经网络网络结构为最终的网络结构，其网络为最终输出的分类器。
2.如权利要求1所述的基于无标记样本的RBF神经网络构建方法，其特征在于，当神经网络训练完成后，设映射关系函数为F(X)，X为输入向量，假设裁掉的是第j个隐层神经元，那么去掉第j个隐层神经元后神经网络的映射关系函数变成h (X)，定义第j个隐层神经元的敏感性为:
3.一种基于无标记样本的RBF神经网络构建装置，其特征在于，包括:初始模块、训练模块、隐层神经元选择模块和输出模块；上述模块按照如下顺序依次构建:初始模块、训练模块、隐层神经元选择模块、输出模块； (1)初始模块:其选取一个足够大的正整数m作为隐层神经元数，构建一个三层RBF神经网络，并给定初始网络参数； (2)训练模块:其利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e，得到经过训练的分类器； (3)隐层神经元选择模块:其利用有标记的样本和无标记样本计算隐层神经元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隐层神经元,形成新结构的RBF神经网络；重新利用有标记样本集训练新结构的RBF神经网络，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复本步骤；如果代价函数不能够收敛到某个很小的阈值e，通过输出模块最终的分类器； (4)输出模块:取隐层神经元数最小且能收敛的神经网络网络结构为最终的网络结构，并输出这个网络为最终 的分类器。
【文档编号】G06N3/02GK103679267SQ201310654934
【公开日】2014年3月26日 申请日期:2013年12月5日 优先权日:2013年12月5日
【发明者】储荣 申请人:河海大学