基于madaline神经网络敏感性的特征选择方法及系统的制作方法
【技术领域】
[0001 ]本发明涉及MADALINE神经网络设计时的学习样本的特征选择方法及其系统，尤其涉及可有效提高MADALINE神经网络分类效率的基于特征选择的学习样本特征选择方法及其系统，属于智能科学与技术中的机器学习技术领域。
【背景技术】
[0002]MADALINE是一种输入、输出以及激活函数都是离散的神经网络。在设计一些MADALINE神经网络分类器时，由于特征向量维数很高，往往会导致网络结构庞大。庞大的网络会导致训练困难、需要更多的训练样本、训练时间过长等等弊端。在实际应用中，往往希望使用维数较低的样本，以构筑泛化性能较好的分类器。
[0003]特征选择技术是将维数较高的样本经过某种准则的筛选，变成维数较低的样本使得特定指标最优化的技术。基于搜索策略划分，常见特征选择算法可以归为下面3类:
[0004]第一类:指数算法(Exponentialalgorithms)
[0005]这类算法对特征空间进行穷举搜索(当然也会采用剪枝等优化)，搜索出来的特征集对于样本集是最优的。这类算法的时间复杂度是指数级的。
[0006]第二类:序列算法(Sequentialalgorithms)
[0007]这类算法实际上是一种贪心算法，算法时间复杂度较低，但是可能会陷入局部最优值，不一定能找到全局最优解。
[0008]第三类:随机算法(Randomizedalgorithms)
[0009]随机算法属于一种近似算法，能找出问题的近似最优结。随机算法在近似求解NP完全问题上显示出突出的优势，可尝试用在特征选择上。
[0010]基于评价准则划分，特征选择方法可以划分为过滤式(Fi 11 er )和封装式(Wrapper)。过滤式与后续学习算法无关，一般直接利用所有训练数据的统计特性评估特征，速度快，但评估与后续学习算法的性能偏差较大。封装式利用后续学习算法的训练准确率评估特征子集，偏差小，计算量大，不合适大数据集。
[0011]过滤式是大数据集特征选择中最常用的方法。过滤式特征选择方法最重要的就是选择特征合适的特性。本发明采用敏感性作为选择特征，这种特征具有计算方便，筛选特征效果好的特点。
【发明内容】
[0012]发明目的:针对现有技术中存在的问题，本发明提供一种基于MADALINE神经网络敏感性的特征选择方法及系统，选择特征的敏感性，从而有效提高MADALINE神经网络分类器的分类性能。
[0013]技术方案:一种基于MADALINE神经网络敏感性的特征选择方法，包括以下步骤:
[0014]I)使用已有的训练样本集训练MADALINE神经网络，得到经过训练的分类器；
[0015]2)计算各个特征的敏感性，并根据敏感性从大到小排序；
[0016]3)根据需要从排序中取前若干个敏感性大的特征作为新特征集。
[0017]一种基于MADALINE神经网络敏感性的特征选择系统，所述系统包括:
[0018]训练模块，其利用已有的训练样本集训练MADALINE神经网络，得到经过训练的分类器；
[0019]计算模块，其利用经过训练的分类器计算各个特征的敏感性，并根据敏感性从大到小排序；
[0020]特征选择模块:其根据预设的数值从排序中取前若干个敏感性大的特征作为新特征集。
[0021]本发明采用上述技术方案，具有以下有益效果:
[0022](I)相对于使用全部特征构建分类器而言，经过选择的特征能更好地代表样本的特性，并且能够降低训练分类器所耗费的时间和代价，提高MADALINE神经网络的泛化能力。
[0023](2)本发明挑选敏感性大的特征，这些特征往往对训练分类器是重要的。通过这样的方法可以有效减少特征数量，提高分类器的性能。
【附图说明】
[0024]图1为MADALINE神经网络结构图；
[0025]图2为本发明实施例的方法流程图。
【具体实施方式】
[0026]下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0027]现以MADALINE神经网络为例，说明根据本发明的特征选择方法。
[0028]MADALINE是一种全连接的前向神经网络，它的特点是网络输入、输出以及激活函数的输出均为离散值(例如均为-1 , + IhMADALINE神经网络适用于输入输出均需为离散值的情景。MADALI NE的结构如图1所示，它是一种三层前向网络:输入层MA由输入模式节点组成，Xi表示输入模式向量的第i个分量(i = I，2，...，η);第二层是隐含层MB，它由m个节点bj(j = I，2，...，m)组成。弟二层是输出层MC，匕由P个"P点ck(k = I，2，...，p)组成。
[0029]对于上述MADALINE神经网络的训练在这里采用标准MRII学习算法。
[0030]下面我们定义MADALINE神经网络的敏感性。当MADALINE神经网络训练完成后，它的映射关系也就确定了。设映射关系函数为F(X)(其中X=(X1，X2...Xn)为输入向量)，定义
[0031]Si(X)=Ed I IF(X)-F(Xi) I/2 I |)=Nerr/Ninp(I)
[0032]为该MADALINE神经网络对第i个输入特征Xi的敏感性。其中Xi为输入向量中第i个分量取反，其余分量不变的向量，即(X1，X2,...，-Xi,?Xn)。I.I是求取.的绝对值的算符，I
I.I I是求取.的I范数的算符。E为求取期望的算符。与连续神经网络不同的是，MADALINE神经网络的输入和输出都是离散值，一般为+1和-1。因此MADALINE神经网络的输入空间的数量是有限的，Ninp实际上就是输入空间的数量的k/2倍，Ne3rr为X1取反前后输出分量变化的个数。
[0033]由敏感性定义可以看出，某一特征分量的敏感性可以度量此一分量发生变化时输出变化的剧烈程度。我们认为，输出变化剧烈的特征分量可以对MADALINE神经网络的训练带来更多信息，因此更有价值。
[0034]如图2所示为本发明基于MADALINE神经网络敏感性的特征选择方法流程图。
[0035]在步骤SlOl中，使用规范后训练样本集训练MADALINE神经网络，得到一个分类器。
[0036]在步骤S103中，利用得到的分类器计算每个向量的特征分量的敏感性，并按照每个特征分量的敏感性由大到小排序。
[0037]在步骤S105中，按照事先设定的值(指所需特征分量的个数)取前若干个敏感性大的特征分量组成新的特征集。
[0038]现描述根据本发明的基于MADALINE神经网络敏感性的特征选择系统。
[0039]所述系统包括:
[0040]训练模块，其利用已有的训练样本集训练MADALINE神经网络，得到经过训练的分类器；
[0041]计算模块，其利用经过训练的分类器计算各个特征的敏感性，并根据敏感性从大到小排序；
[0042]特征选择模块:其根据预设的数值(指所需特征分量的个数)从排序中取前若干个敏感性大的特征作为新特征集。
[0043]上述系统的工作过程是:
[0044]A、首先，训练模块利用用户输入的训练集样本训练MADALINE神经网络，得到一个分类器；
[0045]B、其次，计算模块利用训练好的分类器计算每个特征分量的敏感性，并按照每个特征分量的敏感性由大到小排序；
[0046]C、最后，特征选择模块按照事先设定的值取前若干个敏感性大的特征分量组成新的特征集。
【主权项】
1.一种基于MADALINE神经网络敏感性的特征选择方法，其特征在于，包括以下步骤: 1)使用已有的训练样本集训练MADALINE神经网络，得到经过训练的分类器； 2)利用所述分类器计算各个特征分量的敏感性，并根据敏感性从大到小排序； 3)根据需要从排序中取前若干个敏感性大的特征作为新特征集。2.一种基于MADALINE神经网络敏感性的特征选择系统，其特征在于，所述系统包括: 训练模块，其利用已有的训练样本集训练MADALINE神经网络，得到经过训练的分类器； 计算模块，其利用经过训练的分类器计算各个特征的敏感性，并根据敏感性从大到小排序； 特征选择模块:其根据预设的数值从排序中取前若干个敏感性大的特征作为新特征集。
【专利摘要】本发明公开了一种基于MADALINE神经网络敏感性的特征选择方法及系统，以敏感性为基准，通过挑选敏感性大的特征，来寻找自身发生扰动时输出发生较大变化的特征，这些特征往往对训练分类器是重要的；具体为：使用已有的训练样本集训练MADALINE神经网络，得到经过训练的分类器；利用所述分类器计算各个特征分量的敏感性，并根据敏感性从大到小排序；根据需要从排序中取前若干个敏感性大的特征作为新特征集。本发明可以有效挑选出对分类器重要的样本特征，从而提高分类器的性能。
【IPC分类】G06K9/62, G06N3/08
【公开号】CN105550697
【申请号】CN201510891616
【发明人】储荣
【申请人】河海大学
【公开日】2016年5月4日
【申请日】2015年12月7日