专利名称：基于主动学习的神经网络样本选择方法及其装置的制作方法
技术领域：
本发明涉及神经网络设计时的学习样本的选择方法及其装置，尤其涉及可有效提高神经网络分类效率的基于主动学习的学习样本选择方法及其装置，属于智能科学与技术中的机器学习领域。
背景技术：
在设计神经网络分类器时，训练样本的标记一般是由专家来完成的，这往往要花费大量的金钱和时间代价。以往选择需要标记的样本时，一般是从已获得的无标号样本中随机抽取的。这样训练出一个分类器往往需要大量的标记过的样本，需要花费很大的人力物力，而且容易使得训练时间延长。主动学习技术是将无标记的样本经过某种准则的筛选，得到的样本使用人工进行标记。这些标记的样本加入到训练集中。分类器经过这些训练集样本的训练，能更好地改进其性能。主动学习技术的关键是如何构造一个好的筛选准则，使得使用尽量少的标记样本得到尽量好的分类器分类性能。主动学习算法中比较有影响的筛选准则主要有1)不确定性采样准则在这个准则中，设计者认为根据信息论的知识，样本的香农熵越大说明样本所含的信息量越大。选择信息量越大的样本对改进分类器的性能越好。而样本的熵越大说明这个样本的类别越不确定，故名不确定性采样。在这个指导思想下又衍生出很多种算法，比如选择最靠近边界的样本算法，选择各个类别后验概率差最小算法等等。2、委员会机器准则使用已有的训练集利用不同的复杂度训练出一族分类器，由这一族分类器对未标记的样本分别进行分类，挑选这些分类器分类标号最不确定的样本。幻期望误差减少法这种算法以减少分类误差为准则挑选样本。相对来讲这个算法对减少分类误差最为直接，也比较容易理解。但这种算法复杂度特别高，对于很多比较复杂的问题不适用。上述这些准则都能应用到神经网络分类器中。以上筛选准则大致上集中在样本的不确定性或者分类器的误差方面。能不能在其它方面构造准则，实现较好的筛选效果？
发明内容
本发明的首要目的在于提供一种以敏感性为基准的主动学习方法，从而有效提高神经网络分类器的分类性能。具体采用如下技术方案一种基于主动学习的神经网络样本选择方法，其特征在于包括以下步骤1)从未经标记的训练样本中随机选取一小部分样本进行标记以形成训练样本集；2)利用训练样本集训练神经网络，得到经过训练的分类器；3)计算未经标记的样本在已有分类器下的敏感性，利用敏感性得到一批在已有分类器中比较敏感的样本；
4)将所得比较敏感的样本加入到已有训练样本集中，得到新的训练样本集，并利用新的训练样本集训练神经网络，得到新的分类器；5)利用测试样本集对步骤4)得到的新的分类器进行测试，若测试结果满足用户要求则结束样本选择，若所述测试结果不满足用户要求则回到步骤3)，重复步骤3) 5)， 直到分类器性能达到要求为止。本发明的另一目的在于提供一种基于主动学习的神经网络样本选择装置，所述装置包括训练样本集形成模块，其请求用户从未经标记的训练样本中随机选取一小部分样本进行标记以形成训练样本集；训练模块，其利用已有训练样本集训练神经网络，得到经过训练的分类器；判定模块，其计算未经标记的样本在已有分类器下的敏感性，根据计算结果挑选出一批在已有分类器中比较敏感的样本；训练样本集更新模块，其将判断模块挑选出的比较敏感的样本加入到已有训练样本集中，得到新的训练样本集；测试模块，利用测试样本集对得到的分类器进行测试。本发明具有如下有益效果(1)本方法在选择训练样本时采用了一种新颖的主动学习方法，相对于被动学习算法而言，所需选择标记的训练样本数量大大减少，降低了标记样本所耗费的时间和代价， 且有效提高了前向神经网络的分类效果。(2)根据本发明的样本选择方法及其装置提出了一种基于敏感性的有效样本选择方法，通过挑选敏感性大的样本点，来寻找在其周围变化剧烈的样本点，这些样本点往往对训练分类器是重要的。通过这样的方法可以有效减少需要标记样本点的数量，减少标记的代价并提高分类器的性能。
图1为多层感知机(Multi-layer perceptron, MLP)神经网络结构图。图2为本发明具体实施方式
的基于主动学习的神经网络样本选择方法流程图。
具体实施例方式下面结合附图和具体实施例来详细说明本发明。现以多层感知机神经网络为例，说明根据本发明的前向神经网络样本选择方法。 然而，本领域的技术人员应理解，本发明不限于MLP神经网络，而是可以应用于其它前向神经网络。MLP是一种全连接的前向神经网络，适用于目标的分类。MLP的结构如图1所示， 它是一种三层前向网络输入层MA由输入模式节点组成，Xi表示输入模式向量的第i个分量(i = 1，2，...，η)；第二层是隐含层MB，它由m个节点b」(j = 1，2，...，m)组成。第三层是输出层MC，它由ρ个节点ck (k = 1,2,... ,ρ)组成。在训练之前需要对输入向量的每个元素规范化，这里将每个元素规范化到[-1， 1]。
对于上述MLP神经网络的训练在这里采用标准BP算法。下面我们定义上述神经网络的敏感性，这样的定义可以很容易地推广到其它前向神经网络。当神经网络训练完成后，它的映射关系也就确定了。设映射关系函数为F(X)(其中X为输入向量)，定义S (X) = E (I IF (Χ+ Δ ) -F (X) | |2)(1)为该神经网络在输入X处的敏感性。Δ是一个每个元素在[_h，h]上服从均勻分布的随机向量，其中h是一个小的正数，经验取值为0.01 0.05。I I · I I2是求取·的欧几里德范数算符。E为求取期望的算符。由敏感性定义可以看出，神经网络在某一点的敏感性可以度量神经网络在这一点周围变化的剧烈程度。我们认为，周围变化剧烈的样本点可以对神经网络的训练带来更多信息，因此更有价值。如图2所示为本发明基于主动学习的神经网络样本选择方法流程图。在步骤SlOl中，从未经标记的训练样本中随机选取一小部分样本，并对这些样本进行标记以形成训练样本集。在具体实施中，上述一小部分一般不超过5%。在步骤S103中，利用所述训练样本集训练所述MLP神经网络，从而得到经训练的分类器。在步骤S105中，利用所述经训练的分类器计算所有未标记样本的敏感性，并根据敏感性从大到小对样本进行排序。在步骤S107中，对排序的样本取前若干个进行人工标记，并把这部分样本加入到原有训练样本集，形成新的训练样本集。在步骤S109中，利用所述新的训练样本集训练所述MLP神经网络，从而得到新的分类器。在步骤Slll中，利用测试样本集对步骤S109得到的新的分类器进行测试，若测试结果满足用户要求则结束样本选择，若所述测试结果不满足用户要求则回到步骤S105，重复步骤S105 S111，直到分类器性能达到要求为止。为了尽快得到准确度较高的分类边界，通过步骤Slll可以进入一个循环过程，每次对敏感度较大的一部分样本进行人工标记，并将其加入训练样本集中，然后使用新的训练样本集训练出新的分类器。再用测试集对其测试，得到一个新的测试结果。如果该测试结果已经满足用户要求则停止样本选择和主动学习，反之，则进入下一轮的循环过程。现描述根据本发明的基于主动学习的神经网络样本选择装置。所述装置包括训练样本集形成模块，其请求用户从未经标记的训练样本中随机选取一小部分样本进行标记以形成训练样本集；训练模块，其利用已有训练样本集训练神经网络，得到经过训练的分类器；判定模块，其计算未经标记的样本在已有分类器下的敏感性，根据计算结果挑选出一批在已有分类器中比较敏感的样本；训练样本集更新模块，其将判断模块挑选出的比较敏感的样本加入到已有训练样本集中，得到新的训练样本集；测试模块，利用测试样本集对得到的分类器进行测试。上述装置的工作过程是A、首先，训练样本集形成模块请求用户从未经训练的样本中随机选取一小部分样本进行标记以形成样本训练集；B、然后，训练模块利用所述样本训练集训练神经网络，从而得到经过训练的分类器；C、接着，判定模块计算未经标记的样本在已有分类器下的敏感性，并根据计算结果挑选出一批在已有分类器中比较敏感的样本；D、接着，训练样本集更新模块将判断模块挑选出的比较敏感的样本加入到已有训练样本集中，得到新的训练样本集；E、接着，训练模块再利用新的训练样本集重新训练神经网络，得到新的分类器；F、最后，测试模块利用测试样本集对得到的新的分类器进行测试。若测试结果满足用户要求则结束样本选择，若测试结果不满足用户要求，则回到步骤C，重复步骤C F， 直到分类器性能达到要求为止。
权利要求
1.一种基于主动学习的神经网络样本选择方法，其特征在于包括以下步骤1)从未经标记的训练样本中随机选取一小部分样本进行标记以形成训练样本集；2)利用训练样本集训练神经网络，得到经过训练的分类器；3)计算未经标记的样本在已有分类器下的敏感性，利用敏感性得到一批在已有分类器中比较敏感的样本；4)将所得比较敏感的样本加入到已有训练样本集中，得到新的训练样本集，并利用新的训练样本集训练神经网络，得到新的分类器；5)利用测试样本集对步骤4)得到的新的分类器进行测试，若测试结果满足用户要求则结束样本选择，若所述测试结果不满足用户要求则回到步骤3)，重复步骤3)飞)，直到分类器性能达到要求为止。
2.一种基于主动学习的神经网络样本选择装置，其特征在于包括训练样本集形成模块，其请求用户从未经标记的训练样本中随机选取一小部分样本进行标记以形成训练样本集；训练模块，其利用已有训练样本集训练神经网络，得到经过训练的分类器；判定模块，其计算未经标记的样本在已有分类器下的敏感性，根据计算结果挑选出一批在已有分类器中比较敏感的样本；训练样本集更新模块，其将判断模块挑选出的比较敏感的样本加入到已有训练样本集中，得到新的训练样本集；测试模块，利用测试样本集对得到的分类器进行测试。
全文摘要
本发明公开了一种基于主动学习的神经网络样本选择方法，属于智能科学与技术中的机器学习领域，该方法以敏感性为基准，通过挑选敏感性大的样本点，来寻找在其周围变化剧烈的样本点，这些样本点往往对训练分类器是重要的。本发明还公开了基于主动学习的神经网络样本选择装置。本发明可以有效减少需要标记样本点的数量，减少标记的代价并提高分类器的性能。
文档编号G06N3/08GK102496061SQ20111038070
公开日2012年6月13日 申请日期2011年11月25日 优先权日2011年11月25日
发明者储荣, 王敏 申请人:河海大学