专利名称：基于主动学习的模糊神经网络样本选择方法
技术领域：
本发明涉及模糊神经网络设计时学习样本的选择方法，尤其涉及可有效提高模糊 神经网络分类效率的基于主动学习的学习样本选择方法。
背景技术：
一般而言，在设计神经网络分类器时，训练样本的标记过程通常都是手工进行的， 往往要花费巨大的人力物力。以前的样本采集与标记方法中一般不考虑样本中所蕴含的知 识，随机从样本集中选取一些未标记的样本由用户手工进行标记，作为训练样本送到分类 器中进行训练和学习。为了使分类器达到所预定的性能，这种盲目的样本选择方法往往需 要用户标记大量的样本，这不仅使得分类器的训练过程大大延长，而且在时间和工作量上 也都付出了很大的代价。主动学习算法自从问世以来就受到了普遍关注，其焦点主要在样本选择标准的设 计，以及初始样本数目大小的研究上。然而，主动学习算法最为关键的问题是——“提出好 的样本选择标准”，目的是寻找最有效利用有限训练样本的途径，通过尽量少的查询样本获 取最大限度的有用信息。主动学习算法中影响较大的样本选择准则主要有1)统计学习准则 (Statistical Approach)在这个模型中，样本选择标准以分类性能指标中泛化误差最小 化为基准，由于泛化误差一般较难计算，所以通常由实际输出值与期望输出值之间的均方 误差值来逼近，并假设分类器的偏差非常小可以忽略不计，而只关注分类器的方差值大小。 2)相关抽样准则(corraletive sampleing)，选择与当前分类器最一致的样本，因此相关抽 样也称为确定性抽样。这种准则在某些情况下是合理的，然而由于它每次选择最确定的例 子，而忽略掉了引起特别关注的异常例子，使分类器形成对某些样本的特殊偏好，从而选择 了过量冗余的例子。3)最大边界准则(Margin Based Approach) 0选取最接近分类面的样 本为问询标准，该方法认为越接近分类面，样本所含信息量就越大，称之为最大边界法。上 述这些方法都在神经网络分类器的设计过程中获得了较好的分类效果。上述主动样本选择准则大多本着信息量最大化原则，或决策中不确定性最小化原 则。虽然取得了一些较好的分类效果，然而，对于模糊神经网络而言，这种主动学习方法并 非总是有效的。由于局部极小值的存在，使得按照上述样本选取准则所生成的训练样本集， 往往比被动学习更加容易陷入不收敛或是局部极小值的状态。其主要原因是选取优秀样本 的要求往往使得样本被选范围越来越小，最后落入到几个固定区域。并且，目前针对模糊神 经网络的样本主动学习方法研究目前还很少，。因此，需要一种针对模糊神经网络分类器主动学习算法的网络样本选择方法，以 有效提高模糊神经网络分类器的分类性能。
发明内容
有鉴于现有的模糊神经网络中基于主动学习的样本选择所所存在的问题，本发明所要解决的技术问题是提供一种针对模糊神经网络分类器主动学习算法的设计方案，有效 提高了模糊神经网络分类器的分类性能。本发明的一个方面为一种基于主动学习的模糊神经网络样本选择方法，包括如下 步骤a)请求用户对从未经训练的样本中随机选取的第一小部分样本进行标记以形成样 本训练集，并利用所述样本训练集训练所述模糊神经网络，从而得到经训练的分类器；b) 请求用户对从未经训练的样本中随机选取的第二小部分样本进行标记，以在所述分类器上 对所述第二小部分样本进行类别测试；c)根据所述测试的结果将所述第二小部分样本中 的某些样本加入所述样本训练集；及d)利用所述经加入的训练样本集重新训练所述分类 器，得到新的所述分类器。本发明的另一方面为一种基于主动学习的模糊神经网络样本选择装置，包括样 本训练集形成模块，其请求用户对从未经训练的样本中随机选取的第一小部分样本进行标 记以形成样本训练集；训练模块，其利用所述样本训练集训练所述模糊神经网络，从而得到 经训练的分类器；及判定模块，其在所述分类器上对从未经训练的样本中随机选取的第二 小部分样本进行类别测试，并根据所述测试的结果将所述第二小部分样本中的某些样本加 入所述样本训练集。所述样本训练集形成模块请求用户对从未经训练的样本中随机选取的 第一小部分样本进行标记以形成样本训练集，并利用所述训练模块通过所述样本训练集训 练所述模糊神经网络，从而得到经训练的分类器，并且其中所述判定模块利用所述训练模 块通过所述经加入的样本训练集重新训练所述分类器，得到新的所述分类器。模糊神经网络分类器是以模糊隶属度值来表明样本的类别信息，模糊隶属度值体 现了该输入样本属于某一类样本的程度。因此，针对模糊神经网络分类器，提出了一种以模 糊隶属度值为基准的主动学习方法。故此，根据本发明的针对模糊神经网络分类器主动学 习算法的设计方案，有效提高了模糊神经网络分类器的分类性能。结合附图，根据下文的通过示例说明本发明主旨的描述可清楚本发明的其他方面 和优点。
结合附图，通过下文的述详细说明，可更清楚地理解本发明的上述及其他特征和 优点，其中图1为超盒并集构造的两类模式的分类空间(二维)；图2为模糊最小-最大神经网络结构图；图3为根据本发明的样本选择方法的流程图；图4为根据本发明的样本选择方法的优选实施例的流程图；图5示出了同一类别中三个不同样本的最大隶属度值排列。
具体实施例方式参见示出本发明实施例的附图，下文将更详细地描述本发明。然而，本发明可以以 许多不同形式实现，并且不应解释为受在此提出之实施例的限制。相反，提出这些实施例是 为了达成充分及完整公开，并且使本技术领域的技术人员完全了解本发明的范围。这些附 图中，为清楚起见，可能放大了层及区域的尺寸及相对尺寸。
除非另行详细说明，本文所使用的所有术语(包括科技术语)的意思与本技术领 域的技术人员所通常理解的一致。还应理解，诸如一般字典中所定义的术语应解释为与相 关技术领域中的意思一致，并且不应解释为理想化的或过度刻板的含义，除非在文中另有 明确定义。现以模糊最小-最大神经网络(Fuzzy min-max neural network,FMMNN)为例，说 明根据本发明的模糊神经网络样本选择方法。然而，本领域的技术人员应理解，本发明不限 于FMMNN，而是可以应用于其他模糊神经网络。模糊最小-最大神经网络是一种前馈式全局连接结构的人工神经网络，适用于目 标的分类，其基本思想是将一系列小模糊子集的并集构成一个能代表某类模式任意边界 形状的模式集合。FMMNN的结构基础是超盒(hyperbox)。一个超盒定义了 η维模式空间的 一个子区域，其位置及大小完全由模式空间的一个最小点和最大点确定，每个超盒还具有 一个模糊隶属度函数，它决定了模式空间中任意一点对该超盒的隶属程度。超盒的最小最 大点和模糊隶属度函数就定义了一个模糊集。属于同一类模式的超盒模糊集的并就构成了 该类模式的分类空间，如图1所示。FMMNN的结构如图2所示，它是一种三层前向网络输入层FA由输入模式节点组 成，xi表示输入模式向量的第i个分量(i = 1,2,...,η)；第二层为隐含层FB，也就是超盒 形成层，隐层的每一个节点bj(j = l，2，...，m)代表一个超盒模糊集，它与FA中的节点xi 由最小点vji和最大点wji连接，所有最小点和最大点的取值分别存于矩阵V和W中；输出 层FC中的每个节点ck (k =1,2, ...,ρ)表示一个模式类别，如果超盒bj属于类别ck，则 连接权值cjk取值为1，否则为0，矩阵U就是隐含层FB与输出层FC的连接权值矩阵。每个超盒模糊集bj(j = 1,2, · · · , m)可用一有序集描述:bk = {X，Vj, ffj, F(X， Vj, Wj)}，其中X为模式空间中的任一模式，Vj = (vjl, Vj2, ... , vjn)为bj的最小点，Wj =(wjl,wj2, ... , wjn)为bj的最大点，F (X，Vj, ffj)为bj的模糊隶属度函数。假设Xh = (xhl,xh2,... ,xhn)为第h个输入模式，则对灶，超盒bj的输出为1 “
权利要求
1.一种基于主动学习的模糊神经网络样本选择方法，其特征在于，包括如下步骤a)请求用户对从未经训练的样本中随机选取的第一小部分样本进行标记以形成样本 训练集，并利用所述样本训练集训练所述模糊神经网络，从而得到经训练的分类器；b)请求用户对从未经训练的样本中随机选取的第二小部分样本进行标记，以在所述分 类器上对所述第二小部分样本进行类别测试；c)根据所述测试的结果将所述第二小部分样本中的某些样本加入所述样本训练集；及d)利用所述经加入的训练样本集重新训练所述分类器，得到新的所述分类器。
2.如权利要求1所述的方法，其特征在于，步骤b)中，所述类别测试包括利用所述分类 器获取所述第二小部分样本的类别信息，其中若所述类别信息与用户标记结果不一致，则分别选择被误分程度最大和最小的样本加 入所述样本训练集中；若所述类别信息与用户标记结果一致，则选择对分类效果贡献信息较大的样本加入到 所述样本训练集。
3.如权利要求2所述的方法，其特征在于，所述误分程度最大和最小的样本分别为离 所述分类器的分类界面最远和最近的样本。
4.如权利要求3所述的方法，其特征在于，所述离所述分类界面最远和最近的样本分 别为隶属度值最大和最小的样本。
5.如权利要求2所述的方法，其特征在于，所述对分类效果贡献信息较大的样本为确 定性程度较低的干扰样本。
6.如权利要求5所述的方法，其特征在于，所述确定性程度较低的干扰样本为隶属度 低于阈值的样本。
7.如权利要求1所述的方法，其特征在于，还包括如下步骤e)利用测试样本集对所述分类器模型进行测试，其中，若测试结果满足用户要求则结 束样本选择，若所述测试结果不满足用户要求则再执行步骤b)。
8.一种基于主动学习的模糊神经网络样本选择装置，其特征在于，包括-样本训练集形成模块，其请求用户对从未经训练的样本中随机选取的第一小部分样 本进行标记以形成样本训练集；-训练模块，其利用所述样本训练集训练所述模糊神经网络，从而得到经训练的分类 器；及-判定模块，其在所述分类器上对从未经训练的样本中随机选取的第二小部分样本进 行类别测试，并根据所述测试的结果将所述第二小部分样本中的某些样本加入所述样本训练集；其中，所述样本训练集形成模块请求用户对从未经训练的样本中随机选取的第一小部 分样本进行标记以形成样本训练集，并利用所述训练模块通过所述样本训练集训练所述模 糊神经网络，从而得到经训练的分类器，并且其中所述判定模块利用所述训练模块通过所 述经加入的样本训练集重新训练所述分类器，得到新的所述分类器。
9.如权利要求8述的装置，其特征在于，所述类别测试包括利用所述分类器获取所述 第二小部分样本的类别信息，其中若所述类别信息与用户标记结果不一致，则分别选择被误分程度最大和最小的样本加 入所述样本训练集中；若所述类别信息与用户标记结果一致，则选择对分类效果贡献信息较大的样本加入到 所述样本训练集。
10.如权利要求9所述的装置，其特征在于，所述误分程度最大和最小的样本分别为离 所述分类器的分类界面最远和最近的样本。
11.如权利要求10所述的装置，其特征在于，所述离所述分类界面最远和最近的样本 分别为隶属度值最大和最小的样本。
12.如权利要求9所述的装置，其特征在于，所述对分类效果贡献信息较大的样本为确 定性程度较低的干扰样本。
13.如权利要求12所述的装置，其特征在于，所述确定性程度较低的干扰样本为隶属 度低于阈值的样本。
全文摘要
一种基于主动学习的模糊神经网络样本选择方法，包括如下步骤a)请求用户对从未经训练的样本中随机选取的第一小部分样本进行标记以形成样本训练集，并利用所述样本训练集训练所述模糊神经网络，从而得到经训练的分类器；b)请求用户对从未经训练的样本中随机选取的第二小部分样本进行标记，以在所述分类器上对所述第二小部分样本进行类别测试，并根据所述测试的结果将所述第二小部分样本中的某些样本加入所述样本训练集；c)利用所述经加入的训练样本集重新训练所述分类器，得到新的所述分类器。提出了一种以模糊隶属度值为基准的主动学习方法，有效提高了模糊神经网络分类器的分类性能。
文档编号G06N3/08GK102063642SQ20101061448
公开日2011年5月18日 申请日期2010年12月30日 优先权日2010年12月30日
发明者胡静 申请人:上海电机学院