专利名称：具有层次结构的混合线性svm分类器的模式识别方法
技术领域：
本发明涉及计算机模式识别领域，特别是涉及一种具有层次结构的混合线性SVM分类器的模式识别方法。
背景技术：
分类器设计是计算机模式识别领域中的研究重点，因为分类器是作为模式识别研究的基本工具。总的来说，目前的分类器算法主要两个关键性的问题(I)分类器的推广能力；(2)对新样本进行分类时所耗费的时间。一般来说，分类器的推广能力就是分类器预测未知样本类别的能力，即分类正确率的高低。基于统计学习理论和结构风险最小化理论的SVM分类器，由于它具有全局最优 解和很好的推广能力等优点，已经成为近年来最为成功的分类器，被广泛应用于人工智能、机器学习、神经生物学、医学等众多领域。它最初的动机就是对于线性可分的两类数据样本集，找出能够分开这两类样本的最大间隔。但在实际应用中，许多分类数据是线性不可分的。为此，人们引入了核函数的概念，将原始空间的数据通过核映射到高维甚至无限维核空间中，而这些映射到核空间中的数据可以看作是线性可分或者是近似线性可分的，从而解决了对于线性不可分数据的分类问题。虽然基于核方法的SVM成功拓展了线性SVM的应用范围，并且有很好的推广能力，但是它依然有以下三大缺点I)核函数及其参数选择的困难目前有很多核函数，如多项式核函数、样条核函数、径向基核函数等，每一个核函数又有各自的参数。核函数及其参数的选择对于SVM分类器的推广能力有着举足轻重的作用。如何选择合适的核函数及其参数使得分类器的推广能力达到最好仍然是一个亟待解决的难题。2)训练分类器时需要占据很大的内存基于核函数的SVM在训练时需要存储一个0(12)的非稀疏核矩阵，其中I是训练样本的个数。这就使得SVM不能处理大数据量的分类问题。3)分类时间复杂度高基于核函数的SVM分类器在对新样本进行分类时，需要计算这个新样本与所有支持向量之间的核函数。所以其分类复杂度是跟支持向量的个数线性相关的。而Steinwart证明支持向量的个数的增长至少同训练样本个数增长呈线性关系的。因此，大数据量训练出来的分类器，对新数据样本的分类时间就会非常慢，这就使得其不能运用于一些实时模式识别系统中，比如行人检测系统和飞机视觉导航系统。为了克服基于核函数SVM的上述缺陷，一些在原始数据空间中构造分类器的方法被提了出来。Fu基于训练数据和标签的联合分布模型，提出了一个混合的线性SVM分类器。但是，由于数据的联合分布很难估计，当实际的数据分布与假设的概率模型不相符时，分类器的推广能力就会大大降低。Li基于“凸可分”的概念，提出了一个分段线性分类器——多凸线性感知器。但是由于这种分类器没有引入软间隔的概念，因此它不能处理那些两类有相互交叠的分类数据，这样就大大限制了应用范围。发明内容
本发明提供一种具有层次结构的混合线性SVM分类器的模式识别方法——H-MLSVMs,它具有层次树结构，而且每一个结点处都对应着一个混合的线性SVM分类器。相对于其它的经典SVM方法，该分类方法具有和基于核函数的SVM方法几乎一样的推广能力，而不存在着核函数及其参数选择困难、占用很大内存等缺点，特别是具有和线性SVM等阶的分类时间复杂度，使得该分类方法在对新样本分类时更加有效。为了实现上述目的，本发明采用了以下的技术方案具有层次结构的混合线性SVM分类器的模式识别方法，其每一个结点处的分类器都对应着一次迭代过程。每一次迭代过程主要包括以下两个步骤(I)运用训练数据的近邻几何结构关系和当前H-MLSVMs分类器的分类误差，更新每个样本的训练权重；(2)利用带有权重的样本训练出一个带权重的线性SVM分类器，将此分类器嵌入到当前H-MLSVMs中，并更新分类器的分类误差，返回到第一步。其中，H-MLSVMs根结点分类器是通过训练等权重的线性SVM得到。上述迭代过程一直到H-MLSVMs中所有结点处分类器的数目达到一个给定的整数，或者在测试数据集上正确率的增长幅度在足够小的范围之内时，停止。进一步说，所述的步骤(I)具体包括以下子步骤首先，通过训练数据的近邻几何结构关系和当前H-MLSVMs分类器的分类误差选择出“训练中心样本”，即此“训练中心样本”附近的区域为当前H-MLSVMs分类器错分最为严重的区域；其次，根据各个样本和上一步所选的“训练中心样本”之间的距离，计算出各个样本的训练权重；最后，为了防止训练权重偏向于某一类，在各类中将训练权重做归一化处理。更进一步说，所述的步骤(2)具体包括以下子步骤首先，利用上面带有权重的训练样本训练出一个带权重的线性SVM分类器；其次，结合“训练中心样本”所在结点的父母结点处的分类器，得到一个混合线性SVM分类器； 再次，将此混合线性SVM分类器作为“训练中心样本”所在结点处的分类器；最后，更新分类器的分类误差。本发明的有益效果是I、本发明所提出的分类算法是一种通用的方法，对任意分类数据类型都适用。2、本发明提出一种自适应调整权重策略，能够根据当前的分类误差自动地调整各个样本的训练权重，相比于经典的设置权重的方法，由于不仅考虑了分类误差，而且融入了数据的几何结构关系，使得这种权重设置方法对噪音点更加鲁棒。3、本发明采用了一种层次树结构的分类器，其中每一结点处都存在着一个混合线性SVM分类器，其基本思想就是分层地将错分的正样本从负样本中分离出来，或者将错分的负样本从正样本中分离出来。相比于经典的线性SVM分类器，极大提高了对线性不可分数据的推广能力；相比于经典的基于核函数的SVM分类器，此H-MLSVMs分类器的推广能力能够近似达到核SVM分类器的推广能力，而克服了核SVM在训练过程中核函数及其参数选取困难、耗用内存等缺点，更重要的是使得需要的分类时间复杂度大大降低，从而能够用于实时模式识别系统中。
下面结合附图和实施例对本发明进一步说明。图I是本发明的H-MLSVMs分类器的训练流程图；图2是本发明的分类器训练过程的二维例子展示图；图3是本发明的分类器对新样本的分类过程的流程图。
具体实施例方式下面通过实施例对本发明进行具体的描述，只用于对本发明进行进一步说明，不 能理解为对本发明保护范围的限定，该领域的技术人员可根据上述发明的内容对本发明作出一些非本质的改进和调整。图I为本发明的H-MLSVMs分类器的训练流程图，它是一种具有层次结构的混合线性SVM分类器的模式识别方法。图2为本发明的分类器训练过程的二维例子展示。图3为H-MLSVMs分类器对新样本的分类过程的流程图。本发明的方法具体运行的硬件和编程语言并不限制，用任何语言编写都可以完成，为此其它工作模式不再赘述。本发明的实施例采用一台具有3. 2G赫兹中央处理器和IG字节内存的奔腾4计算机并用Matlab语言编制了 H-MLSVMs分类器的工作程序，实现了本发明的方法。本发明的具有层次结构的混合线性SVM分类器的模式识别方法主要包括以下两个步骤训练样本权重的更新和层次结构分类器H-MLSVMs的更新。在介绍具体步骤之前，我们先介绍下面所要用到的符号的意义。
S :训练样本集合，即丨e G {-1,1} L ； I :表示H-MLSVMs分类器中的结点。I =
代表根结点，如果它分裂，
和
就为其左孩子结点和右孩子结点。类似的，如果结点
再分裂，则
和
就为它的左孩子结点和右孩子结点。如果一个结点不再分裂，则这个结点就叫做叶子结点。I中元素的个数代表着结点I在H-MLSVMs中的层数。如图2(f)所示，结点
在H-MLSVMs的第四层； f(t):在训练H-MLSVMs分类器的过程中，第t次迭代时所计算出的带权重的线性SVM ； fx :在结点I处的分类器(如图2(f)所示)，其中叶子结点处没有分类器；-S1 :划分到结点I处样本集。如图2 (f)所示，所有训练样本在最初时都被划分到根结点处，即^ = WL。在根结点处的分类器fM将集合Sm分为集合Sk1J和Ski, _1P在
结点处的分类器f %又将Sk^分为Sk^1]和S&K。类似的，其他结点处的集合也可以得到。我们可以看出，叶子节点处的集合两两不相交，它们的并集构成了全部训练样本。如果记叶子结点I中最后一个元素为I (111)，则I (111)决定了集合S1中样本的类别属性。I (111) = I (I (111) = -I)代表S1中样本被H-MLSVMs分类器划分为正类(负类)； M =H-MLSVMs中所有结点处分类器的个数；
-Ft :在第t次迭代后H-MLSVMs中结点处分类器的集合，如图2(f)所示，F4= {f
,
f
，f
，f
}； Fw: ^ =)]，其中 Af)表示在第 t 次迭代后 H-MLSVMs分类器对样本Xi的预测值。图2中红圈表示正样本,蓝叉表示负样本。下面参考图2来说明H-MLSVMs分类器的训练过程和分类流程，具体步骤如下所述初始H-MLSVMs :所有训练样本都被划分到根结点处，即^。用等权重的训练样本训练出一个线性SVM分类器f(1)(如图2(a)中所示)，并将其赋予根结点处分类器，即f
= f(1)。fM将集合Sm分为集合Skm]和Sm，其中Skm] = {x |f
(X)彡0，X G S
}，s[0j = {x I f
(X) < 0, X G S[(l]},可以看出SttlJ中有大量被错分的负样本，St0j^1]中有大量被错分的正样本。此时H-MLSVMs F1的结构如图2(f)中所示，F1对训练样 本的预测值为 V(1) = F1 (Sm) = f
(Sm)。下面进入循环阶段，其主要有以下两步(I)运用训练数据的近邻几何结构关系和当前H-MLSVMs分类器的分类误差，更新每个样本的训练权重。其主要包含a)找出“训练中心样本”(如图2(b)中蓝色三角所示)
A = arg max 科⑴ ^' _2^f
其中片D = max{0,l-少/J1)} ’ a2 =’ 疋O,)表本4 的 s邻居,其定义为Ne (Xi) = {Xj| I I Xj-Xi I I < t , Ji = Ji, (Xj, Yj) G S} , e —般取值为jo。b)根据样本距离“训练中心样本”的距离计算样本权重，即J). = exp{-—~c)为了防止训练权重偏向于某一类，在各类中将训练权重做归一化处理& = 如图2(b)所示，标记的大小代表着样本权重的大小。从上面的计算过程可以看出，我们将分类器F1错分最为严重的区域中的样本赋予了很大的权重。(2)利用带有权重的样本训练出一个带权重的线性SVM分类器，将此分类器嵌入到当前H-MLSVMs中，并更新分类器的分类误差。其主要包含a)如图2(b)所示，用带权重比}^的训练样本训练出带权重线性SVM分类器f(2)(图2(b)中玫红色线)；b)假设x。^ S1，即说明集合S1中错分的样本最为严重。令I1 = 1(1: I I |-1)，I2=I (111)，则I1即为I的父母结点。参考结点I1处分类器，得到一个混合线性SVM分类器。如果I(IlI)= 1，则此混合线性SVM分类器为miiH/2),/, }，如果I(IlI)= -1，则此混合线性SVM分类器为max{/2),/；}。在图2(b)中，由于I=
，所以混合线性SVM分类器为 min{f(2)，f
}；c)将上面得到的线性SVM分类器min{f(2)，f
}赋予结点
处的分类器fi]，f
进一步将集合 S關分为 Sk^1]和 Ski^1]，其中 Sk^1] = Ixlftoa] (x) ^ 0, x G S
}，s
(X) < 0, X G Skm],可以看出，将 f
集合 Skm]中一部分被 F1 错分的负样本分离出来。此时的H-MLSVMs为F2 = F1 U，可以看出F2比F1多出了一
个结点处分类器f km]，从而提高了分类正确率。其结构如图2(f)中所示；
d)计算F2对训练样本的预测值，即/7^ =1IXfcJ[W]，返回⑴。
I tXI ) r* , (j重复类似于步骤(I) (2)的过程，我们得到了 H-MLSVMs分类器F3 (如图2(c)中所示)和匕(如图2(d)中所示)，其结构分别为图2(f)中所示。上述迭代过程一直到H-MLSVMs中所有结点处分类器的数目达到一个给定的整数，或者在测试数据集上正确率的增长幅度在足够小的范围之内时，停止。在试验中，我们采用第一种迭代停止方法。图2(e)是经过二十五次迭代后H-MLSVMs分类器的分类边界。当新来一个样本需要H-MLSVMs分类时，让这个新来的样本从层次结构分类器H-MLSVMs的根结点出发一直到达某个叶子结点，根据计算出来的函数值判断其类别，具体分类流程如图3所示。由于Fm中包含了 H-MLSVMs中所有结点处的分类器，所以图2中“ ￠4(彳4 @4)”标志着X已经到达叶子结点，输出其函数值即可，如果其函数值大于
等于零，其为正类，否则为负类。“匕』GG FM)”意味着X还没有到达叶子结点，
需要用分类器“fu] (fu])”进一步划分。如图2(C)中样本x(五角星)所示，其分类过程中前三步所走的路径如图2(f)箭头所示。
权利要求
1.一种具有层次结构的混合线性SVM分类器的模式识别方法，其特征在于包括以下步骤 (1)运用训练数据的近邻几何结构关系和当前H-MLSVMs分类器的分类误差，更新每个样本的训练权重； (2)利用带有权重的样本训练出一个带权重的线性SVM分类器，将该分类器嵌入到当前H-MLSVMs中，并更新分类器的分类误差，返回到第一步； 其中，H-MLSVMs根结点分类器是通过训练等权重的线性SVM得到，上述迭代过程一直到H-MLSVMs中所有结点处分类器的数目达到一个给定的整数，或者在测试数据集上的正确率增长在足够小的范围之内时，停止。
2.根据权利要求I所述的具有层次结构的混合线性SVM分类器的模式识别方法，其特征在于所述的步骤(I)具体包括以下子步骤 首先，通过训练数据的近邻几何结构关系和当前H-MLSVMs分类器的分类误差选择出“训练中心样本”，即此“训练中心样本”附近的区域为当前H-MLSVMs分类器错分最为严重的区域； 其次，根据各个样本和上一步所选的“训练中心样本”之间的距离，计算出各个样本的训练权重； 最后，为了防止训练权重偏向于某一类，在各类中将训练权重做归一化处理。
3.根据权利要求I所述的具有层次结构的混合线性SVM分类器的模式识别方法，其特征在于所述的步骤(2)具体包括以下子步骤 首先，利用上面带有权重的训练样本训练出一个带权重的线性SVM分类器； 其次，结合“训练中心样本”所在结点的父母结点处的分类器，得到一个混合线性SVM分类器； 再次，将此混合线性SVM分类器作为“训练中心样本”所在结点处的分类器； 最后，更新分类器的分类误差。
全文摘要
本发明公开了一种具有层次结构的混合线性SVM分类器的模式识别方法，其迭代过程中主要包含以下步骤首先运用训练数据的近邻几何结构关系和当前H-MLSVMs分类器的分类误差，更新每个样本的训练权重；其次利用带有权重的样本训练出一个带权重的线性SVM分类器，将此分类器嵌入到当前H-MLSVMs中，并更新分类器的分类误差。本发明实现了有效的模式识别分类方法，是一种通用的方法。实验结果表明，相对于其它的经典SVM方法，该分类方法具有和基于核函数的SVM方法几乎一样的推广能力，而不存在着核函数及其参数选择困难、占用很大内存等缺点，特别是具有和线性SVM等阶的分类时间复杂度，使得该分类方法在对新样本进行分类时更加有效，从而能够运用到实时模式识别系统中，具有很好的应用前景。
文档编号G06K9/66GK102646198SQ20121003990
公开日2012年8月22日 申请日期2012年2月21日 优先权日2012年2月21日
发明者张笑钦, 王迪 申请人:温州大学