一种基于支持向量几何意义的增量学习方法
【专利摘要】本发明公开了一种基于支持向量几何意义的增量学习方法，包括以下步骤：首先提出有效的选取给定个数凸包顶点样本的方法，称为CHVS方法，并从理论上证明此方法所选取的样本就是凸包顶点样本；其次通过在每一类样本集合中运用CHVS方法，从大数据量训练样本中选取出那些能够最大程度保持各类凸包信息的重要样本，称为VS方法；最后用这些选取的少量重要样本与新来的样本一起重新训练得到更新的分类器。本发明实现了有效的SVM增量学习分类方法，是一种通用的方法，相对于其它的经典SVM增量学习方法，本发明的增量学习方法更适合于大数据量的在线增量学习任务，具有很好的应用前景。
【专利说明】一种基于支持向量几何意义的增量学习方法
【技术领域】
[0001]本发明涉及计算机模式识别领域，特别是涉及一种基于支持向量机即SVM几何意义的增量学习方法。
【背景技术】
[0002]分类器设计是计算机模式识别领域中的研究重点，因为分类器作为模式识别研究的基本工具。总的来说，目前的分类器算法主要有两个关键性的问题:(I)分类器的推广能力；(2)训练分类器所耗费的时间。
[0003]分类器的推广能力就是分类器预测未知样本类别的能力，即分类精度的高低。支持向量机即SVM是一种建立在统计学习理论基础上的机器学习方法，是结构风险最小化思想的具体实现，具有很好的推广能力。它通过引入核映射方法，有效克服了维数灾难，较好地解决了非线性问题，因此成为近年来最成功的分类器，被广泛应用于人工智能、金融预测、神经生物学、医学等众多领域。SVM在模式分类中具有其它方法不可比拟的优越性，但是它依然有存在着一些问题:
[0004](I)训练分类器时需要占据很大的内存:理论上来讲，训练样本数量越多，分类器的精度越高，然而基于核函数的SVM在训练时需要存储一个0(12)的非稀疏核矩阵，其中I是训练样本的个数。这就使得SVM不能处理大数据量的分类问题。
[0005](2)不能用于在线学习任务:在机器学习领域，在线学习指的是分类器能够根据依次新来的错分样本不断地做出调整，从而提升分类器的推广能力。分类器的在线学习在一些实时系统中，如行人检测系统和飞机视觉导航系统，都有着非常重要的应用。当有新来的错分样本时，如果将它和已有的所有样本重新训练去更新分类器则要消耗大量的运算资源，满足不了实时在线任务的要求。
[0006]为了克服上述缺陷，一些增量SVM学习方法被提了出来。他们的主要思想是在训练过程中仅仅考虑部分有重要作用的数据样本，这样一方面能够保持分类精度，另一方面也缓解了对内存的巨大需求，提高了训练速度，为实现在线学习提供了可能。
[0007]Syed等人[I]和Mitra等人[2]最早提出了针对SVM的增量学习方法。其基本思想是当新来一批样本时，就用先前分类器的支持向量与这些新来的样本重新训练实现分类器的更新。由于新来的样本中也存在着部分冗余，为了更快地实现分类器的更新，Domeniconi等人[3]引进了一种探寻机制，即新来一批样本时，先计算出它们到当前分类器超平面的距离，然后把那些距离小于某个阈值的样本挑选出来，与先前的支持向量一起重新训练。Ralaivola等人[4]利用径向基函数的局部性设计了一种局部在线增量学习算法，当有新样本进入训练集时，不用重新考虑整个训练集而只考虑新样本的邻集，从而节省了计算时间。这类方法比较简单，容易实现，但是由于每次仅利用上一次训练结果中的支持向量而丢弃了其他样本，这很可能会引起重要数据样本的丢失，从而影响分类精度。
[0008]Cauwenberghs[5]从理论上分析了增加一个训练样本或者减少一个训练样本时SVM对偶QP问题KKT条件的变化情况，提出了针对SVM的精确的增量训练方法。Lau等人[6]通过不断迭代训练上一步的支持向量、违背当前KKT条件的样本和新来的样本，使得分类器的系数不断调整更新，迭代过程一直到所有样本均满足KKT条件。Cheng[7]等人根据当前SVM的错误率和每个样本到当前分类器超平面的距离计算出每个样本的权重，将那些权重超过一定阈值的样本加入到当前训练集中进行重新训练，得到新的分类器，迭代过程直到所有含有信息的样本都在训练集中为止。Bordes等人[8]基于SMO的基本思想提出了LASVM，即新来一个样本，如果它违背KKT条件，则分类器通过PROCESS过程将此样本加入到支持向量集中；同时再通过REPROCESS过程将支持向量集中最不违背KKT条件的样本移除；最后通过FINISH步骤使得所有在支持向量集中的样本均满足KKT条件。这类方法虽然克服了前一类方法在增量学习过程中可能丢失重要数据样本的缺陷，提高了分类精度，但是在处理大规模数据时需要很多次迭代才能达到停止条件，因此满足不了实时在线的要求。
【发明内容】
[0009]本发明的目的在于:现有技术中已有的经典SVM增量学习方法在训练分类器时需要占据很大的内存，并且不能应用于在线学习任务，针对上述不足，本发明从SVM的这个几何意义出发，提供了一种可以实现分类器快速更新的同时又不会影响分类精度，使得其在处理大数据量的在线学习任务时更加有效的基于支持向量几何意义的增量学习方法。
[0010]为了实现上述目的，本发明采用了以下的技术方案:
[0011]一种基于支持向量几何意义的增量学习方法，包括以下步骤:
[0012](I)、提出有效的选取给定个数凸包顶点样本的方法，我们称为CHVS方法，并从理论上证明了此方法能够选取到凸包顶点样本；
[0013](2)、通过运用CHVS方法，从大数据量训练样本中选取出那些能够最大程度地保持各类凸包信息的重要样本，称为VS方法；
[0014](3)、用这些选取的少量重要样本与新来的样本一起重新训练得到更新的分类器；
[0015](4)、步骤(2)和(3)重复迭代，直到没有新的样本到来为止。
[0016]作为优选，所述的步骤(I)包括以下子步骤:
[0017]首先，用贪婪的方法选取出d+Ι个凸包顶点样本，使得它们所组成的d-单纯形是所有由训练样本中任意d+Ι个样本组成的d-单纯形中体积近似最大的一个，所述的d是样本的维数；
[0018]其次，根据上一步所选取的d+Ι个凸包顶点样本，将大数据量的样本集合分成若干区域，使得在每一区域的样本个数均不超过一个给定的阈值整数；
[0019]最后，计算各个区域上的样本到此区域子凸包的距离，将距离最大的那个样本加入到当前的凸包顶点样本集合中，同时更新此样本所在区域的子凸包；迭代直到选取的凸包顶点样本个数达到给定数目为止；由于每次更新凸包顶点样本集合时仅仅需要计算子区域样本到对应子凸包的距离，因此很大程度上降低了计算复杂度，提高了算法效率。
[0020]作为优选，所述的步骤(2)包括以下子步骤:
[0021]首先，初始化所需要选取的凸包顶点样本占总样本的比例；
[0022]其次，利用CHVS方法按照此比例在各类样本集中分别选取凸包顶点样本，用这些样本来训练SVM分类器，并计算分类器在测试样本集上的正确率；[0023]再次，根据正确率来判断当前所选取的样本是否能够最大程度地保持各类训练样本集的凸包信息；如果不是，增加所需要选取样本的比例，返回步骤(2)的第二步骤；
[0024]如果能够最大程度地保持各类训练样本集的凸包信息，最后，输出所选取的能够最大程度地保持凸包信息的重要样本子集。
[0025]作为优选，所述的步骤(3)包括以下子步骤:
[0026]首先，初始化当前训练样本集为已存在的所有训练样本；
[0027]其次，利用步骤(2)在当前训练样本集中选出那些能够最大程度地保持凸包信息的样本作为当前训练样本，并用这些样本训练SVM分类器，这样使得训练出来的SVM分类器尽可能接近于用全部训练样本训练出来的SVM分类器；
[0028]再次，若有新来样本，则计算其到当前分类器超平面的距离，如果距离小于某个阈值，就将此样本加入当前训练样本集中，进行重新训练，实现分类器的更新；否则，分类器不更新；最后，判断当前训练样本集中个数是否超过给定阈值，如果是，返回第二步，否则，返回第三步。这样一方面使得那些能够对分类器起到作用的样本都参与了分类器的更新过程，实现了分类器的准确更新；另一方面大幅度减少了参与训练样本的个数，提高了分类器的更新速度。
[0029]从几何上看，SVM的求解等价于求解正负类样本分别所形成凸包之间的最近点对。因此，训练过程中起作用的是两类样本分别形成的凸包上的顶点样本，而在凸包内的样本对训练不起任何作用。本发明的增量学习方法从SVM的这个几何意义出发，提供了一种基于凸包顶点样本选取的增量学习方法。本发明的增量学习方法从理论上证明了训练过程中所选取的样本就是凸包顶点样本，保证了它们能够最大程度的保持凸包的有效信息。相对于已有的经典SVM增量学习方法，本发明的增量学习方法解决了分类精度与实时在线之间的矛盾，能够在实现分类器快速更新的同时又不会影响分类精度，使得其在处理大数据量的在线学习任务时更加有效。
[0030]本发明的有益效果在于:
[0031]1、本发明所提出的SVM增量学习算法是一种通用的方法，对任意分类数据类型都适用；
[0032]2、本发明提出一种凸包顶点样本选取方法，能够选取出那些最大程度地保持凸包信息的样本子集；相比于经典的样本子集选取方法，由于此方法充分考虑了 SVM分类器的几何意义，因此选取出来的样本子集更具有代表性；
[0033]3、本发明采用了一种基于凸包顶点样本选取的增量SVM分类器，其基本思想就是用每一类已有样本所分别形成的凸包上的顶点样本代替全部样本去训练SVM分类器。相比于经典的基于样本子集选择的增量SVM分类器，由于选择的样本子集最大程度地保持了凸包信息，即分类器的关键信息，因此提高了分类器的推广能力；
[0034]相比于经典的基于KKT条件变化的增量SVM分类器，由于在增量学习过程中只需要用这些选取的少量凸包顶点样本与新来的样本一起重新训练一次就可以得到更新后的分类器，避免了针对大数据量的重复迭代过程，使得训练时间复杂度大大降低，从而能够满足大数据量的在线增量学习任务。
【专利附图】
【附图说明】[0035]图1为本发明的整体流程图；
[0036]图2为本发明的凸包顶点样本选取方法即CHVS方法的二维例子展示；
[0037]图3为本发明的能最大程度保持凸包信息的样本子集选取即VS方法的过程流程图。
【具体实施方式】
[0038]如图1-图3所示，本发明为一种基于SVM几何意义的增量学习方法。 [0039]本发明的实施例采用一台具有IntelCore_i3中央处理器和4G字节内存的计算机并用Matlab语言编制了基于凸包顶点样本选取的SVM增量学习的工作程序，实现了本发明的方法。
[0040]本发明的基于SVM几何意义的增量学习分类方法主要包括以下三个步骤:凸包顶点样本选取方法的设计、能最大程度地保持凸包信息的样本选取以及分类器的在线更新等模块，具体步骤如下:
[0041](I)提出有效的选取凸包顶点样本的方法(称为CHVS方法)，即在给定样本集合P二 k)；Li中选取出给定数目的凸包顶点样本，图2是CHVS方法的二维例子展示，其主要包含:
[0042]a)在样本集/{易}^中选取两个距离最远的样本，记为Xjtl和Xjl，初始化凸包顶点样本集合
【权利要求】
1.一种基于支持向量几何意义的增量学习方法，其特征在于包括以下步骤: (1)、提出有效的选取给定个数凸包顶点样本的方法，我们称为CHVS方法，并从理论上证明了此方法能够选取到凸包顶点样本； (2)、通过运用CHVS方法，从大数据量训练样本中选取出那些能够最大程度地保持各类凸包信息的重要样本，称为VS方法； (3)、用这些选取的少量重要样本与新来的样本一起重新训练得到更新的分类器； (4 )、步骤(2 )和(3 )重复迭代，直到没有新的样本到来为止。
2.根据权利要求1所述的基于支持向量几何意义的增量学习方法，其特征在于:所述的步骤(1)包括以下子不步骤: 首先，用贪婪的方法选取出d+Ι个凸包顶点样本，使得它们所组成的d-单纯形是所有由训练样本中任意d+Ι个样本组成的d-单纯形中体积近似最大的一个，所述的d是样本的维数； 其次，根据上一步所选取的d+Ι个凸包顶点样本，将大数据量的样本集合分成若干区域，使得在每一区域的样本个数均不超过一个给定的阈值整数； 最后，计算各个区域上的样本到此区域子凸包的距离，将距离最大的那个样本加入到当前的凸包顶点样本集合中，同时更新此样本所在区域的子凸包；迭代直到选取的凸包顶点样本个数达到给定数目为止。
3.根据权利要去I所述的基于支持向量几何意义的增量学习方法，其特征在于:所述的步骤(2)包括以下子步骤: 首先，初始化所需要选取的凸包顶点样本占总样本的比例； 其次，利用CHVS方法按照此比例在各类样本集中分别选取凸包顶点样本，用这些样本来训练SVM分类器，并计算分类器在测试样本集上的正确率； 再次，根据正确率来判断当前所选取的样本是否能够最大程度地保持各类训练样本集的凸包信息；如果不是，增加所需要选取样本的比例，返回步骤(2)的第二步骤； 如果能够最大程度地保持各类训练样本集的凸包信息，最后，输出所选取的能够最大程度地保持凸包信息的重要样本子集。
4.根据权利要去I所述的基于支持向量几何意义的增量学习方法，其特征在于:所述的步骤(3)包括以下子步骤: 首先，初始化当前训练样本集为已存在的所有训练样本； 其次，利用步骤(2)在当前训练样本集中选出那些能够最大程度地保持凸包信息的样本作为当前训练样本，并用这些样本训练SVM分类器； 再次，若有新来样本，则计算其到当前分类器超平面的距离，如果距离小于某个阈值，就将此样本加入当前训练样本集中，进行重新训练，实现分类器的更新；否则，分类器不更新；最后，判断当前训练样本集中个数是否超过给定阈值，如果是，返回第二步，否则，返回第二步。
【文档编号】G06K9/62GK103605631SQ201310585817
【公开日】2014年2月26日 申请日期:2013年11月20日 优先权日:2013年11月20日
【发明者】张笑钦, 王迪, 樊明宇 申请人:温州大学