专利名称：一种同时实现聚类、分类和度量学习的模式识别方法
技术领域：
本发明属于模式识别领域，特别涉及同时实现聚类、分类和度量学习的模式识别方法。
背景技术：
模式识别旨在对表征事物或现象的样本数据进行处理和分析，以达到两个目的揭示和解释样本的内在结构和判断样本的类别归属。根据这两个不同的目的，传统的模式识别机器学习方法可大体分为两类聚类学习和分类学习。聚类学习利用样本间的相似性，把具有相同特性的样本分到同一个具有某种意义的簇中，从而对样本形成有意义的划分。该类算法可发现样本的潜在分布结构，更好地理解 和分析数据，但无法决策样本的类别归属。典型的聚类算法可以分为两类第一类根据样本的类别信息来确定每个样本点对聚类是起积极作用还是消极作用，并根据这种作用来确定最终的聚类中心；第二类设计含有类别信息的聚类目标函数，从而综合考虑聚类的紧凑性和聚类的纯度，然而，这类方法需要预先给定聚类和类别间的逻辑关系，因此在没有先验知识的情况下，只能通过猜测的方法来确定两者间的关系。这个猜测过程是一个NP完全问题，所以聚类结果的求解相当笨拙繁琐。同时，上述两类算法仅能给出聚类中心和隶属度来描述数据结构。当聚类个数等于类别个数时，可把这两个算法的聚类过程视为分类过程。但通常情况下，聚类个数往往大于类别个数，聚类结果无法直接推广为分类结果。分类学习根据给定的样本及其类标号设计出分类判别函数，从而能对新样本的类别做出正确的预测。该类算法仅强调对样本个体的分类，但忽略了对样本空间隐藏的结构性知识的挖掘和样本间相互关系的刻画，从而导致了分类结果的可解释性和透明性变差。典型的方法包括神经网络，支持向量机等。20世纪80年代，诞生了一系列重要的神经网络模型，如Hopfield网络、多层感知器网络、径向基函数网络等。这些算法通过调整神经网络的权值来预测训练样本的类别标号，但无法解释蕴含在权值中的含义。1992年，Vapnik等人提出了基于最大间隔和核技巧的支持向量机(Support Vector Machine, SVM),其主要思想是通过极小化结构风险寻找使得正负样本间隔最大的分类超平面。但SVM没有考虑类别中包含多个子类的情况，因此SVM并不关心数据的分布。由上述分析可知，这两类算法各有优缺点，因此设计出兼有两者优点、克服两者缺点的算法是个非常重要的研究课题。围绕此，研究人员提出了一系列算法。从设计流程上看，这些算法都是先使用聚类算法来发掘数据的结构，再利用得到的结构信息来设计分类机制。根据聚类算法实现方式的不同，可把现有算法分为两类无监督型聚类+分类器设计；监督型聚类+分类器设计。其中径向基函数网络(Radial Basis Function NeuralNetwork, RBFNN),鲁棒关系分类器(Robust Fuzzy Relational Classifier, RFRC)和增强关系分类器属于前者；而学习矢量量化(Learning Vector Quantization 3, VQ+LVQ3),监督型聚类和分类算法都属于后者。上述算法的共同之处是，聚类学习和分类学习以顺序或串行的方式进行，也就是，先完成聚类学习，然后利用获得的聚类信息构造分类器。这种串行的设计方式使得这些算法往往只单纯地强调分类学习，而将聚类学习仅作为分类学习的辅助工具，因而，无法在一个框架下真正地融合聚类学习和分类学习各自的好处。此外，这些方法虽然部分地揭露了聚类结构和类别之间的关系，但缺乏概率意义，无法给出准确的相关信息。
发明内容
本发明的目的是弥补现有方法的缺点，提出一种同时实现聚类、分类和度量学习的模式识别方法(A Pattern Recognition Method for SimultaneousClustering, Classification and Metric Learning,简记为 SCCM),可以在同一个框架中融合聚类和分类两类方法的优势。为实现上述目的，本发明采用的技术方案如下；一种同时实现聚类、分类和度量学习的模式识别方法，包括如下步骤
步骤I :对带有类标签的数据集合，建立一种可同时进行聚类学习和分类学习的模式识别机制，具体过程如下a)对于给定训练样本及其类标号集合{Xi，yj，其中Xi G #且71 G {1，2，…，L}，建立如下目标函数l>(/(x.)，> )
/({'}) 二^----+ i3f(x)(I)其中f(Xi)和yi分别为样本Xi的输出类别和期望类别；5是损失函数，当f (Xi)=Yi,值为0，否则为I ;q(X)表示聚类不纯度，参数P决定聚类纯度在目标函数中的重要程度，在10. 01，0. I, 1}中选取；b)确定所述目标函数中的f(Xi):./' (x, ) = arg max p (ox \ x, )\Z)
!</<!利用全概率公式，P(O1Ixi)可由下式计算
Cp((0, 1 ) = IX' )^( / I cZ)()
片其中，p(C」I Xi)是样本Xi的聚类后验概率Me;1t ' v--i⑷
J=I其中的距离釆用基于径向基核诱导出来的距离度量；P(O1Icj)表示聚类的类后验概率，根据贝叶斯规则
, 、 Num (X e (a and \ e c )P(O)1 IcJ=——X——-r丄㈧对于每一个聚类(^p(CO1Icj)满足下面的约束S=A①,I^) = 1'c)将所有的聚类的类后验概率p (Co1IcP组建成一个cXL的矩阵P，其中c为聚类个数，L为类别个数
权利要求
1.一种同时实现聚类、分类和度量学习的模式识别方法，包括如下步骤 步骤I:对带有类标签的数据集合，建立一种可同时进行聚类学习和分类学习的模式识别机制，具体过程如下 a)对于给定训练样本及其类标号集合{xyyj，其中XiG Rd且yi G {1，2，*"，1}，建立如下目标函数 --+i8f(X)⑴ 其中f (Xi)和Ii分别为样本Xi的输出类别和期望类别；S是损失函数，当f (Xi)=yi，值为O，否则为I ;q(X)表示聚类不纯度，参数P决定聚类纯度在目标函数中的重要程度，在{0.01,0. I, 1}中选取； b)确定所述目标函数中的
全文摘要
本发明涉及一种能同时实现聚类、分类和度量学习的模式识别方法。该方法利用贝叶斯理论构造聚类和类别之间的概率关系矩阵P，并通过该矩阵使最终的聚类和分类结果都只依赖于聚类中心，因此，通过优化嵌在目标函数中的聚类中心，就可以在一个框架下同时实现聚类学习和分类学习。由于矩阵P可反映出聚类和分类之间的统计关系，因此可从P中挖掘出有意义的信息，使得分类器的设计趋于透明。本发明从聚类的观点看，提供了有监督聚类学习的结果，能够可靠地揭示数据的潜在结构；从分类的观点看，构造了有效的分类学习机制，可获得较好的分类结果；从度量学习的观点看，提供了有效的特征权值，可反映特征的重要程度。
文档编号G06K9/62GK102750545SQ201210178760
公开日2012年10月24日 申请日期2012年6月1日 优先权日2012年6月1日
发明者杨明, 蔡维玲 申请人:南京师范大学