专利名称：人脸识别的半监督邻域判别分析方法
技术领域：
本发明属于图像处理技术范围，特别涉及一种人脸识别的半监督邻域判别分析方法。
背景技术：
在模式识别和机器学习领域中，许多应用例如图像分类和信息检索，都存在着高 维数据和标记数据过少的问题。于是降维，即构建用以表示原始高维数据的低维表示，就成 为了分类和可视化问题中的一项基本任务。在类标记信息不明确的情况下，构造低维表示 的无监督降维方法有PCA(主成分分析法)，KPCA(核主成分分析)。近年来，多种方式的无 监督降维方法受到了很多注意，如LE(拉普拉斯特征映射)，等度规映射(IS0MAP)和局部线 性嵌入(LLE)。通过考虑数据的相似性，很多学习方法都可以保证局部的结构性。监督方 法，如线性判别分析(LDA)和核Fisher判别分析(KFDA)，都可以构造一个低维表示用以包 含基于标记数据的判别式信息。在许多实际应用中，如图像检索和照片注释，都存在着数据样本丰富，但标记数据 不足的问题。例如，可以轻易地从数码相机、数字视频或从互联网上获取图像，然而，由于标 记工作的耗财耗时性导致了已标记数据的不足。因此，半监督的学习方法引起了大家的重 视，并取得了一定的成就。我们利用谱图作为用于半监督降维的工具，以便充分利用已标记和未标记数据。 许多流行的降维方法也都是从谱图论推导而来的。谱图[2，3]及其相关的工作为许多当前 流行的降维算法提供了统一的框架。PCA，LDA，IS0MAP,LLE和LE都可以看作谱图的框架下 的特殊情况[1，2]。
发明内容
本发明的目的是针对在模式识别和机器学习领域中，许多应用例如图像分类和信 息检索，都存在着高维数据和标记数据过少的问题而提供一种人脸识别的半监督邻域判别 分析(SSNDA)方法，其特征在于，针对人脸的图像数据，利用谱图理论作为工具，充分利用 已标记的数据类标签提供的信息，以及已标记与未标记数据的相似度信息来构建邻接矩阵 ASSNM，所述人脸识别的半监督邻域判别分析方法包括步骤1)对于已标记的数据，同时考虑数据的相似性和类别信息，所述数据还被分为同 类别或非同类别；2)对于未标记的数据，只考虑数据的相似性，并根据数据的相似性，将数据划分为 邻近关系或非邻近关系，从而定义了两个邻接矩阵的并集、交集和单个邻接矩阵的补集；3)将原始高维空间映射到一个低维空间；由LDA的邻接矩阵AlD1nLE的邻接矩阵 ALE通过并、交和补运算求得SSNDA的邻接矩阵Assnda ；4)利用已标记和未标记标签的信息，SSNDA根据Assnda将具有边连接的数据对汇集 在一起，将没有边连接的数据对分离，构建人脸图像数据的SSNDA构造谱图。
3
所述SSNDA构造的高维空间映射到一个低维空间包含已标记数据的判别信息，以 及已标记与未标记数据的局部结构信息。所述邻接矩阵Assnda的补集是将样本分离的项。所述样本，对于已标记样本点而言，连接每个样本点与其邻近且同属于一个类别 的点，对于未标记样本点而言，连接每个样本点与其邻近的点；剩余的样本点队构成分离 项。本发明的有益效果是通过实际的人脸识别实验验证了 SSNDA的高效性和稳定性，而且 优于LDA方法。同时，该方法也可以应用于图像检索和照片注释中，并且其性能优于LDA方法。
图1为在不同光照条件下人脸的例子(扩展的耶鲁人脸数据库B的人脸图像)。图2显示的是SSNDA邻接矩阵Assnda的一部分，其中(a)为Au-Ne，(b) A!~NDA图3显示了不同算法的特征脸情况。图4展示了两个特征脸的不同特征值的映射图像。图5是具有3个簇、2个类的合成数据分布情况。图6为边连接，(a)ASSGDA和(b) As■之间的连接边。图7为边连接，(a)显示了已标记与未标记数据间的连接。(d)中的实线和虚线是 投影方向。
具体实施例方式本发明提供一种人脸识别的半监督邻域判别分析(SSNDA)方法。下面结合图1-7 和不同的算法，基于谱图理论对本发明予以进一步说明。降维的谱图理论在分类问题中，训练样本集可以表示为矩阵X = [Xl，x2，. . .，xN]，x, G RM，其中N 为样本数量，M为特征维度，Xi为第j个人脸样本，x, G Rm表示人脸样本Xi属于M维实数空 间。在监督学习问题中，样本\的类标签表示为Ci e {1，2，...，11。}，其中11。为类的数量， 为属于第j类的样本数目。用基于图的降维方法[2，3]构造一个无向带权图G= {X，A}，其中顶点集为X，邻 接矩阵或者权重矩阵为A G Rnxn。为达到降维目的，内蕴图的构造原则是选择y e r用以 最小化目标函数Z丨丨乃-乃丨丨2為=/办(1)
i^J其中，yi是Xi的低维表示，m是低维表示空间的维数，满足m << M。图G的拉普 拉斯矩阵[3]L和对角矩阵D分别定义为L = D-A，""=2X，(2)
j*'如果样本Xi与&之间的权重A。比较大，yi与之间的距离应减小用以最小化目 标函数⑴。同样地，若Xi与Xj之间权重比较小，则应增大yi与y」的距离。
用谱图学习的线性形式是找到一个线性映射 则(1)可表示为，A
括J= 图嵌入方法[2]表明，PCA，LDA，LE，ISOMAP, LLE等可以看作为(1)所构造的不同 的邻接矩阵A。如果权重与相邻数据对的相似度成正比，则低维表示可以保持局部的结构 性，大多数的方法都如此，例如LE。如果权重&彳是由Xi和\的类标签决定，则低维空间可 以尽量包含样本的判别信息，例LDA就是这样的一种方法。根据[1，2]，PCA、LDA和LE的邻接矩阵可以构造如下PCA的邻接矩阵是通过连接所有顶点对构造而成的，不考虑它们是否相邻，也不考 虑它们是否属于同一类别。PCA[1，2]的邻接矩阵是， 则PCA的图学习准则为 其中广 LDA的邻接矩阵是通过连接顶点i和j构建的，其中Xi和&属于同一类。LDA通 过寻找将不同类别分离的最佳投影方向，能包含尽量多的类别差异信息。LDA[1，2]的邻接 矩阵是， 其中，队是第1类的样本数量，则LDA的图学习准则为 其中 [1,2]表明(3)和⑷可以分别从原始的PCA和LDA的协方差矩阵为基础的准则 推理而得。LE (拉普拉斯特征映射)的邻接矩阵A是通过连接相邻顶点构建的。LLP[1]则是 LE的线性形式。如果Xi和Xj是邻近关系，则LE在顶点i和j之间连接一条边。接近性可 通过￡近邻或者k近邻进行计算。LE邻接矩阵的简单表示为， 其中Nk(j)表示数据Xj的k近邻样本集。半监督邻域判别分析方法为了充分利用已标记和未标记数据的所有信息，我们提出了一种用于降维和分类的半监督邻域判别分析(SSNDA)方法。基于谱图理论，SSNDA构造的图包含了标记数据的 判别信息和已标记与未标记数据的局部结构信息。假设有两个图& = {X，A]和& = {X，A2}，它们具有相同的顶点集X，但各自有不 同的邻接矩阵A1和A2。如果顶点i和j之间有边连接，则集合= 1，否则集合= 0。 A1和A2相应的拉普拉斯算子为L1和L2。定义1 和A2的邻接矩阵交集(IM)定义为IM = A^A2,其中 IMV =min(4;，4，)，^/。相应的A1和A2交集的拉普拉斯算子(IL)定义为其邻接矩阵交集IM 的拉普拉斯算子，即IL = KA^A2)。定义2 -上1和A2的邻接矩阵并集(UM)定义为UM = fUA2，其中 UMy 。同样地，相应的A1和A2并集的拉普拉斯算子(UL)定义为邻接矩阵 并集UM的拉普拉斯算子，即UL = KA^A2)。定义3 -.A1的邻接矩阵补集(CM)定义为⑶疋，其中=1-劣。相应地，A1的 补集拉普拉斯算子(CL)定义为A1邻接矩阵补集(CM)的拉普拉斯算子，即=SSNDA方法能充分利用已标记和未标记数据的所有信息。将标记数据集合表示为 Lset = {1,2,. . ，N}，其中xi，x2，. . ，xN为标记数据；未标记数据集合表示为Uset = {N+1, N+2, . . . , N+t},其中，xN+1, xN+2, . . . , xN+t 表示未标记数据。为了充分利用数据的相似性和类标签信息。SSNDA构造如下邻接矩阵 其中，是由未标记数据构建的，当Xi和\是邻近关系时，则在顶点i和j之间 连接一条边， 其中Nk(j)表示数据Xj的k近邻顶点集。通过标记数据构建的A1可以有不同的形式，分别用Aij;da和A1-nda表示。UAl-GM 如果Xi和Xj属于同一个类，则可以通过在顶点i和j之间增加一条边来 构造A1，我们可以将式(6)看为一种基于LDA的半监督图学习方法，我们称之为GDA，其监 督方式称为SSGDA， 2,Al-wa 如果Xi和Xj是k近邻关系且属于同一个类，则可以通过在顶点i禾P j之 间增加一条边来构造A1，我们称之为邻域判别分析(NDA)，其半监督方法被称为SSNDA，^^KO)orJeK(i),iJeLset⑶其中，A^仿表示数据\的k近邻且与\属于同一类的顶点集。根据定义1，可以 推断AL-碰=AL-Ne n Alda其中，除了数据是属于标记集外，AL-Ne与式(7)有相似的形式。
6
将式⑶或式(9)与式(7)结合，SSGDA和SSNDA的邻接矩阵构造如下， 以及 式(11)中，SSNDA的邻接矩阵的构造是当Xi和\均属于已标记且在同一类中又 是近邻，或者均属于未标记且是近邻的情况下，连接接顶点i和j。最小化目标函 数⑴时，当两个顶点Xi和\之间有边相连接时，也就是Au= 1的情况下，相应的yjPyj 在低维空间内就会彼此接近。然而，当两个顶点Xi和Xj之间不存在边连接，也就是Aij = 0的情况下，函数(1) 对于相应的Ii和&无任何限制。因此，我们构建Assa邻接矩阵的补集(CM)，即一,将不 近邻或不同类的数据相分离，我们称一为分离项。SSNDA的准则是选择Yi e Rm最大化如下目标函数
其中，Lssa是邻接矩阵Assa的拉普拉斯算子，一是Assa的补集拉普拉斯算子。根 据(12)可知，如果Aij = 0，或^=I时，SSNDA会分离yjOy」。所以，如果Xi和Xj不邻近或 者属于不同类，Ii与&之间的距离将会增大。由于Assa利用了已标记数据集的类别信息和相似信息以及标记数据集的相似信 息，则其低维特征表示会包含最具有判别力的信息，同时能够保持数据的局部结构信息。SSNDA的线性形式如下， 扩展的耶鲁人脸数据库B实验扩展的耶鲁人脸数据库B包含38个人在9中不同姿势和64种光照条件下的16128 图像。加上采用耶鲁人脸数据库B，我们共采用了 38个人在不同光照下64种正面形象共 2414幅图像的数据集。当训练样本数为La( = 5，10，20，30，40，50)时，对应相应的六种训 练测试集，抽取每个人的已标记图像形成训练集，该人其余的图像作为测试集。每给定一个 La，对应着50个随机选取的数据集。在本方法中，我们均使用剪裁和调整大小后为32X32像素的人脸图片，图1为在 不同光照条件下人脸的例子。我们没有使用任何去光照技术，只是调整图像矢量至W，l] 区间内，这样可以更好地比较不同方法的鲁棒性。表1显示了 LDA，MFA[2]，SSGDA和SSNDA的性能比较，从中可以看出SSNDA的性能 优于其它方法，尤其是在每个人只有少量图像样本被标记的情况下。从图中可以看出，LDA 和MFA的性能在每个人有30个标注图像的情况下比起20个标记图像反而有所下降的，但 SSNDA相对来说非常稳定。这表明当数据存在偏差的情况下，未标记数据的相似性是至关重 要的。表1.扩展耶鲁人脸数据库B实验
在40和50个已标记数据的情况下，最佳的性能并不是SSNDA，而是监督算法MFA 和LDA。考虑到每个人都有约64张图像分别包含在训练集和测试集中，当标记图像多于未 标记图像时，从标记图像中获得的信息就会更鲁棒。所以在这种情况下没有必要使用半监 督策略，监督方法反而成为一个较佳的选择。图2显示的是SSNDA邻接矩阵的一部分。黑色点相应于Au = l。(a)是未标注样 本，相连的邻近样本形成了一个点云。(b)是标注样本，相连的同类且邻近的样本。图3显示了不同算法的特征脸情况。我们使用了每个人有5个标注训练样本的第 一个随机集来训练PCA，LDA，MFA[2]，SSGDA和SSNDA，并展示了这些方法的前7个特征脸。 基于每种方法的映射向量，脸部图像通过相对应的“特征脸”可以映射到一个各自的子空间 内。每种方法后面的数字是随机集上相应识别率。研究特定特征值是很有意义的。我们发现，特征值为1的特征脸，GDA会将训练集 映射到同样的坐标值；在如果沿着特征值小于1时的特征向量，GDA则将训练集映射到了不 同的坐标值。图4展示了(a)两个特征脸的特征值均为1的映射图像，(b) 一个特征脸的与 特征值为1 (x轴)而另一小于1 (y轴)的映射图像，(c)两个特征脸的特征值均小于1的 映射图像。图5是具有3个簇、2个类的合成数据分布，其中圆点为同属一个类，圆圈属于另 一个类。在这种情况下，ASSGM和Assnda之间的连接边如图6和图7所示。图7 (a)显示了已 标记与未标记数据间的连接。(d)中的实线和虚线是投影方向。我们会发现，Ass■的投影 方向优于ASS(M。当数据沿实线投影时，ASSNM可以将两种不同的数据分离，但ASS(M却无法做 到。参考文献[4]X. He, S. Yan, Y. Hu, P. Niyogi, H. -J. Zhang. Face recognition usinglaplacianfaces.IEEE Transactions on Pattern Analysis and Machinelntelligence, 27(3) :328_340，2005.[5] S. Yan, D. Xu, B Zhang, H Zhang, Q Yang, S. Lin, Graph EmbeddingandExtensions :A General Framework for Dimensionality Reduction, IEEETrans. Pattern Analysis and Machine Intelligence, vol. 29, No. 1, pp. 40-51 Jan. 2007
[6]F. R. K. Chung, Spectral Graph Theory, Proc. Regional Conf. Seriesin Math.，no. 92，1997.
权利要求
一种人脸识别的半监督邻域判别分析方法，其特征在于，针对人脸的图像数据，利用谱图理论作为工具，充分利用已标记的数据类标签提供的信息，以及已标记与未标记数据的相似度信息来构建邻接矩阵ASSNDA，所述人脸识别的半监督邻域判别分析方法包括步骤1)对于已标记的数据，同时考虑数据的相似性和类别信息，所述数据还被分为同类别或非同类别；2)对于未标记的数据，只考虑数据的相似性，并根据数据的相似性，将数据划分为邻近关系或非邻近关系，从而定义了两个邻接矩阵的并集、交集和单个邻接矩阵的补集；3)将原始高维空间映射到一个低维空间；由LDA的邻接矩阵ALDA和LE的邻接矩阵ALE通过并、交和补运算求得SSNDA的邻接矩阵ASSNDA；4)利用已标记和未标记标签的信息，SSNDA根据ASSNDA将具有边连接的数据对汇集在一起，将没有边连接的数据对分离，构建人脸图像数据的SSNDA构造谱图。
2.根据权利要求1所述人脸识别的半监督邻域判别分析方法，其特征在于，所述SSNDA 构造的高维空间映射到一个低维空间包含已标记数据的判别信息，以及已标记与未标记数 据的局部结构信息。
3.根据权利要求1所述人脸识别的半监督邻域判别分析方法，其特征在于，所述邻接 矩阵Assnda的补集是将样本分离的项。
4.根据权利要求1所述人脸识别的半监督邻域判别分析方法，其特征在于，所述样本， 对于已标记样本点而言，连接每个样本点与其邻近的点同属于一个类别的点，对于未标记 样本点而言，连接每个样本点与其邻近的点；剩余的样本点对构成分离项。
全文摘要
本发明公开了属于图像处理技术范围的一种人脸识别的半监督邻域判别分析方法。该方法能够保留数据的局部结构而且具有判别能力。半监督邻域判别分析(SSNDA)方法是针对人脸的图像数据，利用谱图理论作为工具，充分利用已标记的数据类标签提供的信息，以及已标记与未标记数据的相似度信息来构建邻接矩阵ASSNDA，充分利用已标记的数据类标签提供的信息，以及已标记与未标记数据的相似度信息。该方法这样来构建邻接矩阵A-SSNDASSNDA的低维特征表示包含了标记数据的判别信息以及已标记和未标记数据的局部结构信息。通过实际的人脸识别实验验证了SSNDA的高效性和稳定性，并且其性能优于LDA方法。
文档编号G06K9/62GK101877053SQ20091023833
公开日2010年11月3日 申请日期2009年11月25日 优先权日2009年11月25日
发明者王文秀, 田媚, 罗四维, 赵嘉莉, 黄雅平 申请人:北京交通大学