基于多示例学习的人脸比对验证方法
【技术领域】
[0001] 本发明涉及图像处理、模式识别以及计算机视觉技术领域，特别涉及一种基于多 示例学习的人脸验证方法。
【背景技术】
[0002] 人脸比对验证就是确定待识别人脸是否为某人的，即"same or not"的问题，此为 一对一的匹配过程。系统先按照待识别者所声称的身份(如姓名或用户名），查找出已存储 的该人脸图像，然后按某种决策或匹配原则，对存储的图像与待识别人脸图像进行对比，从 而判断出待识别者身份的真实性。人脸比对验证可以广泛应用于二代身份证、护照、驾驶 证、准考证、通行证和学生证等证件的计算机自动人证一致性验证。
[0003] 人脸比对验证技术经过半个多世纪的发展，相关理论已基本成熟。然而，在实际应 用中，由于年龄变化所导致的诸如发型、肤色和微整形等变化都会使系统的可靠性急剧下 降。而目前大都人脸比对方法，都很难克服这种由于发型、肤色和微整形等变化所带来的影 响。
[0004] 目前想要计算机具备和人类一样的人脸比对能力还很难，主要原因是两幅比对人 脸之间的光照、发型、年龄、化妆和微整形等因素的变化都会对其准确性产生巨大的影响， 如何消除这些因素的影响是目前亟需解决的问题。
[0005] 20世纪90年代中后期，T. G Dictterich等人对一药物活性预测问题进行了研究。 其目的是让学习系统通过对己知适于或不适于制药的分子进行分析，以尽可能正确地预测 某种新的分子是否适合制造药物。为了解决这个问题，T.G Dietterich等人将每一个分子 作为一个包，分子的每一种低能形状作为包中的一个示例，由此提出了多示例学习的概念。 由于多示例学习具有独特的性质和广泛的应用前景，属于以往机器学习研究的一个盲区。 因此，在国际机器学习界引起了极大的反响，被认为是一种新的学习框架。对于人脸比对来 说，基于人脸的方法在表情、遮挡发生时，把这些干扰都引入了人脸识别的判断中，从而影 响了人脸识别的性能。而如果利用人脸多示例的信息，算法可以根据各示例对于表情、遮挡 的适应性给予各部分不同的权值，利用融合算法结合各部分的结果，从而提高最终判断的 准确性。因此，本发明提出多示例人脸比对验证方法。
[0006] 将多示例学习应用于人脸比对验证，虽然是一个新的概念，但其在人脸识别领域 并不是孤立存在的，目前基于部分/部件/局部/分块的人脸识别方法就是其前驱。但是，以 上方法只是简单的利用人脸分块的方案解决人脸表情、姿态和遮挡等变化问题。对发型、年 龄、化妆和微整形等因素变化并没有进行深入研究。
【发明内容】
[0007] 本发明的目的在于克服现有人脸比对验证技术的缺点与不足，提供一种基于多示 例学习的人脸比对验证方法，克服人脸验证中的发型、化妆和微整形等问题，为解决人脸比 对验证提供一种行之有效算法和思路。
[0008] 本发明的目的通过下述技术方案实现：
[0009] 一种基于多示例学习的人脸比对验证方法，包括下列步骤：
[0010] 人脸图像预处理步骤，对两幅比对图像分别进行人脸检测与关键点定位以后归一 化同样大小，并进行光照处理；
[0011]人脸多示例学习训练步骤，进行人脸图像多示例定义、多示例特征提取和多示例 特征融合，并计算出各示例特征向量的股权；
[0012] 人脸验证步骤，通过融合上述各示例对的股权，制定相应的投票准则进行人脸验 证。
[0013] 优选的，所述人脸图像预处理步骤具体为：
[0014] 通过AdaBoost算法或深度学习算法对两幅比对图像分别进行人脸检测提取干净 的人脸图像；
[0015] 采用人脸关键点提取算法(如，ASM、SDM和深度学习）进行人脸关键特征点定位，根 据定位出的人脸关键点进行人脸对齐归一化；
[0016] 采用DoG滤波器进行人脸图像光照处理。
[0017]优选的，所述人脸多示例学习训练步骤具体为：
[0018]人脸图像多示例定义子步骤，用于人脸验证中可能存在的发型、肤色、化妆和微整 形变化，采用合适的人脸多示例定义方案；
[0019] 多示例特征提取子步骤，采用LBP提取人脸示例的纹理特征以及采用SIFT(或者 SURF)算法提取人脸示例的方向和尺度特征，使提取的人脸示例图像特征具有鲁棒性和互 补性；
[0020] 多示例特征融合子步骤，计算出各人脸图像示例特征向量的股权，为最后的判别 提供依据。
[0021 ]优选的，所述人脸多示例定义方案具体如下：
[0022]将人脸图像分为对应全局的第一水平条件和对应局部的第二水平条件，其中所述 第一水平条件下定义3个全局人脸图像示例，所述第二水平条件下定义12个局部人脸图像 示例。
[0023]优选的，对所述人脸图像多示例定义子步骤中定义的15个人脸图像示例分别采用 LBP方法和SIFT(或者SURF)算法进行多示例特征提取，其中所述LBP方法提取人脸纹理特 征，所述SIFT (或者SURF)算法提取人脸方向和尺度特征。
[0024] 优选的，所述人脸图像特征向量的股权包括静态股权和动态股权。其中，所述静态 股权根据大量样本离线训练得到，是固定不变的原始股;所述动态股权根据在线配对图像 本身特性计算得出，是动态变化的追加股;所述人脸图像特征向量的股权采用静态股权与 动态股权相结合的股权分配制分别计算两种不同特征下各人脸图像示例的权值。
[0025] 优选的，所述多示例特征融合子步骤具体为：
[0026] 分别计算出各人脸图像示例对的静态股权和动态股权，其中所述静态股权的计算 如下：
[0027] 收集若干对匹配人脸图像对作为训练样本，对所述训练样本通过所述多示例特征 提取子步骤提取30个示例特征向量，并计算出所有图像对各示例间的相似度s;
[0028] 根据所述各示例间的相似度s统计出各示例的判别阀值Φ和鉴别率，根据鉴别率 统计出各示例的置信度作为示例的静态股权，记为Ω。
[0029] 优选的，所述多示例特征融合子步骤具体为：
[0030] 分别计算出各人脸图像示例特征向量的静态股权和动态股权，其中所述动态股权 由人脸图像示例的熵、示例匹配人脸图像对的互信息和示例匹配人脸图像对的可信度三个 因素决定；
[0031] 其中，对于给定的人脸图像示例I(x，y)，其熵为：
[0032]
[0033]其中，Pl为第ith灰度级的概率，乂为灰度级总数；
[0034] 对干给宙的示例兀配人睑图像对? I! (X . V): 12 (X，y)}，其互信息为：
[0035]
[0036] 其中，p(x，y)为Ιι和12的联合概率分布，pi(x)，p2(y)分别为Ιι和12边缘概率分布； [0037]对于给定的示例匹配人脸图像对{^^"^^^。^，其可信度为：
[0038]
[0039] 其中，s为示例图像对的相似度，Φ为示例的阀值。
[0040] 优选的，所述人脸图像示例特征向量的股权为：
[0041] Wi= Qi+(Ei2XMIi+Ci)i e[l，2, ...，30]。
[0042] 优选的，所述多示例融合判别准则为：
[0043] 采用股权投票制：即将各示例的判别结果乘以其对应的股权得出其所投票数的 值，然后融合各示例投票数值得出比对结果。
[0044] 本发明相对于现有技术具有如下的优点及效果：
[0045] 1)本发明采用LBP和SIFT(或者SURF)算法提取多示例人脸特征，其中LBP提取人脸 纹理特征，SIFT(或者SURF)算法提取人脸方向和尺度特征。因此，两种特征具有互补性，同 时这两种特征还具有快速性，完全能满足实际应用中实时性要求。
[0046] 2)由于本发明基于多示例学习人脸鉴别原理，所以可以解决自动人脸验证中的发 型、肤色、化妆和微整形等变化难题，提高系统的可靠性。
[0047] 4)本发明采用的多示例融合判别准则具有应用灵活性。例如，在极端宽松应用场 合时，可以采用一票通过制，即只要有一个示例认为是同一个人，就验证通过;在极端严格 应用场合，可以采用民主投票制，即有一半以上示例认为是同一个人，就验证通过;在一般 应用场合，有1/3示例认为是同一个人，就验证通过。
【附图说明】
[0048] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或者现有技术描 述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他的附图。
[0049]图1是本发明中公开的一种基于多示例学习的