之和。
[0080] 由于不同示例不同特征其鉴别能力不一样。因此，本发明提出静态与动态相结合 的股权分配制分别计算两种不同特征下各示例的权值。其中，静态股权根据大量样本离线 训练得到，是固定不变的原始股;动态股权根据在线配对图像本身特性计算得出，是动态变 化的追加股。
[0081 ] A.静态股权分配
[0082]首先，收集若干对匹配人脸图像对(现场和身份证表面），示例性的，本实施例中收 集1000对人脸图像对，其中500对为同一个人，500对为不同人，作为训练样本。
[0083]然后，对所有的训练样本通过以上步骤处理得到各图像对的30个示例特征向量， 并计算出所有图像对各示例间的相似度s。
[0084]最后，根据各示例间的相似度统计出各示例的判别阀值Φ和鉴别率，根据鉴别率 统计出各示例的置信度作为示例的静态股权，记为Ω。
[0085] B.动态股权分配
[0086]动态股权根据具体应用环境动态分配，具有自适应性。各示例的动态股权由示例 图像的熵、示例对的互信息和示例对可信度三个因素决定。
[0087]①对于给定的示例图像I(x，y)其熵为：
[0088]
[0089]共τ，Pi73弟1…狄皮级tfJm竿，Ng为灰度级总数。熵值越大，表明其越有利于鉴别， 其股权分配将越多。
[0090] ②对于给定的示例图像对{^^^、^^^^，其互信息为：
[0091]
[0092]其中，p(x，y)为Ιι和12的联合概率分布，pi(x)，p2(y)分别为Ιι和12边缘概率分布。 具体计算可转换成联合熵和条件熵的计算方式。示例图像对之间的互信息越大，说明其是 同一人的可能性越大，其股权分配将越多。
[0093] ③对于给定的示例图像对{^^^^^(^":^其可信度为：
[0094]
[0095] 其中，s为示例图像对的相似度，Φ为示例的阀值。示例图像对的可信度越大，其股 权分配将越多。
[0096] 根据以上的静态股权和动态股权，各示例最终的股权为：
[0097] Wi= Ω i+(Ei2/ Mli+Ci) i e [ 1,2, , 30]
[0098] 步骤S4、身份证冒用验证
[0099] 首先，根据各示例图像对的相似度s和判别阀值Φ求出各示例的判别结果，判别为 同一个的记为+1，判别为不同人的记为-1。
[0100]然后，根据各示例判别结果进行股权投票，融合统计的票数值进行人脸一致性验 证：
[0101]
[0102] 其中，Wl为各示例的股权值；
_ ω为可调参数。
[0103] 多示例融合判别准则具有应用灵活性。例如，在极端宽松应用场合时，可以采用一 票通过制，即只要有一个示例认为是同一个人，就验证通过，此时ω = 〇;在极端严格应用场 合，可以采用民主投票制，即有一半以上示例认为是同一个人，就验证通过，此时ω =1/2; 在一般应用场合，有超过1/3示例认为是同一个人，就验证通过，此时ω =1/3,示例性的，本 实施例中ω =1/3。
[0104] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的 限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化， 均应为等效的置换方式，都包含在本发明的保护范围之内。
【主权项】
1. 一种基于多示例学习的人脸比对验证方法，其特征在于，包括下列步骤： 人脸图像预处理步骤，对比对的两幅图像进行人脸检测与关键点定位以后归一化至同 样大小，并进行光照处理； 人脸多示例学习训练步骤，对人脸图像进行多示例定义、多示例特征提取和多示例特 征融合训练与学习，计算出各示例特征向量的置信度，并以此计算出此示例在整体判别中 的权重，即股权； 人脸验证步骤，对各示例判别结果按其股权投票，并设置灵活的票数统计准则进行最 终的人脸验证。2. 根据权利要求1所述的基于多示例学习的人脸验证方法，其特征在于，所述人脸图像 预处理步骤具体为： 通过AdaBoost算法或深度学习算法进行人脸检测提取干净的人脸图像;采用人脸关键 点定位算法定位出人脸关键点位置坐标并进行人脸对齐归一化;采用DoG滤波器进行人脸 图像光照处理。3. 根据权利要求1所述的基于多示例学习的人脸验证方法，其特征在于，所述人脸多示 例学习训练步骤具体为： 人脸图像多示例定义子步骤，用于比对中可能存在的发型、肤色、化妆和微整形变化， 采用合适的人脸多示例定义方案； 多示例特征提取子步骤，采用LBP提取人脸示例的纹理特征以及采用SIFT或者SURF算 法提取人脸示例的方向和尺度特征，使提取的人脸示例图像特征具有鲁棒性和互补性； 多示例特征融合子步骤，计算出各人脸图像示例特征向量的股权，为最后的综合判别 提供依据。4. 根据权利要求3所述的基于多示例学习的人脸验证方法，其特征在于，所述人脸多示 例定义方案具体如下： 将人脸图像分为对应全局的第一水平条件和对应局部的第二水平条件，其中所述第一 水平条件下定义3个全局人脸图像示例，所述第二水平条件下定义12个局部人脸图像示例。5. 根据权利要求4所述的基于多示例学习的人脸验证方法，其特征在于，对所述人脸图 像多示例定义子步骤中定义的15个人脸图像示例分别采用LBP方法和SIFT(或者SURF)算法 进行多示例特征提取，其中所述LBP方法提取人脸纹理特征，所述SIFT(或者SURF)算法提取 人脸方向和尺度特征。6. 根据权利要求3所述的基于多示例学习的人脸验证方法，其特征在于，所述人脸图像 特征向量的股权包括静态股权和动态股权，其中，所述静态股权根据大量样本尚线训练得 到，是固定不变的原始股，所述动态股权根据在线配对图像本身特性计算得出，是动态变化 的追加股，所述人脸图像特征向量的股权采用静态股权与动态股权相结合的股权分配制分 别计算两种不同特征下各人脸图像示例的权值。7. 根据权利要求6所述的基于多示例学习的人脸验证方法，其特征在于，所述多示例特 征融合子步骤具体为： 分别计算出各人脸图像示例特征向量的静态股权和动态股权，其中所述静态股权的计 算如下： 收集若干对匹配人脸图像对作为训练样本，对所述训练样本通过所述多示例特征提取 子步骤提取30个示例特征向量，并计算出所有图像对各示例间的相似度s; 根据所述各示例间的相似度s统计出各示例的判别阀值Φ和鉴别率，根据鉴别率统计 出各示例的置信度作为示例的静态股权，记为Ω。8. 根据权利要求7所述的基于多示例学习的人脸验证方法，其特征在于，所述多示例特 征融合子步骤具体为： 分别计算出各人脸图像不例特征向量的静态股权和动态股权，其中所述动态股权由人 脸图像示例的熵、示例匹配人脸图像对的互信息和示例匹配人脸图像对的可信度三个因素 决定； 其中，对于给定的人脸图像示例I(x，y)，其熵为： Ν' 其中，Pi为第ith灰度级的概率，心为灰度级总数； 对于给定的示例匹配人脸图像对{^^^、^^^^，其互信息为： ΜΙ(Ι?,Ι2) = ΣΣ 啦.)物/ ' 其中，p(x，y)为Ιι和12的联合概率分布，pi(x)，p2(y)分别为Ιι和12边缘概率分布； 对于给定的示例匹配人脸图像对{^心^^心乂:^其可信度为： C(/pA) = til Φ 其中，S为示例图像对的相似度，Φ为示例的阀值。9. 根据权利要求8所述的基于多示例学习的人证脸验证方法，其特征在于，所述人脸图 像示例特征向量的股权为:wi = Ω i+(Ei2 XMIi+Ci) i e [ 1，2，…，30]。10. 根据权利要求1所述的基于多示例学习的人脸验证方法，其特征在于，所述多示例 融合判别准则为： 对各示例的判别结果进行股权投票，并采用灵活的票数统计方案进行最后的验证。
【专利摘要】本发明公开了一种基于多示例学习的人脸比对方法，应用于人证合一验证场合。该方法利用多示例学习的思想进行人脸比对验证，包括：S1人脸图像预处理；S2人脸多示例学习训练和S3人脸验证。其中，人脸图像预处理包括人脸检测、特征点定位、DoG光照处理；人脸多示例学习训练包括人脸多示例定义、多示例特征提取和多示例特征融合；人脸验证根据步骤S2中各示例股权和配对示例的相似度进行人脸一致性验证。本方法解决人脸比对验证中发型、肤色、化妆和微整形等变化难题，为解决人脸验证提供一种有效算法和思路，提高其可靠性。本方法可广泛应用于二代身份证、护照、驾照、学生证等是否本人持有的人证合一身份验证场合。
【IPC分类】G06K9/00
【公开号】CN105469076
【申请号】CN201511020705
【发明人】陈友斌, 廖海斌
【申请人】东莞市微模式软件有限公司
【公开日】2016年4月6日
【申请日】2015年12月29日