一种人脸识别多特征权值融合方法与装置制造方法
【专利摘要】本发明公开了一种人脸识别多特征权值融合方法，包括：步骤1，获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集；步骤2，利用所述训练样本集训练遮挡模型或光源模型；步骤3，将训练样本集中的样本分为测试图像和模板图像，使用符合特定条件的测试图像和模板图像用于构造权值训练集；步骤4，基于所述权值训练集对N种识别特征构造权值函数以进行加权融合，并确定各加权参数的最佳值；步骤5，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值对N种识别特征进行加权融合。利用本发明的方案能够提高人脸识别率。
【专利说明】一种人脸识别多特征权值融合方法与装置
【技术领域】
[0001]本发明属于图像处理、计算机视觉、模式识别【技术领域】，特别涉及一种人脸识别多特征权值融合方法与装置。
【背景技术】
[0002]生物特征识别技术是身份识别的有效技术，近来发展最快的是人脸识别技术以及与人脸识别技术相融合的生物特征识别技术。因此，本发明涉及人脸识别算法，具有重要的应用价值。
[0003]随着在实际中应用的推广，人脸识别存在的问题和难点也逐渐凸显出来。眼镜、刘海和胡子等人脸遮挡物的变化，会导致一个人的不同环境下的差异性大于不同人相同环境下的差异性。在无约束场景应用中，人脸遮挡物的变化在增加识别困难的同时，也会影响不同场景中不同特征的识别性能。如注册图片和识别图片都戴眼镜，以及注册图片戴眼镜识别图片不戴眼镜，用来识别的某个特征的识别性能是有差异的。图1为不同遮挡下的人脸图像，遮挡分别为眼镜遮挡、眼镜反光、刘海和胡须遮挡。
[0004]为了提高人脸识别分类器的性能，目前普遍采用多特征加权融合。对于不同的特征，识别性能不尽相同，加权就是对不同的特征采用不同的权值进行融合。每个特征的权值是由该特征本身的特性(可分性，识别率等)所决定的，不同的融合特征对应不同的融合权值。对识别性能好的特征赋予较大的权值，而识别性能差的特征赋予较小的权重。
[0005]申请号为201110385670.6、发明名称为“人脸识别方法及装置”的专利申请提出对样本进行光照场景的聚类，对每类光照场景训练最佳的权值进行多特征加权，得到综合距离得分进行人脸识别。
[0006]但是在现有技术的方案中，均未考虑人脸图像的遮挡因素，所以在有遮挡的情况下，人脸识别的准确率就会变差。
【发明内容】
[0007]为了克服现有技术的上述缺陷，本发明提出一种人脸识别多特征权值融合方法与系统。
[0008]本发明提出一种人脸识别多特征权值融合方法，该方法包括步骤:步骤1，获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集；步骤2，利用所述训练样本集训练遮挡模型或光源模型，用于判断人脸图片的遮挡类型或光源类型；步骤3，将训练样本集中的样本分为测试图像和模板图像，针对每一图像提取N种识别特征，针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，该测试图像和N幅模板图像用于构造权值训练集；步骤4，基于所述权值训练集对N种识别特征构造权值函数以进行加权融合，并确定各加权参数的最佳值；步骤5，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值对N种识别特征进行加权融合，得到综合识别得分。
[0009]本发明还提出一种人脸识别多特征权值融合装置，该装置包括:训练样本集构造单元，用于获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集；遮挡模型或光源模型训练单元，利用所述训练样本集训练遮挡模型或光源模型，用于判断人脸图片的遮挡类型或光源类型；权值训练集构造单元，将训练样本集中的样本分为测试图像和模板图像，针对每一图像提取N种识别特征，针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，该测试图像和N幅模板图像用于构造权值训练集；最佳权值确定单元，基于所述权值训练集对N种识别特征构造权值函数以进行加权融合，并确定各加权参数的最佳值；图像识别单元，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值对N种识别特征进行加权融合。
[0010]本发明提出的人脸识别多特征权值融合装置和方法与现有技术相比，具有以下优点:本发明通过建立统计模型判断遮挡类型，与聚类方案相比，类别的意义更为明确，因为聚类是无监督学习，而本发明是有监督的训练统计模型，类别的意义更清晰，比如训练有眼镜遮挡类和无眼镜遮挡类；本发明增加了多特征投票步骤，对投票通过的结果进行特征加权融合，不通过的予以抛弃，降低误识；本发明对加权方案进行改进，重新构造综合得分，弓丨入首选和次选得分概念；本发明增加对综合得分进行修正的步骤，提高识别性能。
【专利附图】
【附图说明】
[0011]图1为不同遮挡条件下的人脸图像。
[0012]图2为本发明人脸识别多特征权值融合方法的基本流程图。
[0013]图3为本发明在遮挡条件下人脸识别多特征权值融合方法流程图。
[0014]图4为本发明在光源变化的条件下人脸识别多特征权值融合方法流程图。
[0015]图5为本发明人脸识别多特征权值融合装置结构图。
【具体实施方式】
[0016]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0017]在人脸识别应用中，可能受到遮挡条件或光源条件的影响。在不同遮挡条件或光源条件下，各个特征的识别性能并不恒定。因此，不同遮挡条件或光源条件下，特征融合的最佳权值也在发生变化。
[0018]本发明提出一种人脸识别多特征权值融合方法，是一种自适应的最佳特征加权方案，能够解决遮挡条件或光源条件发生变化导致不同特征性能发生改变时固定权值方案性能下降的问题，自适应权值方案较固定权值方案更灵活，能使多特征融合性能始终保持最佳或接近于最佳。
[0019]本发明中的遮挡，可以是单遮挡因素，如是否戴眼镜，或眼镜反光变化，或者刘海变化，也可以是多种遮挡的组合，如将是否戴眼镜和眼镜反光结合。本发明中的不同光源条件指红外光、自然光等光源。
[0020]下面首先结合图2来描述本发明提出的人脸识别多特征权值融合方法的基本原理。
[0021]参照图2，该方法包括:步骤200，获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集；步骤210，利用所述训练样本集训练遮挡模型或光源模型，用于判断人脸图片的遮挡类型或光源类型；步骤220，将训练样本集中的样本分为测试图像和模板图像，针对每一幅图像提取N种识别特征，针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，该测试图像和N幅模板图像用于构造权值训练集；步骤230，基于所述权值训练集对N种识别特征构造权值函数以进行多特征融合，并确定权值函数中各加权参数的最佳值；步骤240，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值参数对N种识别特征进行加权融合，得到该待识别图像的综合识别得分。
[0022]图3为本发明人脸识别多特征权值融合方法在考虑人脸被遮挡的情况下的详细流程图。
[0023]在参照图3的描述中，为了便于理解，以眼镜遮挡作为遮挡因素为例来进行说明，但本发明的遮挡因素并不限于眼镜遮挡，本发明提到的遮挡可以是单遮挡因素，如是否戴眼镜，或眼镜反光变化，或者刘海变化，也可以是多种遮挡的组合，如将是否戴眼镜和眼镜反光组合，或者将胡子和刘海结合，或者将眼镜、刘海、胡子等遮挡结合。
[0024]参照图3，该方法包括训练过程和识别过程。训练过程进一步包括以下步骤:步骤300，根据在不同遮挡条件下采集的样本构造训练样本集。
[0025]在该步骤，训练样本集需要涵盖各种遮挡条件下的样本，保证不同遮挡条件下都有对应的人脸图片集，并且每种遮挡条件下样本图片数据量基本一致。以眼镜遮挡为例，可采集不戴眼镜、戴不同眼镜的人脸图片，对眼镜情况进行标记。
[0026]步骤310:对步骤300构造的训练样本集中的每一个图像进行预处理。
[0027]在该步骤，对训练样本集中的原始人脸图像进行预处理，主要包括人脸定位、图像对齐、尺寸调整、图像的灰度及方差的归一化处理。经过预处理后，所有图像尺寸相同，灰度统一到标准水平，且灰度层次比较分明。
[0028]步骤320:针对步骤310中预处理后的训练样本集提取遮挡信息特征。
[0029]在该步骤，将预处理后的各训练样本输入，针对每一个样本提取与遮挡相关的特征。如眼睛周边区域的梯度特征、Gabor特征等特征。
[0030]步骤330:根据所提取的遮挡信息特征训练遮挡模型。
[0031]在该步骤，根据在步骤320提取的训练集的遮挡信息特征，采用统计学习模型，如支持向量机SVM、神经网络模型等方法，训练K分类器，输出K类遮挡类型，K为大于I的自然数。如以眼镜遮挡为例，此处K = 2，输出结果为有眼镜和无眼镜。
[0032]步骤340:针对训练样本集中的每一图像提取识别特征。
[0033]在该步骤，将训练样本集分为模板图像和测试图像，组成模板-测试图像对，该图像对存在K*K种遮挡类型组合。对所有图像中的每一图像都提取用于识别的N种识别特征，N为大于I的自然数，识别特征例如是局部二元模式特征(LBP)、Gabor特征等。该步骤的提取识别特征与传统人脸识别方法中提取识别特征是相同的，该识别特征不包括遮挡特征。
[0034]步骤350:根据所提取的识别特征构造权值训练集。[0035]针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，即一种识别特征对应一幅模板图像。当N幅模板图像都为同一人时，该测试图像和N幅模板图像可用于训练，否则抛弃，即该测试图像以及与其对应的N幅模板图像不用于训练。其中的N幅模板图像有可能重复有可能不重复。
[0036]对N幅模板图像求取融合特征，采用对N幅模板图像进行平均得到融合图像再提取遮挡特征，或者对N幅模板图像的遮挡特征进行平均的方法，得到融合遮挡特征，输入到步骤330中得到的遮挡模型进行遮挡分类，得到分类结果。并且对与该N幅模板图像对应的上述测试图像进行遮挡分类。由该测试图像的遮挡特征分类结果与该N幅模板图像的融合遮挡特征的分类结果组成的该组分类结果必定对应K*K种遮挡组合中的一种。遍历测试图像，将所有符合条件的样本组合加入到对应的遮挡组合中去，所谓符合条件的样本组合是指上述提到的可用于训练的一个测试图像与对应的N幅模板图像组成的样本组合，该样本组合构成权值训练集。
[0037]步骤360:利用步骤350中得到的权值训练集构造权值函数。在该步骤，利用上述得到的权值训练集构造权值函数，较简单的方式是对各个特征的距离得分直接进行加权融合。具体地，在将权值训练集中的每个测试图像的识别特征与模板图像的识别特征进行比对时，选取N种特征的首选距离得分Istl, S1,…，sN_J。首选距离得分指该识别特征下，测试图像与距离最近的模板图像之间的距离值。基于首选距离得分构造综合得分s = f01 (S1)，
为权值函数。综合得分例如为:s = COQ*S(|+CO1=Ks1 +…+ CO1^S1m。
[0038]在综合得分的构造中，也可以引入其他参数，以增强综合得分的鉴别力。比如，引入选取N种特征的次选距离得分Isc/ , s/，…，sN_/ }。次选距离得分是指该识别特征下，待识别图像与距离最近的且与首选模板图像不属于同一个人的模板图像之间的距离得分。构造综合得分s = fu (si； s/ )，fu为权值函数。举例综合得分:
[0039]S= ( ω 0*s0+ ω+ ω/ Hs01 ~s0) + (S1' -S1) +...+ (sN_1' -SN-1))
[0040]在该种情况下，当首选距离得分对应的模板图像与测试图像是同一人时，首选距离一般较小，而次选由于是错误匹配结果，一般与首选距离相差较大。反之，当首选得分对应的模板图像与测试图像不是同一人时，首选距离一般较大，而次选距离与首选距离的相差较小。因此首选模板与测试图像是同一人时，构造公式的分子部分小而分母部分大，不是同一人时，分子部分大而分母部分小，提高了鉴别性。
[0041]将N种识别特征投票与上述综合距离公式结合进行人脸识别，可以大大降低误识情况。
[0042]步骤370:计算步骤360中综合得分公式中权值参数的最佳值。
[0043]在该步骤，分别对K*K种遮挡组合计算出最佳权值参数。最佳权值可通过衡量各类样本的最大化识别率、最小化等错率、最大化通过率等方式获取。本发明采用识别率最大时的权值作为最佳权值。
[0044]以计算模板图像的遮挡因素为第Ic1Gi1 = 1，…，K)类，测试图像的遮挡因素为第k2(k2 = 1，…，K)类的最佳权值为例。假设步骤350中获取到属于该类别的样本共P个，每个样本均由一幅测试图像和N幅模板图像组成，对应标签为Iabeln (η = 1，…，P)。模板图像与测试图像为同一人时认为是正样本，标签为1，否则标签为0，对于权值训练集，每组样本对应的标签值是已知的。[0045]根据本发明提出的权值函数，在给定权值参数和阈值threshold的情况下，可以得到:
[0046]识别正确样本数为
【权利要求】
1.一种人脸识别多特征权值融合方法，该方法包括步骤: 步骤1，获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集； 步骤2，利用所述训练样本集训练遮挡模型或光源模型，用于判断人脸图片的遮挡类型或光源类型； 步骤3，将训练样本集 中的样本分为测试图像和模板图像，针对每一幅图像提取N种识别特征，N为大于I的自然数，针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，该测试图像和N幅模板图像用于构造权值训练集； 步骤4，基于所述权值训练集对N种识别特征构造权值函数以进行多特征融合，并确定权值函数中各加权参数的最佳值； 步骤5，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值参数对N种识别特征进行加权融合，得到该待识别图像的综合识别得分。
2.根据权利要求1所述的方法，其特征在于，在步骤4之后，进一步包括:根据所述权值训练集中的模板图像和测试图像的遮挡类别或光源类别训练得分修正函数，步骤5进一步包括根据所述待识别图像和N幅模板图像的遮挡类别或光源类别使用所述得分修正函数对综合识别得分进行修正。
3.根据权利要求1所述的方法，其特征在于，所述权值训练集中的样本组合按照遮挡类别或光源类别被分为Κ*κ种，每种类别包括一定数量的样本组合，每组样本由N幅模板图像和一幅测试图像组成，其中K指测试图像和模板图像各自的遮挡类别数量。
4.根据权利要求1所述的方法，其特征在于，所述步骤4中构造权值函数进一步包括:将所述权值训练集中测试图像的N种识别特征与模板图像的识别特征进行比较时，选取N种特征的首选距离得分Istl, S1,…，sN_J，基于所述首选距离得分构造综合得分s = L (Si)，rω为权值函数。
5.根据权利要求4所述的方法，其特征在于，所述步骤4中确定各加权参数的最佳权值进一步包括: 步骤4.1，针对Κ*Κ种类别的每种类别中的每组样本组合，如果模板图像与测试图像为同一人则认为是正样本，否则是负样本； 步骤4.2，在给定权值参数和阈值的条件下计算该类别中的样本识别率； 步骤4.3，按给定步长遍历权值组合参数，计算固定错误接受率时的识别率，选取最大的识别率对应的权值组合为该类别的最佳权值参数，并将该错误接受率对应的阈值作为最佳阈值。
6.一种人脸识别多特征权值融合装置，该装置包括: 训练样本集构造单元，用于获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集； 遮挡模型或光源模型训练单元，利用所述训练样本集训练遮挡模型或光源模型，用于判断人脸图片的遮挡类型或光源类型； 权值训练集构造单元，将训练样本集中的样本分为测试图像和模板图像，针对每一图像提取N种识别特征，针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，该测试图像和N幅模板图像用于构造权值训练集; 最佳权值确定单元，基于所述权值训练集对N种识别特征构造权值函数以进行多特征融合，并确定各加权参数的最佳值； 图像识别单元，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值对N种识别特征进行加权融合，得到综合识别得分。
7.根据权利要求6所述的装置，其特征在于，该装置还包括得分修正单元，用于根据所述权值训练集中的模板图像和测试图像的遮挡类别或光源类别训练修正得分函数，并根据所述待识别图像和N幅模板图像的遮挡类别或光源类别使用所述修正得分函数对综合识别得分进行修正。
8.根据权利要求6所述的装置，其特征在于，所述权值训练集中的样本组合按照遮挡类别或光源类别被分为K*K种，每种类别包括一定数量的样本组合，每组样本由N幅模板图像和一幅测试图像组成，其中K指测试图像和模板图像各自的遮挡类别数量。
9.根据权利要求6所述的装置，其特征在于，最佳权值确定单元进一步用于:将所述权值训练集中测试图像的N种识别特征与模板图像的识别特征进行比较时，选取N种特征的首选距离得分Istl, S1,…，sN_J，基于首选距离得分构造综合得分s = fa (S1)，为权值函数。
10.根据权利要求9 所述的装置，其特征在于，最佳权值确定单元进一步用于:针对Κ*Κ种类别的每种类别中的每组样本组合，如果模板图像与测试图像为同一人则认为是正样本，否则是负样本；在给定权值参数和阈值的条件下计算该类别中的样本识别率；按给定步长遍历权值组合参数，计算固定错误接受率时的识别率，选取最大的识别率对应的权值组合为该种类别的最佳权值参数，并将该错误接受率对应的阈值作为最佳阈值。
【文档编号】G06K9/00GK103903004SQ201210587621
【公开日】2014年7月2日 申请日期:2012年12月28日 优先权日:2012年12月28日
【发明者】黄磊, 彭菲 申请人:汉王科技股份有限公司