一种遮挡或光源自适应人脸识别方法和装置制造方法
【专利摘要】本发明公开了一种遮挡自适应人脸识别方法，包括：步骤1，针对人脸图片训练集中每一样本提取遮挡特征；步骤2，基于遮挡特征，进行统计学习建模，建立遮挡检测模型，用于检测图片中是否存在遮挡；步骤3，对模板图片进行注册，提取和保存模板图片的识别特征，并对模板图片进行遮挡检测，保存遮挡检测结果；步骤4，对待识别图片进行识别，获得识别结果；步骤5，利用所述遮挡检测模型对待识别图片进行遮挡检测，根据检测结果对上述识别结果进行调整。利用本发明的方案可以提高遮挡环境变化时的识别率和通过率。
【专利说明】一种遮挡或光源自适应人脸识别方法和装置
【技术领域】
[0001]本发明涉及计算机图像处理和模式识别领域，特别涉及一种遮挡或光源自适应人脸识别方法和装置。
【背景技术】
[0002]作为身份识别的有效技术，近年来人脸识别技术得到迅速发展和广泛应用。在过去的几十年里，人脸识别已在商业和执法部门得到广泛应用，例如刑事鉴定、信用卡识别、安全系统、现场监控、门禁考勤等。
[0003]随着在实际中应用的推广，人脸识别存在的问题和难点也逐渐凸显出来。眼镜、刘海和胡子等人脸遮挡物的变化，会导致一个人的不同环境下的差异性大于不同人相同环境下的差异性。此外，光照、化妆及年龄等因素也会增加人脸识别的困难。
[0004]在无约束场景应用中，人脸遮挡物的变化在增加识别困难的同时，也会影响不同场景中阈值规则的设定。如待识别图片戴眼镜，对应的模板图片不戴眼镜，与待识别图片相似度最高的有可能为模板库中的戴眼镜图片，而其对应的正确的模板图片在前N选中，若只根据首选进行识别判断，就会降低此类情况下的识别性能。同时，待识别图片与模板图片的遮挡环境一致时的识别得分分布，和待识别图片与模板图片的遮挡环境不一致时的识别得分分布也是不相同的，进而要求有不同的识别通过阈值。因此在无约束环境下的人脸识另O，在保证人脸识别正确的同时，需要尽可能的提升应用场景变化下的通过率。
[0005]图1为不同遮挡下的人脸图像，遮挡分别为眼镜遮挡、眼镜反光、刘海和胡须遮挡，图2为两种识别环境下的得分分布图，两条曲线分别为戴眼镜注册戴眼镜识别的得分分布曲线和不戴眼镜注册戴眼镜识别下的得分分布曲线。
[0006]此外，在人脸识别中，光源差异导致的人脸识别问题也逐渐凸显出来，在安防和现场监控等问题中，模板库中数万张的人脸图片本身就存在光源差异，即采集设备迥异导致图片质量存在重大差异，而监控设备采集到的图片又是另外一种光源条件下的图片，这种光源差异导致人脸识别几乎不可能。异源人脸图像识别也成为当前人脸识别中的重要研究课题。在图3中给出了不同光源下同一个人的人脸图片，三张图片分别为红外人脸图像，专业相机下的证件照，普通可见光摄像头采集的人脸图像。从图中可以看出，光源的差异导致图片成像的差异，进而为识别带来了困难。
【发明内容】
[0007]为了克服现有技术的上述缺陷，本发明提供了 一种遮挡或光源自适应人脸识别方法和装置。
[0008]本发明提供的遮挡自适应人脸识别方法包括:步骤1，针对人脸图片训练集中每一样本提取遮挡特征；步骤2，基于遮挡特征，进行统计学习建模，建立遮挡检测模型，用于检测图片中是否存在遮挡；步骤3，对模板图片进行注册，提取和保存模板图片的识别特征，并对模板图片进行遮挡检测，保存遮挡检测结果；步骤4，提取待识别图片的识别特征，与模板图片集的识别特征进行比对，选取前N选最高相似度的模板图片和相似度得分，其中N> I ;步骤5，利用所述遮挡检测模型对待识别图片进行遮挡检测，并将选取的前N选的模板图片的遮挡检测结果与待识别图片的遮挡检测结果进行比对，若比对结果不同，则对所述相似度得分进行调整，并将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。
[0009]可选地，所述遮挡是单遮挡因素或者是多种遮挡因素的组合。
[0010]可选地，所述人脸图片训练集采集不同遮挡条件下的样本图片，并根据遮挡环境的不同，对训练图片集进行标注。
[0011]可选地，步骤5进一步包括根据得分修正函数对得分进行调整，以将不同遮挡下的相似度得分变换到同一种分布上。
[0012]本发明还提供了一种遮挡自适应的人脸识别装置，该装置包括:遮挡特征提取单元，用于针对人脸图片训练集中每一样本提取遮挡特征；遮挡检测模型建立单元，用于基于遮挡特征，进行统计学习建模，建立遮挡检测模型，以检测图片中是否存在遮挡；遮挡检测单元，用于对人脸图片进行遮挡检测；模板图片注册单元，用于对模板图片进行注册，以提取和保存模板图片的识别特征，并根据遮挡检测单元对图片进行遮挡检测，保存检测结果；图片识别单元，计算待识别图片与模板图片间的相似度，并选取前N选最高相似度的模板图片和相似度得分，其中N> I ;得分修正单元，根据待识别图片与模板图片的遮挡检测结果对相似度进行调整，并对调整后的相似度重新排序，选择相似度最高的图片作为识别结果O
[0013]本发明还提供了一种光源自适应人脸识别方法，该方法包括如下步骤:步骤1，针对人脸图片训练集中每一样本提取光源特征；步骤2，基于光源特征，进行统计学习建模，建立光源检测模型，用于检测图片中的光源环境类型；步骤3，对模板图片进行注册，提取和保存模板图片的识别特征，并对模板图片进行光源检测，保存光源检测结果；步骤4，提取待识别图片的识别特征，与模板图片集的识别特征进行比对，选取前N选最高相似度的模板图片和相似度得分，其中N > I ;步骤5，利用所述光源检测模型对待识别图片进行光源检测，并将选取的前N选的模板图片的光源检测结果与待识别图片的光源检测结果进行比对，若比对结果不同，则对所述相似度得分进行调整，并将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。
[0014]本发明还提供了一种光源自适应的人脸识别装置，该装置包括:光源特征提取单元，用于针对人脸图片训练集中每一样本提取光源特征；光源检测模型建立单元，用于基于光源特征，进行统计学习建模，建立光源检测模型，以检测图片中的光源环境类型；遮挡检测单元，用于对人脸图片进行光源检测；模板图片注册单元，用于对模板图片进行注册，以提取和保存模板图片的识别特征，并根据光源检测单元对图片进行光源检测，保存检测结果；图片识别单元，计算待识别图片与模板图片间的相似度，并选取前N选最高相似度的模板图片和相似度得分，其中N> I ;得分修正单元，根据待识别图片与模板图片的遮挡检测结果对相似度进行调整，并对调整后的相似度重新排序，选择相似度最高的图片作为识别结果。
[0015]本发明提出的遮挡自适应人脸识别方法和装置，在提升遮挡条件下的人脸识别性能的同时，也解决了不同遮挡变化下的阈值设定问题。此外，本发明提出的遮挡环境自适应识别方案，也可以应用于光源环境自适应识别中。
【专利附图】
【附图说明】
[0016]图1示出了不同遮挡条件下的人脸图片；
[0017]图2为利用现有技术的识别方法在两种不同环境下进行人脸识别的得分曲线图；
[0018]图3为不同光源条件下同一个人的人脸图像；
[0019]图4为根据本发明的遮挡自适应人脸识别方法流程图；
[0020]图5为利用本发明的方法在注册和识别眼镜环境相同的情况下欧氏距离得分分布曲线图；
[0021]图6为利用本发明的方法在注册和识别眼镜环境不同的情况下欧氏距离得分分布曲线图；
[0022]图7为根据本发明的遮挡自适应人脸识别装置结构框图；
[0023]图8为根据本发明光源自适应人脸识别方法的流程图；
[0024]图9为根据本发明的光源自适应人脸识别装置结构图。
【具体实施方式】
[0025]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0026]本发明提供了一种遮挡自适应人脸识别方法，该方法的基本原理是:首先针对图片训练集提取遮挡特征，基于遮挡特征，进行统计学习建模，建立遮挡检测模型。在遮挡检测过程中，对图片提取遮挡特征，根据遮挡检测模型输出检测结果。在注册过程中，提取和保存模板图片的识别特征，并对模板图片进行遮挡检测，保存遮挡检测结果。在识别过程中，首先提取待识别图片的识别特征，与模板图片集的识别特征进行比对，选取前N(N > I)选最高相似度的模板图片和相似度得分；然后对待识别图片进行遮挡检测，并将选取的前N选的模板图片的遮挡检测结果与待识别图片的检测结果进行比对，若遮挡不同，则根据遮挡检测的结果差异，进行得分调整；最后将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。
[0027]本发明中提到的遮挡，可以是单遮挡因素，如是否戴眼镜，或眼镜反光变化，或者刘海变化，也可以是多种遮挡的组合，如将是否戴眼镜和眼镜反光结合、或者将胡子和刘海结合，或者将眼镜、刘海、胡子等遮挡结合。当光源发生变化时，人脸识别的相似度得分分布也会发生变化，所以本发明提出的遮挡自适应识别方案也可应用于光源自适应识别。
[0028]本发明提出的遮挡自适应人脸识别方法，在提升遮挡条件下的人脸识别性能的同时，也解决了不同遮挡变化下的阈值设定问题。此外，本发明提出的遮挡环境自适应识别方案，也可以应用于光源环境自适应识别中。图4为根据本发明一实施例提出的遮挡自适应人脸识别方法的流程图。其中以眼镜和眼镜反光组合为遮挡因素为例来进行说明。参照图4，该方法包括:步骤I，建立遮挡模型；步骤2，模板注册；步骤3，图片识别。
[0029]其中步骤I的建立遮挡模型步骤进一步包括:步骤1.1，收集不同遮挡条件下的训练图片，根据遮挡条件的不同形成不同的样本集。
[0030]由于不同遮挡条件下，人脸识别的相似度分布不同。为解决遮挡条件下的人脸识别问题，建立不同遮挡下的统计学习模型，需要采集不同遮挡条件下的样本图片，提取其遮挡特征。以眼镜和眼镜反光的遮挡组合为例，需要采集不戴眼镜、戴眼镜、戴眼镜但无反光、戴眼镜但有反光等条件下的人脸图片，构建遮挡统计学习模型的训练图片集，并对训练图片集进行标注。根据遮挡环境的不同，分别标注为眼镜检测正样本集，眼镜检测负样本集，眼镜反光检测正样本集，眼镜反光检测负样本集。其中戴眼镜的人脸图片为眼镜检测正样本，不戴眼镜的人脸图片为眼镜检测负样本；戴眼镜且眼镜有大面积反光的为眼镜反光检测正样本，戴眼镜无反光则为眼镜反光检测负样本。在该示例中，k = 2，Cl = I表示戴眼镜，Cl = -1表示不戴眼镜，C2 = I表示眼镜有反光，C2 = -1表示无眼镜反光。
[0031]步骤1.2，提取在步骤1.1中形成的各样本集中的图片的遮挡特征。
[0032]在该步骤，针对步骤1.1中标注的各样本集，对样本集中的每一个图片都提取遮挡特征。对于眼镜检测样本提取眼镜特征，对于眼镜反光样本提取眼镜反光特征。因为眼镜的外观特征与眼镜反光的外观特征不同，所以在提取遮挡特征时，需要分别提取两组特征，即眼镜特征和眼镜反光特征，并分别建立两个统计学习模型，即眼镜检测模型和眼镜反光模型。
[0033]只要能反映出是否带眼镜的差异性的特征都可以用于遮挡模型的建立，如提取眼镜轮廓边缘的梯度特征、反映眼镜区域灰度变换的局部二值模式(LBP，Local BinaryPattern) LBP特征或简单的灰度特征，都可用于遮挡统计学习模型的建立。
[0034]本发明以LBP 特征为例，描述一种眼镜特征的提取过程:在定位到人脸眼睛位置后，根据眼睛位置来获取眼镜检测区域。设人眼位置为左眼(Lx，Ly)，右眼(Rx，Ry)，计算两
眼间的欧式距离
【权利要求】
1.一种遮挡自适应人脸识别方法，该方法包括如下步骤: 步骤1，针对人脸图片训练集中每一样本提取遮挡特征； 步骤2，基于遮挡特征，进行统计学习建模，建立遮挡检测模型，用于检测图片中是否存在遮挡； 步骤3，对模板图片进行注册，提取和保存模板图片的识别特征，并对模板图片进行遮挡检测，保存遮挡检测结果； 步骤4，提取待识别图片的识别特征，与模板图片集的识别特征进行比对，选取前N选最高相似度的模板图片和相似度得分，其中N >1 ; 步骤5，利用所述遮挡检测模型对待识别图片进行遮挡检测，并将选取的前N选的模板图片的遮挡检测结果与待识别图片的遮挡检测结果进行比对，若比对结果不同，则对所述相似度得分进行调整，并将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。
2.根据权利要求1所述的方法，其特征在于，所述遮挡是单遮挡因素或者是多种遮挡因素的组合。
3.根据权利要求2所述的方法，其特征在于，所述人脸图片训练集采集不同遮挡条件下的样本图片，并根据遮挡环境的不同，对训练图片集进行标注。
4.根据权利要求2所述的方法，其特征在于，步骤5进一步包括根据得分修正函数对得分进行调整，以将不同遮挡下的相似度得分变换到同一种分布上。
5.一种遮挡自适应的人脸识别装置，该装置包括: 遮挡特征提取单元，用于针对人脸图片训练集中每一样本提取遮挡特征； 遮挡检测模型建立单元，用于基于遮挡特征，进行统计学习建模，建立遮挡检测模型，以检测图片中是否存在遮挡； 遮挡检测单元，用于对人脸图片进行遮挡检测； 模板图片注册单元，用于对模板图片进行注册，以提取和保存模板图片的识别特征，并根据遮挡检测单元对图片进行遮挡检测，保存检测结果； 图片识别单元，计算待识别图片与模板图片间的相似度，并选取前N选最高相似度的模板图片和相似度得分，其中N > 1 ; 得分修正单元，根据待识别图片与模板图片的遮挡检测结果对相似度进行调整，并对调整后的相似度重新排序，选择相似度最高的图片作为识别结果。
6.根据权利要求5所述的装置，其特征在于，所述遮挡是单遮挡因素或者是多种遮挡因素的组合。
7.根据权利要求6所述的装置，其特征在于，所述人脸图片训练集采集了不同遮挡条件下的样本图片，并根据遮挡环境的不同，对训练图片集进行标注。
8.根据权利要求6所述的装置，其特征在于，所述遮挡检测单元根据得分修正函数对得分进行调整，以将不同遮挡下的相似 度得分变换到同一种分布上。
9.一种光源自适应人脸识别方法，该方法包括如下步骤: 步骤1，针对人脸图片训练集中每一样本提取光源特征； 步骤2，基于光源特征，进行统计学习建模，建立光源检测模型，用于检测图片中的光源环境类型；步骤3，对模板图片进行注册，提取和保存模板图片的识别特征，并对模板图片进行光源检测，保存光源检测结果； 步骤4，提取待识别图片的识别特征，与模板图片集的识别特征进行比对，选取前N选最高相似度的模板图片和相似度得分，其中N > 1 ; 步骤5，利用所述光源检测模型对待识别图片进行光源检测，并将选取的前N选的模板图片的光源检测结果与待识别图片的光源检测结果进行比对，若比对结果不同，则对所述相似度得分进行调整，并将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。
10.一种光源自适应的人脸识别装置，该装置包括: 光源特征提取单元，用于针对人脸图片训练集中每一样本提取光源特征； 光源检测模型建立单元，用于基于光源特征，进行统计学习建模，建立光源检测模型，以检测图片中的光源环境类型； 光源检测单元，用于对人脸图片进行光源检测； 模板图片注册单元，用于对模板图片进行注册，以提取和保存模板图片的识别特征，并根据光源检测单元对图片进行光源检测，保存检测结果； 图片识别单元，计算待识别图片与模板图片间的相似度，并选取前N选最高相似度的模板图片和相似度得分，其中N > 1 ; 得分修正单元，根据待识别图片与模板图片的光源检测结果对相似度进行调整，并对调整后的相似度重新排序，选择相似度最高的图片作为识别结果。
【文档编号】G06K9/00GK103902962SQ201210589510
【公开日】2014年7月2日 申请日期:2012年12月28日 优先权日:2012年12月28日
【发明者】黄磊, 任智杰 申请人:汉王科技股份有限公司