一种结合局部和全局特征的无约束人脸验证方法与流程

本发明涉及计算机视觉领域，具体涉及一种结合局部和全局特征的无约束人脸验证方法。

背景技术：

人脸识别有两个方向：人脸验证和人脸身份识别，其中，人脸验证指判断两张脸是否为同一个人，人脸身份识别从一个人脸库中找到给定的这张人脸对应的身份。由于室外无约束环境下的人脸图片存在光照、姿态、年龄、装束等多种影响，使得室外无约束环境下的人脸验证难度非常大。

近几年提出了很多方法来改善无约束环境下的人脸验证，这些方法大概可以分为两类：基于特征的方法和基于度量学习的方法。对于第一类方法，目标在于提取鲁棒的、有区分性的特征，希望不同人的人脸特征能尽可能的不同，经典的人脸特征描述算子包括SIFT、LBP、PEM和fisher人脸等。基于度量学习的方法则是通过带标记的样本数据学习出一种距离度量算法，在该算法框架下，相同的人脸距离更小而不同的人脸距离更大，经典的距离度量算法有LDML、CSML、PCCA和PMML等算法。

目前，已有一些人脸验证方法被公开，比如：中国发明专利“基于类内类间距离的人脸验证方法201310589074.9”和“一种基于特征学习的跨年龄人脸验证方法201510270145.8”都是针对整张人脸提取全局特征，容易受到诸如被验证人戴帽子、眼镜以及表情等局部属性干扰。中国发明专利“一种基于多姿态识别的人脸验证方法及装置201410795404.4”需要采集至少两张人脸照片，当样本库里只有一张人脸照片时，该方法就失效了。中国发明专利“一种基于分块深度神经网络的非限制环境人脸验证方法201310664180.9”虽然将人脸划分为多个区域，并按块提取特征，但是其划分区域是随意划分的，没有考虑人脸的五官分布。

技术实现要素：

本发明要解决的技术问题是提供一种结合局部和全局特征的无约束人脸验证方法，结合考虑了人脸的五官轮廓特征、眼部特征、嘴部特征、鼻部特征这些局部特征和人脸的全局特征，通过级联贝叶斯模型为两张人脸的各部分特征相似度打分，最后取相似度均值，从而可以有效的规避局部装束等外在影响造成的识别效果不佳。

为解决上述技术问题，本发明的实施例提供一种结合局部和全局特征的无约束人脸验证方法，包括以下步骤：

步骤1，整理人脸训练样本集，样本集包含一万个人的人脸图片，每个人包含至少15张以上不同姿态、不同环境、不同时间的人脸照；

步骤2，检测样本集图片中的人脸区域并提取68个特征点，然后进行人脸校准和归一化处理；

步骤3，根据步骤2得到的68个特征点，提取人脸的五官轮廓特征、眼部特征、嘴部特征、鼻部特征、以及人脸的全局特征；

步骤4，将步骤3得到的5种特征分别使用RBF核函数投影到易区分的非线性空间；

步骤5，将步骤4得到的5种特征分别使用级联贝叶斯算法训练，得到5组协方差矩阵A和G；

步骤6，人脸验证阶段，针对输入的两张图片，使用步骤3中的方法得到两张人脸照的5种特征，并投影到非线性空间，得到两个人的5种特征，表示为和；

步骤7，使用步骤5中得到的两个矩阵A和G，分别计算步骤6中的5对特征的相似度，计算公式为：；

步骤8，计算步骤7中5对相似度的平均值，得到最终的相似度值，与阈值相比从而判断出两个人是否为同一个人。

其中，所述步骤2中提取人脸上的68个特征点的具体步骤为：

步骤2-1，针对输入图片，采用基于Adaboost的人脸检测算法检测照片中的人脸，如果未检测到人脸，返回，继续处理下一张图片，检测到人脸则转入步骤2-2；

步骤2-2，将步骤2-1得到的人脸区域图片送入人脸特征点检测模块，得到人脸的68个特征点；

步骤2-3，根据步骤2-2得到的人脸特征点，进行人脸校准；

步骤2-4，人脸归一化处理，消除光照影响。

其中，所述步骤3中提取人脸特征的具体步骤如下：

步骤3-1，根据步骤2得到的68个特征点，任选一点作为基准点P，以基准点P为原点建立极坐标，以10°为间距，极坐标被划分为36个区域，依次求取其余67个特征点与基准点的连线同水平正方向形成的角度，得到以P为基准点的角度直方图；按照上述方法，选取眼、鼻、嘴三处6个点作为基准点，得到6组直方图，以该直方图作为人脸的五官轮廓特征；

步骤3-2，根据步骤2得到的68个特征点，定位眼部区域，计算眼部区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为眼部特征；

步骤3-3，根据步骤2得到的68个特征点，定位嘴部区域，计算嘴部区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为嘴部特征；

步骤3-4，根据步骤2得到的68个特征点，定位鼻部区域，计算鼻部区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为鼻部特征；

步骤3-5，根据步骤2得到的68个特征点，定位人脸的整体区域，计算人脸整体区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为人脸的全局特征。

其中，所述步骤5中级联贝叶斯算法训练的具体过程为：

步骤5-1，根据步骤3得到的人脸的五官轮廓特征，计算不同人和相同人特征之间的协方差矩阵和；

步骤5-2，根据步骤5-1计算得到的和，计算出和，其中，，；

步骤5-3，根据步骤3得到的眼部特征、嘴部特征、鼻部特征和人脸的全局特征，重复步骤5-1和5-2，最终得到度量矩阵和。

其中，所述步骤6包括如下具体步骤：

步骤6-1，读取验证图片1和图片2，分别进行人脸检测，如果未检测到两张人脸，提示未检测到人脸，结束匹配，否则进入步骤6-2；

步骤6-2，检测人脸1和人脸2的68个特征点，如果未检测到，提示匹配失败，结束匹配，否则进入步骤6-3；

步骤6-3、根据步骤3所述方法，提取人脸1和人脸2的5种特征。

本发明的上述技术方案的有益效果如下：本发明结合考虑了人脸的五官轮廓特征、眼部特征、嘴部特征、鼻部特征这些局部特征和人脸的全局特征，通过级联贝叶斯模型为两张人脸的各部分特征相似度打分，最后取相似度均值，从而可以有效的规避局部装束等外在影响造成的识别效果不佳。

附图说明

图1为本发明中68个人脸特征点的分布示意图；

图2为本发明的工作原理框图；

图3为本发明步骤6至步骤8的流程图；

图4为本发明实施例中人脸数据集的示意图；

图5为人脸的68个特征点分布示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

如图1、图3所示，一种结合局部和全局特征的无约束人脸验证方法，包括以下步骤：

步骤1，整理人脸训练样本集，样本集包含一万个的人脸照片，每个人包含至少15张以上不同姿态、不同环境、不同时间的人脸照；

步骤2，检测样本集照片人脸并提取人脸上的68个特征点，如图1所示，并进行人脸校准和归一化处理；

其中，提取人脸上的68个特征点的具体步骤为：

步骤2-1，针对输入图片，采用基于Adaboost的人脸检测算法检测照片中的人脸，如果未检测到人脸，返回，继续处理下一张图片，检测到人脸则转入步骤2-2；

步骤2-2，将步骤2-1得到的人脸区域图片送入人脸特征点检测模块，得到人脸的68个特征点；

步骤2-3，根据步骤2-2得到的人脸特征点，进行人脸校准；

步骤2-4，人脸归一化处理，消除光照影响。

步骤3，根据步骤2得到的68个特征点，提取人脸的五官轮廓特征、眼部特征、嘴部特征、鼻部特征、以及人脸的全局特征；

其中，提取人脸特征的具体步骤如下：

步骤3-1，根据步骤2得到的68个特征点，任选一点作为基准点P，以基准点P为原点建立极坐标，以10°为间距，极坐标被划分为36个区域，依次求取其余67个特征点与基准点的连线同水平正方向形成的角度，得到以P为基准点的角度直方图；按照上述方法，选取眼、鼻、嘴三处6个点作为基准点，得到6组直方图，以该直方图作为人脸的五官轮廓特征；

步骤3-2，根据步骤2得到的68个特征点，定位眼部区域，计算眼部区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为眼部特征；

步骤3-3，根据步骤2得到的68个特征点，定位嘴部区域，计算嘴部区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为嘴部特征；

步骤3-4，根据步骤2得到的68个特征点，定位鼻部区域，计算鼻部区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为鼻部特征；

步骤3-5，根据步骤2得到的68个特征点，定位人脸的整体区域，计算人脸整体区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为人脸的全局特征。

步骤4，将步骤3得到的5种特征分别使用RBF核函数投影到易区分的非线性空间；

步骤5，将步骤4得到的5种特征分别使用级联贝叶斯算法训练，得到5组协方差矩阵A和G；

其中，级联贝叶斯算法训练的具体过程为：

步骤5-1，根据步骤3-1得到的人脸的五官轮廓特征，计算不同人和相同人特征之间的协方差矩阵和；

步骤5-2，根据步骤5-1计算得到的和，计算出和，其中，，；

步骤5-3，根据步骤3-2至步骤3-5得到的眼部特征、嘴部特征、鼻部特征和人脸的全局特征，重复步骤5-1和5-2，最终得到度量矩阵和。

步骤6，人脸验证阶段，针对输入的两张图片，检测人脸并提取人脸描述特征，然后投影到非线性空间，得到两个人的5种特征，表示为和；具体步骤如下：

步骤6-1，读取验证图片1和图片2，分别进行人脸检测，如果未检测到两张人脸，提示未检测到人脸，结束匹配，否则进入步骤6-2；

步骤6-2，检测人脸1和人脸2的68个特征点，如果未检测到，提示匹配失败，结束匹配，否则进入步骤6-3；

步骤6-3、根据步骤3所述方法，提取人脸1和人脸2的5种特征。

步骤7，使用步骤5中得到的两个矩阵A和G，分别计算步骤6中的5对特征的相似度，计算公式为：；

步骤8，计算步骤7中5对相似度的平均值，得到最终的相似度值，与阈值相比从而判断出两个人是否为同一个人。

本发明结合考虑了人脸的五官轮廓特征、眼部特征、嘴部特征、鼻部特征这些局部特征和人脸的全局特征，通过级联贝叶斯模型为两张人脸的各部分特征相似度打分，最后取相似度均值，从而可以有效的规避局部装束等外在影响造成的识别效果不佳。

实施例：

模型训练阶段包括步骤1到步骤5，人脸数据集如图4，一万个人，每个人至少包含15张不同时期的人脸图片。

步骤2，检测人脸特征点，以图5为例，检测到人脸的68个特征点。

步骤3，提取5组局部特征和全局特征；

步骤4，使用RBF核函数将5组特征分别映射到核空间；

步骤5，使用级联贝叶斯算法训练得到度量矩阵和，至此模型训练阶段结束。

利用训练好的模型，即度量矩阵和，根据步骤6到步骤8可以判断两张人脸图片是否为同一个人，该技术可以应用到诸多系统中，如：

（1）签到点名系统，系统中只需保存一个人一张人脸图片即可，将输入的人脸图片与系统中保存的人脸一一对比验证，识别到此人即完成点名签到。

（2）犯罪分子人脸检索，公安系统中保存一张个人的身份证头像图片，输入犯罪分子人脸图片，与系统中保存的人脸图片一一对比，根据相似度值排序，给出最相近的若干人。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。