一种基于相似度度量的人脸确认方法与流程

本发明涉及图像处理领域，特别涉及一种基于相似度度量的人脸确认方法。
背景技术：
：近几年来无约束条件下的人脸确认技术广泛应用于视频监控、公共安全、电子商务等生物特征识别、智能视频分析及计算机视觉系统领域。但是无约束条件下的人脸图像因受表情、姿态、光照以及背景等复杂因素的干扰，造成同一个人的不同人脸图像差异性较大，如何克服上述因素引起的人脸图像较大的类内变化，是当前人脸确认领域中亟需解决的重要问题之一。相似度度量指利用给定的人脸样本对，计算人脸对特征向量间的距离来判断人脸的身份，因其实现简单，计算代价小、可分性好等特点成为一种主要的人脸确认方法。经典的相似度度量方法直接以人脸特征向量间的距离作为分类依据，如Liu等利用欧氏距离或余弦距离计算一对人脸的Gabor特征向量间的相似度。然而，非学习模型下的直接距离度量并没有考虑人脸表情、姿态、光照以及背景等条件差异对相似度度量造成的影响，因此并不能准确地反映一对人脸之间的相似性，分类性能有待提高。为了减少复杂干扰对相似度度量的影响，众多学者围绕相似度度量学习方法开展工一系列的工作。Guillaumin等提出了一种逻辑判别度量学习(Logisticdiscriminantmetriclearning，LDML)方法，利用概率估计样本对的相似度，建立最大似然估计模型，采用梯度上升方法优化求解，最后使用K近邻(K-nearestneighbor，K-NN)分类。Nguyer等提出余弦相似度度量学习方法(Cosinesimilaritymetriclearning，CSML)，与传统的马氏距离不同，该方法主要利用余弦距离作为样本对的相似度，可以获得比马氏距离更为有效的度量矩阵。Cao等基于余弦相似度和马氏距离的差值，提出一种子空间相似度度量学习模型(Subspacesimilaritymetriclearning,Sub-SML)。上述方法，应用无约束的人脸确认的研究中取得了不错的效果然而,由于在无约束条件下，因人脸表情、姿势、光照及其背景等复杂因素的影响，导致人脸的类内变化较大，目前主流的人脸确认技术，还是不能在保证鲁棒性的前提下去精准地进行人脸确认。技术实现要素：为了解决上述技术问题，本发明提供一种具有高鲁棒性和高准确率的基于相似度度量的人脸确认方法。本发明解决上述问题的技术方案是：一种基于相似度度量的人脸确认方法，包括以下步骤：步骤S1：提取N对人脸图像的特征，然后将每对人脸特征实现PCA变换，得到人脸样本对的特征向量；步骤S2：基于获得的人脸样本对的特征向量，利用加权协方差矩阵得到类内加权子空间，将其进行加权子空间投影，得到投影后的人脸样本对的特征向量；步骤S3：基于获得的投影后的人脸样本对的特征向量，结合先验度量的知识，得到先验相似性矩阵和先验距离矩阵；步骤S4：利用拉格朗日乘子法和对偶法求解相似度度量学习的目标函数，得到度量矩阵；步骤S5：基于获得的度量矩阵，结合相似度模型计算人脸对的相似度，从而得到最佳的阈值用于人脸确认。上述基于相似度度量的人脸确认方法，步骤S1具体包括以下步骤：将提取的N对人脸图像的特征运用PCA进行降维，得到低维的人脸样本对的特征向量X＝{(xi1,xi2)},i＝1,....,N，其中xi1,xi2∈Rd，Xi1，Xi2分别表示人脸样本对中某一人脸样本的特征向量，Rd表示Xi1，Xi2向量维数为d维。上述基于相似度度量的人脸确认方法，所述步骤S2具体包括以下步骤，步骤S21：基于步骤S1获得的人脸样本对的特征向量X＝{(xi1,xi2)},i＝1,....,N，若(xi1,xi2)∈S表示两个样本对应同一个人，若(xi1,xi2)∈D表示两个样本对应不同的人，S和D为两个集合，人脸样本对的类内协方差矩阵定义如下：其中T表示矩阵的转置；步骤S22：采用了加权协方差矩阵的方法，其定义如下：其中的权重wi的定义如下：其中u，a为常量，表示Xi1—Xi2向量二范数的u次方；步骤S23：将步骤S22中的加权协方差矩阵进行特征值分解，其特征值分解表达式为：WCSP＝PΛ，其中特征值对角矩阵为Λ＝diag(λ1,...,λd),λ1≠λ2≠…≠λd及其所对应的特征向量矩阵P＝[v1,...,vd]，由特征值互不相等，知特征向量矩阵P中列向量两两正交；步骤S24：将上述矩阵P的列向量变为单位向量标准化得到正交矩阵Q，其中QT＝Q-1，加权协方差矩阵对角化：QTWCSQ＝Λ，则加权协方差矩阵转化为：WCS＝(QT)-1ΛQ-1＝QΛQT＝QΛ1/2Λ1/2QT＝(QΛ1/2)(QΛ1/2)T；步骤S25：将Ls＝QΛ1/2定义为类内加权子空间，然后将训练样本在类内加权子空间下进行投影，得到投影后的人脸样本对其中上述基于相似度度量的人脸确认方法，所述步骤S3具体包括以下步骤，步骤S31：定义样本对的相似度如下：其中，表示样本对属于同一个人的概率，表示样本对属于不同人的概率，P[·]是符合均值为0的单变量高斯分布概率密度函数，其定义如下：步骤S32：根据样本对的相似度公式，解得先验相似性矩阵G0和先验距离矩阵M0，其表达式如下：上述基于相似度度量的人脸确认方法，所述步骤S4具体包括以下步骤，步骤S41：基于步骤S32得到的先验相似性矩阵G0和先验距离矩阵M0，求解度量矩阵(G,M)的目标函数如下：其中，表示余弦相似度函数，G表示余弦相似度度量矩阵，表示马氏距离相似度函数，M表示马氏距离相似度度量矩阵；yi为类标，当时，yi＝1，当时，yi＝-1，γ为正则项系数，F表示为矩阵的F范数；步骤S42：对于步骤S41的目标函数采用拉格朗日乘子法进行求解，其具体过程如下：1)将目标函数中引人松弛变量ζi得:其中：表示最小化目标函数，且目标函数优化的变量为G和M；2)将松弛以后的目标函数转化为拉格朗日函数形式，表达式如下：其中α，β分别表示目标函数转化成拉格朗日函数引入的惩罚系数；3)对拉格朗日函数进行求解得：4)将拉格朗日函数的求解结果代入拉格朗日函数中得到相对应的对偶函数为：5)求解对偶函数，得到解析解α*和(G,M)的最优解(G*,M*)如下：上述基于相似度度量的人脸确认方法，所述步骤S5具体包括以下步骤，步骤S51：将步骤S42求解得到的最优解(G*,M*)代人上述人脸对的相似度定义式中获得人脸对相似度，定义式如下：其中，表示余弦相似度函数，表示距离相似度函数；步骤S52：基于步骤S51得到所有训练集人脸特征对的相似度得分，从而得到最佳的阈值；然后在测试集上通过步骤S1-S51计算人脸特征对的相似度得分，如果相似度得分大于阈值则说明这对人脸对表示同一个人，反之，则说明不表示同一个人。本发明的有益效果在于：本发明提供一种结合加权子空间和相似度度量的人脸确认方法，该方法首先基于预处理后的人脸对的类内样本，学习具有权重的类内协方差矩阵，通过加权子空间的投影，从人脸图像中学习更具有鲁棒性的人脸特征表达；然后建立带先验相似性和先验距离约束的相似度度量学习模型，得到优化后的度量矩阵，该模型有效利用了样本对的相似性与差异性信息，优化后的度量矩阵可以有效提高特征向量的类内鲁棒性和类间判别性；最后，利用优化的度量矩阵计算得到人脸对的相似度，从而得到最佳的阈值用于人脸确认，使得人脸确认的鲁棒性和准确性得到了很好的保证，解决了无约束条件下，因受表情、姿态、光照以及背景等复杂因素的干扰，同一个人的不同人脸图像差异性较大，导致提取的人脸特征向量具有较大差异的问题，从而提高了人脸确认准确率。附图说明图1为本发明的流程图。图2为本发明和其他人脸确认方法的ROC特性曲线对比图。具体实施方式下面结合附图和实施例对本发明作进一步的说明。本发明运用到LFW(Labeledfacesinthewild)人脸数据集来验证其有效性。对于LFW数据集采用两种人脸对齐方法：一种是采用商业人脸对齐软件得到，即“aligned”数据库，另一种从网址直接获得，即“funneled”数据集。如图1所示，一种基于相似度度量的人脸确认方法，包括以下步骤：步骤S1：在“aligned”人脸数据集上分别提取N对人脸图像的LBP和TPLBP，在“funneled”数据集上提取N对人脸图像9个面部关键点的SIFT特征，提取N对人脸图像的特征，然后将每对人脸特征实现PCA变换进行降维，得到低维的人脸样本对的特征向量X＝{(xi1,xi2)},i＝1,....,N，其中xi1,xi2∈RdXi1，Xi2分别表示人脸样本对中某一人脸样本的特征向量，Rd表示Xi1，Xi2向量维数为d维。步骤S2：基于获得的人脸样本对的特征向量X＝{(xi1,xi2)},i＝1,....,N，利用加权协方差矩阵WCS得到类内加权子空间Ls，将其进行加权子空间投影，得到投影后的人脸样本对的特征向量其中步骤S2具体包括以下步骤，步骤S21：基于步骤S1获得的人脸样本对的特征向量X＝{(xi1,xi2)},i＝1,....,N，若(xi1,xi2)∈S表示两个样本对应同一个人，若(xi1,xi2)∈D表示两个样本对应不同的人，S和D为两个集合，人脸样本对的类内协方差矩阵定义如下：其中T表示矩阵的转置；步骤S22：当训练样本对(xi1,xi2)相似度越高，对类内协方差矩阵的贡献度越小，则相似度较高的样本对类内子空间投影后会导致信息量的丢失，于是采用了加权协方差矩阵的方法，其定义如下：其中的权重wi的定义如下：其中u，a为常量，表示Xi1—Xi2向量二范数的u次方；步骤S23：将步骤S22中的加权协方差矩阵进行特征值分解，其特征值分解表达式为：WCSP＝PΛ，其中特征值对角矩阵为Λ＝diag(λ1,...,λd),λ1≠λ2≠…≠λd及其所对应的特征向量矩阵P＝[v1,...,vd]，由特征值互不相等，知特征向量矩阵P中列向量两两正交；步骤S24：将上述矩阵P的列向量变为单位向量标准化得到正交矩阵Q，其中QT＝Q-1，加权协方差矩阵对角化：QTWCSQ＝Λ，则加权协方差矩阵转化为：WCS＝(QT)-1ΛQ-1＝QΛQT＝QΛ1/2Λ1/2QT＝(QΛ1/2)(QΛ1/2)T；步骤S25：将Ls＝PΛ1/2定义为类内加权子空间，然后将训练样本在类内加权子空间下进行投影，人脸特征在类内子空间的投影过程定义如下：得到投影后的人脸样本对其中步骤S3：基于获得的投影后的人脸样本对的特征向量，结合先验度量的知识，得到先验相似性矩阵和先验距离矩阵。步骤S3具体包括以下步骤，步骤S31：定义样本对的相似度如下：其中，表示样本对属于同一个人的概率，表示样本对属于不同人的概率，P[·]是符合均值为0的单变量高斯分布概率密度函数，其定义如下：步骤S32：根据样本对的相似度公式，解得先验相似性矩阵G0和先验距离矩阵M0，其表达式如下：步骤S4：利用拉格朗日乘子法和对偶法求解相似度度量学习的目标函数，得到度量矩阵。步骤S4具体包括以下步骤，步骤S41：基于步骤S32得到的先验相似性矩阵G0和先验距离矩阵M0，求解度量矩阵(G,M)的目标函数如下：其中，表示余弦相似度函数，G表示余弦相似度度量矩阵，表示马氏距离相似度函数，M表示马氏距离相似度度量矩阵；yi为类标，当时，yi＝1，当时，yi＝-1，γ为正则项系数，F表示为矩阵的F范数；步骤S42：对于步骤S41的目标函数采用拉格朗日乘子法进行求解，其具体过程如下：1)将目标函数中引人松弛变量ζi得:其中：表示最小化目标函数，且目标函数优化的变量为G和M；2)将松弛以后的目标函数转化为拉格朗日函数形式，表达式如下：其中α，β分别表示目标函数转化成拉格朗日函数引入的惩罚系数；3)对拉格朗日函数进行求解得：4)将拉格朗日函数的求解结果代人拉格朗日函数中得到相对应的对偶函数为：5)求解对偶函数，得到解析解α*和(G,M)的最优解(G*,M*)如下：步骤S5：基于获得的度量矩阵，结合相似度模型计算人脸对的相似度，从而得到最佳的阈值用于人脸确认。步骤S5具体包括以下步骤，步骤S51：将步骤S42求解得到的最优解(G*,M*)代人上述人脸对的相似度定义式中获得人脸对相似度，定义式如下：其中，表示余弦相似度函数，表示距离相似度函数；步骤S52：基于步骤S51得到所有训练集人脸特征对的相似度得分，从而得到最佳的阈值；然后在测试集上通过步骤S1-S51计算人脸特征对的相似度得分，如果相似度得分大于阈值则说明这对人脸对表示同一个人，反之，则说明不表示同一个人。为了验证本发明的有效性，使用了马氏距离度量、先验距离度量来对比测试本发明学习的度量矩阵。马氏距离度量表达式如下：当G＝I,M＝I时，I表示单位矩阵；先验距离度量表达式如下：当G＝G0,M＝M0时，表1给出了当提取的人脸图像特征为SIFT时，结合不同投影方法下不同度量矩阵的人脸确认结果对比。根据表1结果，若投影方式均为“PCA+加权子空间”时，本发明优化的度量矩阵识别率最高，原始特征与平方根特征分别为87.12％与87.62％，而传统的马氏距离度量识别率最低,原始特征与平方根特征分别为83.43％与84.22％。充分说明了本发明提出的带先验相似性与先验距离约束的相似度度量学习模型可以提高人脸确认的分类精度。表1表2给出了当提取的人脸图像特征为LBP时，结合不同投影方法下不同度量矩阵的人脸确认结果对比，与表1数据完全相符，进一步说明本发明提出的结合加权子空间和相似度度量学习的人脸确认方法的有效性。表2表3为本发明在LFW(Labeledfacesinthewild)数据库上识别率与其他方法的对比结果，由表3可知，与LDML方法相比，本发明的准确率提升了12％，值得注意的是，本发明提出基于“PCA+加权子空间”的特征投影，利用带先验相似性与先验距离约束的相似度度量学习方法得到的度量矩阵，与Sub-SM方法相比，本发明方法分类准确率提升了1.6％。表3方法正确率Combinedb/gsamplesbasedmethods,aligned0.8683±0.0034DML-eigcombined,funneled+aligned0.8565±0.0056LDMLcombined,funneled0.7927±0.0060HTBIFeatures,aligned0.8813±0.0058CSML+SVM,aligned0.8800±0.0037Sub-SMLcombined,funneled&aligned0.8973±0.0038DDMLcombined，funneled&aligned0.9068±0.1414本发明方法，funneled+aligned0.9120±0.0139图2为本发明的人脸确认方法与其他人脸确认方法的ROC特性曲线对比图，由图2可知，本发明的ROC曲线明显高于其他方法。实验结果进一步说明了本发明提出加权子空间的特征投影能有效的降低样本对的类内变化，建立的带先验相似性与先验距离约束的相似度度量学习模型能有效提高特征向量的类内鲁棒性和类间判别性。当前第1页1 2 3