人脸验证方法及人脸验证装置与流程

本发明涉及计算机视觉领域，特别涉及一种人脸验证方法及人脸验证装置。

背景技术：

随着计算机视觉技术和图像识别技术的发展，通过辨识色彩和区域验证是否是同一人脸的人脸验证方式，在实名制验证、用户登陆、交易等多种场景得到广泛应用。

目前人脸验证的方法有很多，大体上分为两类，一类是基于传统特征提取与比对的方法；另一类是基于深度学习的方法。但是，本发明人发现现有技术中至少存在如下问题：虽然传统的特征比对速度快，但是受环境影响较大，整体来看识别率波动较大；基于神经网络的方法识别率较高，对于环境变化的容忍度好，现在常用的是基于单一深度神经网络模型提取特征然后比对的方法，但在识别时则需要先后计算两次图像的特征，时间上耗时，本质上它也是一种特征提取器，并没有更加针对性的考虑人脸验证时两幅图像的差异。这就导致在人脸验证的过程中很容易受环境影响和待验证图像中本身存在的差异，而造成人脸验证判别率低，验证结果不够准确。

技术实现要素：

本发明实施方式的目的在于提供一种人脸验证方法及人脸验证装置，使得在待验证图像中人物所处场景复杂，待验证图像本身存在差异的情况下，仍然可以对待识别图像中的人脸进行准确验证，大大提高了人脸验证的验证率和准确率，并且具有良好的鲁棒性。

为解决上述技术问题，本发明的实施方式提供了一种人脸验证方法，包括：选定N个人脸姿态，对每个人脸姿态预设对应的双边深度卷积神经网络模型，所述N为自然数；分别确定所述两幅待验证图像的人脸姿态；根据所确定的人脸姿态，选取对应的双边深度卷积神经网络模型；利用所选取的双边深度卷积神经网络模型判别所述两幅待验证图像；利用判别结果确认所述两幅待验证图像中的人脸是否相同。

本发明的实施方式还提供了一种人脸验证装置，包括：预设模块，用于选定N个人脸姿态，对每个人脸姿态预设对应的双边深度卷积神经网络模型，所述N为自然数；确定模块，用于分别确定所述两幅待验证图像的人脸姿态；选取模块，用于根据所确定的人脸姿态，选取对应的双边深度卷积神经网络模型；判别模块，用于利用所选取的双边深度卷积神经网络模型判别所述两幅待验证图像；验证模块，用于利用判别结果确认所述两幅待验证图像中的人脸是否相同。

本发明实施方式相对于现有技术而言，在人脸验证时，采取级联双边验证网络进行人脸验证，对两幅待验证图像分别进行人脸姿态确定，然后为确定的人脸姿态选定对应的双边深度卷积神经网络模型，使得可以利用不同的双边深度卷积神经网络模型判别不同人脸姿态的图像。由于相同姿态的图像更具有可比性，因此大大提升了人脸验证的验证率和准确率，同时适用于存在复杂场景的图像，具有良好的鲁棒性好。

另外，人脸姿态为：正脸、左侧脸、右侧脸、仰头或低头。通过将人脸姿态划分为常见的人脸姿态，使得待验证图像可以快速高效的匹配到对应的人脸姿态，提高了验证效率。

另外，其特征在于，预设的双边深度卷积神经网络模型，利用以下方法获得：预设包括M幅人脸图像的样本库，所述M为大于2的自然数；确定所述M幅人脸图像的人脸姿态；将预设的样本库中的人脸图像两两配对，选出同为第一人脸姿态的组合，作为相同姿态组，选出一幅人脸图像属于第一人脸姿态，另一幅人脸图像不属于第一人脸姿态的组合，作为不同姿态组；其中，所述第一人脸姿态为所述N个人脸姿态中的一个人脸姿态；利用预设的双边深度卷积神经网络框架，分别对所述相同姿态组和所述不同姿态组中的人脸图像组合进行训练，获得对应所述第一人脸姿态的预设的双边深度卷积神经网络模型。通过利用计算器学习法，使得可以快速获得预设的双边深度卷积神经网络模型。

另外，确定M幅人脸图像的人脸姿态中，所述人脸图像为经过矫正的人脸图像。通过将人脸图像进行矫正，增加了待验证图像中人脸的可识别度。

另外，分别确定所述两幅待验证图像的人脸姿态中，具体包括：分别定位两幅待验证图像中人脸的关键点；利用定位结果确定所述两幅待验证图像的人脸姿态。通过采用SDM(Security Device Manager有监督下降算法)方法进行人脸关键点的定位，可以准确获得两幅待验证图像中的人脸姿态。

另外，利用定位结果确定所述两幅待验证图像的人脸姿态中，所述待验证图像为经过矫正的待验证图像。通过将待验证图像进行矫正，增加了待验证图像中人脸姿态的可识别度。

另外，所述根据所确定的人脸姿态，选取对应的双边深度卷积神经网络模型中，如果所述两幅待验证图像被确定的人脸姿态不同，则分别选取所述两幅待验证图像被确定的人脸姿态所对应的双边深度卷积神经网络模型；所述利用所选取的双边深度卷积神经网络模型判别所述两幅待验证图像中，利用每个选取的双边深度卷积神经网络模型分别对所述两幅待验证图像进行判别，获得四个判别结果。通过对两幅待验证图像中的人脸姿态进行判别，将两幅待验证图像中的人脸姿态分为相同和不同，分别选取相应的双边深度卷积神经网络模型进行判别，提高了判别速度和准确性。

另外，其特征在于，利用判别结果确认所述两幅待验证图像中的人脸是否相同中，如果判别结果不相同，则利用证据理论方法，融合所述四个判别结果，确定所述两幅待验证图像中的人脸是否相同。通过利用证据理论方法将两幅待验证图像中的人脸姿态不同的情况下得到的4个判别结果进行融合，使得最终得到的人脸验证结果更加准确。

附图说明

图1是本发明第一实施方式一种人脸验证方法的流程图；

图2是本发明第二实施方式一种人脸验证方法的流程图；

图3是本发明第二实施方式一种人脸验证方法中人脸检测的示意图；

图4是本发明第二实施方式一种人脸验证方法中人脸关键点定位的示意图；

图5是本发明第三实施方式一种人脸验证方法的流程图；

图6是本发明第四实施方式一种人脸验证方法的流程图；

图7是本发明第五实施方式一种人脸验证装置的结构框图；

图8是本发明第六实施方式的用户终端实际装置结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种人脸验证方法，具体操作流程如图1所示。

在步骤101中，选定3个人脸姿态，并预设双边深度卷积神经网络模型。

具体的说，选定3个人脸姿态后，需要对每个人脸姿态预设对应的双边深度卷积神经网络模型。

需要说明的是，在实际应用中，选定的人脸姿态不局限于3个，可以为多个。

在步骤102中，分别确定两幅待验证图像的人脸姿态。

在步骤103中，选取双边深度卷积神经网络模型。

具体的说，选取的双边深度卷积神经网络模型为根据所确定的人脸姿态来进行选取的。

在步骤104中，判别两幅待验证图像。

具体的说，判别两幅待验证图像需要利用所选取的双边深度卷积神经网络模型来进行判别。

在步骤105中，确认两幅待验证图像中的人脸是否相同。

具体的说，确认两幅待验证图像中的人脸是否相同需要利用对两幅待验证图像的判别结果来进行确认。

本实施方式在人脸验证时，对待验证图像进行分姿态判别，不同的姿态利用不同的双边深度卷积神经网络模型，由于相同姿态的图像更具有可比性，因此大大提升了验证准确率，同时适用于存在复杂场景的图像，鲁棒性好。

本发明的第二实施方式涉及一种人脸验证方法，本实施方式为第一实施方式的优化，利用机器学习法，获得预设的双边深度卷积神经网络模型，并根据人脸的关键点来确定待验证图像的人脸姿态，使得对人脸验证更加准确，具体操作流程如图2所示。

在步骤201中，选定3个人脸姿态，并利用机器学习法预设双边深度卷积神经网络模型。

具体的说，在实现本实施方式的过程中，为选定的3个人脸姿态分别预设双边深度卷积神经网络模型中，具体包括：

首先，预设包括M幅人脸图像的样本库，其中，M为大于2的自然数。

然后，确定M幅人脸图像的人脸姿态，并将预设的样本库中的人脸图像两两配对，选出同为第一人脸姿态的组合，作为相同姿态组，选出一幅人脸图像属于第一人脸姿态，另一幅人脸图像不属于第一人脸姿态的组合，作为不同姿态组；其中，所述第一人脸姿态为所述3个人脸姿态中的一个人脸姿态；所谓的两两分配可以为允许人脸图像重复的配对方式，也可以为不允许人脸图像重复的配对方式。

最后，利用预设的双边深度卷积神经网络框架，分别对相同姿态组和所述不同姿态组中的人脸图像组合进行训练，获得对应第一人脸姿态的预设的双边深度卷积神经网络模型。

比如说，预设的样本库中包括6000幅人脸图像，并且每幅人脸图像都包含：正脸、左侧脸和右侧脸这3个人脸姿态。然后两两配对，如果分配后的两幅人脸图像中同为第一人，并且他们的人脸姿态也相同，就把这两幅人脸图像作为相同姿态组，反之则为不同姿态组。分组完成后，利用预设的双边深度卷积神经网络框架分别进行训练，最终得到对应第一人脸姿态的预设的双边深度卷积神经网络模型。

需要说明的是，本实施方式中，人脸姿态可以为：正脸、左侧脸和右侧脸，在实际应用中选定的人脸姿态不局限于这3个，还可以为仰头、低头等多种人脸姿态，在此不再一一列举；并且，在确定M幅人脸图像的人脸姿态中，人脸图像为经过矫正的人脸图像。

在步骤202中，利用人脸的关键点，分别确定两幅待验证图像的人脸姿态。

具体的说，在确定两幅待验证图像的人脸姿态时，可以利用关键点定位的方式确定人脸姿态。具体的说，首先分别定位两幅待验证图像中人脸的关键点；然后利用定位结果确定两幅待验证图像的人脸姿态。

需要说明的是，本实施方式中采用的是现有的HAAR(Haar-Link Features哈尔特征)人脸检测方法进行人脸图像获取，如图3所示，将需要进行发型识别的图像中的人脸区域进行截取，然后利用SDM(Security Device Manager有监督下降算法)方法进行人脸关键点定位，如图4所示，将待识别图像中的眉毛、眼睛、嘴巴、鼻子等部位或这些部位任意组合后得到的部分作为关键点。

在步骤203中，选取双边深度卷积神经网络模型。

具体的说，在两幅待验证图像中的人脸姿态被确定为相同时，从样本库中选取该人脸姿态对应的双边深度卷积神经网络模型用于对两幅待验证图像进行判别即可。

在步骤204中，判别两幅待验证图像。

具体的说，利用选取的那个双边深度卷积神经网络模型对两幅待验证图像分别进行判别，得到两个判别结果。

在步骤205中，确认两幅待验证图像中的人脸是否相同。

具体的说，通过在系统中预设一用于进行判定的阈值，比如说0.5，将通过双边深度卷积神经网络模型进行判别后得到的结果进行判断，如果判别结果大于0.5，则判定两幅待验证图像中的人脸为同一张人脸，验证成功；否则判定两幅待验证图像中的人脸不为同一张人脸，验证失败。

需要说明的是，预设的阈值大小，可以根据实际情况来进行设置，并不局限于0.5一值。

本实施方式中，利用机器学习法快速训练获取预设的双边深度卷积神经网络模型，通过人脸关键点准确确定两幅待验证图像中的人脸姿态，并且通过将人脸图像进行矫正再作相应操作，使得在复杂场景下，也能对待验证图像进行准确验证，具有更好的鲁棒性。

本发明的第三实施方式涉及一种人脸验证方法，本实施方式和第二实施方式大致相同，主要区别在于，在两幅待验证图像中的人脸姿态不同时，选取两个不同的双边深度卷积神经网络模型进行判别，并利用证据理论将得到的判别结果进行融合，具体操作流程如图5所示。

在步骤501中，选定3个人脸姿态，并利用机器学习法预设双边深度卷积神经网络模型。

在步骤502中，利用人脸的关键点，分别确定两幅待验证图像的人脸姿态。

由于图5中步骤501、步骤502与图2中的步骤201、步骤202完全一样，旨在选定人脸姿态，并利用机器学习进行训练，得到与人脸姿态分别对应的双边深度卷积神经网络模型，然后利用人脸的关键点分别确认两幅待验证图像的人脸姿态，这里不再赘述。

在步骤503中，选取幅待验证图像分别对应的两个双边深度卷积神经网络模型。

具体的说，在两幅待验证图像中的人脸姿态被确定为不相同时，从样本库中选取两个分别对应这两幅待验证图像的双边深度卷积神经网络模型即可。

在步骤504中，判别两幅待验证图像。

具体的说，利用选取的两个双边深度卷积神经网络模型对两幅待验证图像分别进行判别，得到4个判别结果。

在步骤505中，利用证据理论方法，确认两幅待验证图像中的人脸是否相同。

具体的说，通过在系统中预设一用于进行判定的阈值，比如说0.5，将根据两个双边深度卷积神经网络模型得到判别结果分别按照证据理论进行融合，然后将融合后的两个结果分别与预设的阈值进行比较，当两个融合后的结果都大于0.5时，则判定两幅待验证图像中的人脸为同一张人脸，验证成功；否则判定两幅待验证图像中的人脸不为同一张人脸，验证失败。

需要说明的是，本实施方式中采用的证据理论是Dempster于1967年首先提出，由他的学生Shafer于1976年进一步发展起来，因此也称为DS证据理论。在DS证据理论中，由互不相容的基本命题(假定)组成的完备集合称为识别框架，表示对某一问题的所有可能答案，但其中只有一个答案是正确的。该框架的子集称为命题，分配给各命题的信任程度称为基本概率分配(BPA，也称m函数)，m(A)为基本可信数，反映着对A的信度大小。信任函数Bel(A)表示对命题A的信任程度，似然函数Pl(A)表示对命题A非假的信任程度，也即对A似乎可能成立的不确定性度量，实际上，[Bel(A),Pl(A)]表示A的不确定区间，[0,Bel(A)]表示命题A支持证据区间，[0,Pl(A)]表示命题A的拟信区间，[Pl(A),1]表示命题A的拒绝证据区间。

由于DS证据理论属于本领域的公知常识，本领域的技术人员可以根据现有技术将发型分类结果按照DS证据理论进行融合，从而确定待识别图像中的发型，这里不再赘述。

本实施方式中，利用机器学习法快速训练获取预设的双边深度卷积神经网络模型，通过将人脸图像进行矫正后根据人脸关键点准确确定两幅待验证图像中的人脸姿态，并且在两幅待验证图像中人脸姿态不同时，通过DS证据理论将根据两种不同双边深度卷积神经网络模型得到的判别结果进行融合，更进一步的提高了对待验证图像中人脸的验证准确性，并且可以更好的适应复杂的场景，具有更好的鲁棒性。

本发明的第四实施方式涉及一种人脸验证方法，本实施方式为第三实施方式的优化，在利用人脸的关键点进行确定两幅待验证图像的人脸姿态前，需要先对两幅待验证图像进行矫正，有效增加了待验证图像中人脸的可识别度，具体操作流程如图6所示。

在步骤601中，选定3个人脸姿态，并利用机器学习法预设双边深度卷积神经网络模型。

由于图6中步骤601与图1中的步骤201完全一样，旨在选定人脸姿态，并利用机器学习进行训练，得到与人脸姿态分别对应的双边深度卷积神经网络模型，这里不再赘述。

在步骤602中，对两幅待验证图像进行矫正。

具体的说，通过采用现有的HAAR(Haar-Link Features哈尔特征)人脸检测方法进行人脸图像获取，将需要进行发型识别的图像中的人脸区域进行截取，然后利用SDM(Security Device Manager有监督下降算法)方法进行人脸关键点定位，将待识别图像中的眉毛、眼睛、嘴巴、鼻子等部位或这些部位任意组合后得到的部分作为关键点，最后利用关键点旋转待验证图像，和/或利用关键点形变待验证图像，完成对两幅待验证图像的矫正。

在步骤603中，利用人脸的关键点，分别确定两幅待验证图像的人脸姿态。

具体的说，在确定两幅待验证图像的人脸姿态时，可以利用关键点定位的方式确定人脸姿态。具体的说，首先分别定位两幅待验证图像中人脸的关键点；然后利用定位结果确定两幅待验证图像的人脸姿态。

在步骤604中，选取幅待验证图像分别对应的两个双边深度卷积神经网络模型。

具体的说，在两幅待验证图像中的人脸姿态被确定为不相同时，从样本库中选取两个分别对应这两幅待验证图像的双边深度卷积神经网络模型即可。

在步骤605中，判别两幅待验证图像。

具体的说，利用选取的两个双边深度卷积神经网络模型对两幅待验证图像分别进行判别，得到4个判别结果。

在步骤606中，利用证据理论方法，确认两幅待验证图像中的人脸是否相同。

具体的说，通过在系统中预设一用于进行判定的阈值，比如说0.5，将根据两个双边深度卷积神经网络模型得到判别结果分别按照证据理论进行融合，然后将融合后的两个结果分别与预设的阈值进行比较，当两个融合后的结果都大于0.5时，则判定两幅待验证图像中的人脸为同一张人脸，验证成功；否则判定两幅待验证图像中的人脸不为同一张人脸，验证失败。

需要说明的是，在实际应用中，当两幅待验证图像中的人脸姿态相同时，也可以先对两幅待验证图像进行矫正，然后在执行之后的判断操作，这样可以进一步提升对待验证图像中人脸验证的准确性。

本实施方式中，通过对两幅待验证图像和样本库中的人脸图像进行矫正，然后在利用机器学习法为选定的多个人脸姿态预设双边深度卷积神经网络模型，通过对待验证图像中的人脸姿态进行确定，选定相应的双边深度卷积神经网络模型进行判定，将结果通过DS证据理论融合的方式，大大提高了待验证图像中人脸的可识别度，有效提升了人脸验证的准确率，并且具有良好的鲁棒性。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第五实施方式涉及一种人脸验证装置，具体结构如图7所示。

人脸验证装置700包括：预设模块701、确定模块702、选取模块703、判别模块704、验证模块705。

预设模块701，用于选定N个人脸姿态，对每个人脸姿态预设对应的双边深度卷积神经网络模型，其中，N为自然数；

确定模块702，用于分别确定两幅待验证图像的人脸姿态；

选取模块703，用于根据所确定的人脸姿态，选取对应的双边深度卷积神经网络模型；

判别模块704，用于利用所选取的双边深度卷积神经网络模型判别两幅待验证图像；

验证模块705，用于利用判别结果确认两幅待验证图像中的人脸是否相同。

通过本实施方式提供的人脸验证装置，在人脸验证时，选取模块703根据预设模块701选定多个人脸姿态，及对每个人脸姿态预设对应的双边深度卷积神经网络模型和确定模块702确定两幅待验证图像的人脸姿态，利用判别模块704针对不同的姿态利用不同的双边深度卷积神经网络模型，最终通过验证模块705得到结果。这种验证方式由于相同姿态的图像更具有可比性，因此大大提升了判别准确率，同时适用于存在复杂场景的图像，鲁棒性好。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

下面对本发明涉及的用户终端的实际装置结构进行说明。

本发明的第六实施方式涉及一种用户终端，其具体结构如图8所示。该用户终端800包括：存储器801、处理器802、显示器803。其中存储器801用于存储处理器802可执行代码或其他信息。其中处理器为终端的核心，上述装置实施例中涉及的确定模块、选取模块、判别模块所处理的功能主要由处理器802实现。其中显示器803用于显示处理器802处理后的数据，并且显示器803还具有摄像头，可以用于获取输入的信息，然后传递给处理器802进行处理。

本实施方式中，当用户终端800中的显示器803获取到待验证的人脸图像后，将获取的人脸图像传递给处理器802进行人脸检测与关键点定位的处理，最终实现人脸矫正，然后通过预存在存储器801中的各人脸姿态对应的预设双边深度卷积神经网络模型进行判别，获取到识别结果，并通过将各识别结果进行融合确定待识别图像中的人脸，完成人脸验证并通过显示器803显示出来。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。