人脸比对方法、装置及终端设备与流程

本发明属于数据处理技术领域，尤其涉及人脸比对方法、装置、终端设备以及计算机可读存储介质。

背景技术：

随着信息技术和计算机技术的发展，人脸识别已成为现今的热门研究方向，广泛应用于门禁和拍照等场景中。人脸比对为人脸识别的一个分支领域，其主要思想是将获取到的用户图像与已注册的底图进行对比，如果用户图像与底图较为相似，则将该底图作为比对的结果。

在现有技术中，通常是基于rgb(即红色、绿色和蓝色)可见光进行人脸比对，具体通过rgb摄像头采集rgb图像，再将rgb图像与已注册的底图进行对比。但是，由于rgb图像受周围光照环境的影响较大，比如在侧光环境下采集到的rgb图像容易出现“阴阳脸”，导致基于rgb图像进行的人脸比对的结果不准确。综上，现有技术中进行人脸比对的准确性低。

技术实现要素：

有鉴于此，本发明实施例提供了人脸比对方法、装置、终端设备以及计算机可读存储介质，以解决现有技术中人脸比对受光照环境影响大，准确性低的问题。

本发明实施例的第一方面提供了一种人脸比对方法，包括：

获取同时采集的用户rgb图像和用户红外图像，将所述用户rgb图像和所述用户红外图像输入预设的人脸检测网络，并根据所述人脸检测网络的输出结果分析出人脸采集区域；

基于所述人脸采集区域对所述用户rgb图像进行人脸采集得到第一人脸图像，基于所述人脸采集区域对所述用户红外图像进行人脸采集得到第二人脸图像，并分别对所述第一人脸图像和所述第二人脸图像进行人脸对齐，将对齐后的所述第一人脸图像确定为第一对齐图像，将对齐后的所述第二人脸图像确定为第二对齐图像；

对所述第一对齐图像和所述第二对齐图像进行融合分析得到人脸特征参数，并将所述人脸特征参数与至少两个预设特征参数进行对比得到至少两个相似度，其中，每个预设特征参数与一个已注册图像对应；

若数值最大的所述相似度超过预设阈值，则将数值最大的所述相似度对应的所述已注册图像输出为人脸比对的结果。

本发明实施例的第二方面提供了一种人脸比对装置，包括：

检测单元，用于获取同时采集的用户rgb图像和用户红外图像，将所述用户rgb图像和所述用户红外图像输入预设的人脸检测网络，并根据所述人脸检测网络的输出结果分析出人脸采集区域；

对齐单元，用于基于所述人脸采集区域对所述用户rgb图像进行人脸采集得到第一人脸图像，基于所述人脸采集区域对所述用户红外图像进行人脸采集得到第二人脸图像，并分别对所述第一人脸图像和所述第二人脸图像进行人脸对齐，将对齐后的所述第一人脸图像确定为第一对齐图像，将对齐后的所述第二人脸图像确定为第二对齐图像；

对比单元，用于对所述第一对齐图像和所述第二对齐图像进行融合分析得到人脸特征参数，并将所述人脸特征参数与至少两个预设特征参数进行对比得到至少两个相似度，其中，每个预设特征参数与一个已注册图像对应；

输出单元，用于若数值最大的所述相似度超过预设阈值，则将数值最大的所述相似度对应的所述已注册图像输出为人脸比对的结果。

本发明实施例的第三方面提供了一种终端设备，所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

获取同时采集的用户rgb图像和用户红外图像，将所述用户rgb图像和所述用户红外图像输入预设的人脸检测网络，并根据所述人脸检测网络的输出结果分析出人脸采集区域；

基于所述人脸采集区域对所述用户rgb图像进行人脸采集得到第一人脸图像，基于所述人脸采集区域对所述用户红外图像进行人脸采集得到第二人脸图像，并分别对所述第一人脸图像和所述第二人脸图像进行人脸对齐，将对齐后的所述第一人脸图像确定为第一对齐图像，将对齐后的所述第二人脸图像确定为第二对齐图像；

对所述第一对齐图像和所述第二对齐图像进行融合分析得到人脸特征参数，并将所述人脸特征参数与至少两个预设特征参数进行对比得到至少两个相似度，其中，每个预设特征参数与一个已注册图像对应；

若数值最大的所述相似度超过预设阈值，则将数值最大的所述相似度对应的所述已注册图像输出为人脸比对的结果。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取同时采集的用户rgb图像和用户红外图像，将所述用户rgb图像和所述用户红外图像输入预设的人脸检测网络，并根据所述人脸检测网络的输出结果分析出人脸采集区域；

基于所述人脸采集区域对所述用户rgb图像进行人脸采集得到第一人脸图像，基于所述人脸采集区域对所述用户红外图像进行人脸采集得到第二人脸图像，并分别对所述第一人脸图像和所述第二人脸图像进行人脸对齐，将对齐后的所述第一人脸图像确定为第一对齐图像，将对齐后的所述第二人脸图像确定为第二对齐图像；

对所述第一对齐图像和所述第二对齐图像进行融合分析得到人脸特征参数，并将所述人脸特征参数与至少两个预设特征参数进行对比得到至少两个相似度，其中，每个预设特征参数与一个已注册图像对应；

若数值最大的所述相似度超过预设阈值，则将数值最大的所述相似度对应的所述已注册图像输出为人脸比对的结果。

本发明实施例与现有技术相比存在的有益效果是：

本发明实施例通过获取同时采集的rgb图像和红外图像，并通过人脸采集以及对齐操作得到对应的第一对齐图像和第二对齐图像，然后对第一对齐图像和第二对齐图像进行融合分析得到人脸特征参数，将人脸特征参数与已有的至少两个预设特征参数进行对比得到至少两个相似度，若其中最大的相似度超过预设阈值，则将该相似度对应的已注册图像输出为人脸比对的结果。本发明实施例综合rgb图像(对应可见光)和红外图像(对应不可见光)进行分析，减少了周围光照环境对图像以及特征参数造成的影响，提升了人脸比对的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的人脸比对方法的实现流程图；

图2是本发明实施例二提供的人脸比对方法的实现流程图；

图3是本发明实施例三提供的人脸比对方法的实现流程图；

图4是本发明实施例四提供的人脸比对方法的实现流程图；

图5是本发明实施例五提供的人脸比对方法的实现流程图；

图6是本发明实施例六提供的人脸比对方法的架构图；

图7是本发明实施例七提供的人脸比对装置的结构框图；

图8是本发明实施例八提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1示出了本发明实施例提供的人脸比对方法的实现流程，详述如下：

在s101中，获取同时采集的用户rgb图像和用户红外图像，将所述用户rgb图像和所述用户红外图像输入预设的人脸检测网络，并根据所述人脸检测网络的输出结果分析出人脸采集区域。

rgb色彩模式是一种通用的颜色标准，主要通过对红、绿和蓝三个颜色通道进行叠加来得到各式各样的颜色，rgb色彩模式在最大程度上包括了人类视力所能感知的所有颜色，是目前运用最广的色彩模式之一。相较于传统方式中的仅采集rgb图像进行人脸比对，在本发明实施例中，同时采集目标用户的rgb图像和红外图像，将采集到的rgb图像作为用户rgb图像，将采集到的红外图像作为用户红外图像，从而基于双图像进行人脸比对，其中，红外图像即为热红外线图像，是基于目标用户发射的热辐射能形成的图像。为了实现同时采集用户rgb图像和用户红外图像，可通过具有rgb拍摄功能和红外拍摄功能的双目摄像头对目标用户进行拍摄。另外，本发明实施例对rgb图像和红外图像中人脸的数量并不做限定，即rgb图像和红外图像中人脸的数量可为一个，也可为至少两个。

在得到用户rgb图像和用户红外图像后，将用户rgb图像和用户红外图像输入至预设的人脸检测网络。其中，可调用开源的人脸检测网络进行人脸检测，比如本发明实施例中的人脸检测网络可基于开源的深度学习框架中的单神经网络检测器(singleshotmultiboxdetector，ssd)实现，为了使人脸检测网络对用户rgb图像和用户红外图像都具有较好的检测效果，在训练人脸检测网络时，将开源的人脸图像库中的至少两个rgb图像和至少两个红外图像作为训练参数集输入至ssd中。通过人脸检测网络分别对用户rgb图像和用户红外图像进行人脸检测后，根据人脸检测网络的输出结果(即人脸的检出区域)分析出人脸采集区域，在分析人脸采集区域时，可将人脸检测网络的所有检出区域的并集作为人脸采集区域，当然根据实际应用场景的不同还可应用其他的分析方式，本发明实施例对此不做限定。

可选地，若仅获取到用户rgb图像，则对用户rgb图像进行灰度处理，并将灰度处理后的用户rgb图像确定为用户红外图像。由于实际中的拍摄环境可能有限，如仅存在rgb摄像头，故在获取图像时，可能仅获取到用户rgb图像，对于上述情况，在本发明实施例中，对用户rgb图像进行灰度处理，并将灰度处理后的用户rgb图像确定为用户红外图像，从而保证了基于双图像的人脸比对能够正常进行，提升了人脸比对在不同应用场景中的适用性。

在s102中，基于所述人脸采集区域对所述用户rgb图像进行人脸采集得到第一人脸图像，基于所述人脸采集区域对所述用户红外图像进行人脸采集得到第二人脸图像，并分别对所述第一人脸图像和所述第二人脸图像进行人脸对齐，将对齐后的所述第一人脸图像确定为第一对齐图像，将对齐后的所述第二人脸图像确定为第二对齐图像。

在得到人脸采集区域后，对用户rgb图像按照人脸采集区域进行截取，并将截取出的部分图像确定为第一人脸图像，同时，对用户红外图像按照人脸采集区域进行截取，并将截取出的部分图像确定为第二人脸图像。然后，分别对第一人脸图像和第二人脸图像进行人脸对齐，在本发明实施例中，人脸对齐即是将图像进行关键点定位，根据关键点的坐标矫正图像，并将图像归一化至预设图像尺寸，便于后续进行分析，其中，关键点的种类包括但不限于眼睛、鼻尖、嘴角点和眉毛。在进行人脸对齐时，可调用开源的人脸对齐算法进行关键点定位，比如主动外观模型(activeappearancemodel，amm)或约束局部模型(constrainedlocalmodel，clm)等。在完成对第一人脸图像和第二人脸图像的人脸对齐后，将对齐后的第一人脸图像确定为第一对齐图像，将对齐后的第二人脸图像确定为第二对齐图像。

在s103中，对所述第一对齐图像和所述第二对齐图像进行融合分析得到人脸特征参数，并将所述人脸特征参数与至少两个预设特征参数进行对比得到至少两个相似度，其中，每个预设特征参数与一个已注册图像对应。

在本发明实施例中，利用跨域(cross-domain)的思想对第一对齐图像和第二对齐图像进行信息融合，使得两者信息互相增益，具体内容在后文进行详细阐述。对于信息融合后新构成的图像，对其进行特征点提取得到人脸特征参数，其中，可应用神经网络、尺度不变特征变换(scale-invariantfeaturetransform，sift)算法或稳定特征加速(speeduprobustfeatures，surf)算法等方式进行特征点提取。值得一提的是，本步骤中确定的特征点与步骤s102中确定的关键点可以相同，也可以不同，可根据实际应用场景进行调整。

在得到人脸特征参数后，将人脸特征参数与已有的至少两个预设特征参数进行一一对比，得到与每一个预设特征参数对应的相似度，相似度可通过计算人脸特征参数与预设特征参数之间的欧式距离(欧式距离越小，相似度越大，在具体计算过程中可以设置欧式距离与相似度之间的数值对应关系)或应用其他计算方式得到，其中，预设特征参数是对已注册图像经过与上述步骤中同样的人脸检测、人脸对齐和特征点提取操作得到的，即相当于已注册图像对应的人脸特征参数，已注册图像是数据库中已有的图像，计算的相似度即指示人脸特征参数对应的信息融合后的图像与预设特征参数对应的已注册图像之间的相似程度。

在s104中，若数值最大的所述相似度超过预设阈值，则将数值最大的所述相似度对应的所述已注册图像输出为人脸比对的结果。

对于得到的至少两个相似度，若其中数值最大的相似度未超过预设阈值(如设置为80％)，则输出比对失败的提示；若其中数值最大的相似度超过预设阈值，证明目标用户与该相似度对应的已注册图像较为相似，则将数值最大的相似度对应的已注册图像输出为人脸比对的结果。

可选地，基于所有的预设特征参数构建特征矩阵，并将人脸特征参数与特征矩阵进行相似度计算得到相似度向量，若相似度向量中数值最大的元素超过预设阈值，则将该元素对应的已注册图像输出为人脸比对的结果。在计算相似度时，需要不断地调取不同的预设特征参数与人脸特征参数进行计算，由于调取操作较为耗时，故为了提升计算速度，在本发明实施例中，根据已有的所有预设特征参数构建特征矩阵，并将人脸特征参数与特征矩阵进行相似度计算得到相似度向量，该相似度向量中的每一个元素即为一个相似度。若相似度向量中数值最大的元素(相似度)超出预设阈值，则将该元素对应的已注册图像输出为人脸比对的结果。为了便于说明，假设人脸特征参数和预设特征参数都是128维，并且存在n个已注册图像，则构建的特征矩阵为n*128维的矩阵，在计算相似度时，将人脸特征参数与特征矩阵中的每一行元素进行单独计算，并将计算得到的结果作为一个相似度，则最终可得到一个1*n维的相似度向量，该相似度向量中的每一个元素都是一个预设特征参数对应的相似度。然后，判断相似度向量中数值最大的元素是否超出预设阈值，若超出预设阈值，则查找到该元素对应的预设特征参数，进而查找到对应的已注册图像，并将该已注册图像进行输出。由于矩阵运算的速度较快，且在计算时仅需调取特征矩阵即可，故通过上述方法提升了相似度计算的效率。除此之外，在本发明实施例中还可搭建云服务，从而实现预设特征参数的快速上传和特征矩阵的快速构建，本发明实施例提供了如图6所示的人脸比对方法的架构图，在图6中，云服务与进行人脸比对的终端设备和用户注册图像的注册终端建立有连接，对于注册终端，由于其是用户持有的终端，通常仅搭载有rgb摄像头，即已注册图像通常为rgb图像，故只将已注册图像输入人脸检测网络进行人脸检测，在后续执行人脸对齐和特征值提取操作后得到预设特征参数，并将预设特征参数上传至云服务器；对于进行人脸比对的终端设备，从云服务器接收至少一个注册终端上传的预设特征参数，并基于得到的所有预设特征参数构建特征矩阵，在获取到用户rgb图像和用户红外图像后，分别对用户rgb图像和用户红外图像进行人脸检测以及人脸对齐，并在进行信息融合后，获取融合后的图像的人脸特征参数，并基于人脸特征参数和特征矩阵进行计算得到相似度向量，在相似度向量中数值最大的元素超过预设阈值时，输出与该数值最大的元素对应的已注册图像作为人脸比对的结果。

通过图1所示实施例可知，在本发明实施例中，通过获取同时采集的用户rgb图像和用户红外图像，对用户rgb图像和用户红外图像分别进行人脸检测得到人脸采集区域，基于人脸采集区域对用户rgb图像进行人脸采集得到第一人脸图像，基于人脸采集区域对用户红外图像进行人脸采集得到第二人脸图像，并分别对第一人脸图像和第二人脸图像进行人脸对齐，对对齐后的第一人脸图像和第二人脸图像进行融合分析得到人脸特征参数，并将人脸特征参数与至少两个预设特征参数进行对比得到至少两个相似度，若其中数值最大的相似度超过预设阈值，则将数值最大的相似度对应的已注册图像输出为人脸比对的结果。本发明实施例通过获取源于可见光的用户rgb图像和源于不可见光的用户红外图像进行共同分析，由于用户红外图像基本不受光照情况影响，从而最大限度地避免了周围光照环境对人脸对比造成的影响，提升了人脸对比的准确性。

图2所示，是在本发明实施例一的基础上，对将用户rgb图像和用户红外图像输入预设的人脸检测网络，并根据人脸检测网络的输出结果分析出人脸采集区域的过程进行细化后得到的一种方法。本发明实施例提供了人脸比对方法的实现流程图，如图2所示，该人脸比对方法可以包括以下步骤：

在s201中，获取所述人脸检测网络输出的与所述用户rgb图像对应的rgb采集区域，并获取所述人脸检测网络输出的与所述用户红外图像对应的红外采集区域，其中，所述rgb采集区域和所述红外采集区域的数量均为至少一个。

在将用户rgb图像和用户红外图像输入至预设的人脸检测网络后，获取人脸检测网络输出的与用户rgb图像对应的rgb采集区域，并获取人脸检测网络输出的与用户红外图像对应的红外采集区域，其中，rgb采集区域和红外采集区域分别是人脸检测网络对于用户rgb图像和用户红外图像的人脸检出区域，通常以矩阵方框的格式体现，并且rgb采集区域和红外采集区域的数量均为至少一个，其具体数量根据实际应用场景中人脸检测网络的网络架构而定。

在s202中，将所述rgb采集区域与所述红外采集区域进行并集处理得到至少一个并集区域，并将面积最大的所述并集区域确定为所述人脸采集区域。

对得到的任一个rgb采集区域和任一个红外采集区域，进行并集处理得到并集区域，对于可能出现的所有并集区域，将其中面积最大的并集区域确定为人脸采集区域，防止遗漏人脸数据。

为了便于理解，以公式说明本发明实施例的内容：

假设人脸检测网络为netdet，用户rgb图像为irgb，用户红外图像为iir，则将用户rgb图像输入至人脸检测网络后得到的rgb采集区域bboxrgb的公式为：

bboxrgb＝netdet(irgb)

将用户红外图像输入至人脸检测网络后得到的红外采集区域bboxir的公式为：

bboxir＝netdet(iir)

上述的bboxrgb和bboxir的数量均为至少一个，基于上述公式计算人脸采集区域bboxmax的公式为：

bboxmax＝max{bboxrgb∪bboxir}

上述的max()函数在本发明实施例中用于确定面积最大的并集区域。

通过图2所示实施例可知，在本发明实施例中，通过获取人脸检测网络输出的rgb采集区域和红外采集区域，将rgb采集区域与红外采集区域进行并集处理得到至少一个并集区域，并将面积最大的并集区域确定为人脸采集区域。本发明实施例通过将面积最大的并集区域确定为人脸采集区域，尽量地避免了人脸数据的缺失，提升了后续分析的准确性。

图3所示，是在本发明实施例二的基础上，对将面积最大的并集区域确定为人脸采集区域之前的过程进行扩展后得到的一种方法。本发明实施例提供了人脸比对方法的实现流程图，如图3所示，该人脸比对方法可以包括以下步骤：

在s301中，分析与每一个所述并集区域对应的交集区域，所述交集区域是将所述rgb采集区域与所述红外采集区域进行交集处理得到的。

将rgb采集区域与红外采集区域进行并集处理得到至少一个并集区域后，对于每一个并集区域，对构成该并集区域的rgb采集区域和红外采集区域进行交集处理得到与该并集区域对应的交集区域，交集区域即为rgb采集区域和红外采集区域的重合区域。

在s302中，若所有的所述交集区域与对应的所述并集区域之间的面积比值均大于预设的偏移阈值，则执行所述将面积最大的所述并集区域确定为所述人脸采集区域的操作。

虽然用户rgb图像和用户红外图像是同时启动采集的，但是由于rgb图像和红外图像的成像速度不同或者双目摄像头的拍摄角度不同等原因，用户rgb图像和用户红外图像之间可能存在一定偏移，故在本发明实施例中，计算每一个并集区域与对应的交集区域之间的面积比值，如果得到的所有面积比值都大于预设的偏移阈值，证明用户rgb图像和用户红外图像之间的偏移较小，则执行后续的将面积最大的并集区域确定为人脸采集区域的操作。其中，偏移阈值可根据实际应用场景进行设置，对人脸比对的精度要求越高，则设置的偏移阈值越大，比如可将偏移阈值设置为50％。

在s303中，若任一个所述交集区域与对应的所述并集区域之间的面积比值小于或等于所述偏移阈值，则输出重新采集的提示。

如果存在任一个面积比值，该面积比值小于或等于偏移阈值，证明用户rgb图像和用户红外图像之间的偏移较大，可能会影响人脸比对的结果，故输出重新采集的提示，防止人脸比对出错。

通过图3所示实施例可知，在本发明实施例中，通过分析与每一个并集区域对应的交集区域，若所有的交集区域与对应的并集区域之间的面积比值均大于预设的偏移阈值，则执行将面积最大的并集区域确定为人脸采集区域的操作；若任一个交集区域与对应的并集区域之间的面积比值小于或等于偏移阈值，则输出重新采集的提示。本发明实施例根据用户rgb图像与用户红外图像之间的偏移情况执行不同的操作，保证了图像的有效性，防止人脸比对出错。

图4所示，是在本发明实施例一的基础上，对分别对第一人脸图像和第二人脸图像进行人脸对齐的过程进行细化后得到的一种方法。本发明实施例提供了人脸比对方法的实现流程图，如图4所示，该人脸比对方法可以包括以下步骤：

在s401中，对所述第一人脸图像进行关键点提取得到对应的至少两个第一关键点位，并对所述第二人脸图像进行关键点提取得到对应的至少两个第二关键点位。

在本发明实施例中，根据关键点实现第一人脸图像和第二人脸图像的人脸对齐。首先，对第一人脸图像进行关键点提取得到对应的至少两个第一关键点位，并对第二人脸图像进行关键点提取得到对应的至少两个第二关键点位，关键点的种类可具体自定义设置，为了便于说明，在本发明实施例中假设包括三个关键点，其种类分别为左眼、右眼和嘴巴，则在进行关键点提取之后，可获取到与第一人脸图像中识别出的左眼、右眼和嘴巴分别对应的三个第一关键点位，以及与第二人脸图像中识别出的左眼、右眼和嘴巴分别对应的三个第二关键点位。其中，第一关键点位和第二关键点位均为图像中识别出的关键点所在的图像坐标，并且，对第一人脸图像和第二人脸图像进行的关键点提取的方式相同。为了实现关键点提取，可预先训练关键点网络，本发明实施例对关键点网络的具体类型不做限定，比如关键点网络可基于视觉几何组(visualgeometrygroup，vgg)结构实现。为了便于说明，假设关键点网络为netlandmark，第一人脸图像为facergb，第二人脸图像为faceir，则计算第一关键点位keypointrgb的公式为：

keypointrgb＝netlandmark(facergb)

计算第二关键点位keypointir的公式为：

keypointir＝netlandmark(faceir)

在s402中，获取预设的至少两个模板点位，并根据所有所述第一关键点位和所有所述模板点位计算第一仿射变换矩阵，根据所有所述第二关键点位和所有所述模板点位计算第二仿射变换矩阵。

与第一关键点位和第二关键点位对应的，获取与预设的模板点对应的至少两个模板点位。关键点与模板点的种类相同，即在关键点的种类包括左眼、右眼和嘴巴时，模板点的种类同样也包括左眼、右眼和嘴巴，为了便于说明，后文同样以模板点的种类包括左眼、右眼和嘴巴的情况进行阐述。在获取模板点位时，将开源的人脸图像库中的至少两个rgb图像和至少两个红外图像统一归一化至预设图像尺寸(比如设定预设图像尺寸为1024×768)，并识别出所有归一化后的图像中的模板点，将模板点所在的图像坐标的平均值作为最终的模板点位，比如先求出所有归一化后的图像中的左眼所在的图像坐标，再对所有左眼对应的图像坐标进行平均值处理得到与左眼对应的模板点位，以此类推。其中，在求出归一化后的图像位于模板点的图像坐标时，可调用关键点网络或采用其他方式进行识别。值得一提的是，为了提升确定出的模板点位的准确性，在将开源的人脸图像库中的图像归一化至预设图像尺寸后，还可对归一化后的图像进行调整，使得归一化后的图像中人脸的轮廓中心与图像中心相同，调整可通过手动调整或其他方式实现，本发明实施例对此不做限定。

在获取到所有的模板点位后，根据所有第一关键点位和所有模板点位计算第一仿射变换矩阵，并根据所有第二关键点位和所有模板点位计算第二仿射变换矩阵，其中，仿射变换是从一个二维坐标到另一个二维坐标之间的线性变换，而仿射变换矩阵则是仿射变换的变换依据。在本发明实施例中，第一仿射变换矩阵和第二仿射变换矩阵是将所有第一关键点位或所有第二关键点位作为原坐标，将所有模板点位作为目标坐标，并通过getaffinetransform()函数计算得到。为了便于说明，假设keypointsrgb是所有第一关键点位的集合，keypointsir是所有第二关键点位的集合，keypointstemplate是所有模板点位的集合，则计算第一仿射变换矩阵mrgb的公式为：

mrgb＝getaffinetransform(keypointsrgb,keypointstemplate)

计算第二仿射变换矩阵mir的公式为：

mir＝getaffinetransform(keypointsir,keypointstemplate)

在s403中，根据所述第一仿射变换矩阵对所述第一人脸图像进行仿射变换得到所述第一对齐图像，并根据所述第二仿射变换矩阵对所述第二人脸图像进行仿射变换得到所述第二对齐图像。

在本发明实施例中通过warpaffine()函数来基于仿射变换矩阵实现仿射变换，具体根据得到的第一仿射变换矩阵对第一人脸图像进行仿射变换得到第一对齐图像，假设第一对齐图像为std_facergb，则公式为：

std_facergb＝warpaffine(facergb,mrgb)

假设第二对齐图像为std_faceir，则公式为：

std_faceir＝warpaffine(faceir,mir)

其中，由于是基于归一化后的图像基于得到的模板点位，故最终得到的第一对齐图像和第二对齐图像的尺寸均为预设图像尺寸，便于后续进行规范统一的特征点提取。

通过图4所示实施例可知，在本发明实施例中，通过对第一人脸图像进行关键点提取得到至少两个第一关键点位，并对第二人脸图像进行关键点提取得到至少两个第二关键点位，获取预设的至少两个模板点位，并根据所有第一关键点位和所有模板点位计算第一仿射变换矩阵，根据所有第二关键点位和所有模板点位计算第二仿射变换矩阵，根据第一仿射变换矩阵对第一人脸图像进行仿射变换得到第一对齐图像，并根据第二仿射变换矩阵对第二人脸图像进行仿射变换得到第二对齐图像。本发明实施例通过对第一人脸图像和第二人脸图像进行仿射变换，实现了图像矫正，并使得第一对齐图像和第二对齐图像的尺寸都为固定的预设图像尺寸，提升了后续进行特征点提取的准确性。

图5所示，是在本发明实施例一的基础上，将对第一对齐图像和第二对齐图像进行融合分析得到人脸特征参数的过程进行细化后得到的一种方法。本发明实施例提供了人脸比对方法的实现流程图，如图5所示，该人脸比对方法可以包括以下步骤：

在s501中，基于所述第一对齐图像和所述第二对齐图像构建融合图像，其中，所述融合图像包括四个图像通道，第一个所述图像通道的像素值与所述第二对齐图像的像素值相同，第二个所述图像通道的像素值与所述第一对齐图像在蓝色通道上的像素值相同，第三个所述图像通道的像素值与所述第一对齐图像在绿色通道上的像素值相同，第四个所述图像通道的像素值与所述第一对齐图像在红色通道上的像素值相同。

在本发明实施例中，信息融合可以是基于第一对齐图像和第二对齐图像构建融合图像，使得融合图像涵盖第一对齐图像和第二对齐图像的所有信息。相较于第一对齐图像仅包含红色、绿色和蓝色三个图像通道，构建的融合图像包括四个图像通道，其中，融合图像的第一个图像通道的像素值与第二对齐图像的像素值相同，融合图像的第二个图像通道的像素值与第一对齐图像在蓝色通道上的像素值相同，融合图像的第三个图像通道的像素值与第一对齐图像在绿色通道上的像素值相同，融合图像的第四个图像通道的像素值与第一对齐图像在红色通道上的像素值相同。

在s502中，对所述融合图像进行减均值，并对减均值后的所述融合图像进行特征值提取得到所述人脸特征参数。

融合图像构建完毕后，对融合图像进行减均值操作，以提升融合图像的统一性。然后，对减均值后的融合图像进行特征值提取，得到人脸特征参数，同样地，特征值提取可通过神经网络、尺度不变特征变换(scale-invariantfeaturetransform，sift)算法或稳定特征加速(speeduprobustfeatures，surf)算法等方式实现。

通过图5所示实施例可知，在本发明实施例中，基于第一对齐图像和第二对齐图像构建融合图像，对融合图像进行减均值，并对减均值后的融合图像进行特征值提取得到人脸特征参数，通过对第一对齐图像和第二对齐图像进行信息融合，使得特征值提取的过程是面向rgb数据和红外数据两种数据，提升了特征值提取的准确性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的人脸比对方法，图7示出了本发明实施例提供的人脸比对装置的结构框图，参照图7，该人脸比对装置包括：

检测单元71，用于获取同时采集的用户rgb图像和用户红外图像，将所述用户rgb图像和所述用户红外图像输入预设的人脸检测网络，并根据所述人脸检测网络的输出结果分析出人脸采集区域；

对齐单元72，用于基于所述人脸采集区域对所述用户rgb图像进行人脸采集得到第一人脸图像，基于所述人脸采集区域对所述用户红外图像进行人脸采集得到第二人脸图像，并分别对所述第一人脸图像和所述第二人脸图像进行人脸对齐，将对齐后的所述第一人脸图像确定为第一对齐图像，将对齐后的所述第二人脸图像确定为第二对齐图像；

对比单元73，用于对所述第一对齐图像和所述第二对齐图像进行融合分析得到人脸特征参数，并将所述人脸特征参数与至少两个预设特征参数进行对比得到至少两个相似度，其中，每个预设特征参数与一个已注册图像对应；

输出单元74，用于若数值最大的所述相似度超过预设阈值，则将数值最大的所述相似度对应的所述已注册图像输出为人脸比对的结果。

可选地，检测单元71包括：

区域获取单元，用于获取所述人脸检测网络输出的与所述用户rgb图像对应的rgb采集区域，并获取所述人脸检测网络输出的与所述用户红外图像对应的红外采集区域，其中，所述rgb采集区域和所述红外采集区域的数量均为至少一个；

并集处理单元，用于将所述rgb采集区域与所述红外采集区域进行并集处理得到至少一个并集区域，并将面积最大的所述并集区域确定为所述人脸采集区域。

可选地，并集处理单元还包括：

分析单元，用于分析与每一个所述并集区域对应的交集区域，所述交集区域是将所述rgb采集区域与所述红外采集区域进行交集处理得到的；

执行单元，用于若所有的所述交集区域与对应的所述并集区域之间的面积比值均大于预设的偏移阈值，则执行所述将面积最大的所述并集区域确定为所述人脸采集区域的操作；

重新采集单元，用于若任一个所述交集区域与对应的所述并集区域之间的面积比值小于或等于所述偏移阈值，则输出重新采集的提示。

可选地，对齐单元72包括：

关键点提取单元，用于对所述第一人脸图像进行关键点提取得到对应的至少两个第一关键点位，并对所述第二人脸图像进行关键点提取得到对应的至少两个第二关键点位；

矩阵计算单元，用于获取预设的至少两个模板点位，并根据所有所述第一关键点位和所有所述模板点位计算第一仿射变换矩阵，根据所有所述第二关键点位和所有所述模板点位计算第二仿射变换矩阵；

仿射变换单元，用于根据所述第一仿射变换矩阵对所述第一人脸图像进行仿射变换得到所述第一对齐图像，并根据所述第二仿射变换矩阵对所述第二人脸图像进行仿射变换得到所述第二对齐图像。

可选地，对比单元73包括：

构建单元，用于基于所述第一对齐图像和所述第二对齐图像构建融合图像，其中，所述融合图像包括四个图像通道，第一个所述图像通道的像素值与所述第二对齐图像的像素值相同，第二个所述图像通道的像素值与所述第一对齐图像在蓝色通道上的像素值相同，第三个所述图像通道的像素值与所述第一对齐图像在绿色通道上的像素值相同，第四个所述图像通道的像素值与所述第一对齐图像在红色通道上的像素值相同；

减均值单元，用于对所述融合图像进行减均值，并对减均值后的所述融合图像进行特征值提取得到所述人脸特征参数。

可选地，若仅获取到用户rgb图像，检测单元71包括：

灰度处理单元，用于对所述用户rgb图像进行灰度处理，并将灰度处理后的所述用户rgb图像确定为所述用户红外图像。

因此，本发明实施例提供的人脸比对装置通过对rgb图像和红外图像进行综合分析，降低了光照环境对人脸比对的影响，提升了人脸比对的准确性。

图8是本发明实施例提供的终端设备的示意图。如图8所示，该实施例的终端设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82，例如人脸比对程序。所述处理器80执行所述计算机程序82时实现上述各个人脸比对方法实施例中的步骤，例如图1所示的步骤s101至s104。或者，所述处理器80执行所述计算机程序82时实现上述各人脸比对装置实施例中各单元的功能，例如图7所示单元71至74的功能。

示例性的，所述计算机程序82可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器81中，并由所述处理器80执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述终端设备8中的执行过程。例如，所述计算机程序82可以被分割成检测单元、对齐单元、对比单元和输出单元，各单元具体功能如下：

检测单元，用于获取同时采集的用户rgb图像和用户红外图像，将所述用户rgb图像和所述用户红外图像输入预设的人脸检测网络，并根据所述人脸检测网络的输出结果分析出人脸采集区域；

对齐单元，用于基于所述人脸采集区域对所述用户rgb图像进行人脸采集得到第一人脸图像，基于所述人脸采集区域对所述用户红外图像进行人脸采集得到第二人脸图像，并分别对所述第一人脸图像和所述第二人脸图像进行人脸对齐，将对齐后的所述第一人脸图像确定为第一对齐图像，将对齐后的所述第二人脸图像确定为第二对齐图像；

对比单元，用于对所述第一对齐图像和所述第二对齐图像进行融合分析得到人脸特征参数，并将所述人脸特征参数与至少两个预设特征参数进行对比得到至少两个相似度，其中，每个预设特征参数与一个已注册图像对应；

输出单元，用于若数值最大的所述相似度超过预设阈值，则将数值最大的所述相似度对应的所述已注册图像输出为人脸比对的结果。

所述终端设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是终端设备8的示例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器80可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器81可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将所述终端设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的终端设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。