一种人脸比对方法、系统、设备及存储介质与流程

1.本发明涉及计算机视觉技术领域，更具体地说，它涉及一种人脸比对方法、系统、设备及存储介质。


背景技术：

2.人脸比对技术又称为人脸验证技术，即判断两张图像中的人脸是否为同一个人，目前已经在国家安全、军事安全、公共安全、民事和经济等领域得到了广泛的应用，例如刷脸出入的门禁系统、刷脸支付的金融系统等，具有十分重要的研究价值和研究意义。
3.在现有的技术中，使用lbp算子提取人脸图像特征来获取整张图像的lbp编码图像，再将lbp编码图像分为若干个区域并获取对应的lbp编码直方图，从而获取整个图像的lbp编码直方图，当进行人脸验证时，使用基于直方图的图像相似度计算函数来计算两张比对图像的特征距离，若特征距离大于设定阈值便认为是同一个人的人脸。该方法的好处是能够在一定范围内减少因为没有完全对准人脸区域而造成的误差。
4.上述人脸比对方法存在诸多弊端，如模糊图像、侧脸、反光以及遮挡都会对人脸识别过程造成影响，稳定性不高，同时，这种方法在实际应用中的比对速度较慢，在某些场景下达不到实时性的要求，具有一定的局限性。


技术实现要素：

5.本发明要解决的技术问题是针对现有技术的上述不足，本发明的目的一是提供一种稳定性好、比对速度快的人脸比对方法。
6.本发明的目的二是提供一种稳定性好、比对速度快的人脸比对系统。
7.本发明的目的三是提供一种计算机设备。
8.本发明的目的四是提供一种计算机可读存储介质。
9.为了实现上述目的一，本发明提供一种人脸比对方法，包括：
10.步骤s1.构建一个基于卷积神经网络的轻量级的人脸检测模块，用于对人脸图像进行检测来确定人脸的位置信息，得到一系列人脸候选框；
11.步骤s2.对所述人脸候选框的位置信息进行解码，将每个人脸候选框转换为原图上的人脸候选框信息；
12.步骤s3.根据原图上的每个人脸候选框对人脸预测的得分score筛选出若干个人脸候选框作为检测结果，并根据检测结果将人脸部分从原图上裁剪出来，作为后续人脸特征提取模块的输入图像；
13.步骤s4.构建一个基于卷积神经网络的人脸特征提取模块，将所述输入图像输入到所述人脸特征提取模块，得到一系列人脸信息量化的特征值；
14.步骤s5.根据两个人脸的特征值计算两个人脸的相似程度，根据相似程度判断两个人脸是否为同一个人。
15.作为进一步地改进，在步骤s1中，构建人脸检测模块的过程如下：
16.步骤s11，构建输入层，为了满足卷积神经网络固定尺寸输入的要求，输入层将图像的尺寸调整为500
×
500
×
3；
17.步骤s12，构建轻量级卷积子模块，子模块主要由两种尺度的卷积核组成，分别为3
×
3的卷积核及1
×
1的卷积核，3
×
3卷积核个数为64个，1
×
1卷积核个数为32个；模块中卷积层的连接方式为1
×
1卷积核接在3
×
3卷积核之后，同时在1
×
1卷积核之后接一个非线性激活操作；
18.步骤s13，在输入层之后连接3个卷积子模块，然后通过一个flatten层将卷积模块输出的特征图展平，再通过两个全连接层对卷积层的信息整合，最后通过一个reshape层输出5
×5×
2个回归框的信息(b
x
,by,bw,bh,confidence,score)，其中，(b
x
,by)为回归框的中心点坐标，bw为回归框的宽度，bh为回归框的高度，confidence为回归框的置信度得分，acore为回归框包含人脸的得分，5
×5×
2表示将原图划分为5
×
5个区域，模型在每个区域预测2个回归框的位置信息。
19.进一步地，在步骤s2中，将回归框的位置信息解码，针对每一个回归框，使用如下公式将其转换为原图上的人脸候选框信息：
[0020][0021][0022][0023][0024]
其中，(t
x
,ty)为原图上人脸候选框的中心点坐标；tw和th分别为宽度和高度；w表示原图宽度，h表示原图高度；s表示将原图划分为s
×
s个区域，s为5；x
offset
表示该回归框所属区域的横坐标，y
offset
表示该回归框所属区域的纵坐标。
[0025]
进一步地，在步骤s3中，首先根据每个人脸候选框对人脸预测的得分score从大到小进行排列，选取得分较大的前m个候选框；然后根据回归框的置信度confidence对这m个候选框使用非极大值抑制算法进行二次筛选，选取筛选后的n个候选框作为人脸检测的结果，m、n为设定值。
[0026]
进一步地，若二次筛选后的候选框不足n个，则将筛选后的所有候选框作为检测结果。
[0027]
进一步地，在步骤s4中，构建人脸特征提取模块的过程如下：
[0028]
步骤s41.构建输入层，对输入图像进行预处理，预处理过程主要是将输入图像调整为统一尺寸；
[0029]
步骤s42.在输入层之后连接3个轻量级卷积子模块，作用是为了加速特征提取的过程，同时增加网络的非线性表达能力，从而更好地提取人脸特征；
[0030]
步骤s43.构建inception模块，该模块位于轻量级卷积子模块之后，由3种尺度的卷积层和一个最大池化层构成，3种尺度的卷积核大小分别为1
×
1、3
×
3和5
×
5，3个卷积层和1个池化层以并联的方式连接，在模块的最后将4个网络层的输出拼接起来作为inception模块的输出；
[0031]
步骤s44.构建残差模块，该模块位于inception模块之后，包含两个卷积层，所用的卷积核大小都为3
×
3，模块的输入特征图会被这两个卷积层卷积，然后将卷积得到的特征图与输入特征图逐位相加，将相加后得到的新特征图作为残差模块的输出；
[0032]
步骤s45.在残差模块之后连接两个全连接层，对卷积层的信息进行整合，最后通过k个神经元的全连接层输出，这k个神经元也即模块对人脸提取的k维特征向量。
[0033]
进一步地，在步骤s5中，所述k维特征向量可以映射为k维特征空间的一个特征点，两个人脸的特征向量就可以映射为两个特征点，这两个特征点的距离代表了两个人脸的相似程度，离得越近表明两个人脸越相似；使用余弦距离作为两个特征点的相似度距离，具体计算过程如下：
[0034]
计算两个人脸特征向量(x1,x2,...,xk)和(y1,y2,...,yk)的点积，如下式所示：
[0035]
dot
xy
＝(x1,x2,...,xk)
×
(y1,y2,...,yk)
t
[0036]
分别计算两个人脸特征向量的二范数，如下式所示：
[0037][0038][0039]
根据点积和范数计算两个特征向量的余弦距离，如下式所示：
[0040][0041]
余弦距离为两个人脸的相似度距离，若该距离大于阈值，则认为两个人脸是同一个人；否则认为两个人脸不是同一个人。
[0042]
为了实现上述目的二，本发明提供一种人脸比对系统，包括：
[0043]
人脸检测模块，用于对人脸图像进行检测来确定人脸的位置信息，得到一系列人脸候选框；
[0044]
解码模块，用于对所述人脸候选框的位置信息进行解码，将每个人脸候选框转换为原图上的人脸候选框信息；
[0045]
筛选模块，用于根据原图上的每个人脸候选框对人脸预测的得分score筛选出若干个人脸候选框作为检测结果，并根据检测结果将人脸部分从原图上裁剪出来，作为后续人脸特征提取模块的输入图像；
[0046]
人脸特征提取模块，用于对所述输入图像进行特征提取，得到一系列人脸信息量化的特征值；
[0047]
相似度比对模块，用于根据两个人脸的特征值计算两个人脸的相似程度，根据相似程度判断两个人脸是否为同一个人。
[0048]
为了实现上述目的三，本发明提供一种计算机设备，包括存储器、处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现如上述的一种人脸比对方法。
[0049]
为了实现上述目的四，本发明提供一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上述的一种人脸比对方
法。
[0050]
有益效果
[0051]
本发明与现有技术相比，具有的优点为：
[0052]
本发明通过构建一系列基于卷积神经网络的模块实现了人脸检测、人脸特征提取、人脸比对的过程，与其他现有的人脸比对技术相比，使用卷积神经网络提取人脸特征，提高了人脸特征提取的质量，同时对网络结构进行一系列改进，提高了特征提取的速度，从而提升人脸比对的效率。
附图说明
[0053]
图1为本发明的总体流程图；
[0054]
图2为本发明实际应用比对两个人脸的流程图。
具体实施方式
[0055]
下面结合附图中的具体实施例对本发明做进一步的说明。
[0056]
参阅图1、2，一种人脸比对方法，包括：
[0057]
步骤s1.构建一个基于卷积神经网络的轻量级的人脸检测模块，用于对人脸图像进行检测来确定人脸的位置信息，得到一系列人脸候选框；
[0058]
步骤s2.对人脸候选框的位置信息进行解码，将每个人脸候选框转换为原图上的人脸候选框信息；
[0059]
步骤s3.根据原图上的每个人脸候选框对人脸预测的得分score筛选出若干个人脸候选框作为检测结果，并根据检测结果将人脸部分从原图上裁剪出来，作为后续人脸特征提取模块的输入图像；
[0060]
步骤s4.构建一个基于卷积神经网络的人脸特征提取模块，将输入图像输入到人脸特征提取模块，得到一系列人脸信息量化的特征值；
[0061]
步骤s5.根据两个人脸的特征值计算两个人脸的相似程度，根据相似程度判断两个人脸是否为同一个人。
[0062]
在步骤s1中，构建人脸检测模块的过程如下：
[0063]
步骤s11，构建输入层，为了满足卷积神经网络固定尺寸输入的要求，输入层将图像的尺寸调整为500
×
500
×
3；
[0064]
步骤s12，构建轻量级卷积子模块，子模块主要由两种尺度的卷积核组成，分别为3
×
3的卷积核及1
×
1的卷积核，3
×
3卷积核个数为64个，1
×
1卷积核个数为32个；模块中卷积层的连接方式为1
×
1卷积核接在3
×
3卷积核之后，同时在1
×
1卷积核之后接一个非线性激活操作；这样做的好处是1
×
1的卷积核不会改变它的输入特征图的尺寸(不损失特征图的分辨率)，同时还能降低输入特征图的宽度，另外，在1
×
1卷积核之后加一个非线性激活操作，能够增加网络的非线性表达能力；
[0065]
步骤s13，在输入层之后连接3个卷积子模块，然后通过一个flatten层将卷积模块输出的特征图展平，再通过两个全连接层对卷积层的信息整合，最后通过一个reshape层输出5
×5×
2个回归框的信息(b
x
,by,bw,bh,confidence,score)，其中，(b
x
,by)为回归框的中心点坐标，bw为回归框的宽度，bh为回归框的高度，confidence为回归框的置信度得分，
score为回归框包含人脸的得分，5
×5×
2表示将原图划分为5
×
5个区域，模型在每个区域预测2个回归框的位置信息。
[0066]
在步骤s2中，人脸检测基础模块输出的回归框信息为模型初步预测提出的一系列人脸候选框，且预测的位置信息为归一化后的值，因此，要获得实际的人脸位置信息，需要对这些候选框的位置信息解码，并对这些候选框做进一步的筛选处理。将回归框的位置信息解码，针对每一个回归框，使用如下公式将其转换为原图上的人脸候选框信息：
[0067][0068][0069][0070][0071]
其中，(t
x
,ty)为原图上人脸候选框的中心点坐标；tw和th分别为宽度和高度；w表示原图宽度，h表示原图高度；s表示将原图划分为s
×
s个区域，本发明将原图划分为5
×
5个区域，因此s为5；x
offset
表示该回归框所属区域的横坐标，y
offset
表示该回归框所属区域的纵坐标。
[0072]
在步骤s3中，首先根据每个人脸候选框对人脸预测的得分score从大到小进行排列，选取得分较大的前m个候选框；然后根据回归框的置信度confidence对这m个候选框使用非极大值抑制算法进行二次筛选，选取筛选后的n个候选框作为人脸检测的结果，m、n为设定值。若二次筛选后的候选框不足n个，则将筛选后的所有候选框作为检测结果。
[0073]
在步骤s4中，对比两张人脸是否一致，可以将两张人脸信息量化为一系列特征值，再通过比对两者特征值的相似度来判断两者是否为同一个人，因此以卷积神经网络为基础，构建一个人脸特征提取模块来提取人脸特征。构建人脸特征提取模块的过程如下：
[0074]
步骤s41.构建输入层，对输入图像进行预处理，预处理过程主要是将输入图像调整为统一尺寸；由于人脸检测模块输出的人脸部分图像大小不一，而特征提取模块中包含全连接层，因此需要将其调整为统一尺寸；
[0075]
步骤s42.在输入层之后连接3个轻量级卷积子模块，作用是为了加速特征提取的过程，同时增加网络的非线性表达能力，从而更好地提取人脸特征；
[0076]
步骤s43.构建inception模块，该模块位于轻量级卷积子模块之后，由3种尺度的卷积层和一个最大池化层构成，3种尺度的卷积核大小分别为1
×
1、3
×
3和5
×
5，3个卷积层和1个池化层以并联的方式连接，在模块的最后将4个网络层的输出拼接起来作为inception模块的输出；引入该模块的好处是能在多个尺度提取人脸的特征，保证提取到的人脸特征足够丰富，从而增加比对的准确性；
[0077]
步骤s44.构建残差模块，该模块位于inception模块之后，包含两个卷积层，所用的卷积核大小都为3
×
3，模块的输入特征图会被这两个卷积层卷积，然后将卷积得到的特征图与输入特征图逐位相加，将相加后得到的新特征图作为残差模块的输出；引入该模块是为了使模型在训练时能够更容易收敛，同时能够增加模型的拟合能力；
[0078]
步骤s45.在残差模块之后连接两个全连接层，对卷积层的信息进行整合，最后通
过k个神经元的全连接层输出，这k个神经元也即模块对人脸提取的k维特征向量。
[0079]
在步骤s5中，k维特征向量可以映射为k维特征空间的一个特征点，两个人脸的特征向量就可以映射为两个特征点，这两个特征点的距离代表了两个人脸的相似程度，离得越近表明两个人脸越相似，因此人脸比对的问题就转换为了计算人脸特征点相似度距离的问题；使用余弦距离作为两个特征点的相似度距离，具体计算过程如下：
[0080]
计算两个人脸特征向量(x1,x2,...,xk)和(y1,y2,...,yk)的点积，如下式所示：
[0081]
dot
xy
＝(x1,x2,...,xk)
×
(y1,y2,...,yk)
t
[0082]
分别计算两个人脸特征向量的二范数，如下式所示：
[0083][0084][0085]
根据点积和范数计算两个特征向量的余弦距离，如下式所示：
[0086][0087]
余弦距离为两个人脸的相似度距离，若该距离大于阈值，则认为两个人脸是同一个人；否则认为两个人脸不是同一个人。
[0088]
一种人脸比对系统，包括：
[0089]
人脸检测模块，用于对人脸图像进行检测来确定人脸的位置信息，得到一系列人脸候选框；
[0090]
解码模块，用于对人脸候选框的位置信息进行解码，将每个人脸候选框转换为原图上的人脸候选框信息；
[0091]
筛选模块，用于根据原图上的每个人脸候选框对人脸预测的得分sxore筛选出若干个人脸候选框作为检测结果，并根据检测结果将人脸部分从原图上裁剪出来，作为后续人脸特征提取模块的输入图像；
[0092]
人脸特征提取模块，用于对输入图像进行特征提取，得到一系列人脸信息量化的特征值；
[0093]
相似度比对模块，用于根据两个人脸的特征值计算两个人脸的相似程度，根据相似程度判断两个人脸是否为同一个人。
[0094]
一种计算机设备，包括存储器、处理器；存储器用于存储计算机程序；处理器用于执行计算机程序，以实现如上述的一种人脸比对方法。
[0095]
一种计算机可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时用于实现如上述的一种人脸比对方法。
[0096]
实际应用
[0097]
下面以运营商网点核验人员办理业务时留存的证件照和现场照为例分析两张图像的人脸比对过程，通常证件照中只包含1个人脸，而现场照中可能包含多个人脸。
[0098]
1.将证件照、现场照的尺寸统一调整为500
×
500
×
3；
[0099]
2.对证件照进行人脸检测，将证件照输入人脸检测模块，从人脸检测模块输出50
个回归框的信息，对回归框的位置信息(bs,by,bw,bh)使用下式进行解码：
[0100][0101][0102][0103][0104]
针对该实施例，s的取值为5，w的取值为500，h的取值为500。根据(t
x
,ty,tw,th)得到解码后的一系列原图上的候选框位置以及它们对应的置信度得分confidence和人脸预测得分score；
[0105]
3.筛选证件照人脸候选框，根据每个候选框的score从大到小进行排列，选取得分较大的前10个候选框，然后根据confidence对这10个候选框使用非极大值抑制算法进行二次筛选，选取筛选后的1个候选框作为证件照人脸检测的结果；
[0106]
4.对现场照进行人脸检测，将现场照输入人脸检测基础模块，从人脸检测基础模块输出50个回归框的信息，对回归框的位置信息(b
x
,by,bw,bh)使用下式进行解码：
[0107][0108][0109][0110][0111]
针对该实施例，s的取值为5，w的取值为500，h的取值为500。根据(t
x
,ty,tw,th)得到解码后的一系列原图上的候选框位置以及它们对应的置信度得分confidence和人脸预测得分score；
[0112]
5.筛选现场照人脸候选框，根据每个候选框的score从大到小进行排列，选取得分较大的前20个候选框，然后根据confidence对这20个候选框使用非极大值抑制算法进行二次筛选，选取筛选后的5个候选框作为现场照人脸检测的结果，若筛选后的候选框不足5个，则剩余候选框均作为现场照人脸检测结果；
[0113]
6.针对第3步提取的证件照人脸检测结果，先对其进行图像预处理，将其尺寸调整为224
×
224
×
3，然后输入到人脸特征提取模块，经过模块一系列卷积操作后，通过160个神经元的全连接层输出160维特征向量(x1,x2,...,x
160
)；
[0114]
7.针对第5步提取的现场照人脸检测结果(可能有多个)，分别对其进行图像预处理，将尺寸统一调整为224
×
224
×
3，然后分别输入到人脸特征提取模块，经过模块一系列卷积操作后，通过160个神经元的全连接层输出160维特征向量(i1,i2,...,i
160
)、(j1,j2,...,j
160
)、(k1,k2,...,k
160
)...，将这些向量放入一个现场照人脸特征向量集合中；
[0115]
8.从现场照人脸特征向量集合中不放回取出一个特征向量，通过余弦距离公式计算其与证件照人脸特征向量的相似度距离，也即该现场照人脸与证件照人脸的相似程度，
将结果放入一个比对集合中；
[0116]
9.重复步骤8，直到现场照人脸特征向量集合中的所有向量均与证件照人脸特征向量计算相似度距离，也即现场照中的所有人脸均与证件照人脸比对完毕；
[0117]
10.从比对集合中取相似度最大的值作为现场照与证件照的人脸比对结果，将该值与设定的人脸比对阈值threshold比较，若大于该阈值，则认为现场照与证件照人脸比对通过；反之，则认为两者人脸比对不通过。
[0118]
以上仅是本发明的优选实施方式，应当指出对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些都不会影响本发明实施的效果和专利的实用性。