一种基于卷积神经网络的人脸识别方法与流程

1.本发明属于人工智能技术领域，具体地说，涉及一种基于卷积神经网络的人脸识别方法。


背景技术：

2.随着各种深度学习模型的提出，卷积神经网络在人脸识别任务上的精确度逐步提高，从目前实际落地应用的项目来看(比如刷脸过闸，刷脸检票，基于人脸识别的门禁系统等)，现有的技术已经能够很好地满足城市公共交通场景下的身份识别需要。但是，对于一些旅游景区而言，人群活动范围大而且分散，基础设施建设成本高，无法像城市一样布设大量的摄像头采集人脸图像。该应用场景下，只能在重点位置设置监控设备，人脸图像在采集获得的图像中只占较小的一部分，人脸图像分辨率低，在这种情况下，现有的模型识别精度都不高。


技术实现要素：

3.针对现有技术中上述的不足，本发明提供了一种基于卷积神经网络的人脸识别方法，以更准确地识别低分辨率的人脸图像。
4.为了达到上述目的，本发明采用的解决方案是：一种基于卷积神经网络的人脸识别方法，包括以下步骤：
5.s10、搭建人脸识别网络，利用训练数据集训练所述人脸识别网络；
6.所述人脸识别网络包括dsag单元、gm池化层、gap层、全连接层和softmax层，所述dsag单元用于提取图像中的特征信息，所述dsag单元和所述gm池化层均为多个，所述dsag单元和gm池化层沿所述人脸识别网络的深度方向交替排列；
7.s20、采集获得待识别的人脸图像，将所述人脸图像输入训练完成的所述人脸识别网络，所述人脸图像顺次经过多个所述所述dsag单元和所述gm池化层后，得到中间特征图；
8.s30、利用所述gap层对所述中间特征图进行全局平均池化操作，得到初级特征向量；
9.s40、所述初级特征向量顺次经过所述全连接层和所述softmax层，最后输出得到分类结果，完成人脸识别；
10.其中，所述dsag单元可以用如下数学模型表示：
11.t1＝f
rc1
(y
n-1
)
12.t2＝f
sa1
(t1)*t1
13.t3＝f
rc2
(t2)
14.yn＝f
sa2
(t3,u)*t3
15.其中，y
n-1
和yn分别表示所述dsag单元的输入和输出，f
rc1
()表示第一特征提取组件，f
rc2
()表示第二特征提取组件，f
sa1
()代表第一空间注意力模块，f
sa2
()代表第二空间注意力模块，u代表从所述第一空间注意力模块输入到所述第二空间注意力模块的校准图，
t3和u同时作为第二空间注意力模块的输入，*表示将校准图与特征图做矩阵乘法，实现校准图对特征图的校准。
16.进一步地，所述第一特征提取组件和所述第二特征提取组件均包括顺次连接的多个卷积残差块，所述卷积残差块可以用如下公式表示；
17.mn＝λ2(f2(λ1(f1(m
n-1
))))+m
n-1
18.其中，m
n-1
和mn分别表示所述卷积残差块的输入和输出，f1和f2均表示卷积核大小为3*3的卷积层，λ1和λ2均代表激活函数relu。
19.进一步地，所述第一空间注意力模块可以用如下公式表示：
20.z1＝θ1(f
cs1
(《ap1(t1),mp1(t1),dp1(t1)》))
21.其中，t1为输入所述第一空间注意力模块的特征图，z1代表所述第一空间注意力模块输出的第一校准图，f
cs1
表示卷积核大小为1*1的卷积运算，θ1表示sigmoid激活函数，《
·
》表示进行拼接操作，ap1()表示平均池化操作层，mp1()表示最大池化操作层，dp1()表示中值池化操作层。
22.进一步地，所述第二空间注意力模块可以用如下数学模型表示：
23.x1＝ap1(t1)+mp1(t1)-ap2(t3)
24.x2＝mp1(t1)+mp2(t3)
25.x3＝θ2(f
cs2
(《x1,x2,ap2(t3),dp1(t1),dp2(t3)》))
26.其中，t1为输入所述第一空间注意力模块的特征图，t3为输入所述第二空间注意力模块的特征图，x3代表所述第二空间注意力模块输出的第二校准图，ap1()和ap2()分别表示第一空间注意力模块中和第二空间注意力模块中的平均池化操作层，mp1()和mp2()分别表示第一空间注意力模块中和第二空间注意力模块中的最大池化操作层，dp1()和dp2()分别表示第一空间注意力模块中和第二空间注意力模块中的中值池化操作层(求中位数)，f
cs2
表示卷积核大小为1*1的卷积运算，θ2表示sigmoid激活函数，《
·
》表示进行拼接操作。上述最大池化操作层、平均池化操作层和中值池化操作层都是对特征图的通道方向进行操作，输出的均为通道数量为1，长宽与输入相同的校准图。
27.进一步地，所述gm池化层的池化窗口大小为3*3，步长为2，所述gm池化层的操作可以表示为如下数学模型：
28.k1＝sort(p)
29.k2＝avg(max1(k1)+max2(k1)+max3(k1))+max1(k1)
30.其中，p为输入所述gm池化层且大小为3
×
3的矩阵，sort(p)表示将矩阵p中的元素按从大到小排序，max1(k1)表示获取数列k1中位于前端第一个位置的元素值(也就最大值)，max2(k1)表示获取数列k1中位于第二个位置的元素值，max3(k1)表示获取数列k1中位于第三个位置的元素值，avg()表示求平均值运算。通过对特征图的边缘进行填充，特征图经过gm池化层后，长宽尺寸变为原来的一半。
31.本发明的有益效果是：
32.(1)目前基于卷积神经网络的人脸识别模型中，注意力机制都是采用平均池化和最大池化，考虑到人脸图像的特点，充分准确地提取人脸图像中的边缘信息，对于提升人脸识别准确率具有重要作用，所以本发明在两个空间注意力模块中都设置了全局中值池化操作层，使得空间校准图在对特征图进行校准过程中，能够提升获取特征信息中边缘特征信
息的量，从而提升低分辨率人脸识别的准确率；
33.(2)随着网络深度的增加，卷积操作的感受野在逐步增大，本发明将第一空间注意力模块中的部分校准图输入到第二空间注意力模块中，这样能够提升第二空间注意力模块生成校准图的感受范围，使得第二校准图对不同尺度的特征信息均具有校准效果，而不是只针对与t3特征图同一尺度的特征信息，借助该方法，dsag单元能够更加充分地从低分辨率人脸图像中提取有用特征信息；
34.(3)在常规的分类网络中，都是采用最大池化操作对特征图进行处理，这样虽然操作简单，但是对特征的利用率不高，尤其是当图像分辨率较低的情况下，容易丢失原本就不多的有效信息，本发明提供的gm池化层，能够更多地保留特征图中的有用信息，提升对低分辨率图像的特征提取效果，进而提升网络对低分辨率人脸图像的识别正确率。
附图说明
35.图1为一实施例的人脸识别网络结构示意图；
36.图2为图1所示人脸识别网络中dsag单元的内部结构示意图；
37.图3为图2所示dsag单元中特卷积残差块的结构示意图；
38.图4为图2所示dsag单元中第一空间注意力模块和第二空间注意力模块的结构示意图；
39.附图中：
40.1-dsag单元，11-第一特征提取组件，12-第二特征提取组件，13-第一空间注意力模块，14-第二空间注意力模块，15-卷积残差块，2-gm池化层，3-gap层，4-全连接层，5-softmax层，6-待识别的人脸图像。
具体实施方式
41.以下结合附图对本发明作进一步描述：
42.实施例：
43.图1为本实施例中人脸识别网络的整体结构示意图，其中dsag单元1和gm池化层2对应设置，dsag单元1和gm池化层1均为4个，dsag单元1的具体结构如图2所示，每个dsag单元1中，第一特征提取组件11和第二特征提取组件均设置顺次连接的四个卷积残差块15，卷积残差块15的结构如图3所示，第一空间注意力模块13和第二空间注意力模块14的结构如图4所示。模型训练时，采用交叉熵作为损失函数，epoch设置为1500，batch-size设置为16。
44.以输入的待识别的人脸图像6的长、宽、通道数量分别为112
×
112
×
3为例，网络中，第一个dsag单元1内、第一个卷积残差块15的第一个卷积操作的作用是提升特征图通道数量，其输出的特征图尺寸为112
×
112
×
64。每个dsag单元1中，第二特征提取组件12内、第一个卷积残差块15的第一个卷积操作的作用也是提升特征图通道数量，该卷积操作输出特征图的通道数量是输入的两倍。对于网络中卷积残差块15内其他卷积操作，卷积前后不改变特征图的长宽和通道尺寸。实施例中网络不同位置特征图尺寸情况具体如下表所示：
45.[0046][0047]
gap层3用于对中间特征图进行全局平均池化操作，对于全连接层4，其输入结点数量为1024，输出结点数根据实际需要识别的身份总数设置。需要说明的是，根据应用场景，还可以将softmax层5去掉，通过计算全连接层4输出特征向量与预设样本特征向量之间的距离，实现开集识别。
[0048]
采用完全相同的训练集，分别训练vgg19，resnet101和本发明所提供的人脸识别网络，然后在相同的测试集上进行测试，结果如下表所示：
[0049][0050]
从上面的结果可以看出，与现有技术相比，本发明所提供的人脸识别网络在低分辨率人脸图像上的识别精度大幅提高，取得了实质的进步。
[0051]
在本实施例的基础上，以普通最大池化层(池化窗口大小为3*3，步长为2)替代gm池化层2，网络其他部分不变，构造得到对比网络a。在本实施例的基础上，将第一空间注意
力模块13与第二空间注意力模块14的连接部分去掉，取消第一空间注意力模块13的校准图输入到第二空间注意力模块14中，网络其他部分不变，构造得到对比网络b。采用完全相同的训练和测试过程，测试结果如下表所示：
[0052][0053]
从上面的结果可以看出，本发明提供的gm池化层2和dsag单元1，对于提高网络在低分辨率人脸图像上识别正确率均具有明显的积极作用。
[0054]
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。