一种适合前端的人脸识别网络的设置方法与流程

[0001]
本发明涉及人脸图像识别技术领域，特别涉及一种适合前端的人脸识别网络的设置方法。


背景技术：

[0002]
随着科技的不断发展，特别是计算机视觉技术的发展，人脸识别技术广泛应用于信息安全、电子认证等各个领域，图像特征提取方法具有良好的识别性能。人脸识别是指基于已知的人脸样本库，利用图像处理和/或模式识别技术从静态或者动态场景中，识别一个或多个人脸的技术。但是目前的人脸识别技术包括1、应用到人脸识别中的各种网络:inception、resnet、vgg、mobilenet、alexnet、googlenet、inception-resnet；2、人脸识别训练的框架结构有facenet和insightface。目前人脸识别技术包括的缺点有：1、当前前端的网络，使用了独立卷积、特征图加法、各种尺寸的卷积核等，不适合很多ai芯片，导致ai芯片无法实现其网络。2、计算量相对较大。3、识别率相对较低。


技术实现要素：

[0003]
为了解决上述现有技术中存在的问题，本发明的目的在于：
[0004]
1、使用的算子很少，只有3
×
3的卷积核、采用特征图拼接(concat)操作、下采样操作和全连接操作。
[0005]
2、计算量小，计算量不到1g的乘法，模型(参数为浮点)大小只有29m。
[0006]
3、提高人脸识别率使之达到99.8％。
[0007]
本发明提供一种适合前端的人脸识别网络结构的设置方法，所述方法包括以下步骤：
[0008]
s1，对输入的图像数据data先进行均衡化处理，先进行减128，生成数据data1，再对数据data1进行除以128，生成数据data2；
[0009]
s2，对s1中的data1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64；生成的特征图为96
×
96
×
64，命名为conv0；
[0010]
s3，进行第一种降低特征图长宽处理，即：
[0011]
s3.1，将conv0进行卷积核为3
×
3、步长为2的卷积处理，生成特征图的深度为32；生成的特征图为48
×
48
×
32，命名为conv1；
[0012]
s3.2,将conv0进行下采样处理，生成特征图的深度为32；生成的特征图为48
×
48
×
64，命名为pool1；
[0013]
s4，产生第一模块，即：
[0014]
s4.1,将pool1进行三次卷积处理，生成特征图的深度为64；生成的特征图为48
×
48
×
32，命名为block1_conv3；
[0015]
s4.2,将block1_conv3与conv1拼接，生成结果命名为block1_concat1；
[0016]
s5，产生第二模块，即：
[0017]
s5.1，通过进行第二种降低特征图长宽处理，输出结果命名为block2_conv0；
[0018]
s5.2，将block2_conv0进行二次卷积处理，生成特征图的深度为48。生成的特征图为24
×
24
×
48，命名为block2_conv2；
[0019]
s5.3，将block2_conv2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为48；生成的特征图为24
×
24
×
48，命名为block2_conv3；
[0020]
s5.4,将block2_conv3与block2_conv0拼接，生成结果命名为block2_concat1；
[0021]
s5.5,将block2_conv2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64；生成的特征图为24
×
24
×
64，命名为block2_conv4；
[0022]
s6,产生第三模块，即，
[0023]
s6.1,产生第三模块的第一部分，即：
[0024]
s6.1.1,通过进行第二种降低特征图长宽处理，输出结果的特征图分别命名为block31_conv0，block31_pool1，block31_pool2；
[0025]
s6.1.2,将block31_conv0进行二次卷积处理，生成特征图的深度为80；生成的特征图为12
×
12
×
80，命名为block31_conv2；
[0026]
s6.1.3,将block31_conv2与block31_pool1拼接，生成结果命名为block31_concat1；
[0027]
s6.1.4,将block31_concat1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64,生成的特征图为12
×
12
×
64，命名为block31_conv3；
[0028]
s6.1.5,将block31_conv3与block31_pool2拼接，生成结果命名为block31_concat2；
[0029]
s6.1.6,将block31_concat1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为96,生成的特征图为12
×
12
×
96，命名为block32_conv1；
[0030]
s6.2,产生第三模块的第二部分；
[0031]
s6.2.1，将block31_concat2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为48，生成的特征图为12
×
12
×
48，命名为block31_conv4；
[0032]
s6.2.2，将block32_conv1与block31_conv4拼接，生成结果命名为block32_concat1；
[0033]
s6.2.3，将block32_concat1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为96，生成的特征图为12
×
12
×
96，命名为block32_conv2；
[0034]
s6.2.4，将block32_conv2与block31_conv4拼接，生成结果命名为block32_concat2；
[0035]
s6.2.5，将block32_concat2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为96，生成的特征图为12
×
12
×
96，命名为block32_conv3；
[0036]
s6.2.6，将block32_conv3与block31_concat2拼接，生成结果命名为block32_concat3；
[0037]
s6.3,产生第三模块的第三部分；
[0038]
s6.3.1，将block32_concat3进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为48，生成的特征图为12
×
12
×
48，命名为block33_conv1；
[0039]
s6.3.2，将block33_conv1与block32_conv3拼接，生成结果命名为block33_
concat1；
[0040]
s6.3.3，将block33_concat1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为96，生成的特征图为12
×
12
×
96，命名为block33_conv2；
[0041]
s6.3.4，将block33_conv2与block33_conv1拼接，生成结果命名为block33_concat2；
[0042]
s6.3.5，将block33_concat2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为96，生成的特征图为12
×
12
×
96，命名为block33_conv3；
[0043]
s6.3.6，将block33_conv3与block32_concat3拼接，生成结果命名为block33_concat3；
[0044]
s7,产生第四模块；
[0045]
s7.1，通过进行第二种降低特征图长宽处理，其中in_data1＝block33_concat3,in_data2＝block33_conv3,in_data3＝block33_concat3,n＝64；输出结果命名为block4_conv0＝out_conv1，block4_pool1＝out_pool1,block4_pool2＝out_pool2；
[0046]
s7.2，将block4_conv0进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为160，生成的特征图为6
×6×
160，命名为block4_conv1；
[0047]
s7.3，将block4_conv1与block4_pool1拼接，生成结果命名为block4_concat1；
[0048]
s7.4，将block4_concat1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为128，生成的特征图为6
×6×
128，命名为block4_conv2；
[0049]
s7.5，将block4_conv2与block4_conv0拼接，生成结果命名为block4_concat2；
[0050]
s7.6，将block4_concat2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为192，生成的特征图为6
×6×
192，命名为block4_conv3；
[0051]
s7.7，将block4_conv3与block4_pool2拼接，生成结果命名为block4_concat3；
[0052]
s8,全连接，即将block4_conv3全连接到192个数据上。
[0053]
所述的每个模块使用的卷积都是3
×
3的卷积核的卷积处理，卷积后进行归一化处理，再进行激励函数的处理。
[0054]
所述的下采样处理为，处理内核大小为2
×
2、步长为2的卷积处理。
[0055]
所述步骤4.1中所述的三次卷积处理为，卷积核为3
×
3、步长为1的卷积处理；
[0056]
[1]将pool1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为32，生成的特征图为48
×
48
×
32，命名为block1_conv1；
[0057]
[2]将block1_conv1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64，生成的特征图为48
×
48
×
32，命名为block1_conv2；
[0058]
[3]将block1_conv2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64，生成的特征图为48
×
48
×
32，命名为block1_conv3。
[0059]
所述步骤s5.1中所述的进行第二种降低特征图长宽处理：
[0060]
输入数据分别为in_data1,in_data2,in_data3,n；
[0061]
[1]将in_data1进行卷积核为3
×
3、步长为2的卷积处理，生成特征图的深度为n；生成的特征图为w
×
h
×
n，命名为out_conv1；
[0062]
[2]将in_data2进行下采样处理，处理内核大小为2
×
2、步长为2的下采样处理，生成特征图与输入特征图的深度一样，这里设为m；生成的特征图为w
×
h
×
m，命名为out_
pool1；
[0063]
[3]将in_data3进行下采样处理，处理内核大小为2
×
2、步长为2的下采样处理，生成特征图与输入特征图的深度一样，这里设为m；生成的特征图为w
×
h
×
m，命名为out_pool2。
[0064]
其中in_data1＝block1_concat1,in_data2＝block1_concat1,n＝48；输出结果命名为block2_conv0＝out_conv1，block2_pool1＝out_pool1；
[0065]
[2]将block2_conv0进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64；生成的特征图为24
×
24
×
64，命名为block2_conv1；
[0066]
[3]将block2_conv1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为48；生成的特征图为24
×
24
×
48，命名为block2_conv2；
[0067]
[4]将block2_conv2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为48；生成的特征图为24
×
24
×
48，命名为block2_conv3。
[0068]
所述步骤s5.2中的二次卷积处理，如下：
[0069]
[1]将block2_conv0进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64，生成的特征图为24
×
24
×
64，命名为block2_conv1；
[0070]
[2]将block2_conv1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为48，生成的特征图为24
×
24
×
48，命名为block2_conv2。
[0071]
所述步骤s6.1.1，其中in_data1＝block2_concat1,in_data2＝block2_conv4,in_data3＝block2_concat1,n＝48；输出结果命名为block31_conv0＝out_conv1，block31_pool1＝out_pool1，block31_pool2＝out_pool2。
[0072]
所述步骤6.1.2中的二次卷积处理，如下：
[0073]
[1]将block31_conv0进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为128，生成的特征图为12
×
12
×
128，命名为block31_conv1；
[0074]
[2]将block31_conv1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为80，生成的特征图为12
×
12
×
80，命名为block31_conv2。
[0075]
本申请的优势在于：使用了下采样直达全连接层的思想，将每个小模块结果的特征图经过下采样后直接与全连接层连接，从而有效的利用了每个小模块提取的特征。在每个卷积中，使用交叉拼接上面卷积的结果，有效避免局部特征的加强和特征的消失。每个模块的输入中都拼接上面各个模块的结果，从而避免梯度的消失。使用单独设计输出特征图个数的方案，可以有效的降低计算量，最大程度的提高卷积提取特征的效率。
附图说明
[0076]
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
[0077]
图1是本发明涉及的网络结构的示意框图。
[0078]
图2-1至图2-22是本发明的具体实施方式的流程框图。
具体实施方式
[0079]
在人脸识别领域，目前一些相关的技术领域的术语包括：
[0080]
1、深度学习：深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
[0081]
2、卷积核：卷积核是用来做图像处理时的矩阵，与原图像做运算的参数。卷积核通常是一个列矩阵数组成(例如3*3的矩阵)，该区域上每个方格都有一个权重值。矩阵形状一般是1
×
1,3
×
3,5
×
5,7
×
7,1
×
3,3
×
1,2
×
2,1
×
5,5
×
1，
…
。
[0082]
3、卷积：将卷积核的中心放置在要计算的像素上，一次计算核中每个元素和其覆盖的图像像素值的乘积并求和，得到的结构就是该位置的新像素值，这个过程称为卷积。
[0083]
4、特征图：输入数据通过卷积计算后得到的结果称之为特征图，数据通过全连接后生成的结果也称为特征图。特征图大小一般表示为长
×
宽
×
深度，或1
×
深度
[0084]
5、步长：卷积核中心位置再坐标上移动的长度。
[0085]
6：两端非对齐处理：图像或数据通过卷积核大小为3且步长为2处理时，会导致两侧数据不够，此时采用丢弃两侧或一侧数据，这种现象叫做两端非对其处理。
[0086]
7、前端人脸检测：在ai芯片或普通芯片上使用的人脸检测功能称之为前端人脸检测，前端人脸检测的速度和正确率都比云端服务器人脸检测的低。
[0087]
8、激励函数：神经网络中的每个节点接受输入值，并将输入值传递给下一层，输入节点会将输入属性值直接传递给下一层(隐层或输出层)。在神经网络中，隐层和输出层节点的输入和输出之间具有函数关系，这个函数称为激励函数。常见的激励函数有：线性激励函数、阈值或阶跃激励函数、s形激励函数、双曲正切激励函数和高斯激励函数等。
[0088]
本申请中，如图1所示，设置的网络结构具体为：
[0089]
1、网络结构
[0090]
1)网络的特点。网络中使用了下采样直达全连接层的思想，将每个小模块结果的特征图经过下采样后直接与全连接层连接，从而有效的利用了每个小模块提取的特征。在每个卷积中，使用交叉拼接上面卷积的结果，有效避免局部特征的加强和特征的消失。每个模块的输入中都拼接上面各个模块的结果，从而避免梯度的消失。
[0091]
2)在具体的每层卷积的设计中，使用单独设计输出特征图个数的方案，可以有效的降低计算量，最大程度的提高卷积提取特征的效率。进行一次每个小模块的特征图。
[0092]
如图1所示，首先将输入的图像数据data先进行均衡化处理，先进行减128，生成数据data1，再对data1进行除以128，生成数据data2；然后对data1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64。生成的特征图为96
×
96
×
64，命名为conv0；经历第一种降低特征图长宽处理，所述的第一种降低特征图长宽处理如下：
[0093]
[1.1]将conv0进行卷积核为3
×
3、步长为2的卷积处理，生成特征图的深度为32。生成的特征图为48
×
48
×
32，命名为conv1。
[0094]
[1.2]将conv0进行下采样处理，处理内核大小为2
×
2、步长为2的卷积处理，生成特征图的深度为32。生成的特征图为48
×
48
×
64，命名为pool1。
[0095]
再经过层层卷积处理，激励函数处理，使用下采样处理，生成第一、第二、第三和第四模块，期间，经历第二种降低特征图长宽处理。所述的第二种降低特征图长宽处理进一步包括：
[0096]
输入数据分别in_data1,in_data2,in_data3,n；
[0097]
[2.1]将in_data1进行卷积核为3
×
3、步长为2的卷积处理，生成特征图的深度为n，生成的特征图为w
×
h
×
n；
[0098]
[2.2]将in_data2进行下采样处理，处理内核大小为2
×
2、步长为2的下采样处理，生成特征图与输入特征图的深度一样，这里设为m，生成的特征图为w
×
h
×
m；
[0099]
[2.3]将in_data3进行下采样处理，处理内核大小为2
×
2、步长为2的下采样处理，生成特征图与输入特征图的深度一样，这里设为m，生成的特征图为w
×
h
×
m。
[0100]
所述的网络的最后一个模块即第四模块最终全连接到192个数据上。
[0101]
此外，本申请中涉及的具体地设置方法包括如下内容，如图2-1至图2-22所示：
[0102]
2、网络模块
[0103]
1)每个模块使用的卷积都是3
×
3的卷积核的卷积处理，卷积后进行归一化处理，再进行激励函数的处理。这种处理在下面简称为卷积处理。
[0104]
2)对输入的图像数据data先进行均衡化处理，先进行减128，生成数据data1，再对data1进行除以128，生成数据data2；
[0105]
3)对data1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64。生成的特征图为96
×
96
×
64，命名为conv0；
[0106]
4)第一种降低特征图长宽处理。
[0107]
[1]将conv0进行卷积核为3
×
3、步长为2的卷积处理，生成特征图的深度为32。生成的特征图为48
×
48
×
32，命名为conv1。
[0108]
[2]将conv0进行下采样处理，处理内核大小为2
×
2、步长为2的卷积处理，生成特征图的深度为32。生成的特征图为48
×
48
×
64，命名为pool1。
[0109]
5)第一个模块。
[0110]
[1]将pool1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为32。生成的特征图为48
×
48
×
32，命名为block1_conv1。
[0111]
[2]将block1_conv1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64。生成的特征图为48
×
48
×
32，命名为block1_conv2。
[0112]
[3]将block1_conv2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64。生成的特征图为48
×
48
×
32，命名为block1_conv3。
[0113]
[4]将block1_conv3与conv1拼接，生成结果命名为block1_concat1。
[0114]
6)第二种降低特征图长宽处理。
[0115]
输入数据分别为in_data1,in_data2,in_data3,n。
[0116]
[1]将in_data1进行卷积核为3
×
3、步长为2的卷积处理，生成特征图的深度为n。生成的特征图为w
×
h
×
n，命名为out_conv1。
[0117]
[2]将in_data2进行下采样处理，处理内核大小为2
×
2、步长为2的下采样处理，生成特征图与输入特征图的深度一样，这里设为m。生成的特征图为w
×
h
×
m，命名为out_pool1。
[0118]
[3]将in_data3进行下采样处理，处理内核大小为2
×
2、步长为2的下采样处理，生成特征图与输入特征图的深度一样，这里设为m。生成的特征图为w
×
h
×
m，命名为out_pool2。
[0119]
7)第二个模块。
[0120]
[1]通过6)第二种降低特征图长宽处理，其中in_data1＝block1_concat1,in_data2＝block1_concat1,n＝48。输出结果命名为block2_conv0＝out_conv1，block2_pool1＝out_pool1。
[0121]
[2]将block2_conv0进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64。生成的特征图为24
×
24
×
64，命名为block2_conv1。
[0122]
[3]将block2_conv1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为48。生成的特征图为24
×
24
×
48，命名为block2_conv2。
[0123]
[4]将block2_conv2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为48。生成的特征图为24
×
24
×
48，命名为block2_conv3。
[0124]
[5]将block2_conv3与block2_conv0拼接，生成结果命名为block2_concat1。
[0125]
[6]将block2_conv2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64。生成的特征图为24
×
24
×
64，命名为block2_conv4。
[0126]
8)第三个模块。
[0127]
第一部分：
[0128]
[1]通过上述6)第二种降低特征图长宽处理，其中in_data1＝block2_concat1,in_data2＝block2_conv4,in_data3＝block2_concat1,n＝48。输出结果命名为block31_conv0＝out_conv1，block31_pool1＝out_pool1，block31_poo2＝out_pool2。
[0129]
[2]将block31_conv0进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为128。生成的特征图为12
×
12
×
128，命名为block31_conv1。
[0130]
[3]将block31_conv1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为80。生成的特征图为12
×
12
×
80，命名为block31_conv2。
[0131]
[4]将block31_conv2与block31_pool1拼接，生成结果命名为block31_concat1。
[0132]
[5]将block31_concat1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为64。生成的特征图为12
×
12
×
64，命名为block31_conv3。
[0133]
[6]将block31_conv3与block31_pool2拼接，生成结果命名为block31_concat2。
[0134]
[7]将block31_concat1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为96,生成的特征图为12
×
12
×
96，命名为block32_conv1。
[0135]
第二部分：
[0136]
[1]将block31_concat2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为48。生成的特征图为12
×
12
×
48，命名为block32_conv4。
[0137]
[2]将block32_conv1与block31_conv4拼接，生成结果命名为block32_concat1。
[0138]
[3]将block32_concat1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为96。生成的特征图为12
×
12
×
96，命名为block32_conv2。
[0139]
[4]将block32_conv2与block32_conv4拼接，生成结果命名为block32_concat2。
[0140]
[5]将block32_concat2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为96。生成的特征图为12
×
12
×
96，命名为block32_conv3。
[0141]
[6]将block32_conv3与block31_concat2拼接，生成结果命名为block32_concat3。
[0142]
第三部分：
[0143]
[1]将block32_concat3进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为48。生成的特征图为12
×
12
×
48，命名为block33_conv1。
[0144]
[2]将block33_conv1与block32_conv3拼接，生成结果命名为block33_concat1。
[0145]
[3]将block33_concat1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为96。生成的特征图为12
×
12
×
96，命名为block33_conv2。
[0146]
[4]将block33_conv2与block33_conv1拼接，生成结果命名为block33_concat2。
[0147]
[5]将block33_concat2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为96。生成的特征图为12
×
12
×
96，命名为block33_conv3。
[0148]
[6]将block33_conv3与block32_concat3拼接，生成结果命名为block33_concat3。
[0149]
9)第四个模块。
[0150]
[1]通过6)第二种降低特征图长宽处理，其中in_data1＝block33_concat3,in_data2＝block33_conv3,in_data3＝block33_concat3,n＝64。输出结果命名为block4_conv0＝out_conv1，block4_pool1＝out_pool1,block4_pool2＝out_pool2。
[0151]
[2]将block4_conv0进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为160。生成的特征图为6
×6×
160，命名为block4_conv1。
[0152]
[3]将block4_conv1与block4_pool1拼接，生成结果命名为block4_concat1。
[0153]
[4]将block4_concat1进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为128。生成的特征图为6
×6×
128，命名为block4_conv2。
[0154]
[5]将block4_conv2与block4_conv0拼接，生成结果命名为block4_concat2。
[0155]
[6]将block4_concat2进行卷积核为3
×
3、步长为1的卷积处理，生成特征图的深度为192。生成的特征图为6
×6×
192，命名为block4_conv3。
[0156]
[7]将block4_conv3与block31_pool2拼接，生成结果命名为block4_concat3。
[0157]
10)全连接
[0158]
将block4_conv3全连接到192个数据上。
[0159]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。