本发明涉及一种人脸比对方法，尤其涉及一种基于深度卷积神经网络的低质量人脸的比对方法。
背景技术：
如今，对于目标用户个人身份认证的应用无所不在，用于认证的各种识别技术在很多领域都有着巨大的市场需求，其中人脸识别因为具有自然，友好，用户受干扰少，方便等优势而有非常广阔的应用前景，如视频监控，门禁系统，安全检查以及用户身份确认等。
人脸比对是基于数字图像处理，计算机视觉和机器学习技术，利用计算机处理技术对目标人脸图像进行分析比对的过程。如今，人脸比对技术基本分为基于人造或浅层特征的比对和基于深度学习的人脸比对。在深度学习发展的大背景下，利用深度学习来训练神经网络模型基本成为首选，基于深度学习的人脸比对技术通常使用卷积神经网络结构，在参考文献【1】o.m.parkhi,a.vedaldi,a.zissermandeepfacerecognitionbritishmachinevisionconference,2015中有比较好的总结。
在基于卷积神经网络结构的人脸比对技术的应用中，质量越低的人脸数据相比于质量较高的人脸数据，要达到相似的比对效果，往往需要复杂度更高且计算资源要求更高的模型，这样极大限制了人脸比对技术应用范围，也降低了人脸比对技术可应用的灵活性。
技术实现要素：
本发明所要解决的技术问题是提供一种基于深度卷积神经网络的低质量人脸的比对方法，能够用于对低质量的人脸进行高效比对，使用更少的计算资源，并能兼顾人脸比对精度和比对速度。
本发明为解决上述技术问题而采用的技术方案是提供一种基于深度卷积神经网络的低质量人脸的比对方法，包括如下步骤：s101)建立人脸训练数据库，低质量人脸验证数据库和低质量人脸测试数据库；s102)将人脸训练数据库里的每幅图像进行归一化处理，将处理完的数据张量输入到深度卷积神经网络加全连接层中提取特征；s103)通过球面损失函数，利用梯度下降法寻找全连接层中的权重值和深度卷积神经网络中各个滤波器的权重值，在训练过程中，同时全程记录低质量人脸识别验证数据库的统计结果；s104)训练完成后，根据训练中所统计的数据，选择比对精度最高的深度卷积神经网络模型作为第一阶段模型；s105)通过迁移学习复用第一阶段深度卷积神经网络模型以及第一阶段训练所得的所有权重值，通过二范数归一化球面损失函数，利用梯度下降法寻找全连接层中的权重值和深度卷积神经网络中各个滤波器的权重值，在训练过程中，同时全程记录低质量人脸识别验证数据库的统计结果；s106)训练完成后，根据训练中所统计的数据，选择比对精度最高的深度卷积神经网络模型作为最终模型；s107)将最终模型导入到将部署的目标嵌入式平台的测试程序中，将低质量人脸测试数据库中的待检测人脸图像输入程序，通过模型计算特征向量，将特征向量与低质量人脸测试数据库中的每一幅事实答案图像的特征向量进行余弦距离的计算，当余弦值小于阈值判断为同一人。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤s101包括：为每个人按照照片中人物的姿态，是否为单人照片，是否化妆以及照片的清晰程度，选取50到100张适合人脸比对的图片，建立基本人脸数据库；利用随机算法从基本人脸数据库中选出x人，作为低质量人脸验证预选数据库，从低质量人脸验证预选数据库中利用随机算法选出y人，然后分别在每人的照片集中选取一对照片，所述一对照片中最少包含一张低质量照片，最终生成本低质量人脸验证数据库，x>y>100；从基本人脸数据库中移除低质量人脸验证预选数据库，在剩下的人脸数据库中，利用随机算法从中选出x人，作为低质量人脸测试预选数据库；从低质量人脸测试预选数据库中，利用随机算法选出y人，然后分别在每人的照片集中选取一对照片，一对照片中最少包含一张低质量照片，最终生成低质量人脸测试数据库；从基本人脸数据库中移除低质量人脸验证预选数据库和低质量人脸测试预选数据库，并将剩下的数据库作为人脸训练数据库。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述x的取值为2000，所述y的取值为500。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤s102采用3通道的彩色人脸图像作为输入数据，输入图像大小为sxs，s的取值为160，120，112，96或80；输入前，所述彩色人脸图像rgb通道数据cr,g,b在各自的通道上做归一化处理，处理公式为：
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤s102采用resnet中的四阶段主干网络构架构建深度卷积神经网络，在每个阶段的输入层利用卷积层的步进机制代替池化层直接完成下采样，并在残差单元中去除批量归一化层。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤s102采用prelu为激活函数，并在所有残差单元的卷积层去除偏置项，prelu的公式为：
α为训练学习中得到的权重，xi为对应卷积层的第i个滤波器的输出。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤s102设定网络第一阶段卷积输入层卷积核的为3x3，设定网络第二阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为128，设定网络第三阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为256，设定网络第四阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为512；并在resnet网络结构后增加卷积适配层，所述卷积适配层参数为滤波器核尺寸3x3,滤波器数目256，卷积步进长度为1。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤s103训练深度卷积神经网络的第一阶段使用的损失函数是基于softmax扩展的球面损失函数，softmax公式如下：
其中m为训练时每次输入集的样本数，n为训练集样本总类别数，wj和bj为全连接层的对应类别的权重和偏置。
本发明对比现有技术有如下的有益效果：本发明提供的基于深度卷积神经网络的低质量人脸的比对方法，能够用于对低质量的人脸进行高效比对，使用更少的计算资源，并能兼顾人脸比对精度和比对速度。
附图说明
图1为本发明基于深度卷积神经网络的低质量人脸的比对流程示意图；
图2为本发明实施例1中的深度卷积神经网络的样图；
图3为本发明实施例2中的深度卷积神经网络的样图；
图4为本发明深度卷积神经网络中的残差单元的样图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
本发明使用更少的计算资源，针对低质量的人脸，兼顾人脸比对精度和比对速度。研究表明：人脸比对的精度与被训练的深度卷积神经网络和训练神经网络时使用的损失函数有着非常紧密的关系，模型计算复杂度以及容量与训练的深度卷积神经网络也有着非常紧密的关系。通过二范数归一化球面损失函数和对基于resnet的深度卷积神经网络，参见文献【2】kaiminghe,xiangyuzhang,shaoqingren,jiansun.deepresiduallearningforimagerecognition.arxiv:1512.03385，以及文献【3】kaiminghe,xiangyuzhang,shaoqingren,jiansun.identitymappingsindeepresidualnetworks.arxiv:1603.05027；在训练阶段最小化损失函数的输出值以达到有效地训练深度卷积神经网络的目的。
实施例1
本实施例提出了一种基于深度卷积神经网络的低质量人脸的高效比对方法，参见图1。具体过程如下：
s101：建立人脸训练数据库，建立低质量人脸验证数据库，建立低质量人脸测试数据库；
s102：将人脸训练数据库里的每幅图像进行归一化处理，将处理完的数据张量输入到构建的深度卷积神经网络加全连接层中提取特征；
s103：通过球面损失函数，利用梯度下降法寻找全连接层中的权重值和深度卷积神经网络中各个滤波器的权重值，在训练过程中，同时全程记录低质量人脸识别验证数据库的统计结果
s104：训练完成后，根据训练中所统计的数据，选择比对精度最高的深度卷积神经网络模型作为第一阶段模型；
s105：通过迁移学习，复用第一阶段深度卷积神经网络模型以及第一阶段训练所得的所有权重值，通过二范数归一化球面损失函数，利用梯度下降法寻找全连接层中的权重值和深度卷积神经网络中各个滤波器的权重值，在训练过程中，同时全程记录低质量人脸识别验证数据库的统计结果；
s106：训练完成后，根据训练中所统计的数据，选择比对精度最高的深度卷积神经网络模型作为最终模型；
s107：将最终模型导入到将部署的目标嵌入式平台的测试程序中，将低质量人脸测试数据库中的待检测人脸图像输入程序，通过模型计算特征向量，将特征向量与低质量人脸测试数据库中的每一幅事实答案图像的特征向量进行余弦距离的计算，当余弦值小于阈值判断为同一人。
下面对本发明的各步骤作进一步的展开描述。
步骤s101：为了建立此步骤中的三个数据库，首先建立一个基本人脸数据库，然后在基本人脸数据库的基础上，再分别建立人脸训练数据库，低质量人脸验证数据库和低质量人脸测试数据库；
基本人脸数据库的建立：由于互联网上丰富的名人照片资源，通过网络爬虫技术，利用公开的名人数据库，公开的名人照片数据库，必应和百度图片搜索引擎，是目前最好人脸数据库构建策略。收集整理20000名人的中文姓名和英文姓名，利用搜索引擎，每次查询取查询排名前200张图片，下载后，按照每个人名为一类进行存储，经过人工过滤，为每个人选取50到100张适合人脸比对的图片，选取标准按照照片中人物的姿态(在人脸可获取的条件下，姿态尽可能丰富)，是否为单人照片(尽量选择单人照片)，是否化妆(尽量选择无妆或者淡妆)，照片的清晰程度(尽量各种不同的清晰度都有覆盖)；
建立基本人脸数据库后，利用随机算法，随机地从中选出2000人，作为低质量人脸验证预选数据库，低质量人脸验证数据库都将从低质量人脸验证预选数据库中随机产生；
从低质量人脸验证预选数据库中，利用随机算法，随机地从中选出500人，然后分别在每人的照片集中选取一对照片，一对照片中最少包含一张低质量照片，最终生成本次实施例的低质量人脸验证数据库；
从基本人脸数据库中移除低质量人脸验证预选数据库，在剩下的人脸数据库中，利用随机算法，随机地从中选出2000人，作为低质量人脸测试预选数据库，低质量人脸测试数据库都将从低质量人脸测试预选数据库中随机产生；
从低质量人脸测试预选数据库中，利用随机算法，随机地从中选出500人，然后分别在每人的照片集中选取一对照片，一对照片中最少包含一张低质量照片，最终生成本次实施例的低质量人脸测试数据库；
从基本人脸数据库中移除低质量人脸验证预选数据库和低质量人脸测试预选数据库后，剩下的数据库，将其作为人脸训练数据库；
有能力收集更多数目的人和更多人脸数据，在构建基本人脸数据库时是没有具体数量限制的，但单人尽量控制在不要超过100张，以防止训练数据过度不平横。
步骤s102中构建的深度卷积神经网络构成参见图2：
输入层的输入数据为3通道的彩色人脸图像，输入图像大小为sxs，本实施例s＝112，s的其他建议值包括但不限于160，120，96，80；
输入输入层前，人脸图像rgb通道数据cr,g,b必须在各自的通道上做归一化处理，处理公式为：
本发明构建的深度卷积神经网络使用了resnet中的四阶段主干网络构架，但是在具体设计中去除掉批量归一化层和卷积神经网络中用来下采样的池化层，批量归一化层参见文献【4】s.ioffeandc.szegedy.batchnormalization:acceleratingdeepnetworktrainingbyreducinginternalcovariateshift.arxiv:1502.03167；这样虽然提高的此深度卷积神经网络的训练难度，但是降低了整个模型训练的超参数空间，减少模型的参数总数量和提高了模型在推断时的速度。
本发明构建的深度卷积神经网络的第一阶段卷积输入层卷积核的为3x3，比现有选择的7x7的卷积核节省了五分之四的运算量；本发明去除卷积神经网络用来下采样的池化层，而在构建的深度卷积神经网络的每个阶段的输入层利用卷积层的步进机制直接完成下采样。
本发明在构建的深度卷积神经网络的残差单元，参见图4，去除了文献【3】和文献【4】建议的批量归一化层，这样除了节省了计算量，也不再需要确定批量归一化层用到的超参数，从而减少整个模型训练的超参数数量；
本发明使用prelu(parametricrectifiedlinearunit)为激活函数替换了参考文献【2】和参考文献【3】中使用的relu(rectifiedlinearunit)激活函数，
relu的公式为：
prelu的公式为：
xi为对应卷积层的第i个滤波器的输出，α权重在训练中习得，实验证明在网络训练中学习到从滤波器提取的正负相位信息，可以提高算法的整体性能；
本发明构建的深度卷积神经网络的所有残差单元中的卷积层都不使用偏置项，这样使得模型更容易训练，也减少了模型的参数总量，同时提高了模型的推断速度；
本发明构建的深度卷积神经网络使用二阶段迁移学习训练法。
步骤s103中训练深度卷积神经网络的第一阶段使用的损失函数是基于softmax扩展的球面损失函数，softmax公式如下：
其中m为训练时每次输入集的样本数，n为训练集样本总类别数，wj和bj为全连接层的对应类别的权重和偏置；
球面损失函数公式如下：
由losssoftmax公式，
其中bj＝0，wj通过二范数归一化使得||wj||＝1，||xi||为xi的二范数，再在xi与所属类
步骤s105中训练深度卷积神经网络的第二阶段使用的损失函数是基于球面损失函数扩展的二范数归一化球面损失函数，这个损失函数解决了第一阶段模型对于低质量人脸比对准确率偏低的问题，二范数归一化球面损失函数的公式如下：
lossl2normsphere公式中对losssphere的||xi||进行归一化，使得||xi||＝1，由此直接使用标量s来代替归一化前的||xi||，实验表明二范数归一化球面损失函数可以比球面损失函数更加有效地提高对低质量图片的比对精度。
步骤s107中，余弦距离计算公式如下：
其中x1，x2分别为本发明创建的深度卷积神经网络结构计算得出的被比对照片的特征向量，当余弦距离小于阈值τ时，则可以判断比对照片为同一人所属，阈值τ根据实际应用中的需要进行设定，本发明对此不做具体限制。
综上所述，本发明通过上述步骤s101-步骤s107，简化深度卷积神经网络结构，提高人脸识别的精度，满足实际应用中的需求。
由于公开的大多数模型在业界常用的lfw(labledfacesinwild)的benchmark已经处于饱和状态，对生产环境中的深度卷积神经网络模型评估没有实际的指导作用，所以这里本发明只用步骤101中制作的低质量人脸测试数据库来评估比对结果。
实施例2
本实施例对实施例1中的方案进行一些调整和扩展，参见图3：
步骤201：使用实施例1中的网络结构，设定网络第二阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为128，设定网络第三阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为256，设定网络第四阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为512；
步骤202：在resnet网络结构后增加卷积适配层，卷积适配层参数为滤波器核尺寸3x3,滤波器数目256，卷积步进长度为1，简写为k(3,3),256,s1；
步骤203：在卷积适配层后接入在实施例1中连接resnet网络结构后的网络组件。
训练实施例2中创建的深度卷积神经网络，复用在实施例1中的步骤101所建立的训练库，验证库和测试库，训练步骤使用实施例1中从步骤102到步骤107的训练步骤。
本实施例展示了灵活地配置和扩展本发明创建的深度神经卷积网络，使用实施例1步骤s101中所建立的低质量人脸测试数据库来评估本实施例的比对结果，比对结果如下：
综上所述，本发明将人脸训练数据库里的图像经过深度卷积神经网络加全连接层，提取每幅图像的基本特征；通过二范数归一化球面损失函数，最小化二范数归一化球面损失函数的值，使用梯度下降法来进行训练，结合训练过程中的统计数据，选定在统计数据中比对精度最高的深度卷积神经网络模型为最终模型。本发明提供的技术方案，参数可控，计算简化，有效提取人脸图像的特征并进行比对的方法；具体有益效果如下：1)使用尽可能少的深度卷积神经网络组件构建简单结构的深度卷积神经网络，灵活地调整模型尺寸，来适应不同应用场景；2)使用较少的参数，有效降低了模型的尺寸同时降低了计算的复杂度；3)结合使用二范数归一化球面损失函数来训练深度卷积神经网络加全连接层的人脸比对模型，提高了针对低质量的人脸的比对准确率。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。