本发明涉及计算机视觉技术领域，具体涉及一种多姿态多尺度的人脸验证方法。
背景技术：
基于生物特征的身份识别技术已经被广泛应用到诸如门禁、视频安防监控、人机交互等场景中。我国生物识别技术市场规模增长迅速，预计将在2020年达到300亿左右的市场规模。常用的生物识别技术主要有：人脸、视网膜、指纹、步态等方式。在众多生物识别技术中，人脸识别技术具有非侵犯性，非接触式，易操作性等优势。而且，人脸图像数据的采集也相对容易，采集交互方式更友好，可直接采用摄像头进行捕获，这使得人脸识别应用场景更加广泛。但同时人脸识别又是一个复杂和困难的技术，其原因主要有：人脸具有多样的变化性，人的脸上分布着五十多块面部肌肉，这些肌肉的运动导致不同面部表情的出现，会造成人脸特征的显著改变；随着年龄的增长，皱纹的出现和面部肌肉的松弛使得人脸的结构和纹理都将发生改变；由于光照、视角、摄取角度不同，可能会造成图像的灰度畸变、角度旋转等，降低了图像质量，增大了识别难度。因此需要一种快速、简洁、高效的人脸识别算法。
常见的人脸识别方法主要有：基于几何特征的人脸识别方法、基于模板匹配的人脸识别方法、基于模型的人脸识别方法、基于深度学习的人脸识别方法。
基于几何特征的方法：这是人脸识别技术发展中，应用最早的方法。该方法通过提取人脸的几何特征，包括人脸部件的归一化的点间距离、比率以及人脸的一些特征点，如眼角、嘴角、鼻尖等部位所构成的二维拓扑结构进行识别的方法。所构造的几何特征既要清晰区分不同对象人脸的差异，又要对光照背景条件不敏感，常规的几何特征量很难满足这些要求。因此该方法识别效果不理想。
基于模板匹配的人脸识别方法：该方法主要是利用计算模板和图像灰度的自相关性来实现识别功能。模板匹配的关键点在于得到标准的人脸模板，所以模板的标准性以及图片中的有效干扰都会对检测结果造成不可忽略的影响，模板匹配的计算结果以及阈值选取的影响问题，也会使人脸识别效果大幅下降。
基于模型的人脸识别方法：该方法通过统计分析和匹配学习找出人脸和非人脸，以及不同人脸之间的联系。和模板匹配的方法相比，基于模型方法的模板是通过样本学习获得，而非人为设定。但是这种方法提取的特征大多是图像的局部低级特征，没有考虑图像的全局信息及高级语义，因此泛化能力比较差。
基于深度学习的人脸识别方法：该类方法使用大量的训练样本进行人脸特征的自动学习，能够提取到优秀的具有区分度的人脸特征。但是，也同样存在一些不足，例如：卷积神经网络能够提取到高层次的图像语义，但是往往也会忽略到一些局部的面部关键特征；由于网络模型复杂，计算量巨大，通常无法满足实时性的要求。
由于目前的人脸识别方法大都对于姿态变化的适应性不高、因此在对不同姿态的人脸图像进行识别与验证时，效果并不是很好。针对以上问题，本发明提供了一种多姿态多尺度的人脸验证方法，用以解决复杂姿态的人脸验证问题，能够对不同姿态的人脸图像进行准确的识别与验证。
技术实现要素：
本发明解决的技术问题是：克服了现有的基于传统特征和基于卷积神经网络的人脸识别方法在复杂姿态下的人脸识别精度的不足，提供了一种多姿态多尺度的人脸验证方法。
本发明提供的一种多姿态多尺度的人脸验证方法，包括四个步骤：
步骤(1)、使用卷积神经网络对输入的人脸图像进行姿态估计；其中卷积层激活函数采用RELU激活函数，池化层采用最大值池化；输入的人脸图像为给定的固定尺寸大小，经过多层卷积池化操作，之后连接到三个全连接层，输出的特征在深度轴上为固定大小3，代表人脸的三种姿态角度，分别是人脸的俯仰角度(也就是上下翻转的角度)Pitch，人脸左右转头的角度(也就是左右翻转的角度)Yaw和人脸左右倾斜的角度(也就是左右旋转的角度)Roll。
步骤(2)、根据三种姿态角度对人脸姿态进行归一化调整；首先对人脸左右倾斜的角度Roll进行调整，采用仿射变换进行图像旋转，使得Roll变为0度；之后，对于人脸左右转头的角度Yaw，使用正弦变换，通过压缩过大的半边脸和拉伸过小的半边脸使得左右两边脸的大小相同(此时即可认为Yaw已经调整为0度)；对于人脸的俯仰角Pitch，使用正弦变换，通过压缩过大的半边脸和拉伸过小的半边脸使得上下两边脸的大小相同；人脸姿态归一化完成后，输出标准化的正面人脸图像。
步骤(3)、对步骤(2)中得到的正面人脸图像截取大、中、小三种尺度的人脸图像，分别对应带背景的人脸(大尺度)、完整人脸(中尺度)和眉毛以下部分人脸(小尺度)；将这三种尺度的人脸图像分别输入到人脸识别的卷积神经网络中进行特征提取，得到三个特征向量；在进行人脸验证时，对两张待测人脸图像进行特征提取，提取出三对不同尺度的特征向量，分别计算余弦距离，并归一化为相似度，最终输出两张人脸图像在三种尺度下的三个相似度。
步骤(4)、根据步骤(3)输出的两张人脸图像的相似度，组成一个三维向量，使用支持向量机SVM进行二分类，来判断两张人脸图像是否属于同一个人。
进一步地，上述多姿态多尺度的人脸验证方法中，步骤(1)所述的在使用卷积神经网络对输入的人脸图像进行姿态估计之前需要事先进行模型的训练，训练样本为带三种角度标签(角度label)的人脸图像。角度label是在姿态估计的卷积神经中用到，需要事先知道人脸图像的角度用来训练姿态估计模型。
进一步地，上述多姿态多尺度的人脸验证方法中，步骤(2)中所述的采用仿射变换进行图像旋转是指，采用以双眼的中心为圆心，将双眼的纵坐标旋转为同一数值，以双眼平齐来保证人脸的Roll为0度。
进一步地，上述多姿态多尺度的人脸验证方法中，所述步骤(2)中在对人脸的俯仰角Pitch进行调整以及对人脸左右转头的角度Yaw进行调整过程中，被拉伸的半边脸需要使用插值的方法对空白的部分进行填补。进一步地，上述多姿态多尺度的人脸验证方法中，步骤(3)中在对两张待测人脸图像进行特征提取之前需要事先进行模型的训练，训练样本为带身份标签(身份label)的人脸图像。身份标签是在人脸识别的卷积神经网络中用到的，可以是1,2,3,4...，用来表示该人脸图像是属于第1,2,3,4...个人的，用来区分同一个人和非同一个人。身份label的总数为训练样本包含的总人数。例如样本包含10个人，身份label就是从1到10，用来表明人脸图像的归属。
进一步地，上述多姿态多尺度的人脸验证方法中，步骤(4)中所述的支持向量机SVM在进行二分类之前需要事先训练模型，训练样本为带类别标记的3维相似度向量，类别标记一共有两类，第一类表示输入的向量代表的两张人脸属于同一个人，第二类表示输入的向量代表的两张人脸不属于同一个人。一般类别标记为0表示该向量代表的两个人脸非同一个人，类别标记为1表示该向量代表的两个人脸是同一个人。
本发明的原理在于：
本发明提供一种多姿态多尺度的人脸验证方法，该方法以任意姿态的两个人脸的图像为输入，可以快速准确地验证两个人脸是否属于同一个人。本方法包含四个步骤：首先将输入图像传递给卷积神经网络模型，得到三个姿态角度；然后根据得到的三个姿态角度对人脸图像进行一系列的几何变换，得到标准正面人脸图像；将上一步的正面人脸图像截取不同的部分，得到大、中、小3种尺度，并输入卷积神经网络，分别提取出3种人脸特征，对于两张人脸图像，分别计算3种尺度下人脸特征的余弦距离并归一化为3个人脸相似度；将上一步得到的3个人脸相似度组成3维向量输入SVM分类模型进行二分类，根据分类结果判断待测的两张人脸图像是否属于同一个人。本发明可实现对两张人脸图像的快速验证，尤其在处理多姿态人脸验证的问题上具有较高的准确率。
本发明与现有技术相比的优点在于：
1、针对复杂姿态人脸图像人脸识别和验证效果精度低的问题，本发明提出的多姿态多尺度的人脸验证方法，首先对图像上的人脸进行姿态归一化，保证待测人脸的姿态一致、均为标准正脸姿态，可以有效降低姿态问题对人脸验证的影响。
2、本发明提出的多姿态多尺度的人脸验证方法，对比现有的单一尺度的人脸特征提取与识别，多尺度方法强调人脸比较的部分对部分与整体对整体的多次相似度比较，可有效减少单一尺度下的相似度误差对识别率造成的影响。
附图说明
图1为基于本发明流程图；
图2为人脸姿态估计网络结构图；
图3为人脸姿态归一化处理效果图；
图4为人脸特征提取效果示意图；
图5为人脸验证效果示意图。
具体实施方式
图1给出了多姿态多尺度的人脸验证方法的总体处理流程，下面结合其他附图及具体实施方式进一步说明本发明。
本发明提供多姿态多尺度的人脸验证方法，主要步骤介绍如下：
1、离线训练步骤
1)人脸姿态估计
第一步先对姿态估计部分进行训练，采用随机梯度下降法对图2所示模型进行训练，设置初始学习率α为0.01，总迭代次数为80000次，迭代50000次以后每迭代10000次调整学习率α为原来的0.1倍，这种逐步调整学习率的方法有利于模型收敛到更优解。
2)人脸特征提取
第二步对人脸特征提取部分进行训练，网络结构使用现有的VGG-FACE。由于输入图像有3种尺度，因此对不同的尺度需要单独训练，训练完成之后将会得到分别对应大、中、小尺度人脸的3个特征提取模型。本课题同样采用梯度下降法进行训练，初始学习率α为0.001(第一步人脸检测中的0.1倍)，总迭代次数为80000次，迭代50000次以后每迭代10000次调整学习率α为原来的0.1倍。
3)人脸验证
第三步对SVM人脸验证模型进行训练，对一个三维的向量进行二分类，几何意义即在三维空间内找到一个曲面，将所有的点分为曲面上方与曲面下方两个部分。关键在于使用的核函数，经过测试，发现使用多项式核函数的分类效果较好。
2、人脸姿态估计步骤
首先使用一个卷积神经网络结构对输入图像进行卷积特征提取，卷积层激活函数采用RELU激活函数，池化层采用最大值池化。给定尺寸大小为224x224的输入图片，经过多层卷积池化操作，输出的结果在深度轴上为固定大小3，网络结构改进自VGG-16，保持conv5之前的结构不变、将之后用于分类的softmax层去掉换成输出为3的全连接层，卷积层零填充数目为2，池化层的池化核尺寸大小均为2x2，池化层步幅均为2。网络结构如图2所示。
3、人脸姿态归一化步骤
首先对人脸左右倾斜的角度Roll进行调整。采用仿射变换进行图像旋转，以两眼连线的中点为旋转中心，旋转整个人脸图像直到两眼平齐，使得Roll变为0度。之后，对于左右翻转角度Yaw，使用正弦变换，通过压缩过大的半边脸和拉伸过小的半边脸使得左右两边脸的大小相同，此时即可认为Yaw已经调整为0度，变换公式如(1.1)。对于人脸俯仰角Pitch，采用的方法与Yaw的调整相似，同样是通过正弦变换，通过压缩过大的半边脸和拉伸过小的半边脸使得上下两边脸的大小相同。如图3。
其中，x和y为原图像的像素坐标，x'、y'为变换后的像素坐标，m为原图像的宽度，sign为符号函数，α为左右旋转角Yaw。
4、人脸特征提取步骤
该步骤的关键点在于输入样本的准备。通过将一张人脸截取不同的部分、获得3种尺度的人脸分别输入神经网络进行特征提取，并将各个尺度的特征向量分别计算相似度。输出为3个相似度数值。本步骤所用到的神经网络可以是任意的人脸识别网络，如VGG-Face、Facenet等。
将上一步得到的2张待测样本的正面人脸图像截取大、中、小三种尺度，分别对应带背景的人脸(大尺度)、完整人脸(中尺度)和眉毛以下部分人脸(小尺度)。将这3种人脸图像分别输入到人脸识别的神经网络中进行特征提取，得到三个特征向量，2张待测人脸提取出3组、一共6个特征向量。之后每一组特征向量分别计算余弦距离，并归一化为相似度，最终输出结果为两张人脸在3种尺度下的3个相似度。如图4。
5、人脸验证步骤
将上一步得到的3个相似度组成向量输入SVM模型中进行分类，如果输出结果为1代表两个人脸属于同一个人，如果输出结果为0代表两个人脸不属于同一个人。如图5。
本发明未详细阐述的技术内容属于本领域技术人员的公知技术。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。