一种用深度神经网络进行人脸识别的方法与流程

本发明涉及人脸识别技术，尤其涉及一种用深度神经网络进行人脸识别的方法。

背景技术：

无约束图像中的人脸识别是算法感知革命的前沿。事实上，无约束人脸识别技术的普及，不仅会给人脸识别技术带来更广阔的应用前景，而且会从正式的应用场景进入更为普遍的生活场景。iphone的faceid就是一个典型的例子。在这一过程中，必须提高人脸识别技术的鲁棒性。当前最先进的二维人脸识别技术在标准数据集或严格设置的应用场景中表现良好。然而，在不满意的环境(侧脸和遮挡)下，其性能会急剧下降。

现有技术对于传统2d网络人脸识别侧脸准确率不高的情况作了优化，通过采集人脸上的特征点位置，与一个通用三维人脸模型上的特征点位置进行对比，估计照片拍摄的角度，并对二维图像转成正脸后再进行人脸识别。这样的做法问题在于，对于侧脸寻找特征点比正脸难得多。另一方面识别对象的特征点分布涉及到个人自身的特征五官相对位置，只能说是跟通用三维模型大致相似，影响角度估计的精度。最严重的问题在于，在旋转2d图片时，将侧脸旋转为正脸的过程不可避免的转出原图中被遮挡的部分(鼻尖后面)，这部分没有原始数据，只能通过一些方式补全，影响识别效果。同时，对于2d照片的旋转是一个三维空间的操作，没有深度数据不可避免的会造成脸部的变形。且不说效果并不理想，这个方案涉及到的基于设计者经验的操作太多，比如旋转的补全，角度的估计等等，很难范化，大规模使用。

现有技术对于遮挡问题，划分脸部区域，设计包含不同区域组合的特征提取网络。希望在某几个网络覆盖的区域满足不包含被遮挡区域同时又尽可能多的包含非遮挡的脸部信息。在实际使用中，2-d人脸识别的信息很大程度上依赖于人的眼睛及其周围。而对于色泽变化较小的皮肤部分受到光线条件的干扰很难提取出有效的特征。这就导致使用者带上眼镜，无法识别眼部的情况下，识别率很低，但这种情况在实际应用场景中非常常见。

综上，目前现有技术都很难做到再无约束条件下较好的进行人脸识别。

技术实现要素：

本发明的目的在于，针对传统2d神经网络对于侧脸和有遮挡脸部识别效果较差，同时3d网络训练数据较少在正脸情况下识别能力低于传统2d网络的情况，提出了结合使用2drgb图像和3d深度图联合判决的新型人脸识别方案。

为实现上述目的，本发明提供了本发明涉及一种用深度神经网络进行人脸识别的方法，该方法包括以下步骤：

通过第一相机采集人脸区域的2drgb图片，以及通过第二相机实时采集人脸区域的3d点云；

对于采集的2drgb图片进行脸部区域的截取和缩放，减少距离的影响；对于采集的3d点云，投影到二维平面，用灰度信息代替深度信息，形成二维深度图；并进行脸部区域的截取；

将截取过的d2drgb图片输入到2d特征提取网络，以及将截取过的脸部区域二维深度图输入3d特征提取网络，进行特征向量提取；根据提取的特征向量，结合环境信息进行人脸识别。

本发明结合2d和3d识别所提取的特征进行综合识别，既保证了正常使用情况(正脸无遮挡)下的正确率，又提高了系统应对恶劣使用条件下的鲁棒性。同时，有3d人脸检测系统的加入也防止使用照片伪冒的可能性，提高了系统的安全性。

附图说明

图1为本发明实施例提供的一种用深度神经网络进行人脸识别的方法流程示意图；

图2为图1所示方法流程中人脸识别部分流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明针对传统2d神经网络对于侧脸和有遮挡脸部识别效果较差，同时3d网络训练数据较少在正脸情况下识别能力低于传统2d网络的情况，提出了结合使用2drgb图像和3d深度图联合判决的新型人脸识别方案。

图1为本发明实施例提供的一种用深度神经网络进行人脸识别的方法流程示意图。如图1所示，该方法步骤包括：

步骤一，使用近乎同轴的rgb数码相机和结构光相机实时采集人脸区域2grgb彩色图片和3-d点云。对于采集的2grgb彩色图片进行脸部区域的截取和缩放，减少距离的影响。对于3d点云，投影到二维平面，用灰度信息代替深度信息，形成二维深度图。对于二维深度图进行后续的平滑操作形成质量较好的二维深度图并进行人脸区域的截取。使用截取过的2d和深度图人脸作为后续输入。

步骤二：根据实际使用图片格式设计特征提取网络，使用3d深度图训练3-d特征提取网络(mixnet-3d)：

通过每一层中包含不同规模的卷积核提取图片整体和局部的特征。

步骤三：把识别目标的2grgb人脸图像和深度图分别输入2d特征提取网络和mixnet-3d网络，进行特征提取，对于提取的特征向量，结合其他环境信息进行人脸识别。

图2为图1所示方法流程中人脸识别部分流程示意图。如图2所示，该人脸识别部分具体操作为：

首先根据处理过的二维深度图进行人脸检测，确定是否存在3d人脸图，并读取深度信息判断是否在作用距离内(例如，30-50cm之间)，如果不在作用距离内则不进行判决，不给出识别结果，以防止可能存在的照片欺骗行为。作用距离根据使用的具体相机分辨率换算。

对于在作用范围内的输入，系统根据rgb图片明亮度估算光照条件。对于光照条件较差(例如，光照系数小于光照阈值)的输入数据，只使用深度信息进行人脸识别并给出最终识别结果，以降低常见的传统2d人脸识别带来的干扰。对于光照条件可以接受的输入数据，利用2d特征提取网络和3d特征提取网络，分别对2drgb人像照片和3d深度人像图进行特征提取，并将提取出的特征向量分别送入2d分类器和3d分类器进行识别，输出每一个类别的2d和3d后验概率，从而分别得出2d和3d后验概率最大的类别。随后，判断2d和3d的最大后验概率类别是否一致。对于一致和不一致两种情况，按照具体的后验概率值分别进行处理。

本发明实施例在识别侧脸图像时，传统2d网络由于侧脸和正脸图像上的特征并不匹配，所以导致很难对于同一个人的正脸和侧脸提取出相同的特征向量，造成了人脸识别上的困难。但是对于3d网络，尤其是使用深度图作为输入的3d网络，由于灰度代表深度。3d网络很容易提取出特征点之间的相对距离信息：比如鼻尖到左眼角的距离。这样的距离信息是不会随着拍摄角度的变化在深度图上发生变化的。只要在训练网络的时候加入足够的由正脸和侧脸组成的正样本对，网络就会收敛到用合适的方式提取这些不变的信息。相较于2d图片，深度图保留了相对旋转不变的特征，使得3d人脸识别对于角度的旋转几乎是免疫的。

对于遮挡，3d网络提取的特征更加广泛，由于高度的变化在人脸上是普遍存在。一些在传统的2d网络上难以发现的特征类似于(凸起的脸颊)也能被3d网络所提取，在一定程度上也解决了关键部位的遮挡类似眼睛所造成的识别失败的问题。

但是，3d识别所依赖的结构光相机精度远不如rgb彩色数码相机，在就导致了在实际应用中对于正脸无遮挡的情况，3d识别的效果是低于2d识别的，为此我们结合2d和3d识别所提取的特征进行综合识别，既保证了正常使用情况(正脸无遮挡)下的正确率，又提高了系统应对恶劣使用条件下的鲁棒性。同时，有3-d人脸检测系统的加入也防止使用照片伪冒的可能性，提高了系统的安全性。

在公开的包含正脸、侧脸、遮挡的bosphorus和texas数据集上我们验证了我们的结论，并跟现存的方案做了对比：

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。