本发明涉及人脸识别领域，特别是一种基于tof摄像模组的人脸识别方法及装置。
背景技术：
传统的人脸识别方法总有些许的局限性，如主成分分析算法面对潜在的非线性结构时会取得不理想的识别效果，而拉普拉斯特征图法虽然成功保留了非线性局部结构信息但是在应用到测试数据集中无法获得清晰的特征图等等。神经网络浪潮再次来临，卷积神经网络的大兴起非常成功地推动了人脸识别领域的大发展。如今，一些主流的二维人脸识别方法已经能够取得相当高的准确率，这些方法都是训练卷积神经网络提取可分辨的特征，将人脸映射到高维欧几里得空间中的特征向量，这些方法在较为理想的情况下都有十分好的人脸识别率，但是在雨雾天气等能见度较低的情况下rgb人脸识别很难克服只使用彩色相机带来的局限性。
另一方面随着timeofflight(tof)传感器逐渐体积减小重量减轻，越来越多的移动设备可以装载这种比较廉价的深度传感器，tof可以提供很高精度的深度值，而且tof自带红外发射器，可以应对各种光照条件，由于红外线频率低，所以透过雨雾烟的能力很强，在弱光环境、雨雾或烟等恶劣环境中也能使得识别工作具有相当高的稳定性。
如何将tof摄像模组合理地应用于人脸识别，以提升能见度较低情况下的人脸识别率成为当前急需解决的技术问题。
技术实现要素：
为了提高能见度较低情况下的人脸识别率，本发明提出一种基于tof摄像模组的人脸识别方法及装置，适用于能见度较低的情况。
为此，本发明提出的基于tof摄像模组的人脸识别方法具体包括以下步骤：
a1，获取tof摄像模组采集的被测人脸的彩色图像和对应的双通道深度图像，双通道深度图像包括幅值图像和相位图像；
a2，对双通道深度图像进行预处理，根据tof接收器接收到的红外线光强关于时间的变化情况，判断所述被测人脸所处的天气状况；
a3，对经过预处理的双通道深度图像进行去噪；
a4，将经过去噪的双通道深度图像进行插值,与彩色图像进行对齐，得到五通道深度图像，其中三个通道为彩色图像，两个通道分别为幅值图像和相位图像；
a5，采集双通道深度图像中的人脸关键点，将五通道深度图像进行人脸矫正，分别得到五个通道下的矫正人脸图像；
a6，当判定结果为天晴时，使用校正后的五通道深度图像进行特征提取，并使用五通道深度分类器进行人脸识别；
a7，当判定结果为雨雾天气时，使用校正后的双通道深度图像进行深度特征提取，并使用双通道深度分类器进行人脸识别。
进一步地，在所述步骤a2中，经矩阵运算解耦出判别条件，依据tof摄像模组检测出的双通道深度图像强度随时间的连续特性，判断当前天气状况，设置一个较合适的阈值。
进一步地，在所述步骤a3中，所述对经过预处理的双通道深度图像进行去噪具体包括将幅值图像和相位图像经过连结输入到特征提取金字塔中，经过六层卷积神经网络金字塔的特征提取，每一个下面一层都是由上面一层经特征提取而来，所述特征提取金字塔每层连接一个残差回归模块，以生成右边的残差金字塔，所述残差金字塔经过上采样生成，与所述特征提取金字塔层层对应。
进一步地，在所述步骤a4中，使用pwc-net将彩色图像与双通道深度图像中的幅值图像进行对齐，精准对齐后再使用双通道深度图像中的相位图像进行补偿。
进一步地，所述使用pwc-net将彩色图像与双通道深度图像中的幅值图像进行对齐，精准对齐后再使用双通道深度图像中的相位图像进行补偿具体包括：
a41、使用代价体层处理彩色图像和深度幅值图像，使用代价体存储两帧图像之间对应像素的匹配而带来的代价；
a42、代价体经光流估计器进行特征提取，所述光流估计器是一个带有densenetconnections的六层金字塔卷积网络；
a43、进入相关语义网络，所述相关语义网络从光流估计器中获取从第二层到最后一层的信息，然后使用小型unet将深度相位图像输入刚刚生成的四通道对齐图像进行补偿，得到精准对齐后的五通道深度图像。
进一步地，所述五通道深度分类器和所述双通道深度分类器中的损失函数可使用softmax损失函数、center损失函数和attribute-aware损失函数中的一种或多种。
本发明提出的基于tof摄像模组的人脸识别装置包括tof摄像模组、存储器和处理器，所述存储器上存储有程序，所述程序在被所述处理器运行时能够实现上述的基于tof摄像模组的人脸识别方法。
本发明提出的计算机存储介质存储有能够被处理器运行的程序，所述程序在被所述处理器运行时能够实现上述的基于tof摄像模组的人脸识别方法。
相对于现有技术，本发明具有如下有益效果：
利用tof摄像模组可在红外线的时间域解释并获得光的传播路径判断人脸所处的天气状况，根据不同的天气状况使用不同的数据模式，完成不同天气状况下的人脸识别。
在本发明的一些实施例中，还具有如下有益效果：
优化了tof深度图像与幅值图像的降噪过程；
人脸的矫正虽然是矫正三通道图像，但是主要依据于深度图像；
首次将pwc-net应用于rgb图像与深度图像的对齐。
附图说明
图1是基于tof摄像模组的人脸识别方法的流程图；
图2是利用空间层次感知残差金字塔网络去噪的流程图；
图3是利用pwc-net进行图形对齐的流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
如图1所示，基于tof摄像模组的人脸识别方法具体包括以下步骤：
a1，获取使用tof摄像模组采集的被测人脸的彩色图像irgb和对应的双通道深度图像，双通道深度图像包括幅值图像itof_0和相位图像dtof_0。
a2，先对双通道深度图像进行预处理，去除边缘效应等tof摄像模组自带的一部分系统误差，然后根据tof接收器接收到的红外线光强关于时间的变化情况，判断被测人脸所处的天气状况：在单一的晴好天气状况下，空气中的雨雾烟含量较低，tof的瞬态时间成像，会在单次反射光线具有的最短传输时间处形成单一的非零相应；在雨雾、雾霾天气下，由于存在连续深度的散射、反射，最后接收器接收到的反射光强是由目标表面反射的一个较强的辐射值和连续的散射、反射形成的光强，相应较为连续。经矩阵运算解耦出判别条件，依据tof摄像模组检测出的双通道深度图像强度随时间的连续特性，判断当前天气状况，设置一个较合适的阈值。
a3，对双通道深度图像进行去噪，受多路径干扰、散粒噪声等的影响，tof会有很大的误差，传统方法的去噪很难解决非线性变换等带来的问题，本发明采用卷积神经网络方法进行去噪，已有的方法有包括使用fcn网络、u-net网络等对图像进行特征提取，再上采样进行去噪，如图2所示，本发明采用空间层次感知残差金字塔网络充分利用场景的空间变换带来的几何信息，将tof的幅值图像itof和相位图像dtof经过连结(concatenate)输入到特征提取金字塔中，经过六层卷积神经网络金字塔的特征提取，每一个下面一层都是由上面一层经特征提取而来，大部分的特征提取金字塔网络都是取6层，该特征提取金字塔每层连结一个残差回归模块，以生成右边的残差金字塔，是经过上采样(双三次插值)生成依旧是6层与特征提取金字塔层层对应的残差金字塔，虽然这个残差金字塔的最上层包含下面所有层的信息，但是卷积操作后来自下面的信息可能会丢失，于是指定这样一个上采样规则，使用低一层的残差金字塔图像经双三次插值使采样频率与该层残差金字塔相同，将得到的图像和与其对应层的特征提取金字塔图像连结在一起，经神经网络特征提取得到该层残差金字塔，使每一层的残差金字塔同时提取到下一层而来的信息和本层原本的信息，这样较低分辨率的层描绘了大尺寸的深度噪声，较高分辨率的层描绘了局部结构中存在的深度噪声，这样得到了对于多路径干扰等噪声的残差金字塔，就得到了去噪后的深度图像，经验证空间层次感知残差金字塔网络比u-net网络等的去噪精度有明显提升。
a4，将双通道深度图像进行插值,与rgb图像进行对齐，使用pwc-net将rgb图像与双通道深度图像中的幅值图像进行对齐，精准对齐后再使用双通道深度图像中的相位图像进行补偿，得到五通道深度图像，其中三个通道为rgb图像，两个通道分别为幅值图像和相位图像，如图3所示，pwc-net的主要步骤包括：
(1)使用代价体层(costvolumelayer)处理rgb图像和深度幅值图像，使用代价体(costvolume)存储两帧图像之间对应像素的匹配而带来的代价，计算方法为：
t代表转置，n是columevectorc1(irgb)的长度；
(2)代价体经光流估计器(opticalflowestimator)进行特征提取，光流估计器是一个带有densenetconnections的六层金字塔卷积网络，金字塔型的特征提取器能够使特征提取的效果达到更高，同时也是本发明的主要创新点之一；
(3)进入相关语义网络(contextnet)，这是一个上采样的过程，相关语义网络从光流估计器中获取从第二层到最后一层的信息，有7个卷积层，每个卷积层的空间核的大小都是3*3，从最底层到上面的膨胀系数分别为1，2，4，8，16，1，1.相关语义网络能够有效地扩大每一个输出单元的感受野，然后使用小型unet将深度相位图像连结进入刚刚生成的四通道对齐图像进行补偿，得到精准对齐后的五通道深度图像。
a5，采集双通道深度图像中的人脸关键点，考虑到不同天气状况下的rgb信息可能对人脸矫正部分带来错误信息，所以使用双通道深度图像中两个通道进行人脸矫正所要进行的变换对五通道深度图像进行这个变换，分别得到五个通道下经过同样变换的矫正人脸图像。
a6，当判定结果为天晴时，使用校正后的五通道深度图像进行特征提取，并使用五通道深度分类器进行人脸识别，其中损失函数可使用softmaxloss+centerloss+attribute-awareloss，将rgb图像输入resnet中进行训练，提取并融合人脸特征最后得人脸识别结果；
softmaxlossfunction使用：
其中x为训练的数据集，y是相应的标签，f()是要学习的特征映射，k是深度特征f(xi)的维度，b是权重和偏差；
centerlossfunction使用：
centerloss使每一个类的深度特征聚集到他们的中心c；
attribute-awarelossfunction除了面部形状的接近性以外，学习到的特征映射与性别、种族、年龄有关，就是希望一张图片进入图像库比对的时候返回的图像这些面部特征以外的特征也是相似的，这样就将人脸识别这个任务扩增了三个维度，使用：
其中g是要训练的参数矩阵，t是一个可以用户设定的阈值；
这个损失可以将特征差异和属性差异联系起来，通过一个全局线性映射g驱动带有相似属性的簇朝着彼此前进。
a7，当判定结果为雨雾天气时，使用校正后的双通道深度图像进行深度特征提取，并使用双通道深度分类器进行人脸识别，双通道深度分类器拟采用与以上相同的损失函数，但是由于通道数大大减少，数据的减少，会更快捷，同时避免经多次散射反射rgb图像带来的无意义数据对特征提取带来影响。
本发明同时提出一种基于tof摄像模组的人脸识别装置包括tof摄像模组、存储器和处理器，所述存储器上存储有程序，所述程序在被所述处理器运行时能够实现上述的基于tof摄像模组的人脸识别方法。
本发明同时提出一种计算机存储介质存储有能够被处理器运行的程序，所述程序在被所述处理器运行时能够实现上述的基于tof摄像模组的人脸识别方法。
本发明利用tof摄像模组可在红外线的时间域解释并获得光的传播路径判断人脸所处的天气状况，根据不同的天气状况使用不同的数据模式，优化了tof深度图像与幅值图像的降噪过程，将双通道深度图像与rgb图像对齐并依据双通道深度图像检测出的人脸关键点将五通道深度图像中五个通道的数据同时做人脸矫正，并首次将pwc-net应用于rgb图像与双通道深度图像的对齐，在不同天气状况下使用五通道深度图像或双通道深度图像进行人脸特征提取，完成不同天气状况下的人脸识别。这种方法能实现应对不同天气，非常稳定且精确度非常高的人脸识别，并能够应用到各种小巧的便携式移动端上。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围。应当指出，对于本技术领域的技术人员，在不脱离本发明设计结构及原理的前提下对本发明方案所作的等同变化都视作本发明的保护范围。