一种基于正投影特征变换的俯视人脸矫正方法与流程

本发明属于计算机视觉技术领域，涉及一种监控视频的俯视角度人脸矫正方法，具体涉及一种基于正投影特征变换的俯视角度人脸矫正方法。

技术背景

监控视频中的人脸识别是确认嫌疑目标身份的重要手段。由于公共视频监控场合的监控摄像头一般安装在高处(通常3.5米高)，当目标接近摄像头时，拍摄的往往是俯视角度的人脸。俯视人脸存在严重的额头遮挡人脸下半部的自遮挡现象，极端情况下甚至只能看到头部。因此，俯角人脸姿态给后续的人脸检测和识别等任务带来巨大障碍。

人脸姿态的矫正问题已经得到广泛研究，研究最多的是侧面脸的转正。目前表现最好的是基于生成对抗网络(gan)的方法，如tp-gan、dr-gan等方法。侧面脸的校正通常利用了人脸的左右对称性，利用显现的半边脸来“猜测”遮挡的另一半。但是，俯角人脸的遮挡部分由于缺乏左右对称性的知识，比侧面脸的矫正更为困难，而直接照搬侧面姿态的人脸矫正方法效果又极其有限。

正投影特征变换(oft)的方法能够将不同尺度的特征图，映射到3d空间中得到正交特征映射，再通过折叠体素特征产生正交平面特征，完成特征图像的度角转变。最后将正投影特征变换后的特征图像通过自顶向下网络，生成矫正后的正脸图片。利用这种原理，可以有效利用人脸深度信息、上半张脸信息及先验知识，生成更加自然的正面人脸图像。

技术实现要素：

本发明结合侧脸矫正的gan网络及正投影特征变换算法提出一个适合俯角人脸矫正的方法。将正投影特征变换引入生成对抗网络的生成器，对原始俯角人脸图像进行正交特征映射，合成正面脸图像；同时利用鉴别器来区分真实正面图像与合成正面图像，通过交替训练优化正投影特征变换网络。

本发明所采用的技术方案是：一种基于正投影特征变换的俯视人脸矫正方法，其特征在于，包括以下步骤：

步骤1：利用正投影特征变换网络对俯视人脸进行矫正，得到矫正后的正脸图像；

步骤1.1：将俯视角度下的人脸图像输入一个前端resnet-18网络的特征提取器，提取多尺度特征图。

步骤1.2：对不同尺度的特征图进行正交特征变换，将俯视角度的人脸图像转换为平视角度下的人脸图像。

步骤1.3：通过由一系列resnet单元组成的自顶向下网络，对正投影特征变换后的特征图进行处理，将网络最后一层的输出设置为3通道输出，生成rgb图像，即矫正后的正脸图片。

步骤2：将步骤1中的“矫正后的正脸图像”与真实正脸进行对抗训练，优化正投影特征变换网络，最终产生更精确的正面人脸图像；

步骤2.1：引入鉴别器d来区分真实正面图像与步骤1中的“矫正后的正脸图像”；

步骤2.2：利用步骤1中的“矫正后的正脸图像”和真实正面图像进行训练，设置合理阈值，若步骤1中的“矫正后的正脸图像”与真实图像的差大于阈值，则反向传播调节正投影特征变换网络参数；其中，参数包括resnet单元的权重和偏置，调节方法采用深度学习的随机梯度下降方法；

步骤2.3：重复步骤2.2，迭代优化正投影特征变换网络的参数，直到训练过程收敛，获得优化正投影特征变换网络。

与现有的侧脸矫正方法相比，本发明具有以下的优点与积极效果：

本发明针对了公共监控摄像头悬高拍摄时普遍存在的俯角人脸辨识需求，具有切实的应用价值。而且，本发明将正投影特征变换引入gan网络，取代gan原有的生成器，从而能够更好地利用上半张脸的信息和先验信息来实现更加精准的俯角人脸矫正。

附图说明

图1：本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施案例对本发明做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于正投影特征变换的俯视人脸矫正方法，包括以下步骤：

步骤1：利用正投影特征变换网络对俯视人脸进行矫正，得到矫正后的正脸图像；

步骤1的具体实现包括以下子步骤：

步骤1.1：将俯视角度的人脸图像输入到resnet-18网络中，对图像进行特征提取，得到不同尺度的特征图；

步骤1.2：将不同尺度的特征图，映射到3d空间中得到正交特征映射，再通过折叠体素特征产生正交平面特征；

正投影特征变换通过在投影的体素区域上累积图像特征f(u,v)来生成体素特征g(x,y,z)，然后沿垂直方向折叠体素特征来产生正交平面特征h(x,z)；其中，u、v是二维图像特征的坐标，x、y、z是三维体素特征的坐标；

对于给定的体素网格位置(x，y，z)，每个体素被投影到图像平面的六边形区域，通过一个带有左上角(u1，v1)和右下角(u2，v2)的矩形边界框来估计，由下式给出：

其中，每个体素是尺寸为r的立方体，f是摄像机焦距，(cu，cv)是原点；

然后，通过对投影体素边界框的平均汇集，将特征分配给体素特征映射g中的适当位置：

进而将3d体素特征图折叠回二维平面特征图h(x,z)；先学习一组权重矩阵w(y)，然后沿垂直轴对体素特征加权求和获得平面特征图：

其中，y0为相机到地面距离，h为图像的高度；

步骤1.3：通过由一系列resnet单元组成的自顶向下网络，对正投影特征变换后的平面特征图进行处理，将网络最后一层的输出设置为3通道输出，生成rgb图像，得到矫正后的正脸图片。

步骤2：将步骤1中的“矫正后的正脸图像”与真实正脸进行对抗训练，优化正投影特征变换网络，最终产生更精确的正面人脸图像；

步骤2.1：引入鉴别器d来区分真实正面图像与步骤1中的“矫正后的正脸图像”；

步骤2.2：利用步骤1中的“矫正后的正脸图像”和真实正面图像进行训练，设置合理阈值，若步骤1中的“矫正后的正脸图像”与真实图像的差大于阈值，则反向传播调节正投影特征变换网络参数；其中，参数包括resnet单元的权重和偏置，调节方法采用深度学习的随机梯度下降方法；

步骤2.3：重复步骤2.2，迭代优化正投影特征变换网络的参数，直到训练过程收敛，最终产生更精确的正面人脸图像。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。