基于级联双生成器的人脸正面化方法及系统

本公开涉及图像数据转换，具体涉及基于级联双生成器的人脸正面化方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

2、人脸识别技术是生活中常用的生物特征识别技术，具有非接触性和非强制性的优点，不需要用户高度配合便能实现远距离快速获取被识别者的身份信息。然而在非受限的环境中，如监控视频中，现有人脸识别模型受到姿态、光照和遮挡等因素的影响，导致性能严重下降。近年来，人们对人脸识别的研究逐渐从受限环境下的研究转为非受限环境下的研究。其中，多姿态人脸识别是一个研究热点。目前主流的多姿态人脸识别研究方法是：首先从姿态人脸图像中恢复出保留身份信息的正面人脸图像，这个过程也称为人脸正面化，再对得到的正面人脸图像进行特征提取与识别。使用正面化后的人脸图像进行识别与直接使用姿态人脸图像进行识别相比准确率有了较高提升，因此研究人脸正面化有助于多姿态人脸识别任务的完成，具有重要的实际意义。

3、人脸正面化任务是在姿态人脸图像的基础上生成一张全新的正面人脸图像，本质上是一种图像生成任务。近年来，生成对抗网络的出现大大提升了图像生成任务的视觉效果，在图像生成领域有着广泛应用。很多基于生成对抗网络的人脸正面化方法也被提出，这些方法能够生成逼真的正面人脸图像，提升多姿态人脸识别准确率。

4、但是现有的一些先进方法仍然存在一些问题，包括有的网络需要依赖输入人脸图像以外的先验知识，比如人脸偏转角度，并且生成的图像的质量不高，仍有进一步的提升空间。

技术实现思路

1、本公开为了解决上述问题，提出了基于级联双生成器的人脸正面化方法及系统，整体网络结构基于生成对抗网络，其中生成网络部分由两个设置成不同网络层数的生成器级联组成，结合深层特征和浅层特征，对多种姿态的人脸图像进行正面化。

2、根据一些实施例，本公开采用如下技术方案：

3、基于级联双生成器的人脸正面化方法，包括：

4、获取多姿态人脸图像并进行预处理；

5、将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；最后，通过人脸识别准确率评估生成图像的质量；

6、其中，深层生成器和浅层生成器的网络结构均采用u-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。

7、根据一些实施例，本公开采用如下技术方案：

8、基于级联双生成器的人脸正面化系统，包括：

9、图像获取模块，用于获取多姿态人脸图像并进行预处理；

10、图像生成模块，用于将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；

11、其中，深层生成器和浅层生成器的网络结构均采用u-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。

12、根据一些实施例，本公开采用如下技术方案：

13、一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于级联双生成器的人脸正面化方法。

14、根据一些实施例，本公开采用如下技术方案：

15、一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于级联双生成器的人脸正面化方法。

16、与现有技术相比，本公开的有益效果为：

17、本公开人脸正面化模型基于生成对抗网络进行搭建，生成网络由两个不同深度生成器级联组成。深层生成器可以提取粗粒度特征(人脸轮廓)，生成在整体结构上更接近真实情况的正面人脸图像；浅层生成器可以提取细粒度特征(纹理特征)，生成在面部细节上更接近真实情况的正面人脸图像。

18、本公开利用残差块加深生成网络和判别网络，增强网络的拟合能力，从而使生成器生成的图像在整体上更接近真实图像，使判别器对图像有更强的判别能力。

19、本公开提出的方法能有效为监控、门禁等场景下的人脸识别提供帮助，同时满足准确性和实时性要求。

技术特征：

1.基于级联双生成器的人脸正面化方法，其特征在于，包括：

2.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，所述预处理的步骤包括：对于获取的多姿态人脸图像现采用python库处理不同的格式文件和图像类型，使用numpy ndarray存储图像，再通过pil裁剪图像为相同尺寸大小。

3.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，所述人脸正面化模型为级联双生成器的生成对抗网络，所述人脸正面化模型实现将多姿态人脸图像转换成正面人脸图像，多姿态人脸图像为多种视角的人脸图像，包括水平偏转角度和垂直俯仰角度。

4.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，深层生成器采用u-net骨干网络结构，包括下采样和上采样两个过程，上采样部分采用和下采样对称的结构，下采样部分包括不同步长的卷积层，每个卷积层后包括一个残差块，所述残差块将得到的特征通过全连接层和池化层整合为一维特征。

5.权利要求4所述的基于级联双生成器的人脸正面化方法，其特征在于，在上采样过程中使用跳跃连接结构进行特征融合，前两层反卷积将前一层的反卷积特征图和对应尺度的侧脸特征图在通过维度上进行拼接，后三层反卷积将前一层反卷积特征图、对应尺度的侧脸特征图和对应尺度的姿态人脸图像在通道维度上进行拼接，通过跳跃连接结构进行补全信息。

6.权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，每个生成器均有对应的判别器，两个判别器的结构相同，包括一个下采样结构和一个卷积层，下采样结构包括四个相同步长的卷积层，且每个卷积层后均包括一个残差块，下采样后网络通过一个卷积层得到判别结果。

7.权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，生成对抗网络的损失函数分为深层生成器的损失函数和浅层生成器的损失函数，深层生成器的损失函数包括对抗损失和像素损失，浅层生成器的损失函数包括对抗损失、多尺度像素损失函数、感知损失函数、身份保留损失函数和总变分损失函数，浅层生成器总的损失函数为多个损失函数的加权和。

8.基于级联双生成器的人脸正面化系统，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的基于级联双生成器的人脸正面化方法。

10.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行如权利要求1-7中任一项所述的基于级联双生成器的人脸正面化方法。

技术总结
本公开提供了一种基于级联双生成器的人脸正面化方法及系统，涉及图像数据转换技术领域，方法包括获取多姿态人脸图像并进行预处理；将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；本公开能够使生成的人脸图像在面部细节和整体结构上有更好的表现。

技术研发人员：刘成云,曹佳倩,陈振学,张玉娇,王文成
受保护的技术使用者：山东大学
技术研发日：
技术公布日：2024/1/14