一种低质量三维人脸识别方法、系统、设备和介质

本发明属于人脸识别，具体涉及一种低质量三维人脸识别方法、系统、设备和介质。

背景技术：

1、与2d人脸识别相比，3d人脸识别依赖于面部的几何形状，对光照和姿势有较强的鲁棒性，保护人脸识别系统免受化妆、展示攻击等影响。目前，大多数3d人脸识别研究都集中在高质量3d人脸上，采集成本高、数据处理时间长，离实际应用很远。相比之下，低质量的三维人脸识别更符合实际的场景。低质量数据通常包含大量噪声、孔洞等影响。因此，提高低质量3d人脸识别的精度和鲁棒性成为一个重大的挑战。

2、早期对低质量3d人脸识别的研究依赖于手工制作的面部描述符。然而，这些方法在处理复杂条件时表现不佳。现有基于深度学习的方法主要从深度图、法线图或点云数据训练网络进行特征提取，但都局限于网络的构造、损失函数的设计，没有对数据本身的多样性、网络的鲁棒性考虑。在低质量三维人脸识别领域仍存在较大的挖掘空间。

技术实现思路

1、为克服现有技术中的问题，本发明的目的在于提出了一种低质量三维人脸识别方法、系统、设备和介质，该方法具有普适性和有效性。

2、为实现上述目的，本发明采用的技术方案如下：

3、一种低质量三维人脸识别方法，包括以下步骤：

4、获取待识别的低质量三维人脸图像；

5、将待识别的低质量三维人脸图像输入到优化后的网络中；

6、将网络输出的特征与人脸图库中的特征进行比对，进行三维人脸识别；

7、其中，优化后的网络为通过分布对齐损失训练，并通过梯度反向传播算法优化网络参数，直至网络收敛得到。

8、进一步的，分布对齐损失l为：

9、l＝lcln+αldis+βladv

10、其中，α为第一系数，β为第二系数，lcln为人脸深度图上的分类损失，ldis为分布距离损失，ladv为人脸对抗样本上的对抗损失。

11、进一步的，人脸深度图上的分类损失lcln为：

12、

13、式中，ycln,i为原始样本的真实标签，xcln,i为原始样本的特征属于第i类的概率，i为类别标号，xcln为人脸深度图，c为图像类别的数量，dcln为原始样本分布，e表示求均值；

14、分布距离损失ldis为：

15、

16、式中，xadv为更新后的人脸对抗样本，dadv为对抗样本分布，fθ(xadv)为原始样本特征，fθ(xcln)为对抗样本特征；

17、人脸对抗样本上的对抗损失ladv为：

18、

19、式中，yadv,i为对抗样本的真实标签，xadv,i为对抗样本特征属于第i类的概率。

20、进一步的，原始样本特征fθ(xadv)以及对抗样本特征fθ(xcln)通过以下过程得到：

21、将人脸深度图xcln与更新后的人脸对抗样本xadv作为网络的输入，提取原始样本特征fθ(xadv)以及对抗样本特征fθ(xcln)；

22、其中，网络为加性角度边距损失网络arcface或轻量级卷积神经网络lightcnn。

23、进一步的，更新后的人脸对抗样本xadv通过以下过程得到：

24、1)将原始人脸深度图xcln输入到网络fθ中，通过利用kullback-leibler散度最大化人脸对抗样本和人脸深度图上的分布距离损失，根据最大化之后的分布距离损失优化对抗扰动ε，生成对应的人脸对抗样本xadv；

25、2)重复步骤1)若干次，得到更新后的人脸对抗样本xadv。

26、进一步的，根据最大化之后的分布距离损失采用pgd算法优化对抗扰动ε；

27、进一步的，更新后的人脸对抗样本xadv通过下式得到：

28、

29、式中，δ为扰动空间，dcln为原始样本分布，dadv为对抗样本分布，dkl表示kullback-leibler散度，e表示求期望。

30、一种低质量三维人脸识别系统，包括：

31、三维人脸图像获取模块，用于获取待识别的低质量三维人脸图像；

32、输入模块，用于将待识别的低质量三维人脸图像输入到优化后的网络中；

33、比对模块，用于将网络输出的特征与人脸图库中的特征进行比对，进行三维人脸识别。

34、其中，优化后的网络为通过分布对齐损失训练，并通过梯度反向传播优化网络参数，直至网络收敛得到。

35、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述低质量三维人脸识别方法的步骤。

36、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述低质量三维人脸识别方法的步骤。

37、与现有技术相比，本发明具有的有益效果：

38、本发明中优化后的网络为通过分布对齐损失训练，能够实现原始样本分布与对抗样本分布的对齐，使得网络可以提取两种样本间的公共特征，避免了因对抗样本的引入而导致的原始样本上准确率的下降，从而实现低质量三维人脸图像的识别，该方法具有普适性和有效性。

39、进一步的，本发明利用原始样本与对抗样本之间的分布距离损失生成对抗样本，能更好地解耦原始样本分布与对抗样本分布，实现样本的多样性，提升网络鲁棒性。

40、进一步的，为了扩大面部对抗样本的多样性，增强3dfr的鲁棒性，利用kullback-leibler散度最大化原始和对抗面部样本之间的分布距离。

技术特征：

1.一种低质量三维人脸识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的低质量三维人脸识别方法，其特征在于，分布对齐损失l为：

3.根据权利要求2所述的低质量三维人脸识别方法，其特征在于，人脸深度图上的分类损失lcln为：

4.根据权利要求3所述的低质量三维人脸识别方法，其特征在于，原始样本特征fθ(xadv)以及对抗样本特征fθ(xcln)通过以下过程得到：

5.根据权利要求4所述的低质量三维人脸识别方法，其特征在于，更新后的人脸对抗样本xadv通过以下过程得到：

6.根据权利要求5所述的低质量三维人脸识别方法，其特征在于，根据最大化之后的分布距离损失采用pgd算法优化对抗扰动ε。

7.根据权利要求5所述的低质量三维人脸识别方法，其特征在于，更新后的人脸对抗样本xadv通过下式得到：

8.一种低质量三维人脸识别系统，其特征在于，

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述低质量三维人脸识别方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述低质量三维人脸识别方法的步骤。

技术总结
本发明公开了一种低质量三维人脸识别方法、系统、设备和介质，包括获取待识别的低质量三维人脸图像；将待识别的低质量三维人脸图像输入到优化后的网络中；将网络输出的特征与人脸图库中的特征进行比对，进行三维人脸识别；网络的优化包含人脸对抗样本生成和人脸对抗样本训练两个阶段。人脸对抗样本生成阶段最大化原始样本和对抗样本之间的分布距离损失，能够扩大人脸对抗样本的多样性。人脸对抗样本训练阶段通过分布对齐损失训练，能够实现原始样本分布与对抗样本分布的对齐，使得网络可以提取两种样本间的公共特征，避免了因对抗样本的引入而导致的原始样本上准确率的下降，从而实现低质量三维人脸图像的识别，该方法具有普适性和有效性。

技术研发人员：李慧斌,孙丰勋,余璀璨
受保护的技术使用者：西安交通大学
技术研发日：
技术公布日：2024/2/19