一种基于多尺度域迁移的人脸反欺骗方法和装置

本发明属于计算机视觉，尤其涉及一种基于多尺度域迁移的人脸反欺骗方法和装置。

背景技术：

1、近年来，随着深度学习技术的不断进步，人脸识别技术作为计算机视觉研究领域的一个重要分支，已经取得了一些令人瞩目的成就，并且成功地应用到我们的日常生活中，比如手机解锁，车站检票，门禁系统、金融支付等，这些应用给人们的生活带来了极大地便利。但是，随着互联网的普及，广大用户的面部信息非常容易地被他人从社交平台上获取，这些人会将获取到的用户面部信息以视频回放、打印照片等方式呈现在人脸识别系统前，以达到冒用他人身份信息的目的，这无疑对人脸识别系统的安全性构成了潜在的威胁。为了保证呈现在人脸识别系统前的待检测人脸是由用户本人操作的，而非他人冒用，人脸反欺骗技术应运而生。

2、目前，为了确保人脸识别系统免受人脸展示攻击，早期的研究者通过设计纹理特征提取算法来解决这个问题，随着深度学习的引入，越来越多的研究者借助卷积神经网络来提取图像上的判别特征，并取得了卓越的性能。然而，这些方法的判别性能易受光照、图像质量、设备类型等一些因素的影响，会让模型的判别性能大打折扣，不利于部署在具有挑战性的真实环境中。因此，如何让训练得到的模型能够抵御住这些不可抗拒的因素的影响，是目前人脸反欺骗领域亟待要解决的一个重要问题。

技术实现思路

1、本发明旨在解决以上现有的技术问题，提出了一种基于多尺度域迁移的人脸反欺骗方法和装置，提高对深度图预测的准确度。

2、为实现上述目的，本发明采用如下的技术方案：

3、一种基于多尺度域迁移的人脸反欺骗方法，包括以下步骤：

4、步骤s1、获取多尺度面部轮廓特征信息；

5、步骤2、根据多尺度面部轮廓特征信息，得到gan网络梯度参数；

6、步骤3、使用gan网络梯度参数更新后的fem提取特征，将提取到的最后一级特征送入特征聚合模块，然后送入分类器中进行判别实现人脸反欺骗。

7、作为优选，步骤s1中通过将均衡后的真假样本送入fem，进行多尺度面部轮廓特征信息的提取。

8、作为优选，步骤s1中，采用基于残差网络的depthnet网络进行面部轮廓特征信息的提取。

9、作为优选，步骤s2中，将所述多尺度面部轮廓特征信息送入dtm，进行rgb与深度图的多尺度域迁移操作，并计算域迁移模块中生成器与判别器的损失，得到gan网络梯度参数。

10、本发明还提供一种基于多尺度域迁移的人脸反欺骗装置，包括：

11、获取模块，用于获取多尺度面部轮廓特征信息；

12、处理模块，用于根据多尺度面部轮廓特征信息，得到gan网络梯度参数；

13、判别模块，用于使用gan网络梯度参数更新后的fem提取特征，将提取到的最后一级特征送入特征聚合模块，然后送入分类器中进行判别实现人脸反欺骗。

14、作为优选，获取模块通过将均衡后的真假样本送入fem，进行多尺度面部轮廓特征信息的提取。

15、作为优选，获取模块采用基于残差网络的depthnet网络进行面部轮廓特征信息的提取。

16、作为优选，处理模块用于将所述多尺度面部轮廓特征信息送入dtm，进行rgb与深度图的多尺度域迁移操作，并计算域迁移模块中生成器与判别器的损失，得到gan网络梯度参数。

17、本发明人脸反欺骗方法和装置，旨在从域迁移的角度出发，充分利用辅助模态深度图信息，指导模型学习更多的泛化特征，以提高模型的鲁棒性与泛化能力，本发明提出了一种特征增强模块(feature enhancement module，fem)，在不增加额外计算开销的情况下，该模块能够缓解depthnet网络中特征信息丢失的问题，进而提高模型对深度图预测的准确度。本发明设计了一个用于进行多尺度操作的域迁移模块(domain transfer module，dtm)，该模块能够在源域中学习到丰富的与目标域相关的域知识，旨在提高模型的判别力。本发明设计了一个特征聚合模块(feature aggregation module，fam)，该模块能够有效的聚合存在于特征图上的上下文语义信息，从而有助于增强分类器的分类能力，进一步提高模型的分类性能。

18、本发明的优点及有益效果如下：

19、1.大多数研究者使用depthnet网络提取人脸图像上的面部轮廓信息，以用于辅助监督模态深度图的预测，然而depthnet网络中的最大池化层在对得到的特征信息进行处理时，会丢失掉一些信息，这会对深度图的准确性预测产生影响，最终影响模型的判别性能。针对此问题，本发明设计了一种特征增强模块(feature enhancement module，fem)，在不增加额外计算开销的情况下，有效的改善了depthnet网络中特征信息丢失的问题，提高了模型对深度图预测的准确度。

20、2.先前的研究者在利用域迁移网络解决人脸反欺骗问题时，通常只涉及一种单一固定尺度的域迁移操作，未能充分考虑多尺度辅助模态信息对模型判别性能的影响，这就使得模型在源域中只能学习到有限的域知识，在一定程度上阻碍了模型对多尺度泛化特征的学习，降低了模型的泛化能力。鉴于此，本发明从多尺度域迁移的角度出发，设计了一种用于进行多尺度操作的域迁移模块(domain transfer module，dtm)，通过在域迁移模块中引入多尺度深度图信息，从而促使模型能够在源域中学习到丰富的与目标域相关的域知识，将来自源域的图像更好地映射到目标域中，以达到充分利用深度图的目的，从而让模型能够学习到更多的泛化特征。

21、3.先前的基于域泛化的人脸反欺骗方法未能充分利用与挖掘存在于特征图上的上下文信息，这些特征信息对模型最终的分类性能同样发挥着重要的作用。基于此，本发明设计了一种特征聚合模块(feature aggregation module，fam)，它能够将存在于特征图上的不同尺度的上下文信息有效地聚合起来，以进一步实现对特征信息的增强操作，让分类器能够充分利用聚合特征对样本进行分类，从而提高模型的判别性能。

技术特征：

1.一种基于多尺度域迁移的人脸反欺骗方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于多尺度域迁移的人脸反欺骗方法，其特征在于，步骤s1中通过将均衡后的真假样本送入fem，进行多尺度面部轮廓特征信息的提取。

3.如权利要求2所述的基于多尺度域迁移的人脸反欺骗方法，其特征在于，步骤s1中，采用基于残差网络的depthnet网络进行面部轮廓特征信息的提取。

4.如权利要求3所述的基于多尺度域迁移的人脸反欺骗方法，其特征在于，步骤s2中，将所述多尺度面部轮廓特征信息送入dtm，进行rgb与深度图的多尺度域迁移操作，并计算域迁移模块中生成器与判别器的损失，得到gan网络梯度参数。

5.一种基于多尺度域迁移的人脸反欺骗装置，其特征在于，包括：

6.如权利要求5所述的基于多尺度域迁移的人脸反欺骗装置，其特征在于，获取模块通过将均衡后的真假样本送入fem，进行多尺度面部轮廓特征信息的提取。

7.如权利要求6所述的基于多尺度域迁移的人脸反欺骗装置，其特征在于，获取模块采用基于残差网络的depthnet网络进行面部轮廓特征信息的提取。

8.如权利要求7所述的基于多尺度域迁移的人脸反欺骗装置，其特征在于，处理模块用于将所述多尺度面部轮廓特征信息送入dtm，进行rgb与深度图的多尺度域迁移操作，并计算域迁移模块中生成器与判别器的损失，得到gan网络梯度参数。

技术总结
本发明公开一种基于多尺度域迁移的人脸反欺骗方法和装置，包括：步骤S1、获取多尺度面部轮廓特征信息；步骤2、根据多尺度面部轮廓特征信息，得到GAN网络梯度参数；步骤3、使用GAN网络梯度参数更新后的FEM提取特征，将提取到的最后一级特征送入特征聚合模块，然后送入分类器中进行判别，进行人脸反欺骗。采用本发明的技术方案，提高对深度图预测的准确度。

技术研发人员：周丽芳,张俊峰,李伟生
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/1/22