一种假脸入侵检测方法、装置、设备和存储介质

本发明涉及人脸检测，尤其涉及一种假脸入侵检测方法、装置、设备和存储介质。

背景技术：

1、近几年来人脸识别快速发展，使其作为生活中越来越常见的识别方式，并且被应用于人脸签到、人脸支付等多种场景。目前人脸识别技术能识别人脸图像的身份但无法准确辨别所输入人脸的真伪。那么如何高效地辨别人脸真伪以确保系统安全已成为人脸识别技术中一个迫切需要解决的问题。现有的人脸识别系统很容易受到视频、人脸图像等方式的欺骗。该攻击方式较为普遍且成本较低，因此在许多攻击方式中占主要地位。目前部分方法利用当前已知的先验知识以及通过图像处理方法获取的真脸与假脸之间的特征差别等作为判断是否为真脸的依据。同时也有通过用户眨眼、转头等方式作为判定的补充，也有通过分析图像质量比如是否失真去判断是否为假脸攻击。然而在使用过程中，这些方法大多数只满足于特定场景，在未知的或者复杂的场景中表现效果并不理想，很少能处理不同类型的攻击。基于此，本发明提出了一种基于面部运动信息的虚假人脸入侵检测方法，以解决现有检测技术的问题。

技术实现思路

1、本发明的目的是提供一种假脸入侵检测方法、装置、设备和存储介质，自动高效的解决不同场景下假脸入侵问题，并且用户不必根据指令做出相应动作，且显著提高了检测精度。

2、一方面，本发明提供一种假脸入侵检测方法，包括：

3、从采集的人脸图像集中获取连续两张人脸图像：图像i1、图像i2；

4、从上述两张人脸图像中获取光流运动特征信息；

5、将图像i1设置为rgb图像后与获取到的光流运动特征信息拼接，生成五通道的特征向量；

6、将拼接获得的五通道的特征向量输入到深度残差网络中，对输入的特征向量进行特征提取和加深；

7、将深度残差网络提取加深的特征信息，在分类器中进行真假脸的检测。

8、在一些实施例中，所述从上述两张人脸图像中获取光流运动特征信息包括：

9、从图像i1、图像i2提取像素级特征向量；

10、提取图像i1的上下文特征；

11、计算所提取像素级特征对的内积，获得四维张量；

12、将四维张量的最后两个维度池化，构建4层相关金字塔；

13、从所述上下文特征中提取全局和局部特征，输出聚合的全局特征；

14、将所述聚合的全局特征和像素级特征向量融合后输入gru迭代更新模块计算出相对于上次迭代过程输出光流的残差光流，然后与上次迭代过程输出光流进行相加用作补偿，通过多次迭代获得高分辨率的光流运动特征信息。

15、在一些实施例中，从图像i1、图像i2提取的特征分辨率为输入图像的1/8。

16、在一些实施例中，所述从所述上下文特征中提取聚合的全局特征包括：将所述上下文特征输出至所述mobilevit-cbam模块，mobilevit-cbam模块使用cnn和transformer结合的方式，使用cnn提取局部特征，使用transformer提取全局特征，输出聚合的全局特征。

17、在一些实施例中，所述深度残差网络为resnet50网络，包括两种block，分别为两层结构与三层结构。

18、在一些实施例中，所述将深度残差网络提取加深的特征信息，在分类器中进行真假脸的检测包括：先将深度残差网络提取加深的特征信息输入一二分类的全连接层，再通过softmax获得真假脸的检测概率值。

19、另一方面，本发明还提供一种假脸入侵检测装置，包括：

20、人脸图像获取模块，从采集的人脸图像集中获取连续两张人脸图像：图像i1、图像i2；

21、光流估计模块，从上述两张人脸图像中获取光流运动特征信息；

22、光流信息优化模块，将图像i1设置为rgb图像后与获取到的光流运动特征信息拼接，生成五通道的特征向量；

23、信息加工模块，将拼接获得的五通道的特征向量输入到深度残差网络中，对输入的特征向量进行特征提取和加深；

24、分类模块，将深度残差网络提取加深的特征信息，在分类器中进行真假脸的检测。

25、在一些实施例中，所述光流估计模块包括：

26、特征提取模块：从图像i1、图像i2提取像素级特征向量；

27、上下文提取模块：提取图像i1的上下文特征；

28、视觉相似性计算模块：计算所提取像素级特征对的内积，获得四维张量；将四维张量的最后两个维度池化，构建4层相关金字塔；

29、上下文特征聚合模块：从所述上下文特征中提取全局和局部特征，输出聚合的全局特征；

30、迭代更新模块：将所述聚合的全局特征和像素级特征向量融合后输入gru迭代更新模块计算出相对于上次迭代过程输出光流的残差光流，然后与上次迭代过程输出光流进行相加用作补偿，通过多次迭代获得高分辨率的光流运动特征信息。

31、另一方面，本发明还提供一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行上述的假脸入侵检测方法。

32、另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行上述的假脸入侵检测方法。

33、本发明的有益效果如下：

34、1、本发明巧妙的利用了活体人脸中的微弱运动，对入侵的假脸进行检测，实现容易，只需要将人脸识别系统采集到的连续两张图片输入到端对端的网络中即可，且微弱运动是假脸攻击难以模仿的，可以极好的分辨图片打印等相关攻击，该方法具有很高的鲁棒性；

35、2、rgb人脸图像与获取到的光流运动信息相结合，rgb图像中色彩信息与纹理特征作为信息补充进一步提升检测精度；

36、3、将输入的一张rgb人脸图像与获取到的光流运动信息相结合输入到resnet50网络中进一步提取特征。最后将提取到的特征向量输入到softmax分类器中，根据分类器的输出结果对虚假人脸入侵进行检测，本发明提出的基于面部运动信息的人脸活体检测方法得到的等错误率(equal error rate，eer)，有了极大地降低。

技术特征：

1.一种假脸入侵检测方法，其特征在于，包括：

2.根据权利要求1所述的假脸入侵检测方法，其特征在于，所述从上述两张人脸图像中获取光流运动特征信息包括：

3.根据权利要求2所述的假脸入侵检测方法，其特征在于：从图像i1、图像i2提取的特征分辨率为输入图像的1/8。

4.根据权利要求2所述的假脸入侵检测方法，其特征在于：所述从所述上下文特征中提取聚合的全局特征包括：将所述上下文特征输出至所述mobi levit-cbam模块，mobilevit-cbam模块使用cnn和transformer结合的方式，使用cnn提取局部特征，使用transformer提取全局特征，输出聚合的全局特征。

5.根据权利要求1所述的假脸入侵检测方法，其特征在于，所述深度残差网络为resnet50网络，包括两种block，分别为两层结构与三层结构。

6.根据权利要求1所述的假脸入侵检测方法，其特征在于，所述将深度残差网络提取加深的特征信息，在分类器中进行真假脸的检测包括：先将深度残差网络提取加深的特征信息输入一二分类的全连接层，再通过softmax获得真假脸的检测概率值。

7.一种假脸入侵检测装置，其特征在于，包括：

8.根据权利要求7所述的假脸入侵检测装置，其特征在于，所述光流估计模块包括：

9.一种电子设备，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至7任一项所述的假脸入侵检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的假脸入侵检测方法。

技术总结
本发明公开了一种假脸入侵检测方法、装置、设备及存储介质，方法包括：从采集的人脸图像集中获取连续两张人脸图像：图像I<subgt;1</subgt;、图像I<subgt;2</subgt;；从上述两张人脸图像中获取光流运动特征信息；将图像I<subgt;1</subgt;设置为RGB图像后与获取到的光流运动特征信息拼接，生成五通道的特征向量；将拼接获得的五通道的特征向量输入到深度残差网络中，对输入的特征向量进行特征提取和加深：将深度残差网络提取加深的特征信息，在分类器中进行真假脸的检测。本发明可以高效精确的将假脸入侵检测出来，提升了人脸识别的安全性。

技术研发人员：李磊,姚志浩,高珊珊,韩慧健
受保护的技术使用者：空天信息大学（筹）
技术研发日：
技术公布日：2024/5/16