一种基于视频的活体检测方法与流程

本发明属于智能监控，涉及一种活体检测方法，尤其是一种基于视频的活体检测方法。

背景技术：

1、随着科技的发展，人脸识别技术在很多领域都做成了常态化，极大的方便了我们的工作和生活。例如在金融领域、出行领域、安保领域等，需要捕获到人脸进行人脸识别，从而进行身份认证。

2、但是，有些不法贩子通过一些伪造的人脸(比如彩色打印、照片、电子设备中的照片等)，企图通过人脸识别认证，从而进行一些非法的行为。

3、科技在方便人们生活工作的同时，也必须肩负起保护人们安全的责任。通过对人脸进行生物特征提取，进一步判断是真实的人脸还是伪造的人脸，从而为人脸识别保驾护航。

4、经检索，发现如下2篇现有技术中的文献：

5、《基于机器学习和深度学习的人脸反欺诈检测综述》作者蔡慧敏，文中介绍了活体检测目前的现状，人脸活体检测方法，有基于传统纹理信息的，有基于运动信息的，有基于3d结构方法的，有基于深度学习的。传统基于纹理信息的应用要求捕获设备要高质量，成本较高；基于运动信息的实时性差一些；基于3d结构的需要目标的不同视角，在实际应用中不易操作。

6、2、《人脸识别反欺诈研究进展》作者张帆，文中介绍了目前常用的深度学习方法，分别是二元监督方法、深度图方法、rppg方法、时空信息融合方法、多模态方法和欺骗痕迹分离方法。其中，深度图方法和多模态方法中，需要用深度信息，这对设备要求比较高，需要能采集深度图的设备；rppg方法对噪声性感；时空信息融合方法实时性不占优势；二元监督方法是笼统的二分类，准确率不高；欺骗痕迹分离方法提高了模型的泛化力。单模态数据集最大的问题是准确率的问题，多模态数据集最大的问题是数据准备的难度以及对设备的高要求，比如采用深度摄像头获取深度信息，成本较高。

7、因此，如何提出一种实施过程简单、准确度高、实时性高且成本较低的基于视频的活体检测方法是本领域技术人员亟待解决的技术难题。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提出一种基于视频的活体检测方法，利用双目红外进行非运动式活体检测，即目标不需要进行专门眨眼扭头等动作的配合，利用深度学习的方法进行了活体检测，且操作简单、准确度高且实时性高。

2、本发明解决其现实问题是采取以下技术方案实现的：

3、一种基于视频的活体检测方法，包括以下步骤：

4、步骤1、采用ir双目红外设备，同时成对采集彩色图像和ir图像下的活体和非活体的图像数据；

5、步骤2、对步骤1中的图像数据进行标注；

6、步骤3、构建ir图像下的活体检测卷积神经网络、彩色图像下的活体检测卷积神经网络和活体双输入分类神经网络；

7、步骤4、对步骤3构建的活体检测卷积神经网络和活体双输入分类神经网络进行模型训练；

8、步骤5、利用步骤4训练好的模型，输出活体检测结果。

9、而且，所述步骤1的具体方法为：

10、分别采集彩色图像、ir图像下的活体和非活体的图像数据；

11、活体数据是指真实的人脸数据，非活体数据即伪造的人脸数据；

12、彩色图像和ir图像同时采集，同一时刻成对采集。

13、而且，所述步骤2的具体方法为：

14、以人脸目标的外接矩形为边界进行标注，标注范围为左右边界不包括耳朵，下边界为下巴位置，上边界为额头位置，不包括头发；按照这个规则，分别标注彩色图像和ir图像中的非活体目标和活体目标；

15、其中，非活体目标标注fp，活体目标标签为tp进行区分。

16、而且，所述步骤3的具体步骤包括：

17、(1)基于yolov3网络，构建ir图像下的活体检测卷积神经网络net1：将ir图像下的tp、fp目标类别和位置信息，进行神经网络的训练net1；

18、(2)基于yolov3网络，构建彩色图像下的活体检测卷积神经网络net2：将彩色图像下的tp、fp目标类别和位置信息，进行神经网络的训练net2；

19、其中，活体检测卷积神经网络net1能够在后续检测中，针对一幅ir图像，能够给出目标的位置信息，和标签信息，以及目标的置信度；

20、活体检测卷积神经网络net2能够在后续检测中，针对一幅彩色图像，能够给出目标的位置信息，和标签信息，以及目标的置信度；

21、(3)基于步骤(1)和步骤(2)的输出的位置信息，并根据该位置信息成对扣取对应的ir图和彩图中的目标人脸图像，作为活体双输入分类神经网络net3的输入信息，构建活体双输入分类神经网络net3：

22、而且，所述步骤3第(3)步的活体双输入分类神经网络net3的输入为双通道，通道1为ir图对应的目标人脸图；通道2为彩色图像对应的目标人脸图。

23、而且，所述步骤4的具体方法为：

24、给活体双输入分类神经网络net3送成对训练图像，该成对训练图是指同一时刻、同一目标的ir图像和彩色图像。

25、而且，所述步骤5的具体步骤包括：

26、(1)将双目活体检测设备获取的ir图像送入活体检测卷积神经网络net1，输出图中的待确认的人脸目标位置以及置信度信息；

27、(2)将双目活体检测设备获取的彩色图送入活体检测卷积神经网络net2，输出图中的待确认的人脸目标位置以及置信度信息；

28、(3)将步骤(1)和(2)中获取到的ir图像下的目标信息和彩色图像下的目标信息进行对应；

29、(4)如果同一目标，在ir图像中输出的类别信息，和在彩色图像中输出的类别信息一致，并且两个分数阈值同时大于设置阈值，则认为类别可信，直接输出结果；

30、如果在ir图像中输出的类别信息，和在彩色图像中输出的类别信息不一致，或者类别信息一致，但是至少有一个分数阈值低于限制，则需进行进一步确认，跳转至步骤(5)。

31、(5)将步骤(3)中获取到的对应好的ir图像下的目标图像和彩色图像下的目标图像，同时送入到活体双输入分类神经网络net3中，网络会综合两种图像下面的信息，互相补充需要的特征信息，综合做出判断，是否是活体的分类结果；如果输出的类别信息的分数阈值大于设置阈值则输出结果，则认为类别可信，否则输出不确定信息。

32、本发明的优点和有益效果：

33、1、本发明提出一种基于视频的活体检测方法，准确度较高，不要求复杂的3d采集设备；操作方便，实时性好，不需目标进行眨眼、扭头等动作配合；数据准备简单，无需复杂的标定计算过程，本发明用活体检测卷积神经网络net1和活体检测卷积神经网络net2进行活体确认，并且用活体双输入分类神经网络net3中充分融合ir图像信息和彩图信息进行判断，提高了准确率。

34、2、本发明通过对人脸进行生物特征提取，利用分类神经网络net3中充分融合ir图像信息和彩图信息，进一步判断是真实的人脸还是伪造的人脸，从而为人脸识别保驾护航。