基于双目摄像头的静默活体检测方法及系统与流程

1.本公开涉及人脸识别领域，特别是涉及一种基于双目摄像头的静默活体检测方法。


背景技术：

2.图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。它是人工智能的一个重要领域。其中人脸识别是图像识别的一个重要方面。另一方面，深度学习模型近年来在图像分类领域的能力得到了指数级的提升，并成为了人工智能领域最为活跃的研究领域。随着近几年深度学习技术的快速发展，人脸识别已经应用到各行各业，如安防、支付、刑侦等领域。但仍然存在需要改进的方面。


技术实现要素：

3.根据本公开的一个实施例，提供了一种基于双目摄像头的静默活体检测方法，包括：通过双目摄像头获得同一对象的可见光图像以及红外图像，通过将获得的可见光图像的人脸区域以及红外图像的对应的区域进行比较来确定所获得的图像是否来自电子照片或视频，通过将获得的红外图像中的人脸的两侧区域的红外光强均值与预定阈值进行比较来确定所获得的图像是否来自打印照片，以及通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像，将四通道图像输入经训练的神经网络分类器，以确定获得的图像是否来自面具或头模。
4.提供上述方案概述仅为了提供对本文所描述的主题的各方面的基本理解。因此，上述方案中的技术特征仅是示例并且不应被解释为以任何方式限制本文所描述的主题的范围或精神。本文所描述的主题的其他特征、方面和优点将从以下结合附图描述的具体实施方式而变得明晰。
附图说明
5.当结合附图考虑实施例的以下具体描述时，可以获得对本公开内容更好的理解。在各附图中使用了相同或相似的附图标记来表示相同或相似的部件和操作。其中：
6.图1示出了根据本发明的一个实施例的基于双目摄像头的静默活体检测方法的流程图。
7.图2a及图2b分别示出了真实人脸的红外图像以及真实人脸的灰度化的可见光图像的示例。
8.图3a及图3b分别示出了屏幕的红外图像以及屏幕的灰度化的可见光图像的示例。
9.图4示出了根据本发明的一个实施例的将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较来确定所获得的图像是否来自电子照片或视频的流程图。
10.图5示出了根据本发明的一个实施例的通过均值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性的流程图。
11.图6a及图6b分别示出了打印照片的红外图像以及打印照片的灰度化的可见光图像的示例。
12.图7示出了根据本发明的一个实施例确定所获得的图像是否来自打印照片时所使用的红外图像中的人脸的两侧区域的示意图。
13.图8示出了根据本发明的一个实施例的方法通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像的流程图。
14.图9示出了根据本发明的一个实施例的方法获得的融合的四通道图像的示例。
15.图10示出了根据本发明的一个实施例的使用通过融合可见光图像与红外图像的人脸区域而获得的人脸区域的四通道图像训练神经网络分类器的方法的流程图。
具体实施方式
16.以下描述根据本公开的方法和系统等各方面的具体示例。描述这些例子仅是为了增加上下文并帮助理解所描述的实施例。因此，对本领域技术人员而言明晰的是，以下所描述的实施例可以在没有具体细节当中的一些或全部的情况下被实施。在其他情况下，众所周知的操作没有详细描述，以避免不必要地模糊所描述的实施例。其他应用也是可能的，本公开的方案并不限制于这些具体示例。
17.随着近几年深度学习技术的快速发展，人脸识别已经应用到各行各业，如安防、支付、刑侦等领域，但同时也存在较大安全风险，比如非法分子会采用电子照片、视频、打印照片、面具甚至是3d头模进行攻击，所以人脸活体检测技术在人脸识别领域至关重要。另一方面，现阶段基于深度学习的检测与识别算法的计算量较大，在实际使用中需要尽可能减少耗时才能保证人脸识别算法在硬件受限设备上的实时性，因此不得不努力选择耗时低、精度高、鲁棒性强以及用户配合度低的算法。
18.现阶段较为常用的活体检测方案是基于交互式、基于纹理特征或基于较大规模深度神经网络实现的。交互式的活体检测方案通常是用户配合系统做出摇头、张嘴、眨眼等动作，系统根据用户动作反馈判断是否是活体，例如采用眨眼检测的方法进行活体判别。该方法的缺点是用户体验较差，且不适用于人流量大的场合。基于纹理特征实现的活体检测算法通常是采用人工设计的特征描述子提取真实人脸、打印照片以及显示屏的细微纹理差别，并采用机器学习分类模型进行活体判别，例如采用局部二值模式lbp特征描述子提取纹理特征，后采用支持向量机svm实现特征分类。这种方法的缺点是容易过拟合到训练样本，且容易受光照、遮挡、表情、环境、角度等因素的影响。由于非活体攻击形式多样，且需要模型不过拟合于单一摄像头采集的训练数据，保证模型的泛化性能，所以在实际使用中基于深度学习实现的活体检测模型需要较大规模的网络来增强分类能力，例如可以采用残差网络实现活体判别，这就导致模型耗时高。而且现有方案多是基于可见光图像信息实现的，易受光照因素影响。
19.现有技术中基于双目的活体检测方法多是在可见光图像与红外图像分别运行人脸检测算法过滤电子照片与视频回放攻击。两次人脸检测增加了活体检测环节的耗时，且由于常用的人脸检测器的训练样本为可见光图像，导致这样的人脸检测器在红外图像中检测性能较差。针对打印照片、面具以及头模等形式的攻击，采用红外图像或可见光图像训练深度神经网络进行判别，样本可分性信息较少，且神经网络需要抵抗的攻击形式多样，导致
模型复杂度高，增加了该环节的耗时。
20.根据本发明的一个实施例，提供了一种基于双目摄像头的静默活体检测方法。这里，双目摄像头指的是能够拍摄可见光图像和红外图像二者的摄像头，而静默活体检测意味着用户可无需进行眨眼、张嘴、摇头、点头等配合式组合动作即可进行检测。
21.图1示出了根据本发明的一个实施例的基于双目摄像头的静默活体检测方法的流程图。在步骤101中，通过双目摄像头获得同一对象的可见光图像以及红外图像。例如，图2a及图2b分别示出了真实人的脸红外图像以及真实人脸的灰度化的可见光图像的示例。图3a及图3b分别示出了屏幕的红外图像以及屏幕的灰度化的可见光图像的示例。图6a及图6b分别示出了打印照片的红外图像以及打印照片的灰度化的可见光图像的示例。由以上附图可以看出，不同对象的可见光图像以及红外图像分别具有不同的特点。
22.回到图1，在步骤102中，通过将获得的可见光图像的人脸区域以及红外图像的对应的区域进行比较来确定所获得的图像是否来自电子照片或视频。
23.由图2a及图2b可知，真实人脸的红外图像以及真实人脸的灰度化的可见光图像具有结构相似性，而从图3a可知，屏幕的红外图像基本显示为全黑，这使得屏幕的红外图像与屏幕的可见光图像不具有结构相似性。因此通过将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较，可以确定所获得的图像是否来自电子照片或视频。
24.回到图1，在步骤103中，通过将获得的红外图像中的人脸的两侧区域的红外光强均值与预定阈值进行比较来确定所获得的图像是否来自打印照片。
25.在现有技术中，一般采用单一神经网络过滤打印照片的攻击。由于在活体检测中攻击形式多样，且需要保证模型不过拟合于单一摄像头，所以需要增加网络层的深度，导致活体检测环节耗时较长。本发明采用基于红外图像的特定区域的统计信息辨别打印照片攻击，能够减少后续环节神经网络的分类数，降低模型复杂度，降低耗时，且精度较高，耗时较低。
26.由图2a可以看到，由于红外光源在真实人脸及其背景的反射比差距极大，导致在背景区域的光强值接近0，真实人脸的红外图像中人脸周围接近黑色。而从图6a可以看出，对于打印照片的红外图像，由于人脸及周边背景对红外光源的反射比近似，人脸周边的红外图像的光强值基本保持在100以上。从图6a可直观看到打印照片的红外图像中人脸周围的背景颜色无明显变化。所以通过计算人脸两侧区域的红外光强均值，与预设阈值相比较，可以确定所获得的图像是否来自打印照片，以有效抵抗打印照片攻击。图7示出了根据本发明的一个实施例确定所获得的图像是否来自打印照片时所使用的红外图像中的人脸的两侧区域的示意图。使用图7中的方框所示的人脸两侧的区域的红外光强均值于预设阈值的比较来判断图像是否来自打印照片。
27.与在现有技术中使用神经网络抵抗打印照片攻击不同，在本发明的技术方案中，直接采用红外图像中的人脸框的两侧区域的光强均值大小判别打印照片攻击，该方法耗时低，鲁棒性好。
28.回到图1，在步骤104中，通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像，将四通道图像输入经训练的神经网络分类器，以确定获得的图像是否来自面具或头模。
29.图9示出了根据本发明的一个实施例的方法通过融合获得的可见光图像与红外图
像的人脸区域而形成的人脸区域的四通道图像的示例。由于红外光源在人脸皮肤和面具或头模的表面的反射率不同，所以真实人脸相比于面具或头模来说，二者的红外图像有一定的差异性。另一方面，红外图像能够克服可见光图像受光照影响较大的缺点，通过融合红外图像和可见光图像而形成四通道图像能够增加样本可分性信息。
30.本发明的技术方案将图1所示的步骤102、步骤103以及步骤104所示的三级判别模型进行级联，可实现抵抗视频、电子照片、打印照片、面具以及头模的攻击。本领域的技术人员将理解，步骤102、步骤103以及步骤104并不旨在限定任何顺序，可以以任何顺序实现步骤102、步骤103以及步骤104所述的技术方案。
31.另一方面，图1所示的步骤102、步骤103以及步骤104所示的三个级联模型可以相互分离，使得能够根据不同的人脸识别场景选择不同的分类方案，灵活性好。
32.图4示出了根据本发明的一个实施例的将所获得的可见光图像的人脸区域以及红外图像的对应的区域进行比较来确定所获得的图像是否来自电子照片或视频的流程图。在步骤401中，将获得的可见光图像以及红外图像配准。在配准后的可见光图像以及红外图像中，同一个特征点的坐标是相同的。本领域的技术人员将理解可以采用任何配准技术来配准可见光图像以及红外图像。
33.在步骤402中，通过人脸检测算法获得可见光图像中的人脸的坐标。可以使用各种人脸检测算法，例如，可以使用多任务卷积神经网络mtcnn来检测人脸以获得可见光图像中的人脸的坐标。例如，在可见光图像中，检测到的人脸可以由坐标(x1，y1，x2，y2)示出的人脸框表示。由于可见光图像以及红外图像已经被配准，因此在红外图像中也可以由人脸框(x1，y1，x2，y2)表示人脸区域。
34.在现有技术中，大多采用分别在可见光图像与红外图像中进行人脸检测的方法。然而，现有的人脸检测算法的模型大多基于可见光图像，将基于可见光图像的人脸检测算法应用于红外图像，会使得算法的性能降低。另外，现有的较高精度的人脸检测算法多是基于神经网络实现的，在红外图像上再次应用人脸检测算法会增加活体检测环节的耗时。而在本发明中，通过先配准可见光图像与红外图像，然后仅在可见光图像中应用人脸检测算法就能获得指示可见光图像与红外图像二者中的人脸区域的人脸框坐标，该方法计算量低，准确度高，且泛化能力较强。
35.在步骤403中，计算所述坐标内灰度化的可见光图像和红外图像的结构相似性。如图2a及图2b所示，真实人脸的灰度化的可见光图像和红外图像虽然在图像亮度上有差异，但在图像结构上保持相似性。但是，如图3a所示，电子照片或视频的红外图像基本显示全黑，这与图3b所示的电子照片或视频的可见光图像不具有结构相似性。
36.回到图4，在步骤404中，通过结构相似性来确定获得的图像是否来自电子照片或视频。
37.在根据本发明的一个实施例中，可以通过均值哈希算法计算所述坐标内灰度化的可见光图像和红外图像的结构相似性。
38.图5示出了根据本发明的一个实施例的通过均值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性的流程图。可选地，可以将通过人脸检测算法所获得的坐标(x1，y1，x2，y2)内的灰度化的可见光图像和红外图像分别缩放为便于计算的大小，例如8
×
8大小。
39.在步骤501中，对所述坐标内的灰度化的可见光图像和红外图像的像素值分别求平均。
40.在步骤502中，根据平均值分别将灰度化的可见光图像和红外图像的每个像素二值化。例如，大于平均值的像素值设为1，而小于平均值的像素值设为0。
41.在步骤503中，分别生成所述二值化的可见光图像和红外图像的哈希值。
42.在步骤504中，比较可见光图像和红外图像的所生成的哈希值以确定可见光图像和红外图像的结构相似性。
43.通常，采用比较所生成的哈希值的汉明距离的方法来确定结构相似性。汉明距离越小，表明结构相似度越高。
44.采用均值哈希算法能够克服红外图像与可见光图像之间的亮度差异，而主要关注图片结构，能够较好的描述红外图像与灰度化的可见光图像之间的结构相似性，根据该结果可有效抵抗电子照片或视频的攻击，且该方法耗时低，泛化性能强。
45.在根据本发明的另一个实施例中，也可以通过差值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性。
46.图8示出了根据本发明的一个实施例的方法通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像的流程图。在步骤801中，将获得的可见光图像以及红外图像配准。在步骤802中，通过人脸检测算法获得可见光图像中的人脸的坐标。类似地，例如，在可见光图像中，检测到的人脸可以表示为由坐标(x1，y1，x2，y2)表示的人脸框。
47.在步骤803中，根据所获得的可见光图像中的人脸的坐标截取红外图像的相同坐标区域作为红外图像的人脸区域。由于可见光图像以及红外图像已经被配准，因此在红外图像中也可以由坐标(x1，y1，x2，y2)表示人脸区域。该方法计算量低，准确度高，且泛化能力较强，能够避免基于可见光图像的人脸检测算法应用于红外图像的性能降低的问题，同时避免在红外图像上二次应用人脸检测算法，减小计算量，缩短计算耗时。
48.在步骤804中，融合可见光图像的人脸区域与红外图像的人脸区域而形成人脸区域的四通道图像。
49.图9示出了根据本发明的一个实施例的方法获得的融合的四通道图像的示例。该融合图像包括了红外图像和可见光图像两者的特征。红外图像能够克服可见光图像受光照影响较大的缺点。融合形成的四通道图像能够增加可分性信息。
50.图10示出了根据本发明的一个实施例的使用融合可见光图像与红外图像的人脸区域而获得的人脸区域的四通道图像训练神经网络分类器的方法的流程图。
51.在进行神经网络模型训练时，由于不同摄像头存在工艺误差和系统误差，采用单一的摄像头采集的数据进行模型训练会导致模型过拟合于某一单一摄像头数据，故需要在训练集采集阶段采用多种包括可见光摄像头以及红外摄像头的双目摄像头采集多角度真实人脸以及多角度面具及头模的数据。
52.如在图10中所示，通过以下步骤来训练所述神经网络分类器。在步骤1001中，使用多种双目摄像头从多个角度获得真实人脸的多个可见光图像以及对应的多个红外图像。
53.在步骤1002中，融合所获得的真实人脸的多个可见光图像以及对应的多个红外图像以形成真实人脸的多个四通道图像。例如，可以使用如图8所示的方法来融合真实人脸的
多个可见光图像以及对应的多个红外图像以形成真实人脸的多个四通道图像。
54.在步骤1003中，使用多种双目摄像头从多个角度获得头模或面具的多个可见光图像以及对应的多个红外图像。
55.在步骤1004中，融合所获得的头模或面具的多个可见光图像以及对应的多个红外图像以形成头模或面具的多个四通道图像。例如，可以使用如图8所示的方法来融合所获得的头模或面具的多个可见光图像以及对应的多个红外图像以形成头模或面具的多个四通道图像。
56.在步骤1005中，使用真实人脸的多个四通道图像以及头模或面具的多个四通道图像来训练所述神经网络分类器，使得所述分类器能够在真实人脸的四通道图像与头模或面具的四通道图像之间进行分类。
57.例如，将真实人脸四通道图像作为正训练样本集，将头模或面具的四通道图像作为负样本集训练神经网络分类器。
58.本领域的技术人员将理解，神经网络分类器可以采用任何合适的神经网络模型。
59.神经网络分类器可以采用自建网络。例如，可以采用的神经网络可以包含4个卷积层以及2个全连接层，表征真实人脸样本与攻击样本的两种标签的2个输出节点，损失函数可以采用二分类交叉熵损失。可以将如上所述获得的四通道图像分割为训练集、验证集与测试集，指定训练中的批尺寸、学习率等参数，对权值进行随机初始化。
60.神经网络分类器也可以采用开源的轻量化网络。例如，神经网络分类器可以采用mobilenet、shufflenet及squeezenet中的一个。本领域的技术人员将理解，此处仅示出了示例性的开源的轻量化网络，而本公开的技术方案可以不限于所示出的网络类型。
61.在本发明的技术方案中，由于已经通过在如图1所示的步骤102和步骤103过滤出电子照片、视频以及打印照片的攻击，因此所训练的神经网络可以只针对面具与头模攻击进行过滤，分类类别较少，采用浅层的神经网络模型即可实现有效分类判别。通过采用浅层的网络模型能够缩减计算量，使模型计算耗时降低，充分保证模型的实时性。
62.本发明所提出的基于双目摄像头的静默活体检测方法能够解决现有技术中用户配合度高、鲁棒性差、模型可迁移性差的问题，能够有效抵抗电子照片、视频回放、打印照片、面具以及3d头模的攻击。
63.根据本发明的一个实施例，还提供了一种基于双目摄像头的静默活体检测系统，包括：用于通过双目摄像头获得同一对象的可见光图像以及红外图像的装置，用于通过将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较来确定所获得的图像是否来自电子照片或视频的装置，用于通过将获得的红外图像中的人脸的两侧的区域的红外光强均值与预定阈值进行比较来确定所获得的图像是否来自打印照片的装置，以及用于通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像并将四通道图像输入经训练的神经网络分类器以确定获得的图像是否来自面具或头模的装置。
64.根据本发明的一个实施例，其中用于将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较来确定所获得的图像是否来自电子照片或视频的装置包括：用于将获得的可见光图像以及红外图像配准的装置，用于通过人脸检测算法获得可见光图像中的人脸的坐标的装置，用于计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性的装置，以及用于通过结构相似性来确定获得的图像是否来自电子照片或视频的装置。
65.根据本发明的一个实施例，基于双目摄像头的静默活体检测系统包括用于通过均值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性的装置。
66.根据本发明的一个实施例，其中用于通过均值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性的装置包括：用于对所述坐标内的灰度化的可见光图像和红外图像的像素值分别求平均的装置，用于根据平均值分别将所述灰度化的可见光图像和红外图像的每个像素二值化的装置，用于分别生成所述二值化的可见光图像和红外图像的哈希值的装置，以及用于比较可见光图像和红外图像的所生成的哈希值以确定可见光图像和红外图像的结构相似性的装置。
67.根据本发明的一个实施例，基于双目摄像头的静默活体检测系统还包括用于通过差值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性的装置。
68.根据本发明的一个实施例，其中用于通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像的装置包括：用于将获得的可见光图像以及红外图像配准的装置，用于通过人脸检测算法获得可见光图像中的人脸的坐标的装置，用于根据所获得的可见光图像中的人脸的坐标截取红外图像的相同坐标区域作为红外图像的人脸区域的装置，以及用于融合可见光图像的人脸区域与红外图像的人脸区域而形成人脸区域的四通道图像的装置。
69.根据本发明的一个实施例，基于双目摄像头的静默活体检测系统还包括：用于使用多种双目摄像头从多个角度获得真实人脸的多个可见光图像以及对应的多个红外图像的装置，用于融合所获得的真实人脸的多个可见光图像以及对应的多个红外图像以形成真实人脸的多个四通道图像的装置，用于使用多种双目摄像头从多个角度获得头模或面具的多个可见光图像以及对应的多个红外图像的装置，用于融合所获得的头模或面具的多个可见光图像以及对应的多个红外图像以形成头模或面具的多个四通道图像的装置，用于使用真实人脸的多个四通道图像以及头模或面具的多个四通道图像来训练所述神经网络分类器使得所述分类器能够在真实人脸的四通道图像与头模或面具的四通道图像之间进行分类的装置。
70.根据本发明的一个实施例，其中所述神经网络分类器包括四个卷积层、两个全连接层以及表征真实人脸的四通道图像和头模或面具的四通道图像两种标签的两个输出节点，以及所述神经网络分类器的损失函数采用二分类交叉熵损失函数。
71.根据本发明的一个实施例，其中所述神经网络分类器采用轻量化网络。
72.根据本发明的一个实施例，还提供了一种电子设备，包括处理器及存储器，所述存储器具有程序指令存储其上，当由处理器执行所述程序指令时执行如前所述的方法。
73.根据本发明的一个实施例，还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如前所述的方法。
74.在一些实施例中，存储器可以包括安装介质(例如cd-rom、软盘或磁带设备)、随机存取存储器(诸如dram、ddr ram、sram、edo ram、rambus ram等)、非易失性存储器(诸如闪存、磁介质或光学存储装置)、寄存器或其他类似类型的存储器元件等。存储器还可以包括其他类型的存储器或其组合。
75.处理器可以是可用于处理信息的任何处理器，诸如微处理器、数字信号处理器、微控制器、多核处理器、专用处理器、用于网络通信的接口等等。处理器可以运行存储设备中
所存储的各种软件部件(如根据本公开实施例的可能的软件部件)，以执行系统的各种功能。
76.本公开的各方面可以呈现完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例的形式，所有前述的各项在本文中都可以一般性地称为“电路”、“模块”或“系统”。可以使用一个或多个计算机可读存储介质的任何组合。计算机可读存储介质可以是计算机可读信号介质或计算机可读存储介质。
77.计算机可读存储介质可以是例如但不限于电子的、磁性的、光学的、电磁的、红外的或半导体系统、装置或设备，或前述的各项的任何适当的组合。计算机可读存储介质的更具体的实例(非穷举列表)将包括以下内容：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、光纤、便携式光盘只读存储器(cd-rom)、光存储设备、磁存储设备或前述的各项的任何适当组合。在本文档的上下文中，计算机可读存储介质可以是任何包含或存储由指令执行系统、装置或设备使用或与其结合使用的程序的有形介质。
78.本公开在各种实施例、配置和方面中包括基本上如本文描绘和描述的组件、方法、过程、系统和/或装置，包括各种实施例，子组合和其子集。本领域技术人员将理解在理解本公开之后如何制造和使用本文公开的系统和方法。在各种实施例、配置和方面中，本公开包括提供不存在本文未描绘和/或描述的项目的装置和过程，或在本文的各种实施例、配置或方面中，包括不存在可能已经在以前的装置或过程中使用的项目，例如用于提高性能、实现简易性和/或降低实现成本。
79.另外，本公开的实施方式还可以包括以下示例：
80.项目1.一种基于双目摄像头的静默活体检测方法，包括：通过双目摄像头获得同一对象的可见光图像以及红外图像，通过将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较来确定所获得的图像是否来自电子照片或视频，通过将获得的红外图像中的人脸的两侧的区域的红外光强均值与预定阈值进行比较来确定所获得的图像是否来自打印照片，以及通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像，将四通道图像输入经训练的神经网络分类器，以确定获得的图像是否来自面具或头模。
81.项目2.如项目1所述的方法，其中将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较来确定所获得的图像是否来自电子照片或视频的步骤包括：将获得的可见光图像以及红外图像配准，通过人脸检测算法获得可见光图像中的人脸的坐标，计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性，以及通过结构相似性来确定获得的图像是否来自电子照片或视频。
82.项目3.如项目2所述的方法，其中通过均值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性。
83.项目4.如项目3所述的方法，其中通过均值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性包括以下步骤：对所述坐标内的灰度化的可见光图像和红外图像的像素值分别求平均，根据平均值分别将所述灰度化的可见光图像和红外图像的每个像素二值化，分别生成所述二值化的可见光图像和红外图像的哈希值，以及比较可见光图像和红外图像的所生成的哈希值以确定可见光图像和红外图像的结构相似性。
84.项目5.如项目2所述的方法，其中通过差值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性。
85.项目6.如项目1所述的方法，其中通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像的步骤包括：将获得的可见光图像以及红外图像配准，通过人脸检测算法获得可见光图像中的人脸的坐标，根据所获得的可见光图像中的人脸的坐标截取红外图像的相同坐标区域作为红外图像的人脸区域，以及融合可见光图像的人脸区域与红外图像的人脸区域而形成人脸区域的四通道图像。
86.项目7.如项目1所述的方法，其中通过以下步骤来训练所述神经网络分类器：使用多种双目摄像头从多个角度获得真实人脸的多个可见光图像以及对应的多个红外图像，融合所获得的真实人脸的多个可见光图像以及对应的多个红外图像以形成真实人脸的多个四通道图像，使用多种双目摄像头从多个角度获得头模或面具的多个可见光图像以及对应的多个红外图像，融合所获得的头模或面具的多个可见光图像以及对应的多个红外图像以形成头模或面具的多个四通道图像，使用真实人脸的多个四通道图像以及头模或面具的多个四通道图像来训练所述神经网络分类器，使得所述分类器能够在真实人脸的四通道图像与头模或面具的四通道图像之间进行分类。
87.项目8.如项目1所述的方法，其中所述神经网络分类器包括四个卷积层、两个全连接层以及表征真实人脸的四通道图像和头模或面具的四通道图像两种标签的两个输出节点，以及所述神经网络分类器的损失函数采用二分类交叉熵损失函数。
88.项目9.如项目1所述的方法，其中所述神经网络分类器采用轻量化网络。
89.项目10.一种基于双目摄像头的静默活体检测系统，包括：用于通过双目摄像头获得同一对象的可见光图像以及红外图像的装置，用于通过将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较来确定所获得的图像是否来自电子照片或视频的装置，用于通过将获得的红外图像中的人脸的两侧的区域的红外光强均值与预定阈值进行比较来确定所获得的图像是否来自打印照片的装置，以及用于通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像并将四通道图像输入经训练的神经网络分类器以确定获得的图像是否来自面具或头模的装置。
90.项目11.如项目10所述的系统，其中用于将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较来确定所获得的图像是否来自电子照片或视频的装置包括：用于将获得的可见光图像以及红外图像配准的装置，用于通过人脸检测算法获得可见光图像中的人脸的坐标的装置，用于计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性的装置，以及用于通过结构相似性来确定获得的图像是否来自电子照片或视频的装置。
91.项目12.如项目11所述的系统，包括用于通过均值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性的装置。
92.项目13.如项目12所述的系统，其中用于通过均值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性的装置包括：用于对所述坐标内的灰度化的可见光图像和红外图像的像素值分别求平均的装置，用于根据平均值分别将所述灰度化的可见光图像和红外图像的每个像素二值化的装置，用于分别生成所述二值化的可见光图像和红外图像的哈希值的装置，以及用于比较可见光图像和红外图像的所生成的哈希值以确定
可见光图像和红外图像的结构相似性的装置。
93.项目14.如项目11所述的系统，还包括用于通过差值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性的装置。
94.项目15.如项目10所述的系统，其中用于通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像的装置包括：用于将获得的可见光图像以及红外图像配准的装置，用于通过人脸检测算法获得可见光图像中的人脸的坐标的装置，用于根据所获得的可见光图像中的人脸的坐标截取红外图像的相同坐标区域作为红外图像的人脸区域的装置，以及用于融合可见光图像的人脸区域与红外图像的人脸区域而形成人脸区域的四通道图像的装置。
95.项目16.如项目10所述的系统，还包括：用于使用多种双目摄像头从多个角度获得真实人脸的多个可见光图像以及对应的多个红外图像的装置，用于融合所获得的真实人脸的多个可见光图像以及对应的多个红外图像以形成真实人脸的多个四通道图像的装置，用于使用多种双目摄像头从多个角度获得头模或面具的多个可见光图像以及对应的多个红外图像的装置，用于融合所获得的头模或面具的多个可见光图像以及对应的多个红外图像以形成头模或面具的多个四通道图像的装置，用于使用真实人脸的多个四通道图像以及头模或面具的多个四通道图像来训练所述神经网络分类器使得所述分类器能够在真实人脸的四通道图像与头模或面具的四通道图像之间进行分类的装置。
96.项目17.如项目10所述的系统，其中所述神经网络分类器包括四个卷积层、两个全连接层以及表征真实人脸的四通道图像和头模或面具的四通道图像两种标签的两个输出节点，以及所述神经网络分类器的损失函数采用二分类交叉熵损失函数。
97.项目18.如项目10所述的系统，其中所述神经网络分类器采用轻量化网络。
98.项目19.一种电子设备，包括处理器及存储器，所述存储器具有程序指令存储其上，当由处理器执行所述程序指令时使所述电子设备执行如项目1-9中任一项所述的方法。
99.项目20.一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如项目1-9中的任一项所述的方法。
100.此外，虽然对本公开的描述已经包括了对一个或多个实施例、配置或方面的描述，但是某些变型和修改、其他变型、组合和修改也在本公开的范围内，例如，在本领域技术人员理解了本公开之后，这可能在他们的技术和知识范围内。本公开旨在获得权利，该权利应当包括在允许范围内的替代实施例、配置或方面，包括与所要求保护的那些结构、功能、范围或步骤的替代的、可互换的和/或等效的结构、功能、范围或步骤，无论这些替代的、可互换的和/或等效的结构、功能、范围或步骤是否在本文中具体说明。本文不旨在公开地贡献任何可取得专利的技术方案。