人脸活体检测方法、电子设备及存储介质与流程

1.本技术实施例涉及计算机视觉领域，特别涉及一种人脸活体检测方法、电子设备及存储介质。


背景技术：

2.人脸识别技术已被广泛应用于各种身份判别系统中，比如：购物软件支付系统、高铁进站刷脸系统、手机解锁系统、实体超市支付系统等等，人脸识别技术本身关注的是人脸图像中的对象是否为特定的对象，即身份是否正确这一问题，但如果用特定对象的人脸照片或人脸视频去攻击人脸识别系统，系统是无法防范的，因此需要在人脸识别之前判断人脸图像中的对象是否为一个真实的对象，即判断是否为活体。
3.目前多采用人脸图像的深度信息进行活体检测，而人脸图像的深度信息有两种获取方法：第一种是采用双目立体视觉技术，即利用成像设备从不同位置获取被测物体的两幅图像，通过对两幅图像进行立体匹配获取被测物体的深度信息。第二种是散斑结构光技术，即通过向被测物体投射随机不规则的散斑来获取散斑图像，对散斑图像进行散斑特征匹配获取被测物体深度信息。但这两种方法都需要进行图像匹配，对图像匹配算法要求较高，计算量大，耗时久。


技术实现要素：

4.本技术实施方式的目的在于提供一种人脸活体检测方法、电子设备及存储介质，只需通过一张人脸结构光图像计算得到的人脸真实宽度和深度信息即可实现活体检测，计算量小、速度快的同时，还能得到准确度较高的活体检测结果。
5.为解决上述技术问题，本技术的实施方式提供了一种人脸活体检测方法，包括：获取多线结构光相机拍摄的人脸结构光图像，并确定所述人脸结构光图像中人脸区域的像素点坐标和所述像素点在水平方向的数量；根据所述人脸区域的像素点坐标、所述像素点在水平方向的数量和所述多线结构光相机的相机参数获取所述人脸区域中每个像素点的深度信息和人脸真实宽度；基于所述人脸真实宽度和所述人脸区域中每个像素点的深度信息，确定所述人脸结构光图像对应的人脸为活体或非活体。
6.本技术的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使所述至少一个处理器能够执行以上实施方式所述的人脸活体检测方法。
7.本技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的人脸活体检测方法。
8.本技术实施方式提供的人脸活体检测方法，本技术通过多线结构光相机拍摄得到人脸结构光图像，获取人脸结构光图像种人脸区域的像素点坐标和像素点在水平方向的数量，根据人脸区域的像素点坐标、像素点在水平方向的数量和多线结构光相机的相机参数
获取人脸区域中每个像素点的深度信息和人脸真实宽度，即本技术深度信息的获取过程无需进行图像匹配，只需一张人脸结构光图像并结合相机参数即可确定人脸的深度信息，计算速度快，耗时小，无需复杂的图像处理算法。在获取人脸真实宽度和人脸区域中每个像素点的深度信息后，根据这两个数据即可确定所述人脸结构光图像对应的人脸为活体或非活体，也就是说，本技术将人脸的多维度信息(人脸深度和人脸宽度)结合进行活体检测，进一步提高活体检测的准确度，整个过程计算量小、速度快。
9.另外，本技术实施方式提供的人脸活体检测方法，基于所述人脸真实宽度和所述人脸区域中每个像素点的深度信息，确定所述人脸结构光图像对应的人脸为活体或非活体，包括：当所述人脸真实宽度在预设的人脸宽度标准范围内时，根据所述人脸区域中每个像素点的深度信息和训练好的人脸活体检测模型，确定所述人脸结构光图像对应的人脸为活体或非活体；当所述人脸真实宽度不在预设的人脸宽度标准范围时，确定所述人脸结构光图像对应的人脸为非活体。本技术判断人脸真实宽度不在预设的人脸宽度标准范围内时，可以快速确定采用非等比例的二维图像或视频作为攻击手段时采集的人脸结构光图像对应的人脸为非活体，当人脸真实宽度在预设的人脸宽度标准范围内时，则根据人脸深度信息进行活体检测。
10.另外，本技术实施方式提供的人脸活体检测方法，人脸真实宽度通过如下步骤获取：根据所述感光单元的尺寸和所述人脸区域的像素点在水平方向的数量，获取人脸的图像宽度；基于所述人脸的图像宽度、所述感光元件的靶面宽度、所述水平视场角和所述像素点的深度信息获取所述人脸真实宽度。本技术通过获取人脸结构光图像的像素点在水平方向的数量和相机参数就可直接获取人脸真实宽度，简单、快捷，无需对人脸结构光图像进行复杂的图像处理。
11.另外，本技术实施方式提供的人脸活体检测方法，人脸区域中每个像素点的深度信息通过如下步骤获取：根据所述人脸区域的像素点坐标和所述感光元件上感光单元的尺寸，获取所述像素点对应的成像点到像空间坐标系中x轴的距离；基于所述成像点到像空间坐标系中x轴的距离、所述垂直视场角、所述结构光光源中心光轴与相机光轴的夹角、所述结构光光源与摄像模组的距离和所述感光元件的靶面高度，获取所述人脸区域中每个像素点的深度信息；其中，所述像空间坐标系是以所述感光元件的中心作为原点、所述多线结构光相机的光轴作为z轴建立的。本技术人脸的深度信息通过一张人脸结构光图像的像素点坐标和相机参数就可快速获取，无需两张人脸图像进行图像匹配，计算量小、速度快，方便应用于嵌入式平台。
附图说明
12.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
13.图1是本技术实施方式提供的人脸活体检测方法的流程图；
14.图2是本技术实施方式提供的多线结构光相机结构示意图；
15.图3是本技术实施方式提供的多线结构光相机工作示意图；
16.图4是本技术实施方式提供的多线结构光相机成像示意图；
17.图5是本技术实施方式提供的多线结构光相机成像的垂直视场示意图；
18.图6是本技术实施方式提供的电子设备的结构示意图。
具体实施方式
19.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本技术各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
20.下面对本实施方式的人脸活体检测系统的测试方法的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
21.本技术的实施方式涉及一种人脸活体检测系统的测试方法，如图1所示，包括。
22.步骤101，获取多线结构光相机拍摄的人脸结构光图像，并确定人脸结构光图像中人脸区域的像素点坐标和像素点在水平方向的数量。
23.本领域技术人员可以理解的是，多线结构光相机一般由红外光源、结构光光源和摄像模组构成，摄像模组包括摄像头和滤光片，其中红外光源与结构光光源的波长在相同的波段内，而该波段能够透过滤光片。多线结构光相机的结构示意图如图2所示，线结构光相机是通过线激光器作为光源，投射一条激光线到物体表面，通过相机拍摄物体表面发生扭曲的激光器线条，并根据激光器线条在图像上的位置以及光平面等信息获取物体截面轮廓。多线结构光相机，即相机可以投射多条激光线。
24.本实施例中，获取人脸结构光图像过程为：当待测对像处于多线结构光相机的视场角范围内时，开启结构光光源，光源发出的多线结构光投射到人脸上，经过人脸反射被多线结构光相机捕获，获取待测对象的人脸结构光图像。进一步，确定人脸结构光图像中的人脸区域，获取人脸区域的像素点坐标和水平方向的像素点数量。多线结构光相机的工作示意图如图3所示，d为人脸真实宽度，ab为投射到人脸表面反射的线结构光，l为人脸表面对应点到多线结构光相机的距离。
25.在一实施例中，确定人脸结构光图像中人脸区域的像素点坐标，包括：对与人脸结构光图像对应的人脸红外图像进行人脸检测，确定人脸红外图像中的人脸区域；其中人脸红外图像通过多线结构光相机中的红外光源和摄像模组拍摄获取；根据人脸红外图像中人脸区域确定人脸结构光图像中人脸区域的位置；获取人脸结构光图像中人脸区域的每个像素点的坐标。
26.具体地说，由于通过人脸结构光图像无法直接确定人脸区域，因此需要借助与人脸结构光图像对应的人脸红外图像来确定人脸区域。在拍摄获取人脸结构光图像后，关闭结构光光源，待测对象和相机位置不变，开启红外光源，相机拍摄获取人脸红外图像。对人脸红外图像进行人脸检测，确定人脸区域，然后根据人脸红外图像中人脸区域的位置即可确定人脸结构光图像中人脸区域的位置。
27.步骤102，根据人脸区域的像素点坐标、像素点在水平方向的数量和多线结构光相机的相机参数获取人脸区域中每个像素点的深度信息和人脸真实宽度。
28.在本实施例中，获取每个像素点的深度信息，需要借助人脸区域的多条线结构光信息，获取人脸真实宽度，则最少只需人脸区域的一条线结构光信息。即若简单地认为人脸
是一个形状规则的矩形，则对一条线结构光信息进行分析计算即可，若要获取精准的人脸真实宽度，则可以结合多条线结构光信息综合计算得到准确的人脸真实宽度。
29.在一实施例中，相机参数包括：多线结构光相机中感光元件的靶面宽度、感光元件上感光单元的尺寸和多线结构光相机的水平视场角；人脸真实宽度通过如下步骤获取：根据感光单元的尺寸和人脸区域的像素点在水平方向的数量，获取人脸的图像宽度；基于人脸的图像宽度、感光元件的靶面宽度、水平视场角和像素点的深度信息获取人脸真实宽度。
30.本实施例通过获取人脸结构光图像的像素点在水平方向的数量和相机参数就可直接获取人脸真实宽度，简单、快捷，无需对人脸结构光图像进行复杂的图像处理，也无需多张人脸结构光图像，可达到实时检测的需要。
31.具体地说，人脸真实宽度通过以下公式计算：
[0032][0033]
其中，ε为所述感光元件上感光单元的尺寸，count为所述人脸区域的像素点在水平方向的数量，l为所述像素点的深度信息，w'为所述感光元件的靶面宽度，为所述多线结构光相机的水平视场角。
[0034]
在一实施例中，相机参数还包括：多线结构光相机中感光元件的靶面高度、多线结构光相机的垂直视场角、多线结构光相机中结构光光源中心光轴与相机光轴的夹角和结构光光源与多线结构光相机中摄像模组的距离；人脸区域每个像素点的深度信息通过如下步骤获取：根据人脸区域的像素点坐标和所述感光元件上感光单元的尺寸，获取像素点对应的成像点到像空间坐标系中x轴的距离；基于成像点到像空间坐标系中x轴的距离、垂直视场角、结构光光源中心光轴与相机光轴的夹角、结构光光源与摄像模组的距离和感光元件的靶面高度，获取人脸区域中每个像素点的深度信息；其中，像空间坐标系是以感光元件的中心作为原点、多线结构光相机的光轴作为z轴建立的。
[0035]
本实施例中，人脸的深度信息通过一张人脸结构光图像的像素点坐标和相机参数就可快速获取，无需两张人脸图像进行图像匹配，计算量小、速度快，方便应用于嵌入式平台。
[0036]
具体地说，每个像素点的深度信息通过以下公式计算：
[0037][0038]
其中，ε为所述感光元件上感光单元的尺寸，y'为所述人脸区域的像素点的纵坐标，z为所述多线结构光相机中结构光光源与摄像模组的距离，h'为所述感光元件的靶面高度，为所述多线结构光相机的垂直视场角，θ为所述多线结构光相机中结构光光源中心光轴与相机光轴的夹角。
[0039]
本技术中人脸真实宽度的计算公式和像素点的深度信息的计算公式通过如下分析过程可以获取，具体如下：
[0040]
为方便分析以单线结构光为例，多线结构光相机成像示意图如图4所示，ab表示投射到人脸表面反射的线结构光，经光学系统成像于相机的感光元件上，即a’b’。因此，本实施例的像空间坐标系以感光元件的中心作为原点，多线结构光相机的光轴作为z轴建立的。
[0041]
其中，h*w为相机距离人脸表面l处的视场大小。设h’和w’分别表示像点c’到像空间坐标系xi轴和yi轴的距离，d’表示a’b’的长度(即ab的图像宽度)，h’*w’为感光元件的靶面尺寸。设a’b’间像素点个数为count、感光元件上感光单元的尺寸为ε，则h’、w’和d’的值可表示为：
[0042][0043]
设本实施例中多线结构光相机的光学系统的成像放大率为β，则成像放大率β可表示为：
[0044][0045]
多线结构光相机成像的垂直视场示意图，如图5所示，是多线结构光相机的垂直视场角，h为距离l处视场的高度，h是c点距离相机成像光轴的垂直距离。根据垂直方向上的几何成像关系：
[0046][0047]
结合公式(1)、(2)得
[0048][0049]
通过以上分析计算可得人脸c点到相机的距离l，即表示人脸结构光图像中像素点c的深度信息。类似地，可以人脸结构光图像中人脸区域内每个像素点的深度信息。
[0050]
进一步地，设为相机的水平视场角，w为距离l处视场的宽度，w为c点距离相机成像光轴的水平距离，d表示为人脸的宽度。a’b’间像素点个数为count，count可以从人脸结构光图像中获得。由水平方向上的几何成像关系得：
[0051][0052]
结合式(1)、(2)人脸真实宽度d如下式：
[0053][0054]
步骤103，基于人脸真实宽度和人脸区域中每个像素点的深度信息，确定人脸结构光图像对应的人脸为活体或非活体。
[0055]
在本实施例中，将人脸的多维度信息(人脸的深度信息和人脸真实宽度)结合进行活体检测，可进一步提高活体检测的效率和准确度，方便应用于嵌入式平台，达到实时检测
的目的。
[0056]
在一实施例中，步骤103具体包括：当人脸真实宽度在预设的人脸宽度标准范围内时，根据人脸区域中每个像素点的深度信息和训练好的人脸活体检测模型，确定人脸结构光图像对应的人脸为活体或非活体；当人脸真实宽度不在预设的人脸宽度标准范围时，确定人脸结构光图像对应的人脸为非活体。
[0057]
本实施例中，当人脸真实宽度在人脸宽度标准范围内时，根据像素点的深度信息和人脸活体检测模型进行检测，当人脸真实宽度不在人脸宽度标准范围时，可直接确定人脸结构光图像对应的人脸为非活体。即本技术通过人脸真实宽度可以快速确定采集到的人脸结构光图像对应的人脸实质为非等比例的二维假体视频或图像。
[0058]
在实际应用中，如：人脸支付、手机解锁等刷脸场景，大多通过手机屏幕显示真实对象的图像、打印真实对象的照片等手段来欺骗活体检测设备，而这些手段对应的人脸结构光图像计算出的人脸宽度与通过活体对象计算出的人脸宽度相差较大，因此通过人脸结构光图像计算人脸真实宽度可快速筛选出现实生活中较为常用的活体攻击方式。而对于采用3d人脸模型攻击活体检测设备的，本技术采用像素点的深度信息和人脸活体检测模型进一步进行确定。
[0059]
进一步地，根据人脸区域中每个像素点的深度信息和训练好的人脸活体检测模型，确定人脸结构光图像对应的人脸为活体或非活体，具体包括：根据人脸区域中每个像素点的深度信息生成人脸深度图；对人脸深度图进行中心化处理和归一化处理，得到处理后的人脸深度图；将处理后的人脸深度图输入到训练好的人脸活体检测模型中，确定所述人脸深度图对应的人脸为活体或非活体。
[0060]
本实施例中，通过像素点的深度信息可直接生成对应的人脸深度图，相比于现有的采用两张图像进行立体匹配获取视差图，然后根据视差图获取深度图的方法，计算量更小，效率更高。人脸活体检测模型可以采用残差网络、卷积网络、注意力机制网络等等机器学习中任一网络模型，在此不做限制。
[0061]
需要说明的是，本实施例也可直接使用像素点的深度信息进行活体检测，比如：若采用与真实人脸尺寸完全相同的打印照片去攻击活体检测设备，由于照片为表面平滑的物体，其各位置处的深度值相同，而真实人脸表面各位置处变化幅度不同，即各位置深度值并不相同、且变化较大，因此仅通过深度信息就可确定对应的人脸为非活体。但是仅通过深度信息无法对使用3d人脸模型这种攻击手段做出有效检测。
[0062]
本技术实施方式提供的人脸活体检测方法，通过多线结构光相机拍摄得到人脸结构光图像，获取人脸结构光图像种人脸区域的像素点坐标和像素点在水平方向的数量，根据人脸区域的像素点坐标、像素点在水平方向的数量和多线结构光相机的相机参数获取人脸区域中每个像素点的深度信息和人脸真实宽度，即本技术深度信息的获取过程无需进行图像匹配，只需一张人脸结构光图像并结合相机参数即可确定人脸的深度信息，计算速度快，耗时小，无需复杂的图像处理算法。在获取人脸真实宽度和人脸区域中每个像素点的深度信息后，根据这两个数据即可确定所述人脸结构光图像对应的人脸为活体或非活体，也就是说，本技术将人脸的多维度信息(人脸深度和人脸宽度)结合进行活体检测，进一步提高活体检测的准确度，整个过程计算量小、速度快。
[0063]
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者
对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
[0064]
本技术的实施方式涉及一种电子设备，如图6所示，包括：
[0065]
至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行如上述实施方式提及的人脸活体检测方法。
[0066]
该电子设备包括：一个或多个处理器301以及存储器302，图6中以一个处理器301为例。处理器301、存储器302可以通过总线或者其他方式连接，图6中以通过总线连接为例。存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施方式中策略空间内的各处理策略对应的算法就存储于存储器302中。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述人脸活体检测方法。
[0067]
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0068]
一个或者多个模块存储在存储器302中，当被一个或者多个处理器301执行时，执行上述任意实施方式中的人脸活体检测方法。
[0069]
上述产品可执行本技术实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本技术实施方式所提供的人脸活体检测方法。
[0070]
本技术的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述人脸活体检测方法的实施例。
[0071]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0072]
本领域的普通技术人员可以理解，上述各实施方式是实现本技术的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本技术的精神和范围。