非活体人脸的检测方法、装置、计算机设备及存储介质与流程

本申请涉及人脸检测技术领域，特别是涉及一种非活体人脸的检测方法、装置、计算机设备及存储介质。

背景技术：

基于对用户的隐私或财产等方面的保护，在有些场景中需要通过终端设备的摄像头对用户进行活体识别，只有在识别到活体用户时，才允许访问应用程序中的某些功能。

现有的基于人脸动态关键点的活体检测方案一般是在识别活体的时候，让用户眨眼、张嘴或抬头等操作，但是现有的活体识别技术存在被伪造动画攻破的风险，如果伪造的人脸动画很逼真那么可以通过现有的活体目标检测。

由于动画制作技术的快速发展使得现有的活体识别技术存在被伪造动画攻破的风险，现有的活体识别技术亟待改进。

技术实现要素：

本发明实施例提供一种非活体人脸的检测方法、装置、计算机设备及存储介质，可以提高活体人脸识别的准确性。

根据本申请的一个方面提供的一种非活体人脸的检测方法，所述方法包括：

获取视频图像，从所述视频图像中提取多张待检测图片；

将所述待检测图片分别输入至预先训练好的目标图片检测模型中，得到每个所述待检测图片包括的目标图像及所述目标图像所属的类别；

依次判断每个所述待检测图片的目标图像中是否包括有所属类别为人脸区域的目标图像，若是，则进一步判断对应待检测图片的目标图像中是否包括有所属类别为预设的异常类别的环境元件；

若存在至少一张所述待检测图的人脸区域与所述异常的环境元件的相对位置关系在预设的范围之内，则判断所述待检测图片中的人脸为非活体人脸。

根据本申请的另一个方面提供的一种非活体人脸的检测装置，所述装置包括：

视频获取模块，用于获取视频图像，从所述视频图像中提取多张待检测图片；

输入模块，用于将所述待检测图片分别输入至预先训练好的目标图片检测模型中，得到每个所述待检测图片包括的目标图像及所述目标图像所属的类别；

第一判断模块，用于依次判断每个所述待检测图片的目标图像中是否包括有所属类别为人脸区域的目标图像，若是，则进一步判断对应待检测图片的目标图像中是否包括有所属类别为预设的异常类别的环境元件；

第二判断模块，用于若存在至少一张所述待检测图的人脸区域与所述异常的环境元件的相对位置关系在预设的范围之内，则判断所述待检测图片中的人脸为非活体人脸。

根据本申请的又一个方面提供的一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述非活体人脸的检测方法。

根据本申请的还一个方面提供的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述非活体人脸的检测方法中的步骤。

本申请提供的非活体人脸的检测方法、装置、计算机设备及存储介质通过增加了异常环境元件检测技术，并预先让目标图片检测模型对异常的环境元件进行学习，使得在识别待检测的人脸是否为非活体人脸时，通过该标图片检测模型可以通过先识别出待检测的图片或视频中是否有异常的环境元件，再通过判断环境元件与人脸区域的位置关系判断该待检测图片中的人脸是否为非活体人脸，提高了活体人脸识别的准确性。

附图说明

图1为本发明一实施例中非活体人脸的检测方法的一应用环境示意图；

图2为根据本发明的一个实施例的非活体人脸的检测方法的流程图；

图3为判断目标图像中是否包括有所属类别为预设的异常类别的环境元件的流程图；

图4为训练该目标图片检测模型的流程图；

图5为根据本发明的另一实施例的非活体人脸的检测方法的流程图；

图6为根据本发明的一个实施例的非活体人脸的检测装置的示范性结构框图；

图7为根据本发明的一个实施例的计算机设备的内部结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例中非活体人脸的检测方法的一应用环境示意图，如图1所示，本申请提供的非活体人脸的检测方法，可应用在如图1的应用环境中。其中，非活体人脸的检测设备包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑等，该计算机设备设有摄像头用于获取视频图像。

图2为根据本发明的一个实施例的非活体人脸的检测方法的流程图，下面结合图2详细描述根据本发明的一个实施例的非活体人脸的检测方法，如图2所示，该方法包括以下步骤s101至s104。

s101、获取视频图像，从所述视频图像中提取多张待检测图片。

在其中的一个实施例中，该视频图像为终端设备的摄像头采集到的视频图像。

在其中一个实施例中，在所述步骤s101的步骤之前，所述非活体人脸的检测方法还包括以下步骤：

输出让用户对着摄像头做预设面部动作的提示消息；

获取包括有所述预设面部动作的视频图像。

在该实施例中，该预设面部动作包括但不限于眨眼、抬头、张嘴等等。

s102、将所述待检测图片分别输入至预先训练好的目标图片检测模型中，得到每个所述待检测图片包括的目标图像及所述目标图像所属的类别。

其中，该目标图片检测模型可以是ssd(singleshotmultiboxdetector，单镜头多盒检测器)模型。该待检测的图片既包括非非活体人脸的图片，也包括非活体人脸的图片，还包括普通的环境元件，该环境元件包括但不限于显示器、电视机、投影仪幕布、电脑等等。

在其中的一个实施例中，与眨眼对应的面部特征图像为人眼区域的图像，与张嘴对应的面部特征图像为人的嘴巴区域的图像，与抬头对应的面部特征图像为人的下巴区域的头像。

s103、依次判断每个所述待检测图片的目标图像中是否包括有所属类别为人脸区域的目标图像，若是，则进一步判断对应待检测图片的目标图像中是否包括有所属类别为预设的异常类别的环境元件。

在该实施中，哪些环境元件为异常的环境元件可以人为设定。该异常的环境元件包括但不限于显示器的边框、平板电脑/电脑的边框、电视、投影幕布等。

在其中的一个实施例中，该异常的环境元件为目标图片检测模型能够检测出来的环境原件，具体可以是显示器或电视机的边框、投影幕布的边界、投影在墙上的投影区域的边界等。

图3为判断目标图像中是否包括有所属类别为预设的异常类别的环境元件的流程图，如图3所示，该判断对应待检测图片的目标图像中是否包括有所属类别为预设的异常类别的环境元件的步骤包括以下步骤s301和s302。

s301、获取从每张所述待检测图片中得到的每个目标图像所属的类别及预设的异常环境元件的类别；

s302、判断每个所述目标图像所属的类别中是否包含有至少一个所述异常环境元件的类别，若是，则判断所述目标图像中包括有异常的环境元件。

s104、若存在至少一张所述待检测图的人脸区域与所述异常的环境元件的相对位置关系在预设的范围之内，则判断所述待检测图片中的人脸为非活体人脸。

在其中一个实施例中，该相对位置关系在预设的范围之内的情况例如该人脸区域在该异常的环境元件的区域范围之内，即该异常的环境元件的区域完全包括了人脸区域或部分包括了人脸区域。

在其中一个实施例中，该步骤s104中所述若存在至少一张所述待检测图的人脸区域与所述异常的环境元件的相对位置关系在预设的范围之内，则判断所述待检测图片中的人脸为非活体人脸的步骤包括：

判断所述异常环境元件的显示区域与所述人脸区域是否具有重合的部分，若是，则判断所述待检测图片中的人脸为非活体人脸。

在其中一个实施例中，所述目标图像包括眼睛、嘴巴等面部特征图像，在判断所述待检测图片中的人脸为非活体人脸的步骤之前，所述步骤s102之后，该方法还包括：

识别不同的待检测图片中与所述面部动作对应的同一面部特征图像；

判断所述面部特征图像在不同的待检测图片中是否做了对应的变化，若否，则跳转至上述步骤s103。

图4为训练该目标图片检测模型的流程图，根据本申请的一个实施例如图4所示，训练所述目标图片检测模型的步骤包括以下步骤s401至s404。

s401、接收多张样本图片。

在其中一个实施例中，该样本图片包括但不限于摄影师实际拍摄到的图片、从网上下载的图片、根据视频图片帧提取出的图像。

在该实施例中，该样本图片可以是包含有人脸区域的图片，包含有显示器边框的图片、包含有投影幕布等各种需要目标图片检测模型学习的样本图片。

s402、根据接收的指令对所述样本图片中的图像区域及所述图像区域所属的类别进行标注。

在该实施例中，标注的所述样本图片中的图像区域包括人脸区域、普通环境原件的区域及异常环境原件的区域。其中，该异常环境原件的区域包括但不限于显示器、平板电脑/电脑、电视、投影幕布等。

进一步地，该人脸区域所属的类别为人脸、该异常环境原件的类别包括显示器的、平板电脑/电脑的、电视、投影幕布。

s403、将标注的所述图像区域及所述图像区域所属的类别输入到所述目标图片检测模型中。

s404、通过所述目标图片检测模型对所述图像区域及所述图像区域所属的类别进行学习，得到所述训练好的目标图片检测模型。

图5为根据本发明的另一实施例的非活体人脸的检测方法的流程图，下面结合图5详细描述根据本发明的另一实施例的非活体人脸的检测方法，如图5所示，在上述步骤s101中获取视频图像的步骤之前，所述方法还包括：

s501、输出让用户由远至近或由近至远地移动或靠近摄像头的提示消息，所述摄像头为采集所述视频图像的摄像头；

s502、输出让用户对着摄像头做预设面部动作的提示消息。

上述步骤s101进一步为以下步骤s503：

s503、获取包括有用户的人脸区域由大变小或由小变大并包含有预设面部动作的视频图像，从所述视频图像中提取多张待检测图片。

本实施例提供的非活体人脸的检测方法通过让目标图片检测模型对人脸以及异常的环境元件进行学习，使得在识别待检测的人脸是否为非活体人脸时，首先通过该标图片检测模型识别出该待检测图片或视频中是否包括有人脸，再别出待检测的图片或视频中是否有异常的环境元件，再通过判断环境元件与人脸区域的位置关系判断该待检测图片中的人脸是否为非活体人脸，提高了活体人脸识别的准确性。

根据本实施例的一个示例，上述步骤s101～s503的标号并不用于限定本实施例中各个步骤的先后顺序，各个步骤的编号只是为了使得描述各个步骤时可以通用引用该步骤的标号进行便捷的指代，例如上述步骤s501可以在s502的步骤之前，也可以在步骤s502的步骤之后，只要各个步骤执行的顺序不影响本实施例的逻辑关系即可。

图6为根据本发明的一个实施例的非活体人脸的检测装置的示范性结构框图，下面结合图6详细描述根据本发明的一个实施例的非活体人脸的检测装置，如图6所示，该非活体人脸的检测装置100包括视频获取模块11、输入模块12、第一判断模块13和第二判断模块14。

视频获取模块11，用于获取视频图像，从所述视频图像中提取多张待检测图片。

在其中的一个实施例中，该视频图像为终端设备的摄像头采集到的视频图像。

输入模块12，用于将所述待检测图片分别输入至预先训练好的目标图片检测模型中，得到每个所述待检测图片包括的目标图像及所述目标图像所属的类别。

其中，该目标图片检测模型可以是ssd(singleshotmultiboxdetector，单镜头多盒检测器)模型。该待检测的图片既包括非非活体人脸的图片，也包括非活体人脸的图片，还包括普通的环境元件，该环境元件包括但不限于显示器、电视机、投影仪幕布、电脑等等。

在其中的一个实施例中，与眨眼对应的面部特征图像为人眼区域的图像，与张嘴对应的面部特征图像为人的嘴巴区域的图像，与抬头对应的面部特征图像为人的下巴区域的头像。

第一判断模块13，用于依次判断每个所述待检测图片的目标图像中是否包括有所属类别为人脸区域的目标图像，若是，则进一步判断对应待检测图片的目标图像中是否包括有所属类别为预设的异常类别的环境元件。

在该实施中，哪些环境元件为异常的环境元件可以人为设定。该异常的环境元件包括但不限于显示器的边框、平板电脑/电脑的边框、电视、投影幕布等。

在其中的一个实施例中，该异常的环境元件为目标图片检测模型能够检测出来的环境原件，具体可以是显示器或电视机的边框、投影幕布的边界、投影在墙上的投影区域的边界等。

第二判断模块14，用于若存在至少一张所述待检测图的人脸区域与所述异常的环境元件的相对位置关系在预设的范围之内，则判断所述待检测图片中的人脸为非活体人脸。

在其中一个实施例中，该相对位置关系在预设的范围之内的情况例如该人脸区域在该异常的环境元件的区域范围之内，即该异常的环境元件的区域完全包括了人脸区域或部分包括了人脸区域。

在其中一个实施例中，该第一判断模块13还包括：

类别获取单元，用于获取从每张所述待检测图片中得到的每个目标图像所属的类别及预设的异常环境元件的类别；

第一判断单元，用于判断每个所述目标图像所属的类别中是否包含有至少一个所述异常环境元件的类别，若是，则判断所述目标图像中包括有异常的环境元件。

在其中一个实施例中，该第二判断模块具体用于：

判断所述异常环境元件的显示区域与所述人脸区域是否具有重合的部分，若是，则判断所述待检测图片中的人脸为非活体人脸。

在其中一个实施例中，所述目标图像包括眼睛、嘴巴等面部特征图像。

在其中一个实施例中，该非活体人脸的检测装置100还包括：

图片接收模块，用于接收多张样本图片。作为可选地，该样本图片包括但不限于摄影师实际拍摄到的图片、从网上下载的图片、根据视频图片帧提取出的图像。在该实施例中，该样本图片可以是包含有人脸区域的图片，包含有显示器边框的图片、包含有投影幕布等各种需要目标图片检测模型学习的样本图片；

标注模块，用于根据接收的指令对所述样本图片中的图像区域及所述图像区域所属的类别进行标注。在该实施例中，标注的所述样本图片中的图像区域包括人脸区域、普通环境原件的区域及异常环境原件的区域。其中，该异常环境原件的区域包括但不限于显示器、平板电脑/电脑、电视、投影幕布等。进一步地，该人脸区域所属的类别为人脸、该异常环境原件的类别包括显示器的、平板电脑/电脑的、电视、投影幕布；

所述输入模块还用于将标注的所述图像区域及所述图像区域所属的类别输入到所述目标图片检测模型中；

学习模块，用于通过所述目标图片检测模型对所述图像区域及所述图像区域所属的类别进行学习，得到所述训练好的目标图片检测模型。

在其中的一个实施例中，该非活体人脸的检测装置100还包括：

第一输出模块，用于输出让用户由远至近或由近至远地移动或靠近摄像头的提示消息，所述摄像头为采集所述视频图像的摄像头；

第二输出模块，用于输出让用户对着摄像头做预设面部动作的提示消息；

该视频获取模块11具体用于获取包括有用户的人脸区域由大变小或由小变大并包含有预设面部动作的视频图像。

在该实施例中，该预设面部动作包括但不限于眨眼、抬头、张嘴等等。

其中上述第一判断模块及第二判断模块等模块中的“第一”和“第二”的意义仅在于将两个不同的模块加以区分，并不用于限定哪个预选区域的确定模块的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。

其中，该非活体人脸的检测装置中包括的各个模块可全部或部分通过软件、硬件或其组合来实现。进一步地，该非活体人脸的检测装置中的各个模块可以是用于实现对应功能的程序段。

本实施例提供的非活体人脸的检测装置通过让目标图片检测模型对人脸以及异常的环境元件进行学习，使得在识别待检测的人脸是否为非活体人脸时，首先通过该标图片检测模型识别出该待检测图片或视频中是否包括有人脸，再别出待检测的图片或视频中是否有异常的环境元件，再通过判断环境元件与人脸区域的位置关系判断该待检测图片中的人脸是否为非活体人脸，提高了活体人脸识别的准确性。

上述非活体人脸的检测装置可以实现为一种计算机程序的形式，计算机程序可以在如图7所示的计算机设备上运行。

关于非活体人脸的检测装置的具体限定可以参见上文中对于非活体人脸的检测方法的限定，在此不再赘述。上述非活体人脸的检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与被控设备通过网络连接通信。该计算机程序被处理器执行时以实现一种非活体人脸的检测装置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中非活体人脸的检测方法的步骤，例如图2所示的步骤101至步骤104。或者，处理器执行计算机程序时实现上述实施例中非活体人脸的检测装置的各模块/单元的功能，例如图6所示模块11至模块14的功能。为避免重复，这里不再赘述。

所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中非活体人脸的检测方法的步骤，例如图2所示的步骤101至步骤104。或者，计算机程序被处理器执行时实现上述实施例中非活体人脸的检测装置的各模块/单元的功能，例如图6所示模块11至模块14的功能。为避免重复，这里不再赘述。

本实施例提供的非活体人脸的检测方法、装置、计算机设备及存储介质通过增加了异常环境元件检测技术，并预先让目标图片检测模型对异常的环境元件进行学习，使得在识别待检测的人脸是否为非活体人脸时，通过该标图片检测模型可以通过先识别出待检测的图片或视频中是否有异常的环境元件，再通过判断环境元件与人脸区域的位置关系判断该待检测图片中的人脸是否为非活体人脸，提高了活体人脸识别的准确性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。