活体检测方法、装置及计算机可读存储介质与流程

本发明涉及人脸识别领域，尤其涉及一种活体检测方法、装置及计算机可读存储介质。

背景技术：

当前，人脸识别系统越来越多地应用于安防、金融领域需要身份验证的场景，如银行远程开户、门禁系统、远程交易操作验证等。在这些高安全级别的应用领域，除了确保被验证者的人脸相似度符合数据库中存储的底库，首先需要验证被验证者是一个合法的生物活体。也就是说，人脸识别系统需要能够防范攻击者使用照片、视频、面具、或者三维人脸模型(由纸、石膏或橡胶等材质制成)等方式进行攻击。

现有的活体检测装置较复杂，成本较高，检测准确度偏低；且检测算法需要采集温度数据，容易受环境的干扰；另外，现有的活体检测方法，在检测时容易受光照影响，当环境光照强度较弱时，会严重影响识别效果。

技术实现要素：

本发明提供一种活体检测方法、装置及计算机可读存储介质，其主要目的在于提高活体检测的速度和精度，装置简单，容易实现，可以方便应用到各种应用场景当中，成本较低，且后期维护简单。

为实现上述目的，本发明提供一种活体检测方法，所述活体检测方法包括：

发射结构光至待检测对象；

获取所述待检测对象的两个不同角度人脸的数码图像及包含所述待检测对象人脸的深度数据的图像；

基于所述数码图像及所述包含人脸深度数据的图像获取所述结构光照射下所述待检测对象的三维人脸图像；

在所述三维人脸图像上提取人脸特征点的三维坐标信息及三维人脸图像的姿态特征信息；所述人脸特征点的三维坐标信息通过获取所述三维人脸图像上的特征点在三维坐标空间中相对于坐标原点的距离信息来提取，所述三维人脸图像的姿态特征信息为一帧三维人脸图像的姿态特征信息和/或两帧三维人脸图像的姿态特征变化信息；

利用所述人脸特征点的三维坐标信息计算得到表示人脸特征的人脸特征信息；

利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体。

可选地，所述结构光是具有一定结构的明暗条纹的光，所述明暗条纹为竖线状条纹，条纹间距配置为匹配所述待检测对象的尺寸。

可选地，所述结构光由光发射装置发射，所述光发射装置依次发射出至少两种具有不同空间频率的结构光，用于照射待检测对象。

可选地，所述利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体的步骤包括：

将所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息合并为一个联合特征信息；

利用所述联合特征信息判断所述三维人脸图像是否来自于活体。

可选地，所述人脸特征点包括人脸眼睛、鼻子和嘴巴区域中的一种或几种区域的多个特征点，所述三维人脸图像的姿态特征信息为三维人脸图像的偏航角、俯仰角和翻滚角。

本发明还提供一种电子装置，所述电子装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的活体检测程序，所述活体检测程序被所述处理器执行时实现如下步骤：

发射结构光至待检测对象；

获取所述待检测对象的两个不同角度人脸的数码图像及包含所述待检测对象人脸的深度数据的图像；

基于所述数码图像及所述包含人脸深度数据的图像获取所述结构光照射下所述待检测对象的三维人脸图像；

在所述三维人脸图像上提取人脸特征点的三维坐标信息及三维人脸图像的姿态特征信息；所述人脸特征点的三维坐标信息通过获取所述三维人脸图像上的特征点在三维坐标空间中相对于坐标原点的距离信息来提取，所述三维人脸图像的姿态特征信息为一帧三维人脸图像的姿态特征信息和/或两帧三维人脸图像的姿态特征变化信息；

利用所述人脸特征点的三维坐标信息计算得到表示人脸特征的人脸特征信息；

利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体。

可选地，所述结构光是具有一定结构的明暗条纹的光，所述明暗条纹为竖线状条纹，条纹间距配置为匹配所述待检测对象的尺寸。

可选地，所述结构光由光发射装置发射，所述光发射装置依次发射出至少两种具有不同空间频率的结构光，用于照射待检测对象。

可选地，所述利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体的步骤包括：

将所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息合并为一个联合特征信息；

利用所述联合特征信息判断所述三维人脸图像是否来自于活体。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有活体检测程序，所述活体检测程序可被一个或者多个处理器执行，以实现上述的活体检测方法的步骤。

本发明提供的活体检测方法、装置及计算机可读存储介质不需要大量采集数据训练模型，不需要额外的温度采集装置，只需要基于图像的方式完成活体检测；不容易受颜色信息的干扰，不受光照的影响，在黑暗条件依然受用；装置简单，容易实现，可以方便应用到各种应用场景当中，成本较低，且后期维护简单。

附图说明

图1为本发明一实施例提供的活体检测方法的流程示意图；

图2为本发明一实施例提供的电子装置的内部结构示意图；

图3为本发明一实施例提供的电子装置中基于活体检测程序的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种活体检测方法。参照图1所示，为本发明一实施例提供的活体检测方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现，本实施例中，所述装置为智能终端。

在本实施例中，所述活体检测方法包括：

s101，发射结构光至待检测对象；

s102，获取所述待检测对象的两个不同角度人脸的数码图像及包含所述待检测对象人脸的深度数据的图像；

s103，基于所述数码图像及所述包含人脸深度数据的图像获取所述结构光照射下所述待检测对象的三维人脸图像；

s104，在所述三维人脸图像上提取人脸特征点的三维坐标信息及三维人脸图像的姿态特征信息；所述人脸特征点的三维坐标信息通过获取所述三维人脸图像上的特征点在三维坐标空间中相对于坐标原点的距离信息来提取，所述三维人脸图像的姿态特征信息为一帧三维人脸图像的姿态特征信息和/或两帧三维人脸图像的姿态特征变化信息；

s105，利用所述人脸特征点的三维坐标信息计算得到表示人脸特征的人脸特征信息；

s106，利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体。

所述结构光是具有一定结构的明暗条纹的光，所述明暗条纹为竖线状条纹，条纹间距配置为匹配所述待检测对象的尺寸。

其中，所述结构光是在诸如红外波段(例如，850nm)的波长上的具有一定结构的明暗条纹的光。例如，在所述待检测对象为人脸的情况下，所述明暗条纹的条纹间距为2mm左右。在本发明的一个实施例中，可以通过在一字线激光器之前放置特定光栅(例如，161线/英寸)来产生所述结构光。

所述结构光由光发射装置发射，所述光发射装置依次发射出至少两种具有不同空间频率的结构光，用于照射待检测对象。

所述利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体的步骤包括：

将所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息合并为一个联合特征信息；

利用所述联合特征信息判断所述三维人脸图像是否来自于活体。

其中，通过普通二维人脸获取设备获取的人脸图像是二维平面人脸图像，只能得到特征点的二维坐标，即特征点的(x,y)坐标值，而三维人脸图像可以通过三维人脸图像获取设备获取，能够得到特征点的三维坐标，包括水平坐标、垂直坐标和深度坐标，即特征点的(x,y,z)坐标值，相较于二维图像增加了人脸图像的深度坐标，即z值，例如：三维人脸图像获取设备可以是由两个红外感应摄像头和红外激光发射器，或者利用一个红外感应摄像头、一个彩色感应摄像头和红外激光发射器构成，模仿人眼的视差原理，同时采集人脸图像，追踪红外光线的轨迹，通过三角定位原理计算得到三维人脸图像的深度坐标。

所述人脸特征点的三维坐标信息是三维坐标空间的距离信息，以三维人脸图像获取设备的一个摄像头为三维坐标空间的原点，以三维人脸图像获取设备面向用户的方向作为z轴的正方向，x轴和y轴的正方向可以根据右手坐标系确定，以此建立三维坐标空间，通过转换得到人脸图像上的特征点在三维坐标空间中相对于坐标原点的距离信息，即得到人脸特征点的三维坐标信息；

所述三维人脸图像的姿态特征信息是指一帧三维人脸图像的姿态特征信息和/或两帧三维人脸图像的姿态特征变化信息，如偏移位置、倾斜角度、旋转角度。

其中，所述利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体的步骤还可以包括：

利用所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体，若是转入下一步；

利用表示所述人脸特征的人脸特征信息判断所述三维人脸图像是否来自于活体。

所述人脸特征点包括人脸眼睛、鼻子和嘴巴区域中的一种或几种区域的多个特征点，所述三维人脸图像的姿态特征信息为三维人脸图像的偏航角、俯仰角和翻滚角。

其中，人脸特征信息是指一帧三维人脸图像的人脸特征信息和/或两帧三维人脸图像的人脸特征变化信息。由于人脸图像上的特征信息较多，包括鼻子、眼睛、嘴巴、脸颊、眉毛等几个主要区域，每个区域又由多个特征点构成，因此提取的人脸特征点的三维坐标信息也较多。利用人脸特征点的三维坐标信息计算得到表示人脸特征的人脸特征信息，能够有效的去除干扰信息和噪声，人脸特征信息能够更好的表征人脸特征，避免误检，提高检测精确度。

所述基于所述数码图像及所述包含人脸深度数据的图像获取所述结构光照射下所述待检测对象的三维人脸图像是通过进行人脸三维模型的重建来获取所述待检测对象的三维人脸图像，其中，所述进行人脸三维模型重建的步骤包括：

对所述两个不同角度的人脸的数码图像进行立体图校正，以消除垂直视差；

对所述包含人脸深度数据的图像进行几何变换及超分辨率变换；

进行种子像素的提取，其中，所提取的种子像素点为所述包含人脸深度数据的图像的每一个像素点在所述数码图像的获取装置的投影坐标；

依据对所述图像分别进行几何变换及超分辨率变换所得到的视差图、二值掩模图像及所述种子像素获得分辨率与所述数码图像的获取装置相同的、基于种子像素扩张的视差图；

依据所述分辨率与所述数码图像的获取装置相同的、基于种子像素扩张的视差图建立人脸三维模型。

本实施例提出的活体检测方法不需要大量采集数据训练模型，不需要额外的温度采集装置，只需要基于图像的方式完成活体检测；不容易受颜色信息的干扰，不受光照的影响，在黑暗条件依然受用；装置简单，容易实现，可以方便应用到各种应用场景当中，成本较低，且后期维护简单。

本发明还提供一种电子装置1。参照图2所示，为本发明一实施例提供的电子装置的内部结构示意图。

在本实施例中，电子装置1可以是电脑、智能终端或服务器。所述电子装置1至少包括存储器11、处理器13，通信总线15，以及网络接口17。在本实施例中，所述电子装置1为智能终端。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是电子装置的内部存储单元，例如所述电子装置的硬盘。存储器11在另一些实施例中也可以是电子装置的外部存储设备，例如电子装置上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，存储器11还可以既包括电子装置的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于电子装置1的应用软件及各类数据，例如活体检测程序111的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器13在一些实施例中可以是一中央处理器(centralprocessingunit,cpu)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据。

通信总线15用于实现这些组件之间的连接通信。

网络接口17可选的可以包括标准的有线接口、无线接口(如wi-fi接口)，通常用于在电子装置1与其他电子设备之间建立通信连接。

可选地，电子装置1还可以包括用户接口，用户接口可以包括显示器(display)、输入单元比如键盘(keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子装置中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11～17的电子装置1，本领域技术人员可以理解的是，图2示出的结构并不构成对电子装置的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图2所示的电子装置1的实施例中，存储器11中存储有活体检测程序111；处理器13执行存储器11中存储的活体检测程序111时实现如下步骤：

发射结构光至待检测对象；

获取所述待检测对象的两个不同角度人脸的数码图像及包含所述待检测对象人脸的深度数据的图像；

基于所述数码图像及所述包含人脸深度数据的图像获取所述结构光照射下所述待检测对象的三维人脸图像；

在所述三维人脸图像上提取人脸特征点的三维坐标信息及三维人脸图像的姿态特征信息；所述人脸特征点的三维坐标信息通过获取所述三维人脸图像上的特征点在三维坐标空间中相对于坐标原点的距离信息来提取，所述三维人脸图像的姿态特征信息为一帧三维人脸图像的姿态特征信息和/或两帧三维人脸图像的姿态特征变化信息；

利用所述人脸特征点的三维坐标信息计算得到表示人脸特征的人脸特征信息；

利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体。

所述结构光是具有一定结构的明暗条纹的光，所述明暗条纹为竖线状条纹，条纹间距配置为匹配所述待检测对象的尺寸。

其中，所述结构光是在诸如红外波段(例如，850nm)的波长上的具有一定结构的明暗条纹的光。例如，在所述待检测对象为人脸的情况下，所述明暗条纹的条纹间距为2mm左右。在本发明的一个实施例中，可以通过在一字线激光器之前放置特定光栅(例如，161线/英寸)来产生所述结构光。

所述结构光由光发射装置发射，所述光发射装置依次发射出至少两种具有不同空间频率的结构光，用于照射待检测对象。

所述利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体的步骤包括：

将所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息合并为一个联合特征信息；

利用所述联合特征信息判断所述三维人脸图像是否来自于活体。

其中，通过普通二维人脸获取设备获取的人脸图像是二维平面人脸图像，只能得到特征点的二维坐标，即特征点的(x,y)坐标值，而三维人脸图像可以通过三维人脸图像获取设备获取，能够得到特征点的三维坐标，包括水平坐标、垂直坐标和深度坐标，即特征点的(x,y,z)坐标值，相较于二维图像增加了人脸图像的深度坐标，即z值，例如：三维人脸图像获取设备可以是由两个红外感应摄像头和红外激光发射器，或者利用一个红外感应摄像头、一个彩色感应摄像头和红外激光发射器构成，模仿人眼的视差原理，同时采集人脸图像，追踪红外光线的轨迹，通过三角定位原理计算得到三维人脸图像的深度坐标。

所述人脸特征点的三维坐标信息是三维坐标空间的距离信息，以三维人脸图像获取设备的一个摄像头为三维坐标空间的原点，以三维人脸图像获取设备面向用户的方向作为z轴的正方向，x轴和y轴的正方向可以根据右手坐标系确定，以此建立三维坐标空间，通过转换得到人脸图像上的特征点在三维坐标空间中相对于坐标原点的距离信息，即得到人脸特征点的三维坐标信息；

所述三维人脸图像的姿态特征信息是指一帧三维人脸图像的姿态特征信息和/或两帧三维人脸图像的姿态特征变化信息，如偏移位置、倾斜角度、旋转角度。

其中，所述利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体的步骤还可以包括：

利用所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体，若是转入下一步；

利用表示所述人脸特征的人脸特征信息判断所述三维人脸图像是否来自于活体。

所述人脸特征点包括人脸眼睛、鼻子和嘴巴区域中的一种或几种区域的多个特征点，所述三维人脸图像的姿态特征信息为三维人脸图像的偏航角、俯仰角和翻滚角。

其中，人脸特征信息是指一帧三维人脸图像的人脸特征信息和/或两帧三维人脸图像的人脸特征变化信息。由于人脸图像上的特征信息较多，包括鼻子、眼睛、嘴巴、脸颊、眉毛等几个主要区域，每个区域又由多个特征点构成，因此提取的人脸特征点的三维坐标信息也较多。利用人脸特征点的三维坐标信息计算得到表示人脸特征的人脸特征信息，能够有效的去除干扰信息和噪声，人脸特征信息能够更好的表征人脸特征，避免误检，提高检测精确度。

所述基于所述数码图像及所述包含人脸深度数据的图像获取所述结构光照射下所述待检测对象的三维人脸图像是通过进行人脸三维模型的重建来获取所述待检测对象的三维人脸图像，其中，所述进行人脸三维模型重建的步骤包括：

对所述两个不同角度的人脸的数码图像进行立体图校正，以消除垂直视差；

对所述包含人脸深度数据的图像进行几何变换及超分辨率变换；

进行种子像素的提取，其中，所提取的种子像素点为所述包含人脸深度数据的图像的每一个像素点在所述数码图像的获取装置的投影坐标；

依据对所述图像分别进行几何变换及超分辨率变换所得到的视差图、二值掩模图像及所述种子像素获得分辨率与所述数码图像的获取装置相同的、基于种子像素扩张的视差图；

依据所述分辨率与所述数码图像的获取装置相同的、基于种子像素扩张的视差图建立人脸三维模型。

本实施例提出的电子装置不需要大量采集数据训练模型，不需要额外的温度采集装置，只需要基于图像的方式完成活体检测；不容易受颜色信息的干扰，不受光照的影响，在黑暗条件依然受用；装置简单，容易实现，可以方便应用到各种应用场景当中，成本较低，且后期维护简单。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有活体检测程序111，所述活体检测程序111可被一个或多个处理器执行，以实现如下操作：

发射结构光至待检测对象；

获取所述待检测对象的两个不同角度人脸的数码图像及包含所述待检测对象人脸的深度数据的图像；

基于所述数码图像及所述包含人脸深度数据的图像获取所述结构光照射下所述待检测对象的三维人脸图像；

在所述三维人脸图像上提取人脸特征点的三维坐标信息及三维人脸图像的姿态特征信息；所述人脸特征点的三维坐标信息通过获取所述三维人脸图像上的特征点在三维坐标空间中相对于坐标原点的距离信息来提取，所述三维人脸图像的姿态特征信息为一帧三维人脸图像的姿态特征信息和/或两帧三维人脸图像的姿态特征变化信息；

利用所述人脸特征点的三维坐标信息计算得到表示人脸特征的人脸特征信息；

利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体。

本发明计算机可读存储介质具体实施方式与上述电子装置和方法各实施例基本相同，在此不作累述。

可选地，在其他实施例中，所述活体检测程序111还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器13)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述活体检测程序在电子装置中的执行过程。

例如，参照图3所示，为本发明电子装置一实施例中的活体检测程序111的程序模块示意图，该实施例中，活体检测程序111可以被分割为发射模块10、获取模块20、提取模块30、计算模块40、判断模块50，示例性地：

所述发射模块10，用于发射结构光至待检测对象；

所述获取模块20，用于获取所述待检测对象的两个不同角度人脸的数码图像及包含所述待检测对象人脸的深度数据的图像；以及基于所述数码图像及所述包含人脸深度数据的图像获取所述结构光照射下所述待检测对象的三维人脸图像；

所述提取模块30，用于在所述三维人脸图像上提取人脸特征点的三维坐标信息及三维人脸图像的姿态特征信息；所述人脸特征点的三维坐标信息通过获取所述三维人脸图像上的特征点在三维坐标空间中相对于坐标原点的距离信息来提取，所述三维人脸图像的姿态特征信息为一帧三维人脸图像的姿态特征信息和/或两帧三维人脸图像的姿态特征变化信息；

所述计算模块40，用于利用所述人脸特征点的三维坐标信息计算得到表示人脸特征的人脸特征信息；

所述判断模块50，用于利用所述表示人脸特征的人脸特征信息和所述三维人脸图像的姿态特征信息判断所述三维人脸图像是否来自于活体。

所述发射模块10、获取模块20、提取模块30、计算模块40、判断模块50等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。