一种活体人脸双摄像头识别方法及识别装置与流程

本发明涉及活体人脸识别技术领域，具体涉及一种活体人脸双摄像头识别方法及识别装置。

背景技术：

随着安防的技术不断更新，人脸识别技术应用在生活中也越来越广泛。尤其在政府部门、边关和金融行业，对安全防护有着不可替代的智能安全监控的作用。人脸识别技术日趋成熟，商业化应用愈加广泛、然而人脸极易用照片、视频等方式进行复制，因此对合法用户人脸的假冒，是人脸识别，尤其是活体人脸识别认证系统构成重要的威胁。这些年来，活体人脸检测技术取得了一些进展，但在实际应用现有的方法的安全可靠性、以及成本性不能得到很高的平衡。

现有的活体人脸识别技术，主要通过一个普通的摄像头检测是否满足人脸特征，仍容易被假冒的塑胶等实体头像骗过。还有的是通过专业级的红外辐射热成像镜头，通过扫描活体人体脸部的细微生物特征，甚至细微到能看到活体脸部内部的血管分布。但这种设备非常昂贵，这就造成了只能适合某些特定的场合，而不能得到广泛的使用。

技术实现要素：

本发明的目的在于提供一种可靠性高、方便实用的活体人脸双摄像头识别方法及识别装置，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种活体人脸双摄像头识别方法，其特征在于，所述识别方法包括：

通过配置的双摄像头，该双摄像头为一黑白摄像头与一彩色摄像头，黑白摄像头获取一张为自然光或白光条件下产生的黑白图像，以及获取另一张为近红外光条件下产生的近红外图像；彩色摄像头获取一张为自然光或白光条件下产生的彩色图像；

将所述双摄像头中黑白摄像头获取的黑白图像与近红外图像中的人脸部分结合特征提取算法提取二维状态器官特征点；

将所述双摄像头中彩色摄像头获取的彩色图像的人脸部分结合特征提取算法提取器官特征点与黑白摄像头获取的近红外图像提取器官特征点，形成三维状态的器官特征点，经过人脸牲算法识别活体人脸的特征，判断人脸图像是否为活体人脸。

所述识别方法还包括：

判定为活体人脸时，从已提取的二维状态器官特征点获得一张完整的人脸特征图片及数据值，再结合特征匹配算法与对比特征数据库进行匹配；

匹配完成后即输出显示或控制。

通过配置的双摄像头的黑白摄像头获取黑白图像及近红外图像，包括：

对黑白图像及近红外图像进行差分运算，差分运算包括：

以黑白图像作为当前环境的静态图像，以近红外图像作为主动光源图像，将静态图像与主动光源图像进行差分运算，得到差分图像，依据主动光源特征得出完整的去背景主动光源图像。

经过人脸牲算法识别活体人脸的特征，包括：

将双摄像头中彩色摄像头获取的彩色图像与黑白摄像头获取的近红外图像进行光流场估计模型，差异性分布估算，判断图像是否为活体人脸，若是，则通过信息获取模块结合特征提取算法提取二维状态的器官特征点，若否，则结束。

一种活体人脸双摄像头识别装置，所述识别装置包括：

图像获取模块，用于通过配置的双摄像头，该双摄像头为一黑白摄像头与一彩色摄像头，黑白摄像头获取一张为自然光或白光条件下产生的黑白图像，以及获取另一张为近红外光条件下产生的近红外图像；彩色摄像头获取一张为自然光或白光条件下产生的彩色图像；

信息获取模块，用于将所述双摄像头中黑白摄像头获取的黑白图像与近红外图像中的人脸部分结合特征提取算法提取二维状态器官特征点；

判断模块，用于将所述双摄像头中彩色摄像头获取的彩色图像的人脸部分结合特征提取算法提取器官特征点与黑白摄像头获取的近红外图像提取器官特征点，形成三维状态的器官特征点，经过人脸牲算法识别活体人脸的特征，判断人脸图像是否为活体人脸。

所述识别装置还包括：

匹配模块，用于判定为活体人脸时，从已提取的二维状态器官特征点获得一张完整的人脸特征图片及数据值，再结合特征匹配算法与对比特征数据库进行匹配；

显示或控制模块，用于匹配完成后即输出显示或控制。

所述图像获取模块还用于通过配置的双摄像头的黑白摄像头获取黑白图像及近红外图像，包括：

对黑白图像及近红外图像进行差分运算，差分运算包括：

以黑白图像作为当前环境的静态图像，以近红外图像作为主动光源图像，将静态图像与主动光源图像进行差分运算，得到差分图像，依据主动光源特征得出完整的去背景主动光源图像。

所述判断模块还用于将双摄像头中彩色摄像头获取的彩色图像与黑白摄像头获取的近红外图像进行光流场估计模型，差异性分布估算，判断图像是否为活体人脸，若是，则通过信息获取模块结合特征提取算法提取二维状态的器官特征点，若否，则结束。

一种活体人脸双摄像头识别装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

通过配置的双摄像头，该双摄像头为一黑白摄像头与一彩色摄像头，黑白摄像头获取一张为自然光或白光条件下产生的黑白图像，以及获取另一张为近红外光条件下产生的近红外图像；彩色摄像头获取一张为自然光或白光条件下产生的彩色图像；

将所述双摄像头中黑白摄像头获取的黑白图像与近红外图像中的人脸部分结合特征提取算法提取二维状态器官特征点；

将所述双摄像头中彩色摄像头获取的彩色图像的人脸部分结合特征提取算法提取器官特征点与黑白摄像头获取的近红外图像提取器官特征点，形成三维状态的器官特征点，经过人脸牲算法识别活体人脸的特征，判断人脸图像是否为活体人脸。

所述双摄像头分别配置有红外LED与白光LED。

本发明的有益效果：本发明通过双摄像头采集彩色图像及近红外图像，经过背景差分运算，获得去背景图片即人脸部分，通过特征提取算法提取器官特征点，经过人脸特征算法识别活体人脸的特征，判断人脸图像是否为活体人脸。本发明的识别方法可靠性高、方便实用、实现成本低。

下面结合附图与具体实施方式，对本发明进一步详细说明。

附图说明

图1为实施例1的活体人脸双摄像头识别方法的流程图；

图2为实施例1的步骤102人脸牲算法识别活体人脸的特征的流程图；

图3为实施例1的活体人脸双摄像头识别装置的框图；

图4为实施例1的活体人脸双摄像头的结构示意图；

图5为实施例1的活体人脸双摄像头识别装置的硬件框图。

图6为实施例2的活体人脸双摄像头识别方法的流程图；

图7为实施例2的活体人脸双摄像头识别方法流程框图；

图8为实施例2的活体人脸双摄像头识别装置的框图；

图中，1、镜头，2、匀光板，3、红外发射管，4、镜头底座，5、主板与灯板连接器，6、USB连接器，7、电源连接器，8、主板与sensor板连接器，9、灯板与主板连接器，10、主控板，11、Sensor板，12、灯板。

具体实施方式

实施例1，参见图1，本实施例提供的活体人脸双摄像头识别方法，所述识别方法包括：

步骤101，通过配置的双摄像头，该双摄像头为一黑白摄像头与一彩色摄像头，黑白摄像头获取一张为自然光或白光条件下产生的黑白图像，以及获取另一张为近红外光条件下产生的近红外图像；彩色摄像头获取一张为自然光或白光条件下产生的彩色图像；

其中，对黑白图像与近红外图像进行背景差分运算，背景差分运算包括：以黑白图像作为当前环境的静态图像，以近红外图像作为主动光源图像，将静态图像与主动光源图像进行差分运算，得到差分图像，依据主动光源特征得出完整的去背景主动光源图像；

背景差分运算基本过程为：在图像相邻两帧(第1帧为当前环境静态背景图像即黑白图像，第2帧为主动光源图像即近红外图像)间采用基于像素差分通过闭值化来提取出图像中的主动光源部分图像。首先，将相邻帧图像对应像素值相减得到差分图像，如果对应像素值变化小于事先确定的阂值时，可以认为此处为背景像素:如果图像区域的像素值变化很大，可以认为这是由于主动光源引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定主动光源目标在图像中的位置。由于相邻两帧间的时间间隔非常短，用前一帧图像作为当前帧的背景模型具有较好的实时性，其背景不积累，且更新速度快、算法简单、计算量小；

步骤102，将所述双摄像头中彩色摄像头获取的彩色图像的人脸部分结合特征提取算法提取器官特征点与黑白摄像头获取的近红外图像提取器官特征点，形成三维状态的器官特征点，经过人脸牲算法识别活体人脸的特征，判断人脸图像是否为活体人脸；

其中，参见图2，经过人脸牲算法识别活体人脸的特征，包括：将双摄像头中彩色摄像头获取的彩色图像，转变为黑白图像，与黑白摄像头获取的近红外图像进行光流场估计模型，差异性分布估算，判断图像是否为活体人脸，若是，则通过信息获取模块结合特征提取算法提取器官特征点，若否，则结束。

步骤103中，通过信息获取模块结合特征提取算法提取器官特征点的过程包括直观几何特征提取及形状和纹理特征提取两个步骤：

直观几何特征提取：提取人脸面部具有代表性部位，如眉毛、眼睛、鼻子、嘴巴和人脸型轮廓，利用其各部位特征关系提取出直观几何图；

形状和纹理特征提取：形状特征提取为提取人脸图像边沿、轮廓或一些关键点的坐标矢量，是一种二值特征，具有很强的抗光照变化能力；而纹理特征提取为人脸图像像素的灰度值，为形状特征的有益补充，ASMs/AAMs模型利用形状和纹理特征通过PCA进行统计建模。

参见图3，本实施例还提供的活体人脸双摄像头识别装置，所述识别装置包括：

图像获取模块301，用于该双摄像头为一黑白摄像头与一彩色摄像头，黑白摄像头获取一张为自然光或白光条件下产生的黑白图像，以及获取另一张为近红外光条件下产生的近红外图像；彩色摄像头获取一张为自然光或白光条件下产生的彩色图像；

所述图像获取模块301还用于对两张人脸图像进行背景差分运算，背景差分运算包括：以黑白图像作为当前环境的静态图像，以近红外图像作为主动光源图像，将静态图像与主动光源图像进行差分运算，得到差分图像，依据主动光源特征得出完整的去背景主动光源图像。

信息获取模块302，用于将所述双摄像头中黑白摄像头获取的黑白图像与近红外图像中的人脸部分结合特征提取算法提取二维状态器官特征点；

判断模块303，用于将所述双摄像头中彩色摄像头获取的彩色图像的人脸部分结合特征提取算法提取器官特征点与黑白摄像头获取的近红外图像提取器官特征点，形成三维状态的器官特征点，经过人脸牲算法识别活体人脸的特征，判断人脸图像是否为活体人脸；

所述判断模块303还用于将双摄像头中彩色摄像头获取的彩色图像，转变为黑白图像，与黑白摄像头获取的近红外图像进行光流场估计模型，差异性分布估算，判断图像是否为活体人脸，若是，则通过信息获取模块结合特征提取算法提取二维状态的器官特征点，若否，则结束。

本实施还提供的活体人脸双摄像头识别装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

通过配置的双摄像头，该双摄像头为一黑白摄像头与一彩色摄像头，黑白摄像头获取一张为自然光或白光条件下产生的黑白图像，以及获取另一张为近红外光条件下产生的近红外图像；彩色摄像头获取一张为自然光或白光条件下产生的彩色图像；

将所述双摄像头中黑白摄像头获取的黑白图像与近红外图像中的人脸部分结合特征提取算法提取二维状态器官特征点；

将所述双摄像头中彩色摄像头获取的彩色图像的人脸部分结合特征提取算法提取器官特征点与黑白摄像头获取的近红外图像提取器官特征点，形成三维状态的器官特征点，经过人脸牲算法识别活体人脸的特征，判断人脸图像是否为活体人脸。

所述双摄像头分别配置有红外LED与白光LED，

参见图5，Sensor1为近红外光谱图像，由红外LED提供光源，可以是850nm或是940nm光源，由黑白摄像头获取图像；

Sensor 2为彩色图像，由白光LED提供光源，由彩色摄像头获取图像；

由DSP控制LED驱动器从而控制LED的开与关或闪烁，为Sensor1和Sensor2提供最佳的光源状态，可以在LED灯上方加上光源均光板，均匀扩散光线。

Dsp控制可分别Sensor1和Sensor2的属性(分辨率、帧率、曝光时间，增益、亮度等等)；

根据外部环境光源，DSP精确控制LED的电流和点亮LED时间及Sensor1和Sensor2的属性使其得到最佳的图像。

参见图4，在此实施例中，活体人脸双摄像头识别装置采集到的主动红外光源与日光或白光LED灯中相应波长之间的能量对比，是影响活体人脸双摄像头识别装置性能的核心因素，整个活体人脸双摄像头识别装置以提升此比值基础进行设计。

在可能范围内，应尽量增大红外光源的能量输出和利用效率，同时尽量减少日光的能量干扰；

选择光谱能量集中的LED红外光源，使其在大输出功率和短脉冲时间的状态下工作，以提升能效比；

通过合适的匀光设计将LED的红外光线集中并均匀的照亮图像采集区域，尽量减少光线能量损失；

镜头采用带通滤光片，以拦截LED输出范围之外的光谱能量进入，以降低日光干扰；

图像传感器以LED波长范围内响应尽量灵敏为优先，以保持尽量短的曝光时间，进而减少LED的工作脉冲时间，降低系统能耗；

在活体人脸双摄像头识别装置构成方面，包括白光和红外两个图像采集通道，白光提供图像预览，以高帧率保持图像流畅；红外图像采集以满足算法要求为基础，选择尽量少的帧率输出，以降低整体能耗，减少发热。

实施例2，参见图6，本实施例提供的活体人脸双摄像头识别方法，所述识别方法包括：

步骤101，通过配置的双摄像头，该双摄像头为一黑白摄像头与一彩色摄像头，黑白摄像头获取一张为自然光或白光条件下产生的黑白图像，以及获取另一张为近红外光条件下产生的近红外图像；彩色摄像头获取一张为自然光或白光条件下产生的彩色图像；

其中，对黑白图像与近红外图像进行背景差分运算，背景差分运算包括：以黑白图像作为当前环境的静态图像，以近红外图像作为主动光源图像，将静态图像与主动光源图像进行差分运算，得到差分图像，依据主动光源特征得出完整的去背景主动光源图像，即只剩人脸部分的图像；

步骤102，将所述双摄像头中黑白摄像头获取的黑白图像与近红外图像中的人脸部分结合特征提取算法提取二维状态器官特征点；

步骤103，将所述双摄像头中彩色摄像头获取的彩色图像的人脸部分结合特征提取算法提取器官特征点与黑白摄像头获取的近红外图像提取器官特征点，形成三维状态的器官特征点，经过人脸牲算法识别活体人脸的特征，判断人脸图像是否为活体人脸；

其中，经过人脸牲算法识别活体人脸的特征，包括：将双摄像头中彩色摄像头获取的彩色图像，转变为黑白图像，与黑白摄像头获取的近红外图像进行光流场估计模型，差异性分布估算，判断图像是否为活体人脸，若是，则通过信息获取模块结合特征提取算法提取器官特征点，若否，则结束。

步骤104，判定为活体人脸时，从已提取的二维状态器官特征点获得一张完整的人脸特征图片及数据值，再结合特征匹配算法与对比特征数据库进行匹配；

步骤105，匹配完成后即输出显示或控制。

其中，步骤103中，通过信息获取模块结合特征提取算法提取器官特征点的过程包括直观几何特征提取及形状和纹理特征提取两个步骤：

直观几何特征提取：提取人脸面部具有代表性部位，如眉毛、眼睛、鼻子、嘴巴和人脸型轮廓，利用其各部位特征关系提取出直观几何图；

形状和纹理特征提取：形状特征提取为提取人脸图像边沿、轮廓或一些关键点的坐标矢量，是一种二值特征，具有很强的抗光照变化能力；而纹理特征提取为人脸图像像素的灰度值，为形状特征的有益补充，ASMs/AAMs模型利用形状和纹理特征通过PCA进行统计建模。

参见图7，图7为活体人脸双摄像头识别方法流程框图，上位机端(可以是任意的操作系统如Windows、MAC OS、iOS、Android、Linux等等)通过USB2.0双摄像头识别装置获取近红外图像和彩色图像，先将图像做预处理(如锐化，再次二值化、去背景等)，特征点提取，将人脸部分的特征提取出来，经人脸牲算法去识别活体人脸的特征及防伪(如人脸照片、体貌特征相近等等)，得到一张准确完整的人脸特征图片及数据值，再结合特征匹配算法去对比特征数据库，特征数据库可以是在本地图库也可以是云端图库数据，也可以新建当前的人脸数据。匹配完成后即输出显示和控制(可以是任意动作或设备，如开锁、考勤、身份识别、访客记录等)。

参见图8，本实施例还提供的活体人脸双摄像头识别装置，所述识别装置包括：

图像获取模块301，用于该双摄像头为一黑白摄像头与一彩色摄像头，黑白摄像头获取一张为自然光或白光条件下产生的黑白图像，以及获取另一张为近红外光条件下产生的近红外图像；彩色摄像头获取一张为自然光或白光条件下产生的彩色图像；

所述图像获取模块301还用于对两张人脸图像进行背景差分运算，背景差分运算包括：以黑白图像作为当前环境的静态图像，以近红外图像作为主动光源图像，将静态图像与主动光源图像进行差分运算，得到差分图像，依据主动光源特征得出完整的去背景主动光源图像。

信息获取模块302，用于将所述双摄像头中黑白摄像头获取的黑白图像与近红外图像中的人脸部分结合特征提取算法提取二维状态器官特征点；

判断模块303，用于将所述双摄像头中彩色摄像头获取的彩色图像的人脸部分结合特征提取算法提取器官特征点与黑白摄像头获取的近红外图像提取器官特征点，形成三维状态的器官特征点，经过人脸牲算法识别活体人脸的特征，判断人脸图像是否为活体人脸；

所述判断模块303还用于将双摄像头中彩色摄像头获取的彩色图像，转变为黑白图像，与黑白摄像头获取的近红外图像进行光流场估计模型，差异性分布估算，判断图像是否为活体人脸，若是，则通过信息获取模块结合特征提取算法提取二维状态的器官特征点，若否，则结束；

匹配模块304，用于判定为活体人脸时，获得一张准确完整的人脸特征图片及数据值，再结合特征匹配算法与对比特征数据库进行匹配；

显示或控制模块305，用于匹配完成后即输出显示或控制。

本发明并不限于上述实施方式，采用与本发明上述实施例相同或近似方法或装置，而得到的其他活体人脸双摄像头识别方法及识别装置，均在本发明的保护范围之内。