人脸识别的装置、方法和电子设备与流程

本申请涉及生物特征识别技术领域，并且更具体地，涉及一种人脸识别装置、方法和电子设备。

背景技术：

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的图像预处理、图像特征提取以及匹配与识别等一系列相关技术，通常也叫做人像识别或面部识别。随着计算机和网络技术的飞速发展，人脸识别技术已广泛地应用于智能门禁、智能门锁、移动终端、公共安全、娱乐、军事等诸多行业及领域。

当前人脸识别普遍使用的是基于人脸的二维(twodimensional，2d)图像进行识别，由于2d图像中没有三维(threedimensional，3d)人脸信息，故现有的人脸识别装置对照片或者贴有照片的曲面模型也可以识别成功，不能对人脸做到准确判断，安全性能差。

技术实现要素：

本申请实施例提供了一种人脸识别装置、方法和电子设备，能够提升人脸识别的安全性。

第一方面，提供了一种人脸识别装置，包括：

红外图像采集模块，用于获取识别目标的二维红外图像和三维点云图像；

处理器，用于基于所述二维红外图像和所述三维点云图像进行人脸识别。

通过本申请实施例的方案，基于所述二维红外图像进行识别可以判断人脸的二维特征，基于所述三维点云图像进行识别可以判断人脸的三维特征，同时根据二维红外图像以及三维点云图像进行人脸识别可以提高识别的准确性。提高安全性能。

在一种可能的实现方式中，所述装置还包括：红外发光模块，用于发射红外光至所述识别目标；

其中，所述红外图像采集模块还用于：接收所述红外光经所述识别目标反射后的反射红外光信号，并将所述反射红外光信号转换得到所述二维红外图像。

在一种可能的实现方式中，所述处理器还用于：对所述识别目标的可见光图像进行人脸检测；并在所述可见光图像上检测到人脸图像时，控制所述红外发光模块发射红外光至所述识别目标。

在一种可能的实现方式中，所述装置还包括：可见光图像采集模块，用于获取所述可见光图像。

在一种可能的实现方式中，所述识别目标为用户人脸，所述可见光图像或者所述二维红外图像或者所述三维点云图像用于指示用户调整人脸位置。

在一种可能的实现方式中，所述装置还包括：结构光投射模块，用于投射结构光至所述识别目标；

其中，所述红外图像采集模块还用于：接收所述结构光经所述识别目标反射后的反射结构光信号，并将所述反射结构光信号转换得到所述三维点云图像。

在一种可能的实现方式中，所述结构光为点阵光或者随机散斑，所述结构光投射模块为点阵光投射器，散斑结构光投射器。

在一种可能的实现方式中，所述装置还包括：飞行时间tof光模块，用于对所述识别目标发射连续的近红外脉冲；

其中，所述红外图像采集模块还用于：接收由所述识别目标反射回的近红外脉冲，处理得到所述三维点云图像。

在一种可能的实现方式中，所述装置还包括：距离探测模块，用于探测所述识别目标至所述人脸识别装置的距离。

在一种可能的实现方式中，所述装置还包括：输出模块；

所述处理器还用于：接收所述识别目标至所述人脸识别装置的距离，并控制所述输出模块是否输出所述识别目标至所述人脸识别装置的距离信息。

在一种可能的实现方式中，当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时，所述处理器用于控制所述输出模块不输出所述识别目标至所述人脸识别装置的距离信息；

当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间外时，所述处理器用于控制所述输出模块输出所述识别目标至所述人脸识别装置的距离信息。

在一种可能的实现方式中，当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时，所述处理器用于控制所述结构光投射模块投射结构光至所述识别目标。

在一种可能的实现方式中，所述处理器还用于：将所述二维红外图像与多个红外图像模板进行匹配；

当匹配成功时，确定二维人脸识别成功，或者，当匹配失败时，确定人脸识别失败。

在一种可能的实现方式中，所述处理器还用于：

当所述二维人脸识别成功时，将所述三维点云图像与多个三维点云图像模板进行匹配；

当匹配成功时，确定人脸识别成功，或者，当匹配失败时，确定人脸识别失败。

在一种可能的实现方式中，所述红外图像采集模块为红外摄像头，所述红外摄像头包括滤波片和红外光检测阵列。

在一种可能的实现方式中，所述装置还包括：显示屏，用于显示所述二维红外图像和/或所述三维点云图像和/或所述可见光图像。

第二方面，提供了一种人脸识别方法，包括：

获取识别目标的二维红外图像和三维点云图像；

基于所述二维红外图像和所述三维点云图像进行人脸识别。

在一种可能的实现方式中，所述方法还包括：发射红外光至所述识别目标；接收所述红外光经所述识别目标反射后的反射红外光信号，并将所述反射红外光信号转换得到所述二维红外图像。

在一种可能的实现方式中，所述方法还包括：对所述识别目标的可见光图像进行人脸检测；当在所述可见光图像上检测到人脸图像时，发射红外光至所述识别目标。

在一种可能的实现方式中，所述方法还包括：获取所述可见光图像。

在一种可能的实现方式中，所述识别目标为用户人脸，所述可见光图像或者所述二维红外图像或者所述三维点云图像用于指示用户调整人脸位置。

在一种可能的实现方式中，所述方法还包括：投射结构光至所述识别目标；

其中，所述获取识别目标的二维红外图像和三维点云图像包括：

接收所述结构光经所述识别目标反射后的反射结构光信号，并将所述反射结构光信号转换得到所述三维点云图像。

在一种可能的实现方式中，所述结构光为点阵光或者随机散斑。

在一种可能的实现方式中，所述方法还包括：对所述识别目标发射连续的近红外脉冲；

接收由所述识别目标反射回的近红外脉冲，处理得到所述三维点云图像。

在一种可能的实现方式中，所述人脸识别的方法应用于人脸识别的装置，所述方法还包括：探测所述识别目标至所述人脸识别的装置的距离。

在一种可能的实现方式中，所述方法还包括：

接收所述识别目标至所述人脸识别装置的距离，并判断是否输出所述识别目标至所述人脸识别装置的距离信息。

在一种可能的实现方式中，当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时，所述判断是否输出所述识别目标至所述人脸识别的装置的距离信息包括：

不输出所述识别目标至所述人脸识别的装置的距离信息；

当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间外时，所述判断是否输出所述识别目标至所述人脸识别的装置的距离信息包括：

输出所述识别目标至所述人脸识别的装置的距离信息。

在一种可能的实现方式中，当所述识别目标至所述人脸识别装置的距离处于第一距离范围区间时，投射所述结构光至所述识别目标。

在一种可能的实现方式中，所述基于所述二维红外图像和所述三维点云图像进行人脸识别包括：

将所述二维红外图像与多个红外图像模板进行匹配；

当匹配成功时，确定二维人脸识别成功，或者，当匹配失败时，确定人脸识别失败。

在一种可能的实现方式中，所述基于所述二维红外图像和所述三维点云图像进行人脸识别还包括：

当所述二维人脸识别成功时，将所述三维点云图像与多个三维点云图像模板进行匹配；

当匹配成功时，确定人脸识别成功，或者，当匹配失败时，确定人脸识别失败。

在一种可能的实现方式中，所述方法还包括：

显示所述二维红外图像和/或所述三维点云图像和/或所述可见光图像。

第三方面，提供了一种电子设备，包括如第一方面或第一方面的任一可能的实现方式中的人脸识别装置。

在一种可能的实现方式中，所述电子设备还包括：显示屏，用于显示所述二维红外图像和/或所述三维点云图像和/或所述可见光图像。

在一种可能的实现方式中，所述电子设备还包括：无线网络接入模块，用于传输人脸识别的数据至无线局域网络。

在一种可能的实现方式中，所述电子设备还包括：电机控制模块，用于根据人脸识别的结果进行控制机械装置。

第四方面，提供了一种芯片，该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线，该至少一个存储器用于存储指令，该至少一个处理器用于调用该至少一个存储器中的指令，以执行第二方面或第二方面的任一可能的实现方式中的方法。

第五方面，提供了一种计算机可读介质，用于存储计算机程序，所述计算机程序包括用于执行上述第二方面或第二方面的任一可能的实现方式中的指令。

第六方面，提供了一种包括指令的计算机程序产品，当计算机运行所述计算机程序产品的所述指时，所述计算机执行上述第二方面或第二方面的任一可能的实现方式中的人脸识别的方法。

具体地，该计算机程序产品可以运行于上述第三方面的电子设备上。

附图说明

图1是根据本申请实施例的一种人脸识别装置的示意性图。

图2是根据本申请实施例的另一种人脸识别装置的示意性图。

图3是根据本申请实施例的另一种人脸识别装置的示意性图。

图4是根据本申请实施例的另一种人脸识别装置的示意性图。

图5是根据本申请实施例的一种人脸识别流程的示意性流程图。

图6是根据本申请实施例的另一种人脸识别流程的示意性流程图。

图7是根据本申请实施例的另一种人脸识别流程的示意性流程图。

图8是根据本申请实施例的电子设备的示意性框图。

图9是根据本申请实施例的另一电子设备的示意性框图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

本申请实施例可适用于光学人脸识别装置，包括但不限于基于光学人脸成像的产品。该光学人脸识别装置可以应用于具有图像采集装置(如摄像头)的各种电子设备，该电子设备可以为手机，平板电脑，智能可穿戴装置、智能门锁等，本公开的实施例对此不做限定。

应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围。

还应理解，本申请实施例中的公式只是一种示例，而非限制本申请实施例的范围，各公式可以进行变形，这些变形也应属于本申请保护的范围。

还应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。

为了便于理解，先结合图1，对基于2d图像的人脸识别进行电子设备的解锁过程进行简单介绍。

如图1所示，人脸识别装置10包括红外光源110、红外摄像头120和处理器130。其中，所述红外光源110用于发出红外光信号，其可以为红外光发光二极管(lightemittingdiode，led)或者其它红外光发光光源。所述红外摄像头120包括红外图像传感器，该红外图像传感器用于接收红外光信号，并将接收的红外光信号转换为对应的电信号，从而生成红外图像。所述处理器130可以为一种微处理器(microprocessorunit，mpu)，可以控制所述红外光源110发光，并控制所述红外摄像头120进行2d红外图像采集，并且进行2d人脸识别。

具体地，在2d人脸识别的过程中，识别目标处于人脸识别装置10前方，例如，如图1所示，识别目标为人脸103时，所述红外光源110发出红外光信号101，该红外光信号101经过人脸反射后，形成携带有人脸形态信息的反射红外光信号102，该反射红外光信号102被红外摄像头120接收后，形成对应于人脸103的红外人脸图像。

可选地，所述处理器130中含有存储单元，该存储单元中存储有用户人脸的红外图像模板库，其中包含有多个不同人脸角度的用户人脸红外图像模板。该多个用户人脸红外图像模板是对红外摄像头120拍摄得到的多个人脸角度的红外图像处理得到的模板数据向量。处理器130将当前采集到的对应于人脸103的红外人脸图像经过处理后得到的数据向量与红外图像模板库中的多个人脸红外图像的模板数据向量进行匹配，若匹配成功，则2d人脸识别成功，若匹配失败，则2d人脸识别失败。为了便于描述，在下文中，对图像模板处理得到的数据向量也简称为图像模板；匹配过程中对图像处理得到的数据向量也简称为图像。

在图1中，人脸识别装置10通过采集人脸的2d红外图像，判断人脸的2d图像是否符合特征人脸模板库中的特征人脸来进行人脸识别，从而对电子设备和电子设备上的应用程序(application，app)进行解锁。由于在解锁过程中，人脸识别装置10仅仅依据2d图像上的二维特征进行人脸识别，无法识别采集的2d红外图像是否来源自活人人脸或者其他照片、视频等其他非活人人脸物体，换言之，该人脸识别装置10不具有防伪功能，可以通过盗取带有用户人脸的照片、视频等信息，对电子设备以及应用程序进行解锁，因而人脸识别装置及电子设备的安全性能受到了极大的影响。

为解决上述问题，本申请实施例提供一种结合2d识别以及3d识别的人脸识别方法，在2d人脸识别的基础上，还采集人脸的3d特征图像进行3d人脸识别的判断，从而避免二维照片，伪人脸的3d模型，乃至于其他用户的真人脸通过3d人脸识别，增强人脸识别装置及电子设备的安全性能。

下面，结合图2至图4，对本申请实施例提供的人脸识别装置进行详细介绍。

图2为本申请实施例提供的一种人脸识别的装置200，包括：

红外图像采集模块210，用于获取识别目标的2d红外图像和3d点云图像；

处理器220，用于基于所述2d红外图像和所述3d点云图像进行人脸识别。

应理解，所述识别目标包括但不限于人脸、照片、视频、三维模型等任意物体。例如，所述识别目标可以为用户人脸、其他人的人脸、用户照片、贴有照片的曲面模型等等。

可选地，在本申请实施例中，所述红外图像采集模块210可以为任意采集2d红外图像的装置，例如摄像头、相机等等。例如，所述红外图像采集模块210可以为红外摄像头，包括滤波片211和红外光图像传感器212，所述滤波片211用于透过目标波长的光信号，滤除非目标波长的光信号，所述红外光传感器212基于所述目标波长进行光检测，并将检测到的光信号转换为电信号。可选地，所述红外光图像传感器为电荷耦合器件(charge-coupleddevice，ccd)图像传感器，或者为互补金属氧化物半导体(complementarymetaloxidesemiconductor，cmos)图像传感器。可选地，该红外光图像传感器212包括多个像素单元，一个像素单元用于转换光信号形成一个2d红外图像中的一个像素值。可选地，所述像素单元可以采用光电二极管(photodiode)、金属氧化物半导体场效应管(metaloxidesemiconductorfieldeffecttransistor，mosfet)等器件。可选地，所述像素单元对于目标波长光具有较高的光灵敏度和较高的量子效率，以便于检测相应波长的光信号。

具体地，在本申请实施例中，所述目标波长属于红外光波段，例如，目标波长为940nm的近红外光，则滤波片211用于透过940nm的红外光信号，阻挡非940nm波长的可见光以及其他红外光通过，红外光图像传感器212对940nm的红外光进行检测并形成对应于识别目标的2d红外图像。

可选地，所述处理器220可以为所述人脸识别装置200的处理器，也可以为包括人脸识别装置200的电子设备的处理器，本申请实施例不做限定。

具体地，在本申请实施例中，所述处理器220可以控制所述红外图像采集模块210采集2d红外图像和3d点云图像，所述红外图像采集模块210将采集的2d红外图像和3d点云图像发送给所述处理器220。

具体地，在本申请实施例中，所述2d红外图像中每一个像素值表现为图像的灰度值，通过图像的灰度值信息呈现识别目标的外观形状。可选地，所述灰度值的范围可以为0～255之间。

具体地，在本申请实施例中，所述3d点云图像也称为3d点云数据，包含了识别目标的深度信息，能够表示识别目标的表面形状以及立体结构。其中，所述3d点云数据是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为点云(pointcloud)，其优点为获取便捷，易于存储，具有离散和稀疏特性，且方便扩展为高维的特征信息。

可选地，在本申请实施例中，所述3d点云数据也可以根据深度图像得到，所述红外图像采集模块210采集识别目标的深度图像，并将深度图像发送给处理器220，所述处理器220将该深度图像处理得到3d点云图像并根据3d点云图像进行人脸识别。

所述深度图像(depthimage)，也被称为距离影像(rangeimage)。所述识别目标的深度图像中的像素值表示识别目标的表面各点与同一点或者同一平面之间距离信息，例如，在一种可能的实施方式中，红外图像采集模块210获取识别目标的深度图像，所述像素值表示识别目标的表面各点距离图像采集模块的距离。当深度图像为灰度图像时，图像像素值的变化也可以表现为图像的灰度变化，因此，深度图像的灰度变化也对应于识别目标的深度变化，直接反映了识别目标可见表面的几何形状以及深度信息。

可选地，所述深度图像可以表示为像素值的矩阵，所述深度图像的像素值(也称为灰度值)为0至255，不同的像素值对应不同的深度信息。

应理解，深度图像经过坐标转换可以计算为识别目标的点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。

通过本申请实施例的方案，基于所述2d红外图像进行识别可以判断人脸的2d特征，基于所述3d点云图像进行识别可以判断人脸的3d特征，同时根据2d红外图像以及3d点云图像进行人脸识别可以提高识别的准确性。提高安全性能。

应理解，在本申请实施例中，所述红外图像采集模块210可以为图1中的红外摄像头110。所述处理器220可以为图1中的处理器130。所述红外图像采集模块210获取红外图像的过程可以和图1中红外摄像头110采集用户人脸的红外图像的过程相同。所述处理器220对2d红外图像进行人脸识别的过程可以和图1中处理器130进行2d人脸识别的过程相同。

可选地，在一种可能的实施方式中，采用深度学习网络对2d红外图像进行人脸识别匹配。该深度学习网络可以为卷积神经网络(convolutionalneuralnetworks，cnn)，或者其他深度学习网络，本申请实施例对此不做限定。所述处理器220采用深度学习网络将所述2d红外图像按照多个红外图像模板进行分类，其分类结果用于判定所述2d红外图像是否与多个红外图像模板匹配；当匹配成功时，确定2d人脸识别成功，或者，当匹配失败时，确定人脸识别失败。

例如，通过卷积神经网络对采集的人脸图像进行人脸分类识别，具体地，首先通过多个样本训练一个判断是否为用户人脸的人脸识别卷积神经网络，得到该卷积神经网络的相关参数，其中，该人脸识别卷积神经网络按照模板库中的多个红外图像模板分类。人脸识别时，将采集到的2d红外图像的数据输入至人脸识别卷积神经网络中，通过卷积层(convolutionallayer)、激励层(activationlayer)，池化层(poolinglayer)、以及全连接层(fully-connectedlayer)等计算处理，将2d红外图像的数据的特征提取后，进行分类判别，判断该2d红外图像是否与模板库中多个红外图像模板匹配，从而得到2d识别的结果。

进一步地，当确定2d人脸识别成功时，所述处理器220对所述3d点云数据进行3d人脸识别。

可选地，所述处理器220将所述3d点云图像与3d点云图像模板库中多个三维点云图像模板进行匹配；当匹配成功时，确定人脸识别成功，或者，当匹配失败时，确定人脸识别失败。

具体地，所述多个3d点云图像模板为多个不同人脸角度的用户人脸3d点云图像。该多个用户人脸3d点云图像也是通过红外图像采集模块对不同角度的用户人脸进行图像采集得到的。

可选地，在本申请实施例中，也可以采用深度学习网络对3d点云数据进行3d人脸识别匹配。例如，在一种可能的实施方式中，所述处理器220通过点云处理网络(pointnet)对采集的3d点云图像的3d点云数据进行人脸分类识别，具体地，该pointnet包括特征提取层，特征映射层，特征图压缩层，以及全连接层等，网络中包括多个训练参数。首先通过多个样本对pointnet进行训练，得到优化的训练参数，使pointnet对人脸识别的结果更准确，多个样本中包括多个用户人脸的3d点云数据，也包括有其它非用户人脸的3d点云数据，例如，其它人脸的3d点云数据或者三维模型，二维照片等物体的点云数据。然后，在3d人脸识别过程中，将采集到的识别目标的3d点云数据输入至该点云处理网络中，经过网络中各层的特征提取，处理以及分类，判断该3d点云数据是否与3d点云数据模板库中多个用户人脸3d点云数据匹配。

可选地，所述红外图像模板库与所述3d点云图像模板库可以存储在处理器220中的存储单元中，也可以存储在所述人脸识别的装置200所在的电子设备中的存储器中，本申请实施例对此不做限定。

因此，基于上述处理器220的控制处理方法，当2d人脸识别成功时，不代表人脸识别成功，还需要进一步进行3d人脸识别，只有当2d人脸识别以及3d人脸识别均成功时，才代表人脸识别成功，能够进行下一步操作。而当2d人脸识别失败时，则直接人脸识别失败，避免进行3d识别浪费处理器的运算资源。因此，处理器220结合所述2d红外图像和所述3d点云图像进行人脸识别，可以快速识别出非用户人脸，提高识别效率，且加强安全性。

可选地，如图3所示，所述人脸识别的装置200还可以包括红外发光模块230，用于发射红外光到识别目标表面，经过识别目标反射后，反射的红外光被红外图像采集模块210接收，形成所述识别目标的2d红外图像。在人脸识别装置200中增加红外发光模块230，可以增加红外光的光强，使经过识别目标反射后的红外光信号光强变大，提高所述识别目标的2d红外图像的质量。

可选地，所述红外发光模块230可以任意发射红外光信号的发光装置，包括但不限于红外光发光二极管(lightemittingdiode，led)、垂直腔面发射激光器(verticalcavitysurfaceemittinglaser，vcsel)、法布里-泊罗(fabryperot，fp)激光器(laserdiode，ld)、分布式反馈(distributefeedback，dfb)激光器以及电吸收调制激光器(electro-absorptionmodulatedlaser，eml)，本申请实施例对此不做限定。

可选地，在一种可能的实施方式中，所述处理器220对所述2d红外图像或者3d点云图像进行人脸检测(facedetection)，即判断2d红外图像或者3d点云图像上是否存在人脸。当检测到存在人脸时，所述处理器220控制所述红外发光模块230发射红外光至所述识别目标。特别地，识别目标为用户人脸时，当所述处理器220识别2d红外图像为完整的正面人脸图像时，控制所述红外发光模块230向用户人脸发射红外光信号。

优选地，在另一种可能的实施方式中，所述处理器220还可以获取到识别目标的可见光图像进行人脸检测。当检测可见光图像上到存在人脸时，所述处理器220控制所述红外发光模块230发射红外光至所述识别目标。

其中，如图3所示，所述人脸识别装置200还可以包括可见光图像采集模块240，用于获取上述可见光图像。其中，所述可见光采集模块240可以为摄像头，相机或者其它采集可见光形成彩色图像的装置，所述可见光采集模块240包括可见光图像传感器，用于接收环境中的可见光信号，并将接收的可见光信号转换为对应的电信号，从而生成可见光彩色图像。可选地，所述处理器220控制所述可见光采集模块开始采集可见光图像，并且接收处理所述可见光图像。

进一步地，所述可见光彩色图像可以用于显示给用户，所述可见光图像采集装置类似“镜子”的作用，可以实时将采集到的可见光彩色图像呈现给用户。具体地，所述可见光图像采集模块240将生成的可见光彩色图像发送给处理器220，处理器将可见光彩色图像发送给显示屏进行显示。例如，当识别目标为用户人脸时，用户位于人脸识别装置200前方，通过观察显示屏上的可见光彩色图像调整人脸位置，使用户能够完全观察到自身的人脸，也就是用户可以根据显示屏上的图像指示来对应的移动自己的位置，且经过位置调整后，更加便于红外图像采集模块采集合适的用户人脸的2d红外图像和3d点云图像用于人脸识别。

可选地，所述2d红外图像和/或3d点云图像也可以用于显示给用户，使用户能够根据实时呈现的2d红外图像和/或3d点云图像调整人脸位置。

可选地，如图4所示，所述人脸识别的装置200还可以包括结构光投射模块250，用于向识别目标投射结构光。红外图像采集模块210具体用于接收所述结构光经所述识别目标反射后的反射结构光信号，并将所述反射结构光信号转换得到3d点云图像，然后将该3d点云图像发送给所述处理器220。

具体地，所述结构光是具有特定模式的光，其具有例如点、线、面等模式图案，具体可以为具有特定模式图案的红外光信号。基于结构光获取3d点云数据的原理是：将结构光投射至目标物体，经目标物体表面反射后，捕获相应的带有结构光的图像。由于结构光的模式图案会因为目标物体的表面形状发生变形，因此通过结构光中的模式图案在捕捉得到的图像中的位置以及形变程度利用三角原理计算即可得到目标物体中各采样点的空间坐标，从而形成表示目标物体三维空间结构的3d点云数据。

可选地，在本申请实施例中，所述结构光属于红外波段的光信号，例如，所述结构光为波长为940nm的带有图案模式的光信号。

可选地，所述结构光包括但不限于散斑图像，点阵光等带有结构图案的光信号。所述结构光投射模块250可以为任意投射结构光的装置结构，包括但不限于：采用vcsel光源的点阵光投射器，散斑结构光投射器等发光装置。

可选地，在另一种可能的实施方式中，所述人脸识别的装置200还可以包括飞行时间(timeofflight，tof)光模块，用于对识别目标发射连续的近红外脉冲，红外图像采集模块210接收由目标物体反射回的光脉冲，通过比较发射光脉冲与经过物体反射的光脉冲的相位差，可以推算得到光脉冲之间的传输延迟进而得到目标物体相对于发射器的距离，最终得到识别目标的3d点云数据。

应理解，所述人脸识别的装置200还可以包括采用其他能够获取识别目标的3d点云数据的模块装置，本申请实施例对此不做限定。

可选地，如图4所示，所述人脸识别的装置200还可以包括距离探测模块260，用于探测识别目标至所述人脸识别装置200的距离。可选地，距离探测模块260还将识别目标至所述人脸识别装置200的距离发送给所述处理器220，所述处理器220可以控制所述距离探测模块260开始探测距离。

可选地，当处理器220在基于2d红外图像进行2d人脸识别成功时，则控制所述距离探测模块260开始探测距离。

可选地，所述距离探测模块260可以利用电磁波、超声波等信号进行距离的检测，其原理为：距离探测模块260向识别目标发射超声波或者电磁波，通过识别目标的反射、回波接收后的时差或相位差来测量识别目标至所述人脸识别装置200的距离。其中，距离探测模块260发射的超声波为一种频率高于20000赫兹的声波，它的方向性好，穿透能力强，易于获得较集中的声能。距离探测模块260发射的电磁波为光脉冲或者用高频电流调制的光波或者微波，其响应迅速，且测量精度高。

因此，在本申请实施例中，所述距离探测模块260可以为超声波探测器，电磁波探测器等探测距离的装置。

可选地，如图4所示，所述人脸识别的装置200还可以包括输出模块270，用于向用户提示距离信息。可选地，所述输出模块270包括但不限于显示模块、声音模块、光模块、振动模块等可以将距离信息直接或间接的呈献给用户。

可选地，在一种可能的实施方式中，所述处理器220用于：接收所述识别目标至所述人脸识别装置200的距离，并将该距离信息发送给所述输出模块270，所述输出模块270将距离信息实时呈现给用户。例如，输出模块270为显示屏，将距离信息显示为数值呈现在屏幕上，并给出是否处于合适距离的指示。又例如，输出模块270为声音模块，当距离在合适的范围，例如确定的第一距离范围之内时，发出第一提示音，当距离在第一距离范围之外，发出第二提示音。此时，用户根据屏幕上的指示或者不同的提示音，移动人脸，使其处于合适的位置。

优选地，在另一种可能的实施方式中，所述处理器220用于：接收所述识别目标至所述人脸识别装置200的距离，并控制所述输出模块270是否输出所述识别目标至所述人脸识别装置的距离信息。具体地，所述处理器220判断距离是否在合适的范围之内，例如确定的第一距离范围之内，当距离在第一距离范围内，则控制所述输出模块不动作，例如，不发出提示音等。当距离在第一距离范围之外时，则控制所述输出模块270动作，例如发出提示音等。

进一步地，所述处理器220还根据不同的距离信息，控制所述输出模块270进行不同的动作。例如：当距离数据处于第一距离范围区间时，所述处理器220控制输出模块270不动作；当距离数据小于第一距离范围区间时，所述处理器220控制输出模块270发出第一提示音，当距离数据大于第一范围区间时，所述处理器220控制输出模块270发出第二提示音。此时，用户根据不同的提示音移动人脸，直至无提示音出现，则说明此时人脸处于合适的位置。

可选地，在处理器220接收并判断所述识别目标至所述人脸识别装置的距离在合适的距离范围，例如在第一距离范围区间时，所述处理器220控制所述结构光投射模块250向识别目标投射结构光，或者控制tof光模块向所述识别目标发射连续的近红外脉冲，从而使红外图像采集模块210采集到3d点云数据图像。

应理解，所述输出模块270还可以用于输出除距离信息以外的其它信息。例如，在用户进行模板录入、人脸识别时，发出录入成功或失败，识别成功或失败的提示音。

在本申请实施例中，通过距离探测模块260进行距离探测，以及输出模块270输出距离信息，使用户人脸更加方便的移动于人脸识别的合适区域。且在移动至合适的距离后向用户人脸发送结构光，可以防止结构光伤害人眼，提高用户体验。

上文结合图2至图4，详细描述了本申请的人脸识别装置实施例，其中，所述处理器220作为人脸识别装置200的控制中心以及处理中心，连接并控制所述人脸识别装置200中的其它模块执行相关动作，处理其它模块采集产生的图像数据，以完成人脸识别过程。下文结合图5至图7，详细描述本申请的人脸识别方法实施例。应理解，方法实施例与装置实施例相互对应，类似的描述可以参照装置实施例。

图5是根据本申请实施例的人脸识别方法20的示意性流程图，包括：

s240：获取识别目标的2d红外图像和3d点云图像；

s250：基于所述2d红外图像和所述3d点云图像进行人脸识别。

可选地，本申请实施例中的人脸识别方法20可以应用在上述人脸识别装置200中，其中，上述处理器220控制红外图像采集模块210获取识别目标的2d红外图像和3d点云图像，红外图像采集模块210将所述2d红外图像和3d点云图像发送给处理器220后，所述处理器220基于所述2d红外图像和所述3d点云图像进行人脸识别。

可选地，如图5所示，所述人脸识别方法20还包括：

s230：发射红外光至所述识别目标，用于增强照射在所述识别目标表面的红外光信号，从而增大经过人脸反射的红外光信号的光强，提高获取的2d红外图像的质量。

可选地，所述处理器220控制红外光发光模块210发射红外光至所述识别目标。

可选地，如图5所示，所述人脸识别方法20还包括：

s210：获取识别目标的可见光图像；

s220：对可见光图像进行人脸检测。

可选地，所述处理器220控制可见光图像采集模块240获取识别目标的可见光图像，并将可将光图像发送给处理器220后，所述处理器220对可见光图像进行人脸检测。

可选地，当在可见光图像上检测到人脸时，则进入步骤s230，即控制红外光发射模块230发射红外光至所述识别目标。当在可见光图像上未检测到人脸时，则进入步骤s210，即重新控制可见光图像采集模块240获取识别目标的可见光图像，并再次进行人脸检测。

可选地，如图6所示，所述步骤s240包括：s241：获取识别目标的2d红外图像；以及s242：获取识别目标的3d点云图像。

所述步骤s250包括：s251：基于2d红外图像进行2d人脸识别；以及

可选地，当基于2d红外图像进行2d人脸识别成功时，执行s252：基于3d点云图像进行3d人脸识别。

具体地，在本申请实施例中，当步骤s251中，基于2d红外图像进行2d人脸识别成功时，执行步骤s242，否则进入步骤s262，即人脸识别失败，方法流程结束。

当步骤s252中，基于3d点云图像进行3d人脸识别成功时，则进入步骤s261，即人脸识别成功，否则，也进入步骤s262，人脸识别失败。

因此，基于上述流程方法，当2d人脸识别成功时，不代表人脸识别成功，还需要进一步进行3d人脸识别，只有当2d人脸识别以及3d人脸识别均成功时，才代表人脸识别成功，能够进行下一步操作。而当2d人脸识别失败时，则直接人脸识别失败，避免进行3d识别浪费处理器的运算资源。因此，采用2d人脸识别与3d人脸识别结合的方法，可以快速识别出非用户人脸，且在2d识别成功的基础上，再次进行3d识别检测，可以对人脸进行3d防伪，加强了识别流程的安全性。

可选地，如图7所示，在步骤s251：基于2d红外图像进行2d人脸识别，且2d人脸识别成功后，所述人脸识别方法20还包括：

s270：检测识别目标至识别装置的距离是否在第一距离范围区间内。

具体地，处理器220检测识别目标至识别装置的距离是否在第一距离范围区间内，当识别目标至识别装置的距离在第一距离范围区间内时，进入步骤s242：获取识别目标的3d点云图像。可选地，处理器220控制结构光投射模块250向识别目标投射结构光，或者控制tof光模块向所述识别目标发射连续的近红外脉冲。

当识别目标至识别装置的距离不在第一距离范围区间内时，进入步骤s271：输出距离信息。可选地，处理器220控制输出模块270针对不同的距离输出不同的提示信息。此时，用户根据不同的提示信息移动人脸，使得人脸处于合适的位置。

如图8所示，本申请实施例还提供了一种电子设备2，该电子设备2可以包括上述申请实施例的人脸识别装置200。

所述电子设备2包括但不限于智能门锁、手机、电脑、门禁系统等等需要应用人脸识别的设备。

可选地，如图9所示，所述电子设备还可以包括显示屏300，所述显示屏用于显示所述二维红外图像和/或所述三维点云图像和/或所述可见光图像，方便用户观察并移动人脸位置，使其处于合适的人脸识别位置。

可选地，所述显示屏300还可以显示输出模块270的距离信息，以及其它识别成功或失败，模板录入或失败等人脸识别相关的提示信息等。

可选地，在上述人脸识别装置200不包括处理器220和输出模块270的情况下，如图9所示，所述电子设备2可以包括处理器400和输出模块500。

可选地，所述输出模块500可以与图4中的输出模块270相同。

应理解，所述输出模块500还可以用于输出除与人脸识别相关动作以外的信息。例如，电子设备的开机、关机提示音等等，本申请实施例对此不做限定。

还应理解，所述处理器400为电子设备2的处理器，所述显示屏300为电子设备2的显示屏，主要用于控制电子设备2中的各部分组件以及显示电子设备的主要界面，换言之，人脸识别装置200仅为电子设备2中的一个功能部件，其需要执行的动作仅为处理器400控制的一部分，其需要显示的图像仅为显示屏300显示内容中的一部分。

可选地，如图9所示，所述电子设备2还可以包括存储器600、电机控制模块700和无线网络接入模块800。

可选地，所述红外图像模板库和/或3d点云数据模板库还可以存储在所述存储器600中。

可选地，当电子设备为门禁系统或者智能门锁时，当人脸识别装置200人脸识别成功时，所述处理器400可以控制电机控制模块700对锁具进行开锁动作。

可选地，所述无线网络接入模块800用于接入无线局域网络(wirelesslocalareanetworks，wlan)，实现处理器400以及存储器600中的数据进行网络传输。

应理解，本申请实施例的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例的人脸识别装置还可以包括存储器，存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，sram)、动态随机存取存储器(dynamicram，dram)、同步动态随机存取存储器(synchronousdram，sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，esdram)、同步连接动态随机存取存储器(synchlinkdram，sldram)和直接内存总线随机存取存储器(directrambusram，drram)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图5-7所示实施例的方法。

本申请实施例还提出了一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行图5-7所示实施例的方法。

本申请实施例还提供了一种芯片，该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线，该至少一个存储器用于存储指令，该至少一个处理器用于调用该至少一个存储器中的指令，以执行图5-7所示实施例的方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。