一种人脸识别方法、装置、存储介质及智能终端与流程

本发明实施例涉及智能终端技术领域，尤其涉及一种人脸识别方法、装置、存储介质及智能终端。

背景技术

社会经济的不断发展下，智能终端已经成为人们生活中必不可少的生活必需品。

目前，随着智能终端的功能的逐渐强大，基本已经包含了人们生活中的各项功能，所以人们对智能终端的使用要求也越来越高。为了保证智能终端的隐私性，以及使用支付等功能的保密性，采用人脸识别来进行对智能终端的解锁以及支付已经成为不可阻挡的发展趋势。然而，目前的人脸识别功能仅能够针对光线充足的环境进行，而光线较差的地方一般会导致人脸识别的速度减慢，甚至无法识别，为用户对智能终端的使用带来负担。

技术实现要素：

本发明实施例提供一种人脸识别方法、装置、存储介质及智能终端，可以实现无论光线强弱，都能够准确、快速的进行人脸识别的方法，提高了人脸识别的效率、准确性和适用性的效果。

第一方面，本发明实施例提供了一种人脸识别方法，该方法包括：

当检测到人脸识别事件触发后，打开摄像头获取基本人脸图像，并使用所述基本人脸图像进行人脸识别；

当获取的基本人脸图像张数达到第一阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用曝光补偿手段，获取曝光补偿人脸图像，并使用所述曝光补偿人脸图像进行人脸识别；

当获取的曝光补偿人脸图像张数达到第二阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用iso增强手段，获取iso增强人脸图像，并使用所述iso增强人脸图像进行人脸识别。

进一步的，在使用所述iso增强人脸图像进行人脸识别之后，还包括：

当获取的iso增强人脸图像张数达到第三阈值且不能实现人脸识别时，产生人脸识别失败的提示信息。

进一步的，所述方法还包括：

在实现人脸识别时，终止人脸识别进程，并释放摄像头的所有资源。

进一步的，所述第二阈值为4；

其中，4张曝光补偿人脸图像的曝光数值依次为+3、+6、+9和+12。

进一步的，所述第三阈值为4；

其中，4张iso增强人脸图像的曝光数值依次为iso400、iso800、iso1600和iso3200。

第二方面，本发明实施例还提供了一种人脸识别装置，该装置包括：

基本人脸图像识别模块，用于当检测到人脸识别事件触发后，打开摄像头获取人脸图像，并使用所述基本人脸图像进行人脸识别；

曝光补偿人脸图像识别模块，用于当获取的基本人脸图像张数达到第一阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用曝光补偿手段，获取曝光补偿人脸图像，并使用所述曝光补偿人脸图像进行人脸识别；

iso增强人脸图像识别模块，用于当获取的曝光补偿人脸图像张数达到第二阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用iso增强手段，获取iso增强人脸图像，并使用所述iso增强人脸图像进行人脸识别。

进一步的，所述装置还包括：

识别失败提示模块，用于当获取的iso增强人脸图像张数达到第三阈值且不能实现人脸识别时，产生人脸识别失败的提示信息。

进一步的，所述装置还包括：

人脸识别进程终止模块，用于在实现人脸识别时，终止人脸识别进程，并释放摄像头的所有资源。

进一步的，所述第二阈值为4；

其中，4张曝光补偿人脸图像的曝光数值依次为+3、+6、+9和+12。

进一步的，所述第三阈值为4；

其中，4张iso增强人脸图像的曝光数值依次为iso400、iso800、iso1600和iso3200。

第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的人脸识别方法。

第四方面，本发明实施例提供了一种智能终端，所述智能终端包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明实施例所述的人脸识别方法。

本发明实施例所提供的技术方案，当检测到人脸识别事件触发后，打开摄像头获取基本人脸图像，并使用所述基本人脸图像进行人脸识别；当获取的基本人脸图像张数达到第一阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用曝光补偿手段，获取曝光补偿人脸图像，并使用所述曝光补偿人脸图像进行人脸识别；当获取的曝光补偿人脸图像张数达到第二阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用iso增强手段，获取iso增强人脸图像，并使用所述iso增强人脸图像进行人脸识别，可以实现无论光线强弱，都能够准确、快速的进行人脸识别的方法，提高了人脸识别的效率、准确性和适用性的效果。

附图说明

图1是本发明实施例一提供的人脸识别方法的流程图；

图2是本发明实施例一提供的app人脸识别方法的步骤示意图；

图3是本发明实施例二提供的人脸识别装置的结构示意图；

图4为本发明实施例提供的一种智能终端的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

现在人脸识别解锁(faceunlock)在移动终端上使用的非常普遍，用户用来解锁手机锁屏或者进行购物支付。但是在光线较暗的环境下，有时候解锁界面会提示faceunlockfail，需要进行重新faceunlock，甚至有时候需要尝试多次才能正确解锁。在光线更加暗的情况下，faceunlock基本就失效了。造成faceunlock失败的主要原因是因为在进行解锁时，app会根据camera提供的照片首先进行人脸检查，如果有人脸，就会和app注册时的人脸进行对比，如果对比评分达到期望值(app设定的认为当前人脸是可信的评分)，就会正确解锁。但是光线暗的情况下照片质量较差，无法从camera提供的照片中提取出人脸的信息，尤其是眼睛和鼻子信息模糊(faceunlock主要就是根据眼睛鼻子的相对距离进行评分)，从而无法正确解锁。

本技术方案的发明人基于发现了上述问题，提出如下技术方案进行解决，具体的解决方式为：

实施例一

图1是本发明实施例一提供的人脸识别方法的流程图，本实施例可适用于人脸识别的情况，该方法可以由本发明实施例所提供的人脸识别装置来执行，该装置可以由软件和/或硬件的方式来实现，并可集成于智能终端中。

如图1所示，所述人脸识别方法包括：

s110、当检测到人脸识别事件触发后，打开摄像头获取基本人脸图像，并使用所述基本人脸图像进行人脸识别。

首先是人脸识别时间的触发，即faceunlock触发。faceunlock的触发在手机终端的方法大同小异，比如屏幕解锁，一般都是在灭屏的情况使用power键唤醒屏幕，然后系统处理优先级较高的systemui中的faceunlock进程。而支付使用faceunlock，是在支付app中到了支付环节调用faceunlock进程。其中，为faceunlock设置为较高的优先级的好处是可以提高智能终端被唤醒后的解锁速度，提高智能终端的响应速度，提高用户的使用体验。

faceunlock触发后，进行camera初始化。faceunlock进程触发后，会开始调用camera接口，初始化camera需要使用和配置的资源。在camera初始化完成后，相关资源配置完毕就可以进行cameraopen动作。其中，人脸识别不限于本实施例中所提供的解锁和支付界面，还包括任何其他需要进行人脸识别的场景。

camera预览，采集数据帧。cameraopen后，开始通过camerasensor(图像传感器)采集数据帧(一般指人脸)进行预览，这里一般预览的图片分辨率较小，例如640*480，能够提供图片速率大于20fps(即一秒钟可以提供20张以上图片帧)。

s120、当获取的基本人脸图像张数达到第一阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用曝光补偿手段，获取曝光补偿人脸图像，并使用所述曝光补偿人脸图像进行人脸识别。

其中，第一阈值可以为8，即为当采集8张基本人脸图像之后，仍然不能够进行解锁的情况下，在采集第9张人脸图像时采用曝光补偿手段(ev补偿)。

在本实施例中，可选的，所述第二阈值为4；其中，4张曝光补偿人脸图像的曝光数值依次为+3、+6、+9和+12。结合上述示例，可以在第九张到第十二张图片进行ev补偿处理，得到曝光补偿人脸图像：第九张曝光补偿人脸图像的曝光补偿+3，第十张曝光补偿人脸图像的曝光补偿+6，第十一张曝光补偿人脸图像的曝光补偿+9，第十二张曝光补偿人脸图像的曝光补偿+12。进行该曝光补偿后一般暗光线处都能正常进行faceunlock。如果光线进一步变暗，则在曝光补偿仍然不能够进行解锁的情况下，再对第十三张以后的人脸识别图像进行iso增强处理。

s130、当获取的曝光补偿人脸图像张数达到第二阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用iso增强手段，获取iso增强人脸图像，并使用所述iso增强人脸图像进行人脸识别。

在本实施例中，可选的，所述第三阈值为4；其中，4张iso增强人脸图像的曝光数值依次为iso400、iso800、iso1600和iso3200。结合上述示例，可以对第13至16张人脸识别图像进行iso增强处理。

其中，iso是感光度的意思，iso感光度是衡量手机cmos传感器(相当于传统照相机的底片)对于光的灵敏程度，对于光较不敏感的底片，需要曝光更长的时间以达到跟较敏感底片相同的成像。减少曝光时间相对使用较高敏感度通常会导致影像品质降低(由于较粗的颗粒或是较高的影像噪声或其他因素)。所以，使用iso增强人脸图像进行人脸识别，照片的品质较差。所以要为iso增强人脸图像设置一个较为合理的范围，即达到克服环境亮度过低的要求，又要尽量少的牺牲图像品质。所以，本实施例中，对于第13张到第16张图片，分别给予iso400、iso800、iso1600和iso3200的iso设置，并依次尝试，得到尝试结果确定是否能够正常进行解锁。

在本实施例中，可选的，在使用所述iso增强人脸图像进行人脸识别之后，还包括：当获取的iso增强人脸图像张数达到第三阈值且不能实现人脸识别时，产生人脸识别失败的提示信息。如果环境过暗，则可以在对人脸图像进行iso增强处理仍然不能够实现人脸识别后，由系统或者调用人脸识别进程的应用程序提示人脸识别失败。这样设置的好处是可以在环境过暗的情况下及时作出反应，不至于再进行过多的操作影响用户的人脸识别时间。

在本实施例中，可选的，在实现人脸识别时，终止人脸识别进程，并释放摄像头的所有资源。这样设置的好处是可以在人脸识别后尽快的释放摄像头的资源，避免对其他需要使用摄像头资源的进程加载以及运行造成阻碍。

与正常的faceunlock相比，不会在环境光稍暗的情况下faceunlock就无法使用，报出faceunlockfail，而是实现光线渐变的过程中实现分段式的正常faceunlock解锁处理：在正常情况下，faceunlock能够正常解锁屏幕或者进行支付，当环境光稍暗情况下，也可以进行正常faceunlock解锁或者支付，环境光进一步暗的情况下，faceunlock依旧可以使用，当环境光打到过暗情况下，app显示“环境过暗，请尝试亮处解锁”。

本发明实施例所提供的技术方案，当检测到人脸识别事件触发后，打开摄像头获取基本人脸图像，并使用所述基本人脸图像进行人脸识别；当获取的基本人脸图像张数达到第一阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用曝光补偿手段，获取曝光补偿人脸图像，并使用所述曝光补偿人脸图像进行人脸识别；当获取的曝光补偿人脸图像张数达到第二阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用iso增强手段，获取iso增强人脸图像，并使用所述iso增强人脸图像进行人脸识别，可以实现无论光线强弱，都能够准确、快速的进行人脸识别的方法，提高了人脸识别的效率、准确性和适用性的效果。

图2是本发明实施例一提供的app人脸识别方法的步骤示意图。如图2所示：

s210、应用程序触发人脸识别进程。

s220、初始化camera。

s230、打开camera。

s240、camera采集数据，开始预览。

s250、采集图像帧并和注册时的人脸进行识别；若识别成功，则执行s260；若识别失败，则执行s280。

其中，采集图像帧包括第1-8张的基本人脸图像，第9-12张的曝光补偿人脸图像，第13-16张的iso增强人脸图像。当采集图像帧过程中实现了人脸识别过程，则人脸识别成功，无需再采集下一张人脸图像。而如果在第16张的iso增强人脸图像仍然识别失败，则执行下述s280。

s260、人脸识别成功。

可以执行在人脸识别过程中需要达到的目标效果，如支付、登录等。

s270、释放camera。

s280、应用程序界面显示人脸识别失败，请重新解锁；并返回执行s210。

这样可以在识别失败后及时告知用户，避免步骤过于冗余影响用户对于人脸识别功能的使用。

本实施例在上述实施例的基础上，提供了一种应用程序进行人脸识别的步骤过程。更加详细的说明了在应用程序中如果对用户进行人脸识别，在达到人脸识别的目的的同时，还可以兼顾环境过暗的情形，并且不会影响人脸识别的响应速度和准确性。

实施例二

图3是本发明实施例二提供的人脸识别装置的结构示意图。如图3所示，所述人脸识别装置，包括：

基本人脸图像识别模块310，用于当检测到人脸识别事件触发后，打开摄像头获取人脸图像，并使用所述基本人脸图像进行人脸识别；

曝光补偿人脸图像识别模块320，用于当获取的基本人脸图像张数达到第一阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用曝光补偿手段，获取曝光补偿人脸图像，并使用所述曝光补偿人脸图像进行人脸识别；

iso增强人脸图像识别模块330，用于当获取的曝光补偿人脸图像张数达到第二阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用iso增强手段，获取iso增强人脸图像，并使用所述iso增强人脸图像进行人脸识别。

本发明实施例所提供的技术方案，当检测到人脸识别事件触发后，打开摄像头获取基本人脸图像，并使用所述基本人脸图像进行人脸识别；当获取的基本人脸图像张数达到第一阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用曝光补偿手段，获取曝光补偿人脸图像，并使用所述曝光补偿人脸图像进行人脸识别；当获取的曝光补偿人脸图像张数达到第二阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用iso增强手段，获取iso增强人脸图像，并使用所述iso增强人脸图像进行人脸识别，可以实现无论光线强弱，都能够准确、快速的进行人脸识别的方法，提高了人脸识别的效率、准确性和适用性的效果。

在上述各技术方案的基础上，可选的，所述装置还包括：

识别失败提示模块，用于当获取的iso增强人脸图像张数达到第三阈值且不能实现人脸识别时，产生人脸识别失败的提示信息。

在上述各技术方案的基础上，可选的，所述装置还包括：

人脸识别进程终止模块，用于在实现人脸识别时，终止人脸识别进程，并释放摄像头的所有资源。

在上述各技术方案的基础上，可选的，所述第二阈值为4；

其中，4张曝光补偿人脸图像的曝光数值依次为+3、+6、+9和+12。

在上述各技术方案的基础上，可选的，所述第三阈值为4；

其中，4张iso增强人脸图像的曝光数值依次为iso400、iso800、iso1600和iso3200。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例三

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种人脸识别方法，该方法包括：

当检测到人脸识别事件触发后，打开摄像头获取基本人脸图像，并使用所述基本人脸图像进行人脸识别；

当获取的基本人脸图像张数达到第一阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用曝光补偿手段，获取曝光补偿人脸图像，并使用所述曝光补偿人脸图像进行人脸识别；

当获取的曝光补偿人脸图像张数达到第二阈值且不能实现人脸识别时，在继续获取人脸图像的过程中，采用iso增强手段，获取iso增强人脸图像，并使用所述iso增强人脸图像进行人脸识别。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddrram、sram、edoram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的人脸识别操作，还可以执行本申请任意实施例所提供的人脸识别方法中的相关操作。

实施例四

本发明实施例提供了一种智能终端，该智能终端中可集成本发明实施例提供的人脸识别装置。图4为本发明实施例提供的一种智能终端的结构示意图。如图4所示，该智能终端可以包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明任意实施例所述的人脸识别方法。

本发明实施例提供的智能终端，可以实现无论光线强弱，都能够准确、快速的进行人脸识别的方法，提高了人脸识别的效率、准确性和适用性的效果。

上述实施例中提供的人脸识别装置、存储介质及智能终端可执行本申请任意实施例所提供的人脸识别方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的人脸识别方法。

优选实施例

为了能够让本领域技术人员更加清楚的了解本发明的技术方案，本发明实施例还提供了一种优选方案。

人脸识别解锁在当前移动终端上使用普遍，具体执行顺序如下：

faceunlock触发。faceunlock的触发在手机终端的方法大同小异，比如屏幕解锁，一般都是在灭屏的情况使用power键唤醒屏幕，然后系统处理优先级较高的systemui中的faceunlock进程。而支付使用faceunlock，是在支付app中到了支付环节调用faceunlock进程。

faceunlock触发后，进行camera初始化。faceunlock进程触发后，会开始调用camera接口，初始化camera需要使用和配置的资源。

打开camera。在camera初始化完成后，相关资源配置完毕就可以进行cameraopen动作。

camera预览，采集数据帧。cameraopen后，开始通过camerasensor采集数据帧(一般指人脸)进行预览，这里一般预览的图片size较小，例如640*480，能够提供图片速率大于20fps(即一秒钟可以提供20张以上图片帧)。

faceunlock进行人脸匹配认证。在人脸识别解锁功能开启时，一般都会进行人脸注册，app认为当前注册的人脸符合要求就可以注册成功，并保存在库中。4中预览的图片，faceunlock进程会拿来先进行人脸识别，如果第一张没有识别到人脸，就进行第二张、第三张、第四张，一共不超过16张图片(不同app使用的图片张数不同，但一般不会低于该数目)的人脸检测过程，如果连续的16张图片都没有识别到人脸，就返回失败消息通知app，app在界面显示“nofacedetected.pleasetapthefaceicontotryagain”，并且释放camera所有资源。如果继续点击提示按钮，就会进入步骤2重新执行faceunlock所有过程。反之，app在提供的预览图片中能识别到人脸，那就通过算法对图片中的眼睛和鼻子通过算法与注册时的图片中人脸信息进行对比，并给出一个得分，如果这个得分达到app的期望值，认为该人脸是可信的，就能成功进行屏幕解锁或者支付，同时释放camera所有资源。

以上执行过程在正常的环境光亮度下是没有问题的，但是在环境光逐渐变暗的情况下，步骤4采集的数据帧人脸信息就会变的越来越模糊，人脸信息无法提取，faceunlock失败率逐渐变大，用户体验较差。

我们知道faceunlock认证预览图片的过程是一个顺序执行过程，会对一帧处理完才会处理下一帧，那么针对以上环境光造成的faceunlock失败，我们通过曝光补偿和iso增大来提高照片亮度，还原人脸细节，从而进行人脸识别，提高在暗处faceunlock的解锁成功率，其预览帧处理过程执行过程如下：

faceunlock的触发、camera初始化、cameraopen过程与正常faceunlock一致，这里需要对camera预览数据进行重新处理和划分。

iso表征camera感光的能力，越大代表单位时间内sensor接收的光越多，亮度会提升明显，但是会引入噪声越来越大，图片会质量下降。ev补偿是指在当前的环境光亮度的情况下进行系数倍的增加，图片质量不变且不会损失细节。因此，这里首先考虑使用ev补偿处理部分帧，然后再进行iso增强。

对faceunlock设置的最大处理图像帧(这里小于等于16张)进行三个阶段处理。首先对前8张帧进行正常的人脸检测，不进行任何ev补偿和iso设置，如果这8张图片人脸识别和检测都失败，则对第九张到第十二张图片进行ev补偿处理：第九张图片曝光补偿+3，第十张图片曝光补偿+6，第十一张图片曝光补偿+9，第十二张图片曝光补偿+12。进行该曝光补偿后一般暗光线处都能正常进行faceunlock。如果光线进一步变暗，则在ev曝光补偿的情况下再对第十三张到第十六张图片进行iso增强，设置机制如下：第十三张图片设置iso400，第十四张图片设置iso800，第十五张图片设置iso1600，第十六张图片设置iso3200。

对预览照片经过以上机制处理，则进行faceunlock解锁，正常光线下，前八张图片就可以正常解锁(实际2到3张图片就可以解锁)，光线稍暗情况下，前八张如果无法解锁，则开始检查第九张到第十二张图片，能正常进行解锁，如果光线更加暗的情况下，则开始检查第十三张到第十六张图片，能正常进行解锁。当光线持续变暗，人脸已经无法再解锁，这时ev补偿和iso设置已经达到手机正常使用临界值，不建议继续加大，app界面这时可以提示“环境过暗，请尝试亮处解锁”。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。