多人脸识别监控方法及装置、电子设备及存储介质与流程

本申请涉及图像处理领域，具体涉及一种多人脸识别监控方法、多人脸识别监控装置、电子设备和计算机可读存储介质。

背景技术：

传统的考勤、监控需要在特定的场景、角度、范围内完成，并且监控对象或者考勤人员数量较多的情况下会耗费大量时间。常用的人脸识别的监控方案，考勤人员数量较多，若逐一采集人脸数据，或者依次对考勤者进行人脸识别打卡过程，将耗费大量时间，效率较低，在实际复杂情况下识别率较差。

技术实现要素：

本申请实施例提供了一种多人脸识别监控方法、多人脸识别监控装置、电子设备和计算机可读存储介质，可以对场景内的多个人员进行身份识别，特别是针对多人流通道可以迅速实施考勤、监控等系列操作，提高识别效率和监控安全性。

本申请实施例第一方面提供一种多人脸识别监控方法，包括：

获取场景图像；

响应于所述场景图像中包含至少一个人脸图像的情况，提取所述至少一个人脸图像中每个人脸图像的人脸特征信息；

将所述每个人脸图像的人脸特征信息与人脸特征集合中的模板人脸特征信息进行验证，获取验证结果；

响应于所述验证结果为验证通过的情况，获取与所述每个人脸图像的人脸特征信息对应的用户信息；

生成并存储至少一个所述用户信息的通行记录。

在一种可选的实施方式中，所述获取场景图像之后，还包括：

对所述场景图像进行人脸检测，得到所述场景图像中包含的人脸图像及其数目。

在一种可选的实施方式中，在所述得到所述场景图像中包含的人脸图像及其数目之后，还包括：

判断所述人脸图像数目是否大于预设阈值；

若是，则将所述人脸图像分批依次进行验证，其中，每批进行验证的人脸图像数目不大于所述预设阈值；

若否，则提取所述场景图像中的全部人脸图像的人脸特征信息。

在一种可选的实施方式中，在提取所述至少一个人脸图像中每个人脸图像的人脸特征信息之前，还包括：

对所述至少一个人脸图像中每个人脸图像进行边界检测，获取符合预定条件的人脸图像；

对所述符合预定条件的人脸图像进行活体检测，得到活体检测通过的人脸图像；

提取所述活体检测通过的人脸图像的人脸特征信息。

在一种可选的实施方式中，所述方法还包括：

响应于所述验证结果为验证未通过的情况，重复执行将人脸图像的人脸特征信息与人脸特征集合中的人脸特征信息进行验证的步骤，并计数重复执行次数；

响应于所述执行次数达到预设次数的情况，将所述人脸图像对应的用户判定为陌生访客，并发送提示信息。

在一种可选的实施方式中，在所述获取与所述每个人脸图像的人脸特征信息对应的用户信息之后，还包括：

显示所述用户信息及所述验证结果。

在一种可选的实施方式中，所述生成并存储所述用户信息的通行记录之后，还包括：

向服务器发送所述用户信息的通行记录。

在一种可选的实施方式中，所述将所述每个人脸图像的人脸特征信息与模板人脸特征集合中的人脸特征信息进行验证之前，还包括：

接收用户数据信息，所述用户数据信息包含模板人脸特征信息；

根据所述用户数据信息生成并存储所述用户信息，将所述模板人脸特征信息存储在所述人脸特征集合中。

本申请实施例第二方面提供一种多人脸识别监控装置，包括：

第一获取模块，用于获取场景图像；

特征提取模块，用于响应于所述场景图像中包含至少一个人脸图像的情况，提取所述至少一个人脸图像中每个人脸图像的人脸特征信息；

验证模块，用于将所述每个人脸图像的人脸特征信息与人脸特征集合中的模板人脸特征信息进行验证，获取验证结果；

第二获取模块，用于响应于所述验证结果为验证通过的情况，获取与所述每个人脸图像的人脸特征信息对应的用户信息；

记录模块，用于生成并存储所述用户信息的通行记录。

在一种可选的实施方式中，所述多人脸识别监控装置还包括数量检测模块，用于对所述场景图像进行人脸检测，得到所述场景图像中包含的人脸图像及其数目。

在一种可选的实施方式中，所述数量检测模块还用于，在得到所述场景图像中包含的人脸图像及其数目之后，判断所述人脸图像数目是否大于预设阈值；

所述验证模块用于，在所述人脸图像数目大于所述预设阈值时，将所述人脸图像分批依次进行验证，其中，每批进行验证的人脸图像数目不大于所述预设阈值；

所述特征提取模块用于，在所述人脸图像数目不大于所述预设阈值时，提取所述场景图像中的全部人脸图像的人脸特征信息。

在一种可选的实施方式中，所述多人脸识别监控装置还包括活体检测模块，用于：

在所述特征提取模块提取所述至少一个人脸图像中每个人脸图像的人脸特征信息之前，对所述至少一个人脸图像中每个人脸图像进行边界检测，获取符合预定条件的人脸图像；

对所述符合预定条件的人脸图像进行活体检测，得到活体检测通过的人脸图像；

所述特征提取模块用于，提取所述活体检测通过的人脸图像的人脸特征信息。

在一种可选的实施方式中，所述验证模块，用于：

响应于所述验证结果为验证未通过的情况，重复执行将人脸图像的人脸特征信息与人脸特征集合中的人脸特征信息进行验证的步骤，并计数重复执行次数；

响应于所述执行次数达到预设次数的情况，将所述人脸图像对应的用户判定为陌生访客，并发送提示信息。

在一种可选的实施方式中，所述多人脸识别监控装置还包括显示模块，用于在所述获取模块获取与所述每个人脸图像的人脸特征信息对应的用户信息之后，显示所述用户信息及所述验证结果。

在一种可选的实施方式中，所述多人脸识别监控装置还包括传输模块，用于向服务器发送所述用户信息的通行记录。

在一种可选的实施方式中，所述多人脸识别监控装置还包括信息生成模块，其中，所述传输模块还用于，接收用户数据信息，所述用户数据信息包含模板人脸特征信息；

所述信息生成模块，用于根据所述用户数据信息生成并存储所述用户信息，将所述模板人脸特征信息存储在所述人脸特征集合中。

本申请实施例第三方面提供一种电子设备，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请实施例通过获取场景图像，响应于上述场景图像中包含至少一个人脸图像的情况，提取上述至少一个人脸图像中每个人脸图像的人脸特征信息，将上述每个人脸图像的人脸特征信息与人脸特征集合中的模板人脸特征信息进行验证，获取验证结果，响应于上述验证结果为验证通过的情况，获取与上述每个人脸图像的人脸特征信息对应的用户信息，生成并存储至少一个上述用户信息的通行记录，可以对场景内的多个人员进行身份识别，特别是针对多人流通道可以迅速实施考勤、监控等系列操作，提高识别效率和监控安全性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本申请实施例公开的一种多人脸识别监控方法的流程示意图；

图2是本申请实施例公开的另一种多人脸识别监控方法的流程示意图；

图3是本申请实施例公开的一种多人脸识别监控装置的结构示意图；

图4是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到电子设备可以是终端设备，可以包括但不限于诸如应用于考勤管理的多人脸识别监控装置、应用于环境监控的多人脸识别监控装置、具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述终端设备并非便携式通信设备，而是可以为具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

下面对本申请实施例进行详细介绍。

请参阅图1，图1是本申请实施例公开的一种多人脸识别监控方法的流程示意图，如图1所示，该多人脸识别监控方法包括如下步骤：

101、获取场景图像，响应于上述场景图像中包含至少一个人脸图像的情况，提取上述至少一个人脸图像中每个人脸图像的人脸特征信息。

其中，上述场景图像是通过摄像头、数码相机、人像抓拍机等图像采集设备获取的图像，可以通过至少一个摄像头对周围环境进行图形采集，获得上述场景图像，即可以理解为对来往的人员开启抓拍服务，尤其适用于多人通道环境，其价值可以得到更大发挥。本申请实施例中的多人脸识别监控装置可以包括人脸识别系统功能，可以通过人脸识别技术判断上述场景图像中是否包含人脸图像，或者说，多人脸识别监控装置可以进行场景中的人脸追踪。

在海关、机场、银行、电视电话会议等场合，都可能需要对特定人脸目标进行跟踪。显然，要跟踪图像中的人脸，首先要识别人脸。人脸识别就是利用计算机分析静态图片或视频序列，从中找出人脸并输出人脸的数目、位置及其大小等有效信息；其次就是跟踪人脸，就是要在检测到人脸的前提下，在后续帧中继续捕获人脸的位置及其大小等信息，即后续步骤。可选的，步骤101可以周期性的进行，比如多人脸识别监控装置可以每2秒获取一次场景图像，并执行上述判断过程。

若上述场景图像中不包含人脸图像，可以删除上述场景图像，或者保存一段时间后删除，以节省存储空间。

可选的，上述多人脸识别监控装置包括可以进行远程通信的设备，例如具有服务器、终端设备如计算机等的通信功能的电子设备，尤其可以为一种可联网通信的考勤终端设备，可选的，上述考勤设备可以提供考勤服务并存储考勤数据。本申请实施例中的执行主体可以为上述多人脸识别监控装置。其他用户终端设备也可以通过网络与上述多人脸识别监控装置远程通信，其具体的方式可以为，用户可以通过终端设备(如手机)上安装的应用程序(application，app)与上述多人脸识别监控装置进行远程交互。

若上述场景图像中包含至少一个人脸图像，多人脸识别监控装置可以提取人脸图像的人脸特征信息，该步骤可以理解为对上述人脸图像中的人脸器官特征、纹理区域和预定义的特征点进行定位和提取，通过提取的人脸特征信息，可以更好地确定用户身份。本申请实施例中可以对至少两个人脸图像进行同步处理，提高了处理效率。

可选的，首先可以对人脸图像进行预处理：对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。获取的人脸图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。

基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。

具体的，基于静态图像的特征提取方法可以使用整体法或者局部法。人脸表情依靠肌肉的运动来体现，人脸表情静态图像直观地显示了表情发生时人脸肌肉运动所产生的面部形体和纹理的变化。从整体上看，这种变化造成了面部器官的明显形变，会对人脸图像的全局信息带来影响，因此出现了从整体角度考虑表情特征的人脸表情识别算法。

其中，整体法中的经典算法包括主元分析法(principalcomponentanalysis，pca)、独立分量分析法(indenpentcompondentanalysis，ica)和线性判别分析法(lineardiscriminantanalysis，lda)。

静态图像上的人脸表情不仅有整体的变化，也存在局部的变化。面部肌肉的纹理、皱褶等局部形变所蕴含的信息，有助于精确地判断表情的属性。局部法的经典方法是gabor小波法和lbp算子法。

可选的，还可以通过基于动态图像的特征提取方法，实现对动态的场景图像中的人脸图像特征提取过程。动态图像与静态图像的不同之处在于：动态图像反映了人脸表情发生的过程。因此动态图像的表情特征主要表现在人脸的持续形变和面部不同区域的肌肉运动上。基于动态图像的特征提取方法可包括光流法、模型法和几何法。

优选的，本申请实施例可以通过深度学习技术提炼人脸特征模型，来执行步骤101和步骤102，以快速响应多人脸识别需求的应用场景。

本申请实施例中的深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分。不同的学习框架下建立的学习模型很是不同。例如，卷积神经网络(convolutionalneuralnetwork，cnn)就是一种深度的监督学习下的机器学习模型，也可称为基于深度学习的网络结构模型，而深度置信网(deepbeliefnet，dbn)就是一种无监督学习下的机器学习模型。

在提取到上述人脸特征信息之后，可以执行步骤102。

102、将上述每个人脸图像的人脸特征信息与人脸特征集合中的模板人脸特征信息进行验证，获取验证结果。

具体的，多人脸识别监控装置中可以存储有上述人脸特征集合，其中，人脸特征集合中包含至少一个模板人脸特征信息，上述模板人脸特征信息可以是通过步骤101相类似的方式得到的，即多人脸识别监控装置可以登记用户的人脸特征信息作为模板人脸特征信息存储，并且在上述登记过程中，与上述模板人脸特征信息一同存储的还可以包括该用户的用户信息(可以包括用户的姓名、工号等基本信息)。可选的，上述人脸特征集合除了可以存储在本地，也可以存储在服务器中，在需要进行上述验证时，可以从上述服务器中获取所述人脸特征集合。在进行人脸识别时，多人脸识别监控装置可以将上述人脸特征信息与模板人脸特征信息进行一一比对，以判断出该人脸特征集合中是否存在与上述人脸特征信息匹配的人脸特征信息，可以称为目标人脸特征信息，以此来判断上述提取的人脸特征信息是否通过验证，即获得验证结果，其中，存在与上述人脸特征信息匹配的人脸特征信息可以理解为，上述两组人脸特征信息的相似度大于预设相似度阈值。具体的，多人脸识别监控装置可以存储有上述预设相似度阈值，比如95％或者90％，可以通过计算两组人脸特征信息(人脸特征信息与人脸特征集合中的模板人脸特征信息)之间的相似度，上述相似度大于预设相似度阈值，则验证通过，若上述相似度不大于上述预设相似度阈值，则为验证未通过，即如果存在上述目标人脸特征信息与上述人脸特征信息的相似度大于预设阈值则为验证通过，则验证通过，可以执行步骤103。

103、响应于上述验证结果为验证通过的情况，获取与上述每个人脸图像的人脸特征信息对应的用户信息。

如步骤102中所述，若上述人脸特征集合中存在与上述人脸特征信息匹配的人脸特征信息时，则本次人脸识别验证通过。当上述验证结果为验证通过时，多人脸识别监控装置可以获取上述每个人脸图像的人脸特征信息对应的用户信息。上述用户信息可以包括用户的姓名、工号等基本信息，并且上述用户信息与上传至数据库或者云端中的模板人脸特征信息存在对应关系，即每一个用户信息在存储时，多人脸识别监控装置可以采集该用户的人脸图像，提取人脸特征信息以作为模板人脸特征信息存储，用于后续人脸识别和身份验证过程。

可选的，在用户进行上述用户信息登记之后，若该用户信息无与之对应的人脸特征信息，可以输出用于表示个人登记信息缺失的提示信息，比如将未成功录入人脸模板的信息下发至对应的用户(用户信息可以包括用户的联系方式)。

可选的，该方法还包括：

接收用户数据信息，上述用户数据信息包含模板人脸特征信息；

根据上述用户数据信息生成并存储上述用户信息，将上述模板人脸特征信息存储在上述人脸特征集合中。

其中，多人脸识别监控装置可以执行对用户数据的批量导入和上传，即多人脸识别监控装置可以将需要保存的用户信息预先存储(用户注册登记)。多人脸识别监控装置可以和其他终端设备如手机进行通信，用户可以在终端设备中注册用户账号，使用终端设备采集自己的人脸图像，生成人脸特征信息作为模板人脸特征信息，再向多人脸识别监控装置发送上述用户数据信息(包含上述模板人脸特征信息)，多人脸识别监控装置接收用户数据信息，在经过身份验证之后，可以根据上述用户数据信息生成该用户的用户信息并存储，同时存储该用户的模板人脸特征信息在人脸特征信息集合中，作为之后人脸识别验证的基础。

在验证成功后，获取上述每个人脸图像的人脸特征信息对应的用户信息之后，可以执行步骤104。

104、生成并存储至少一个上述用户信息的通行记录。

上述验证结果可以包括验证通过或者验证未通过，在验证通过后，上述用户信息的通行记录可以理解为，用户身份已确认，人脸识别验证已通过，可以将本次验证通过的记录存储在多人脸识别监控装置中。上述通行记录除了可以在多人脸识别装置本地存储，多人脸识别装置也可以向服务器发送上述通行记录，并在上述服务器中进行存储。具体的，可以每个用户的用户信息对应一个记录表格，当多人脸识别监控装置到对某用户的人脸验证通过时，可以建立并且存储一条通行记录，上述通行记录用于表示该用户被监控识别到的记录，根据应用场景不同可以包括考勤记录或者监控记录。上述通行记录中可以包括本次采集到的该用户人脸图像和采集到该图像的通行时刻。

可选的，在步骤103之后，该方法还包括：显示上述用户信息及上述验证结果。

具体的，多人脸识别监控装置还可以输出上述用户信息及上述验证结果，比如在显示界面中显示上述用户信息及上述验证结果，以使用户快速得到反馈信息，直观了解本次是否通过人脸识别的验证，比如在考勤场景中，可以快速显示通过验证的用户信息和未通过验证的用户信息，便于快速实现考勤验证功能。

举例来讲，在考勤应用中，用户a在8点20分出现在该多人脸识别监控装置的考勤监控区域，该多人脸识别监控装置在此刻采集到了包含用户a的人脸的场景图像，多人脸识别监控装置在进行步骤102-步骤103的处理过程后，在多人脸识别监控装置的人脸特征集合中找到与上述人脸特征信息匹配的目标人脸特征信息，即用户a的人脸识别通过验证，可以获取与a的人脸图像对应的用户id(用户信息)，将此次考勤结果记录在该用户id下，例如记录在8点20分，用户打卡成功，即生成本次考勤记录并存储，同时，在显示界面中显示a的用户信息(可以包括a的人脸图像、姓名、工号等)和验证结果为验证通过，表示a考勤成功。

本申请实施例通过获取场景图像，响应于所述场景图像中包含至少一个人脸图像的情况，提取所述至少一个人脸图像中每个人脸图像的人脸特征信息，将所述每个人脸图像的人脸特征信息与人脸特征集合中的模板人脸特征信息进行验证，获取验证结果，响应于上述验证结果为验证通过的情况，获取与所述每个人脸图像的人脸特征信息对应的用户信息，生成并存储所述用户信息的通行记录，可以达到监控或者考勤的效果，可以对场景内的多个人员进行身份识别，特别是针对多人流通道可以迅速实施考勤、监控等系列操作，提高识别效率和监控安全性。

请参阅图2，图2是本申请实施例公开的另一种多人脸识别监控方法的流程示意图，本申请实施例中的执行主体可以为上述多人脸识别监控装置。如图2所示，该多人脸识别监控方法包括如下步骤：

201、获取场景图像，对上述场景图像进行人脸检测，得到上述场景图像中包含的人脸图像及其数目。

具体的，本申请实施例中的图像处理过程可以依靠opencv实现，opencv是一个基于bsd许可(开源)发行的跨平台计算机视觉库，可以运行在linux、windows、android和macos操作系统上。它轻量级而且高效——由一系列c函数和少量c++类构成，同时提供了python、ruby、matlab等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

上述多人脸识别监控装置可以开启视频流获取上述场景图像(帧缓存)，根据检测设备方向(deviceorientation)、摄影位置计算出运动梯度方向图像(cv_orientation)，并且使用上述数据作为追踪参数进一步得到人脸追踪个数。

若上述场景图像中包含人脸图像，可以通过上述方法进行人脸检测，得到上述场景图像中包含的人脸图像及其数目，进而执行步骤202。

其中上述获取场景图像和获得人脸图像的步骤，可以参考图1所示实施例的步骤101中的具体描述，此处不再赘述。

202、判断上述人脸图像数目是否大于预设阈值。

该多人脸识别监控装置可以存储上述预设阈值，用于限制人脸追踪和识别处理的数量，比如优选的，基于设备使用性能上限考虑，上述预设阈值可以为5，即最大支持5张人脸的处理。多人脸识别监控装置进行人脸检测获得人脸图像和人脸图像数目之后，可以判断人脸图像数目是否大于上述预设阈值，若大于，可以执行步骤203；若不大于，可以执行步骤204。

203、将上述人脸图像分批依次进行验证，其中，每批进行验证的人脸图像数目不大于上述预设阈值。

其中，首先可以提取上述场景图像中的预设阈值的人脸图像的人脸特征信息，再进行验证，验证完成后又提取剩余的人脸图像进行验证，每一批人脸图像的验证过程中，最多包含预设阈值的人脸图像。上述每一批人脸图像的验证过程和步骤205-步骤207类似，可以参考图1所示实施例的步骤101-步骤104中的具体描述，此处不再赘述。

可选的，在提取脸图像的人脸特征信息之前，步骤203还可以包括：

对上述至少一个人脸图像中每个人脸图像进行边界检测，获取符合预定条件的人脸图像；

对上述符合预定条件的人脸图像进行活体检测，得到活体检测通过的人脸图像；

提取上述活体检测通过的人脸图像的人脸特征信息。

其中边界是指相对于输入等价类和输出等价类而言，稍高于其边界值及稍低于其边界值的一些特定情况。基于边界的方法是根据定义域来实现的，最终演变成边界值分析、健壮性测试、最坏情况测试和健壮最坏情况测试四种技术，边界值分析也是一种黑盒测试方法，是对等价类分析方法的一种补充,由长期的测试工作经验得知，大量的错误是发生在输入或输出的边界上。因此针对各种边界情况设计测试用例，可以查出更多的错误。

本申请实施例中的边界值判断是为了过滤出相应的人脸，即获得高清质量的上述第一人脸图像。

本申请实施例中的活体检测，是为了防止使用照片、视频、人脸模型等具体手段攻击或者欺骗系统。在生物识别系统中，为防止恶意者伪造和窃取他人的生物特征用于身份认证，生物识别系统需具有活体检测功能，即判断提交的生物特征是否来自有生命的个体。一般活体检测技术利用的是人们的生理特征，例如活体指纹检测可以基于手指的温度、排汗、导电性能等信息，活体人脸检测可以基于头部的移动、呼吸、红眼效应等信息，活体虹膜检测可以基于虹膜振颤特性、睫毛和眼皮的运动信息、瞳孔对可见光源强度的收缩扩张反应特性等。

人脸识别技术通行的活体检测技术可以采用指令动作配合的方式，如人脸左转、右转、张嘴、眨眼等，指令配合错误则认为是伪造欺骗，以及可以利用深度神经网络和计算机技术，从人脸图像中提取有效的识别特征进行身份判断。通过上述活体检测可以提高监控安全性。

基于设备的使用性能上限考虑，该多人脸识别监控装置可以一次处理上述预设阈值的人脸图像，即设置了每次人脸图像处理的数量限制。在分批依次进行验证全部人脸图像之后，可以执行步骤207。

204、提取上述场景图像中的全部人脸图像的人脸特征信息。

若上述场景图像中包含的人脸图像个数不大于上述预设阈值，多人脸识别监控装置可以提取上述场景图像中的全部人脸图像的人脸特征信息。

205、将上述每个人脸图像的人脸特征信息与人脸特征集合中的模板人脸特征信息进行验证，获取验证结果。

响应于上述验证结果为验证通过的情况，可以执行步骤206，响应于上述验证结果为验证未通过的情况，可以执行步骤208。

206、响应于上述验证结果为验证通过的情况，获取与上述每个人脸图像的人脸特征信息对应的用户信息。

获取到上述用户信息之后，可以执行步骤207。

207、生成并存储上述用户信息的通行记录。

其中，上述步骤204-步骤207可以参考图1所示实施例的步骤101至步骤104中的具体描述，此处不再赘述。

其中，上述通行记录包括采集到上述人脸图像的采集时间。若存在上述目标人脸特征信息与上述人脸特征信息匹配，则可以执行步骤205。上述通行记录可以同步输出，可以理解为，在验证通过时可以输出验证通过的提示信息，该提示信息可以为语音信息、图像信息或者文字信息，其中图像信息可以包括本次识别的人脸图像。由于多人脸识别监控装置可以用于考勤，上述监控记录可以是考勤记录，即包括用户信息和用户考勤时间(上述采集时间)。

上述用户信息可以包括用户id，多人脸识别监控装置可以将用户登录推送应用程序时所获取到的用户id作为标识符注册到后台服务中。上述目标身份信息为可以为上述用户id。多人脸识别监控装置可以是考勤设备，存储有至少一个用户的考勤数据，上述考勤数据指的是对用户考勤时记录的相关数据，可以包括上下班打卡时间和用户的基本信息等，考勤数据可以与用户的身份信息相对应，比如通过用户id就可以查找到该id对应的用户的考勤记录。多人脸识别监控装置可以建立并存储上述考勤记录，上述考勤记录可以是和用户id一一对应的，便于查找，可选的，上述考勤记录还可以向用户使用的其他终端设备发送，以便于用户查看个人的考勤情况。

在考勤应用中，多人脸识别监控装置还可以将结果同步至云端后台，以持久保存考勤结果。

可选的，多人脸识别监控装置可以向服务器发送上述用户信息的通行记录。

多人脸识别监控装置可以向服务器发送上述通行记录，进一步可选的，可以在预定时刻向上述服务器发送上述用户信息的通行记录。多人脸识别监控装置可以存储有上述预定时刻，在预定时刻向服务器发送上述通行记录(比如每个工作日的23时)，服务器可以将其存储，用户可以通过用户终端设备登录自己的用户账号，从上述服务器获取自己的通行记录，在服务器接收到来自用户终端设备用于获取通行记录的请求指令时，可以以推送消息的形式向用户终端设备发送上述用户账号对应的通行记录，便于在考勤应用中使用户能够查看自己的考勤状态。

208、响应于上述验证结果为验证未通过的情况，重复执行将人脸图像的人脸特征信息与人脸特征集合中的人脸特征信息进行验证的步骤，并计数重复执行次数。

若上述验证结果为验证未通过的情况，多人脸识别监控装置可以重复执行步骤205，并计数执行步骤205的重复执行次数，以使验证结果更加准确，避免识别有误的情况。在上述执行次数未达到上述预设次数时，若验证结果为验证通过，可以执行步骤206，在上述执行次数达到预设次数时，可以执行步骤209。

209、响应于上述执行次数达到预设次数的情况，将上述人脸图像对应的用户判定为陌生访客，并发送提示信息。

在上述执行次数达到预设次数时，表示经预设次数的验证均未通过，无法识别当前人脸图像，因此，可以将上述人脸图像对应的用户判定为陌生访客，以及可以生成记录存储在多人脸识别监控装置中，并且可以发送提示信息，上述提示信息用于提示验证失败，识别的对象为陌生访客，上述提示信息可以包括在装置显示屏上显示的文字信息(还可以显示出陌生访客的人脸图像)或者通过喇叭播放出的语音信息，可以以提示识别到陌生访客，引起注意。

举例来说，上述预设次数可以为3，即该多人脸识别监控装置可以针对一个人脸特征信息进行3次判断，计算该人脸特征信息与上述人脸特征集合中的模板人脸特征信息之间的相似度，通过判断两组人脸特征信息之间的相似度来确定验证结果，如图1所示实施例中所述，多人脸识别监控装置可以存储有上述预设相似度阈值，当上述相似度大于预设相似度阈值时，则验证结果为验证通过，若上述相似度不大于上述预设相似度阈值，则为验证未通过。上述预设相似度阈值可以由用户设置和修改。针对一次验证的验证结果，若为验证未通过，则在本次验证未通过时发送验证失败的提示信息；若3次验证的结果均为验证未通过，则可以执行将上述人脸特征信息对应的用户判定为陌生访客的步骤。上述方法可以更准确地确定人脸特征信息的验证结果，降低错误判断的几率。

可选的，若识别到上述提取的人脸特征信息与监控人脸特征信息匹配，该方法还包括：

将上述用户信息的通行记录作标记。

多人脸识别监控装置中可以存储监控人脸特征信息集合，与前述人脸特征集合类似，但不同的是其针对的是需要进行重点监控的特定对象。当判断获取的人脸特征信息与监控人脸特征信息集合中的人脸特征信息匹配时，即确定监控到重点对象，也可以在存储通行记录时作标记，或者以目标记录表的形式单独存储。可选的，在上述目标监控时间内监控到对象或者监控到特定的对象时可以输出相应的提醒信息。

可选的，多人脸识别监控装置还可以存储有目标监控时间，即多人脸识别监控装置可以设置分时段的监控，例如可以设置在上述目标监控时间(如周一到周五或者每日20点-23点)开启，或者在上述目标监控时间为重点监控时间，在该时间内捕捉到的用户为重点关注对象，以执行更灵活的监控方案。在监控方面，若在上述目标监控时间内监测到人脸，在存储本次监控记录时可以对该人脸对应的用户信息的监控记录做标记，以示重要程度，或者，将上述用户信息的监控记录存储在一个特殊的目标记录表中，该目标记录表与一般监控记录表可以分开存储，便于对重点监控时间内出现的监控对象进行查找。

通过上述方案多人脸识别监控装置可以实现在目标监控时间内的重点监控，以及对重点关注对象的监控，提高了监控和考勤的灵活性，便于对重要监控记录的查找分析，从而提高环境安全性。

本申请实施例可以采取异步线程实现，利用缓存快速完成1:n比对验证(即提取的人脸特征信息与人脸特征集合中的人脸特征信息作比较)；本申请实施例中关于信息输出的步骤，可以涉及用户界面(userinterface，ui)的显示，其中ui可以单独通过主线程刷新，不与子识别线程耦合。即在实际应用场景中可以使用至少两个多人脸识别监控装置，处理各自的数据，但可以将处理结果归并到服务器端。

异步线程就是在程序的主线程之外在创建一个子线程执行，线程之间执行相互不相干，主线程并不需要等待子线程的执行，就是相当于跑步比赛一样，各个赛道中的人同时进行奔跑。因为异步操作无须额外的线程负担，并且使用回调的方式进行处理，在设计良好的情况下，处理函数可以不必使用共享变量(即使无法完全不用，最起码可以减少共享变量的数量)，减少了死锁的可能。

通过上述方法可以大幅提高多人脸识别监控的数据处理速度。可以迅速过滤目标群体，在数量上监控流动人员的动向，为企业或公共群体提供了一站式人员安全解决方案，比如应用于学校、车站、体育场等具体公共场所，可以对学生、车站旅客、演唱会会员进行有效的筛查，其中学校可以精确的查出哪些同学属于中途早退旷课，以及哪些属于积极早到等；同样该方案可以为车站、演唱会等具体场所提供精准的考勤或监控服务。

本申请实施例尤其适用于考勤应用场景中，从公司内部以及客户的使用情况而言，该方案可以有效提高员工的考勤率，极大的减少了打卡慢、打不上、打出错等疑难问题。从根本上节省了大量的时间，降低了企业运作成本，提升了员工的工作效率，为客户提供了更为安全的保障。

本申请实施例通过获取场景图像，对上述场景图像进行人脸检测，得到上述场景图像中包含的人脸图像及其数目，判断上述人脸图像数目是否大于预设阈值，若大于，将上述人脸图像分批依次进行验证，其中，每批进行验证的人脸图像数目不大于上述预设阈值，若不大于，提取上述场景图像中的全部人脸图像的人脸特征信息，将上述每个人脸图像的人脸特征信息与人脸特征集合中的模板人脸特征信息进行验证，获取验证结果，若验证通过，可以获取与上述每个人脸图像的人脸特征信息对应的用户信息，生成并存储上述用户信息的通行记录，若验证未通过，重复执行将人脸图像的人脸特征信息与人脸特征集合中的人脸特征信息进行验证的步骤，并计数重复执行次数，当上述执行次数达到预设次数的情况下，将上述人脸图像对应的用户判定为陌生访客，并发送提示信息，可以达到监控或者考勤的效果，可以对场景内的多个人员进行身份识别，特别是针对多人流通道可以迅速实施考勤、监控等系列操作，提高识别效率、准确率和监控安全性。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，多人脸识别监控装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对多人脸识别监控装置进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

请参阅图3，图3是本申请实施例公开的一种多人脸识别监控装置的结构示意图，如图3所示，该多人脸识别监控装置300包括：

第一获取模块310，用于获取场景图像；

特征提取模块320，用于响应于所述场景图像中包含至少一个人脸图像的情况，提取所述至少一个人脸图像中每个人脸图像的人脸特征信息；

验证模块330，用于将所述每个人脸图像的人脸特征信息与人脸特征集合中的模板人脸特征信息进行验证，获取验证结果；

第二获取模块340，用于响应于上述验证结果为验证通过的情况，获取与所述每个人脸图像的人脸特征信息对应的用户信息；

记录模块350，用于生成并存储所述用户信息的通行记录。

可选的所述多人脸识别监控装置300还包括数量检测模块360，用于对所述场景图像进行人脸检测，得到所述场景图像中包含的人脸图像及其数目。

可选的，所述数量检测模块360还用于，在得到所述场景图像中包含的人脸图像及其数目之后，判断所述人脸图像数目是否大于预设阈值；

所述验证模块330用于，在所述人脸图像数目大于所述预设阈值时，将所述人脸图像分批依次进行验证，其中，每批进行验证的人脸图像数目不大于所述预设阈值；

所述特征提取模块320用于，在所述人脸图像数目不大于所述预设阈值时，提取所述场景图像中的全部人脸图像的人脸特征信息。

可选的，所述多人脸识别监控装置300还包括活体检测模块370，用于：

在所述特征提取模块320提取所述至少一个人脸图像中每个人脸图像的人脸特征信息之前，对所述至少一个人脸图像中每个人脸图像进行边界检测，获取符合预定条件的人脸图像；

对所述符合预定条件的人脸图像进行活体检测，得到活体检测通过的人脸图像；

所述特征提取模块320用于，提取所述活体检测通过的人脸图像的人脸特征信息。

可选的，所述验证模块330，用于：

响应于上述验证结果为验证未通过的情况，重复执行将人脸图像的人脸特征信息与人脸特征集合中的人脸特征信息进行验证的步骤，并计数重复执行次数；

响应于所述执行次数达到预设次数的情况，将所述人脸图像对应的用户判定为陌生访客，并发送提示信息。

可选的，所述多人脸识别监控装置300还包括显示模块380，用于在所述获取模块获取与所述每个人脸图像的人脸特征信息对应的用户信息之后，显示所述用户信息及所述验证结果。

可选的，所述多人脸识别监控装置300还包括传输模块390，用于向服务器发送所述用户信息的通行记录。

可选的，所述多人脸识别监控装置300还包括信息生成模块3100，其中，所述传输模块390还用于，接收用户数据信息，所述用户数据信息包含模板人脸特征信息；

所述信息生成模块3100，用于根据所述用户数据信息生成并存储所述用户信息，将所述模板人脸特征信息存储在所述人脸特征集合中。

根据本申请实施例的具体实施方式，图1与图2所示的多人脸识别监控方法涉及的步骤101～104、201～209可以是由图3所示的多人脸识别监控装置300中的各个模块来执行的。例如，图1中的步骤101～104可以分别由图3中所示的第一获取模块310、特征提取模块320、验证模块330和第二获取模块340来执行，具体不再赘述。

实施图3所示的多人脸识别监控装置300，多人脸识别监控装置300可以获取场景图像，响应于上述场景图像中包含至少一个人脸图像的情况，提取上述至少一个人脸图像中每个人脸图像的人脸特征信息，将上述每个人脸图像的人脸特征信息与人脸特征集合中的模板人脸特征信息进行验证，获取验证结果，响应于上述验证结果为验证通过的情况，获取与上述每个人脸图像的人脸特征信息对应的用户信息，生成并存储至少一个上述用户信息的通行记录，可以对场景内的多个人员进行身份识别，特别是针对多人流通道可以迅速实施考勤、监控等系列操作，提高识别效率和监控安全性。

请参阅图4，图4是本申请实施例公开的另一种电子设备的结构示意图。如图4所示，该电子设备400包括处理器401和存储器402，其中，电子设备400还可以包括总线403，处理器401和存储器402可以通过总线403相互连接，总线403可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。总线403可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，电子设备400还可以包括输入输出设备404，输入输出设备404可以包括显示屏，例如液晶显示屏。存储器402用于存储包含指令的一个或多个程序；处理器401用于调用存储在存储器402中的指令执行上述图1或图2实施例中提到的部分或全部方法步骤。

实施图4所示的电子设备400，可以获取场景图像，响应于上述场景图像中包含至少一个人脸图像的情况，提取上述至少一个人脸图像中每个人脸图像的人脸特征信息，将上述每个人脸图像的人脸特征信息与人脸特征集合中的模板人脸特征信息进行验证，获取验证结果，响应于上述验证结果为验证通过的情况，获取与上述每个人脸图像的人脸特征信息对应的用户信息，生成并存储至少一个上述用户信息的通行记录，可以对场景内的多个人员进行身份识别，特别是针对多人流通道可以迅速实施考勤、监控等系列操作，提高识别效率和监控安全性。

本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种多人脸识别监控方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是模块单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。