人脸识别数据处理方法、装置、计算机设备和存储介质与流程

本发明涉及人工智能技术领域，特别是涉及人脸识别数据处理方法、装置、计算机设备和存储介质。

背景技术：

人脸识别技术是基于用户的脸部特征对用户的身份进行验证的人工智能技术。目前，通常采用的方式为：采集待进行身份验证的用户的图像，查找出人脸识别系统中包含的人脸对象与采集到的待进行身份验证的用户的图像中的人脸对象相似度最高的人脸特征模板，当最高的相似度大于相似度阈值时，则通过待进行身份验证的用户的身份验证。

但是随着时间的推移，人脸会发生缓慢变化，例如渐渐衰老、胡须变化、头发覆盖、脸部装饰变化等会导致用户识别通过率下降和识别速度变慢。

技术实现要素：

本申请提供了一种人脸识别数据处理方法、装置、计算机设备和存储介质，用于解决上述背景技术部分存在的技术问题。

一种人脸识别数据处理方法，包括：

构建人脸特征模板库，所述人脸特征模板库中存储有多个用户的人脸特征模板集合和用户基本信息，每个用户的人脸特征模板集合包括至少一个人脸特征模板；

采集待识别的人脸图像，提取所述人脸图像中的人脸特征，得到待识别的人脸特征模板；

确定所述人脸特征模板库中包含的人脸特征模板与所述待识别的人脸特征模板的相似度最大的人脸特征模板；

判断确定出的人脸特征模板是否为确定出的用户的人脸特征模板集合中的最近人脸特征模板，得到判断结果，以及根据判断结果对应的验证方式确定所述用户是否通过身份验证。

在其中一个实施例中，所述根据判断结果对应的验证方式确定所述用户是否通过身份验证，包括：

当判断结果为确定出的人脸特征模板不是确定出的人脸特征模板集合中的最近人脸特征模板时，计算确定出的人脸特征模板集合中的最近人脸特征模板中的人脸对象与采集到的所述用户的图像中的人脸对象的最近人脸特征模板相似度；

判断是否满足通过条件：最近人脸特征模板相似度大于第一相似度阈值并且确定出的人脸特征模板对应的最大的相似度大于第二相似度阈值；

当满足通过条件时，确定所述用户通过身份验证；当不满足通过条件时，确定所述用户不通过身份验证；

当判断结果为确定出的人脸特征模板为确定出的人脸特征模板集合中的最近人脸特征模板时，判断确定出的人脸特征模板对应的最大的相似度是否大于第一相似度阈值；若是，确定所述用户通过身份验证；若否，确定所述用户不通过身份验证。

在其中一个实施例中，在确定所述用户通过身份验证之后，所述方法还包括：判断所述人脸特征是否满足预设自适应条件,若是,更新所述人脸特征模板库中的人脸特征模板。

在其中一个实施例中，所述预设自适应条件包括:最小相似度得分在由人脸识别数据处理方法训练确定的一个正整数集合内,人脸位置在所述人脸图像的中心区域内，所述中心区域根据所述人脸图像分辨率确定。

在其中一个实施例中，所述更新所述人脸特征模板库中的人脸特征模板，包括：保留当前用户的人脸特征模板集合中的前m组人脸特征模板和识别得到的最相似人脸特征模板不变，随机替换其他任意一个。

在其中一个实施例中，所述采集待识别的人脸图像包括：泛光图像和/或结构光图像；

所述获取所述待识别的人脸图像的特征数据，包括：

若采集的所述待识别的人脸图像为泛光图像，则根据所述泛光图像获取所述待识别人脸图像的所述特征数据；

若采集的所述待识别的人脸图像为结构光图像，则根据所述结构光图像获取所述待识别人脸图像的所述特征数据；

若采集的所述待识别的人脸图像包括泛光图像和结构光图像，则根据所述泛光图像和所述结构光图像获取所述待识别人脸图像的所述特征数据。

在其中一个实施例中，在采集所述待识别的人脸图像的泛光图像时，采用红外光源。

一种人脸识别数据处理方法，包括：

特征库构建模块，用于构建人脸特征模板库，所述人脸特征模板库中存储有多个用户的人脸特征模板集合和用户基本信息，每个用户的人脸特征模板集合包括至少一个人脸特征模板；

人脸特征提取单元，用于采集待识别的人脸图像，提取所述人脸图像中的人脸特征，得到待识别的人脸特征模板；

相似度计算单元，用于确定所述人脸特征模板库中包含的人脸特征模板与所述待识别的人脸特征模板的相似度最大的人脸特征模板；

结果输出单元，用于判断确定出的人脸特征模板是否为确定出的用户的人脸特征模板集合中的最近人脸特征模板，得到判断结果，以及根据判断结果对应的验证方式确定所述用户是否通过身份验证。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述人脸识别数据处理方法的步骤。

一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述人脸识别数据处理方法的步骤。

上述人脸识别数据处理方法、装置、计算机设备和存储介质，通过采集待进行身份验证的用户的图像，以及确定多个人脸特征模板中包含的人脸对象与采集到的所述用户的图像中的人脸对象的相似度最大的人脸特征模板；判断确定出的人脸特征模板是否为所述人脸特征模板所属的人脸特征模板集合中的最近人脸特征模板，得到判断结果，以及根据判断结果对应的验证方式确定用户是否通过身份验证。实现了考虑了用户的脸部特征随时间发生变化对识别结果的影响，避免了诸如未在人脸识别系统中加载有用户的图像的用户的脸部的特征与已经加载有用户的图像的用户近期的脸部的特征相似度最大并且相似度大于阈值而通过身份验证的情况，提升人脸识别的准确率。

附图说明

图1为一个实施例中提供的人脸识别数据处理方法的实施环境图；

图2为一个实施例中计算机设备的内部结构框图；

图3为一个实施例中人脸识别数据处理方法的流程图；

图4为一个实施例中人脸识别数据处理装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。

请参考图1，其示出了可以应用本申请的人脸识别数据处理方法的示例性系统架构。

如图1所示，系统架构可以包括闸机101、终端102、服务器103。闸机101可以运行有人脸识别系统，用户可以利用终端102在首次利用闸机101对用户进行身份认证之前将用户的图像例如用户的证件照上传到服务器103，再由服务器103将用户的图像发送至闸机101，在运行在闸机101上的人脸识别系统中预先进行加载。

如图2所示，服务器103为计算机设备，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种人脸识别数据处理方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种人脸识别数据处理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

请参考图3，其示出了根据本申请的人脸识别数据处理方法的一个实施例的流程。需要说明的是，本申请实施例所提供的人脸识别数据处理方法可以运行人脸识别系统的设备(例如图1中的闸机101)执行，具体地，可以由人脸识别系统执行。该方法包括以下步骤：

步骤301、构建人脸特征模板库，所述人脸特征模板库中存储有多个用户的人脸特征模板集合和用户基本信息，每个用户的人脸特征模板集合包括至少一个人脸特征模板；

在本实施例中，任何可能被人脸识别系统进行身份验证的人均可以称之为用户。在图像中的用户的脸部可以称之为用户的脸部对应的人脸对象。对于图像中的人脸对象而言，当一个图像中仅包含一个用户的脸部对应的人脸对象时，则该图像可以称之为用户的图像。例如，用户的图像可以为仅包含一个用户的脸部对应的人脸对象的证件照。

在本实施例中，可以通过人脸识别系统对用户的身份进行验证。例如，当用户到达运行人脸识别系统的闸机时，需要通过人脸识别系统对用户进行身份验证才能通过闸机。可以首先对该用户进行拍照，采集到该用户的图像，该用户的图像中包含该用户的脸部对应的人脸对象。

在本实施例中，人脸特征模板集合可以是指在采集待进行身份验证的用户的图像之前，预先在人脸识别系统中加载过的用户的图像。一个用户的图像在人脸识别系统中进行加载可以相当于将人脸特征模板加入到一个人脸特征模板集合集合中。一个用户的图像在人脸识别系统中的加载时间可以为一个用户的图像加入到一个人脸特征模板集合集合中的时间。一个用户每一次通过身份验证时，均可以将进行身份验证时采集到的该用户的图像加入到一个人脸特征模板集合集合中。

在本实施例中，在人脸识别系统中，人脸识别系统可以建立一个用户和一个人脸特征模板集合的对应关系。一个用户对应的人脸特征模板集合中的每一个加载图像均属于该用户。每一个人脸特征模板集合分别对应一个用户的标识。

步骤302、采集待识别的人脸图像，提取所述人脸图像中的人脸特征，得到待识别的人脸特征模板；

在一些实施例中，所述采集待识别的人脸图像包括：泛光图像和/或结构光图像；

所述获取所述待识别的人脸图像的特征数据，包括：

若采集的所述待识别的人脸图像为泛光图像，则根据所述泛光图像获取所述待识别人脸图像的所述特征数据；

若采集的所述待识别的人脸图像为结构光图像，则根据所述结构光图像获取所述待识别人脸图像的所述特征数据；

若采集的所述待识别的人脸图像包括泛光图像和结构光图像，则根据所述泛光图像和所述结构光图像获取所述待识别人脸图像的所述特征数据。

本实施例明确获得特征数据的几种依据。例如，在采集人脸图像的泛光图像时，采用红外光源。本实施例明确采集光源，减少环境干扰，解决夜晚照明不足的问题。

步骤303、确定所述人脸特征模板库中包含的人脸特征模板与所述待识别的人脸特征模板的相似度最大的人脸特征模板；

在计算采集到的待进行身份验证的用户的图像中的人脸对象和一个人脸特征模板中的人脸对象的相似度时，可以分别生成采集到的待进行身份验证的用户的图像中的人脸对象的脸部特征点对应的特征点向量和人脸特征模板中的人脸对象的脸部特征点对应的特征点向量，计算采集到的该待进行身份验证的用户的图像中的人脸对象的脸部特征点对应的特征点向量和一个人脸特征模板中的人脸对象的脸部特征点对应的特征点向量的余弦相似度，将该余弦相似度作为待进行身份验证的用户的图像中的人脸对象和一个人脸特征模板中的人脸对象的相似度。

步骤304、判断确定出的人脸特征模板是否为确定出的用户的人脸特征模板集合中的最近人脸特征模板，得到判断结果，以及根据判断结果对应的验证方式确定所述用户是否通过身份验证。

在本实施例中，人脸特征模板可以是指在采集待进行身份验证的用户的图像之前，预先在人脸识别系统中加载过的用户的图像。一个用户的图像在人脸识别系统中进行加载可以相当于将人脸特征模板加入到一个人脸特征模板集合中。一个用户的图像在人脸识别系统中的加载时间可以为一个用户的图像加入到一个人脸特征模板集合中的时间。一个用户每一次通过身份验证时，均可以将进行身份验证时采集到的该用户的图像加入到一个人脸特征模板集合中。

在本实施例中，在人脸识别系统中，人脸识别系统可以建立一个用户和一个人脸特征模板集合的对应关系。一个用户对应的人脸特征模板集合中的每一个人脸特征模板均属于该用户。每一个人脸特征模板集合分别对应一个用户的标识。

在本实施例中，可以将一个用户对应的人脸特征模板集合中加载时间在该用户对应的人脸特征模板集合中的所有人脸特征模板的加载时间中最晚的人脸特征模板称之为最近人脸特征模板。

在一些实施例中，上述步骤304中所述根据判断结果对应的验证方式确定所述用户是否通过身份验证，包括：

步骤304a、当判断结果为确定出的人脸特征模板不是确定出的人脸特征模板集合中的最近人脸特征模板时，计算确定出的人脸特征模板集合中的最近人脸特征模板中的人脸对象与采集到的所述用户的图像中的人脸对象的最近人脸特征模板相似度；

步骤304b、判断是否满足通过条件：最近人脸特征模板相似度大于第一相似度阈值并且确定出的人脸特征模板对应的最大的相似度大于第二相似度阈值；

步骤304c、当满足通过条件时，确定所述用户通过身份验证；当不满足通过条件时，确定所述用户不通过身份验证；

步骤304d、当判断结果为确定出的人脸特征模板为确定出的人脸特征模板集合中的最近人脸特征模板时，判断确定出的人脸特征模板对应的最大的相似度是否大于第一相似度阈值；若是，确定所述用户通过身份验证；若否，确定所述用户不通过身份验证。

在本实施例中，不同的判断结果对应的不同的验证方式。换言之，当确定出的人脸特征模板为该确定出的人脸特征模板集合中的最近人脸特征模板时或当确定出的人脸特征模板不是该确定出的人脸特征模板集合中的最近人脸特征模板时，采用不同的验证方式对待进行身份验证的用户的身份进行验证。实现了考虑了用户的脸部特征随时间发生变化对识别结果的影响，避免了诸如未在人脸识别系统中加载有用户的图像的用户的脸部的特征与已经加载有用户的图像的用户近期的脸部的特征相似度最大并且相似度大于阈值而通过身份验证的情况，提升人脸识别的准确率。

例如，待进行身份验证的用户为用户a，假设用户a对应的人脸特征模板集合中包含最近模板图像和后续在人脸识别系统中加载的包含用户a的脸部对应的人脸对象的用户a的图像。用户a对应的人脸特征模板集合中的最近模板图像为用户a在首次利用人脸识别系统对用户a进行身份验证之前在人脸识别系统中加载的用户a的图像，即首次利用人脸识别系统对用户a进行身份验证之前，加入到用户a对应的人脸特征模板集合中的用户a的图像例如用户a的证件照。用户a对应的人脸特征模板集合中的最近模板图像的加载时间在用户a对应的人脸特征模板集合中的所有加载图像的加载时间中最早。

在用户a达到闸机，运行在闸机上人脸识别系统采集到用户a的图像之后，从多个加载图像中确定出的加载图像为用户a对应的人脸特征模板集合中的加载图像。

当确定出的加载图像为用户a对应的人脸特征模板集合中的最新加载的用户a的图像时，则确定出的加载图像不是确定出的图像所属的用户a对应的人脸特征模板集合中的最近模板图像，此时，需要同时满足用户a对应的人脸特征模板集合中的最近模板图像中的用户a的脸部对应的人脸对象与采集到的用户a的图像中的用户a的脸部对应的人脸对象的相似度大于第一相似度阈值以及用户a对应的人脸特征模板集合中的最新加载的用户a的图像中的用户a的脸部对应的人脸对象与采集到的用户a的图像中的用户a的脸部对应的人脸对象的相似度大于第二相似度阈值时，才能通过对用户a的身份验证。

换言之，采集到的用户a的图像的时间为可以作为当前时间，采用到的用户a的图像的时间采用到的用户a的图像中的用户a的脸部对应的人脸对象的特征可以表示当前时间用户a的脸部的特征。在采集到用户a的图像之前最新在人脸识别系统中加载的用户a的图像中的用户a的脸部对应的人脸对象的特征可以表示当前时间之前最新在人脸识别系统中加载的用户a的图像的加载时间用户a的脸部的特征。用户a对应的人脸特征模板集合中的最近模板图像中的人脸对象的特征可以表示为距离当前时间一定时长的时间用户a的脸部的特征。

需要在同时满足当前时间用户a的脸部的特征与距离当前时间一定时长的时间用户a的脸部的特征的相似度大于第一相似度阈值以及当前时间用户a的脸部的特征与最新在人脸识别系统中加载的用户a的图像的加载时间用户a的脸部的特征的相似度大于第二相似度阈值，才通过对用户a的身份验证。

当确定出的加载图像为用户a对应的人脸特征模板集合中的最近模板图像时，仅需要满足最近模板图像中的用户a的脸部对应的人脸对象与采集到的用户a的图像中的用户a的脸部对应的人脸对象的相似度大于第一相似度阈值，即可通过对用户a的身份验证。

假设用户b在通过身份验证的用户a之后达到闸机，人脸识别系统中不存在属于用户b的加载图像。在对用户b进行身份验证时，首先采集用户b的图像，假设确定出的多个加载图像中包含的人脸对象与采集到的用户b的图像中的用户b的脸部对应的人脸对象的相似度最大的加载图像为用户a对应的人脸特征模板集合中的最新加载的用户a的图像，并且确定出的加载图像对应的最大的相似度大于第二相似度阈值，即用户a对应的人脸特征模板集合中的最新加载的用户a的图像中的用户a的脸部对应的人脸对象与采集到的用户b的图像中的用户b的脸部对应的人脸对象的相似度大于第二相似度阈值。

但由于根据通过条件，还需要将采集到的用户b的图像中的用户b的脸部对应的人脸对象与用户a对应的人脸特征模板集合中的最近模板图像中的用户a的脸部对应的人脸对象的相似度和第一相似度阈值进行比较。

由于采集到的用户b的图像中的用户b的脸部对应的人脸对象与用户a对应的人脸特征模板集合中的最近模板图像中的用户a的脸部对应人脸对象的相似度小于第一相似度阈值，因此，用户b无法通过身份验证。

换言之，采集到的用户b的图像的时间可以作为当前时间，采集到的用户b的图像中的用户b的脸部对应的人脸对象的特征可以表示当前时间用户b的脸部的特征。用户a对应的人脸特征模板集合中的最近模板图像中的用户a的脸部对应的人脸对象的特征可以表示距离当前时间一定时长的时间用户a的脸部的特征。

由于当前时间用户b的脸部的特征与距离当前时间一定时长的时间用户a的脸部的特征的相似度小于第一相似度阈值，无法满足通过条件，则用户b无法通过身份验证。

在本实施例的一些可选的实现方式中，在待进行身份验证的用户通过身份验证之后，可以将采集到的用户的图像作为加载图像加入到确定出的加载图像所属的人脸特征模板集合中。从而，将采集到的待进行身份验证的用户的图像在人脸识别系统中进行加载。

例如，待进行身份验证的用户为用户a，假设用户a对应的人脸特征模板集合中包含最近模板图像和后续在人脸识别系统中加载的包含用户a的脸部对应的人脸对象的用户a的图像。最近模板图像为用户a在首次利用人脸识别系统对用户a进行身份验证之前在人脸识别系统中加载的用户a的图像，即首次利用人脸识别系统对用户a进行身份验证之前，加入到用户a对应的人脸特征模板集合中的用户a的图像例如用户a的证件照。用户a对应的人脸特征模板集合中的最近模板图像的加载时间在用户a对应的人脸特征模板集合中的所有加载图像的加载时间中最早。

在用户a达到闸机，运行在闸机上人脸识别系统采集到用户a的图像之后，从多个加载图像中确定出的加载图像为用户a对应的人脸特征模板集合中的加载图像。

假设确定出的加载图像为用户a对应的人脸特征模板集合中最新加载的用户a的图像时，则确定出的加载图像不是确定出的图像所属的用户a对应的人脸特征模板集合中的最近模板图像，当用户a对应的人脸特征模板集合中的最近模板图像中的用户a的脸部对应人脸对象与采集到的用户a的图像中的用户a的脸部对应的人脸对象的相似度大于第一相似度阈值以及最新加载的用户a的图像中的用户a的脸部对应的人脸对象与采集到的用户a的图像中的用户a的脸部对应的人脸对象的相似度大于第二相似度阈值时，通过对用户a的身份验证。然后，可以将采集到的用户a的图像加入到用户a对应的人脸特征模板集合中。

如图4所示，在一个实施例中，提供了一种人脸识别数据处理装置，该人脸识别数据处理装置可以集成于上述的计算机设备110中，具体可以包括：

特征库构建模块411，用于构建人脸特征模板库，所述人脸特征模板库中存储有多个用户的人脸特征模板集合和用户基本信息，每个用户的人脸特征模板集合包括至少一个人脸特征模板；

人脸特征提取单元412，用于采集待识别的人脸图像，提取所述人脸图像中的人脸特征，得到待识别的人脸特征模板；

相似度计算单元413，用于确定所述人脸特征模板库中包含的人脸特征模板与所述待识别的人脸特征模板的相似度最大的人脸特征模板；

结果输出单元414，用于判断确定出的人脸特征模板是否为确定出的用户的人脸特征模板集合中的最近人脸特征模板，得到判断结果，以及根据判断结果对应的验证方式确定所述用户是否通过身份验证。

在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：构建人脸特征模板库，所述人脸特征模板库中存储有多个用户的人脸特征模板集合和用户基本信息，每个用户的人脸特征模板集合包括至少一个人脸特征模板；采集待识别的人脸图像，提取所述人脸图像中的人脸特征，得到待识别的人脸特征模板；确定所述人脸特征模板库中包含的人脸特征模板与所述待识别的人脸特征模板的相似度最大的人脸特征模板；判断确定出的人脸特征模板是否为确定出的用户的人脸特征模板集合中的最近人脸特征模板，得到判断结果，以及根据判断结果对应的验证方式确定所述用户是否通过身份验证。

在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：构建人脸特征模板库，所述人脸特征模板库中存储有多个用户的人脸特征模板集合和用户基本信息，每个用户的人脸特征模板集合包括至少一个人脸特征模板；采集待识别的人脸图像，提取所述人脸图像中的人脸特征，得到待识别的人脸特征模板；确定所述人脸特征模板库中包含的人脸特征模板与所述待识别的人脸特征模板的相似度最大的人脸特征模板；判断确定出的人脸特征模板是否为确定出的用户的人脸特征模板集合中的最近人脸特征模板，得到判断结果，以及根据判断结果对应的验证方式确定所述用户是否通过身份验证。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等非易失性存储介质，或随机存储记忆体(randomaccessmemory，ram)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。