一种人脸图像的识别方法和装置与流程

本申请实施例涉及信息处理领域，尤指一种人脸图像的识别方法和装置。

背景技术：

随着信息化技术的不断发展，生物特征信息识别技术在不用行业，不同场景有了更广泛的应用，每个人都有自身独特的生物特征，因此生物特征识别技术成为一种更准确，更安全，更方便的身份认证方式。而人脸识别技术已成为重要的信息识别方式之一。

人脸识别属于图像识别的一个应用领域。传统的图像识别技术主要基于图像自身的边缘、形状、纹理、颜色或特征点匹配等浅层信息，例如hog(histogramofgradient，方向梯度直方图)、sift(scale-invariantfeaturetransform，尺度不变特征变换)等方法，这些方法只是提取了图像的浅层特征，在图像角度、清晰度、光照以及旋转等条件变化明显时，这些识别准确率将大大降低。

在公安领域进行特定人物的查找检索时，相关技术中使用文本进行检索，导致从不同来源收集来的大量图像数据利用率低，图像数据价值无法被充分挖掘与利用。

技术实现要素：

为了解决上述任一技术问题，本申请实施例提供了一种人脸图像的识别方法和装置。

为了达到本申请实施例目的，本申请实施例提供了一种人脸图像的识别方法，包括：

在接收到需检索的人脸图像后，利用预先设置的人脸特征的提取模型，确定所述需检索的人脸图像的基准特征向量；

将所述基准特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比，得到所述人脸图像对应的候选目标人脸图像；

从所述候选目标人脸图像与所述人脸图像选择一个人脸图像作为目标人脸图像，作为所述需检索的人脸图像的识别结果。

一种人脸图像的识别装置，包括：

确定模块，设置为在接收到需检索的人脸图像后，利用预先设置的人脸特征的提取模型，确定所述需检索的人脸图像的基准特征向量；

对比模块，设置为将所述基准特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比，得到所述人脸图像对应的候选目标人脸图像；

选择模块，设置为从所述候选目标人脸图像与所述人脸图像选择一个人脸图像作为目标人脸图像，作为所述需检索的人脸图像的识别结果。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上文所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上文所述的方法。

上述技术方案中的一个技术方案具有如下优点或有益效果：

在接收到需检索的人脸图像后，利用预先设置的人脸特征的提取模型，确定所述需检索的人脸图像的基准特征向量，将所述基准特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比，得到所述人脸图像对应的候选目标人脸图像，从所述候选目标人脸图像与所述人脸图像选择一个人脸图像作为目标人脸图像，作为所述需检索的人脸图像的识别结果，通过利用人脸图像的特征向量进行内容的对比，提高人脸特征的比对准确性。

本申请实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请实施例的实施例一起用于解释本申请实施例的技术方案，并不构成对本申请实施例技术方案的限制。

图1为本申请实施例提供的人脸图像的识别方法的流程图；

图2为本申请实施例提供的基于深度学习技术的人脸识别检索系统的结构图；

图3为本申请实施例提供的人脸图像的识别装置的结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请实施例的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请实施例中的实施例及实施例中的特征可以相互任意组合。

图1为本申请实施例提供的人脸图像的识别方法的流程图。如图1所示，图1所示方法包括：

步骤101、在接收到需检索的人脸图像后，利用预先设置的人脸特征的提取模型，确定所述需检索的人脸图像的基准特征向量；

在一个示例性实施例中，进行特征向量的抽取可以采用基于深度学习的(convolutionalneuralnetworks,卷积神经网络)模型，其中在设计具体网络结构时，可参考cnn模型或加以改进，例如alexnet，vgg，googlenet，resnet等模型，特征向量维度可为1024维、512维、256维等，具体维度可以数据量的大小和检索的准确性来确定。

步骤102、将所述基准特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比，得到所述人脸图像对应的候选目标人脸图像；

在一个示例性实施例中，将基准特征向量和与其对应被要查询的数据库中图片的特征向量进行对比，查询出n个的最相似图片，其中n为大于等于2的整数。

步骤103、从所述候选目标人脸图像与所述人脸图像选择一个人脸图像作为目标人脸图像，作为所述需检索的人脸图像的识别结果。

本申请实施例提供的方法，在接收到需检索的人脸图像后，利用预先设置的人脸特征的提取模型，确定所述需检索的人脸图像的基准特征向量，将所述基准特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比，得到所述人脸图像对应的候选目标人脸图像，从所述候选目标人脸图像与所述人脸图像选择一个人脸图像作为目标人脸图像，作为所述需检索的人脸图像的识别结果，通过利用人脸图像的特征向量进行内容的对比，提高人脸特征的比对准确性。

下面对本申请实施例提供的方法进行说明：

在一个示例性实施例中，所述利用预先设置的人脸特征的提取模型，确定所述人脸图像的特征向量之前，所述方法还包括：

确定所述人脸图像中人脸的位置信息；

去除所述人脸图像中除所述位置信息之外的其他区域，得到人脸数据，将所述人脸数据作为特征提取模型的处理对象。

位置信息可以图像中的坐标信息来标记；

将用户端侧上传的图像中人脸部分的区域坐标检测出来，按区域坐标进行裁剪，去除图片中与人脸无关的部分，只保留图像中人脸部分的区域，去除图像中其它像素的因素，提高人脸特征抽取操作的准确性，从而进一步提高检索的准确性，其中人脸区域检测的模型可以采用mtcnn，yolo，ssd等深度学习的目标检测模型；

另外，还可以包括对检测出的人脸图像进行置信度阈值过滤，放弃置信度低于所述置信度阈值的人脸图像，不作为需检索的对象，将置信度大于或等于所述置信度阈值的人脸图像作为需检索的对象。

在一个示例性实施例中，所述将所述基准特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比之前，所述方法还包括：

为所述数据库中的特征向量构建索引，得到特征向量的索引表；

所述将所述特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比，得到所述人脸图像对应的候选目标人脸图像，包括：

确定所述基准特征向量在所述特征向量的索引表中的基准索引；

利用所述基准索引，在所述数据库中的各人脸图像的特征向量的索引进行对比，得到所述人脸图像对应的候选目标人脸图像。

数据库中特征向量可用faiss，flann，annoy，kgrapth等工具构建索引，可根据数据量大小选择不同的索引方式。

通过构建特征向量的索引，可以避免在向量对比查询时线性搜索，提供对比查询的效率向量索引构建；尤其在数据量大的时候，查询索引的构建会使查询速度明显提升。

在一个示例性实施例中，所述从所述候选目标人脸图像与所述人脸图像选择一个人脸图像作为目标人脸图像，作为所述需检索的人脸图像的识别结果，包括:

计算每个候选目标人脸图像的图片相似度；

根据每个候选目标人脸图像的图片相似度，选择图像相似度大于预先设置的相似度阈值的候选目标人脸图像作为待选人脸图像；

从所述待选人脸图像中选择至少一个人脸图像作为目标人脸图像。

所述相似度计算为已查询出来的图像与当前用户上传的图像之间的相似度，相似度的计算可用欧式距离，余弦距离等。

通过预设目标相似度阈值可过滤掉检索出的候选目标人脸图像中相似度低的图像，方便后续选择出目标人脸图像。

在一个示例性实施例中，所述从待选人脸图像中选择至少一个人脸图像作为目标人脸图像，包括：

获取每个待选人脸图像中人物的身份的描述信息；

输出所述每个待选人脸图像中人物的身份的描述信息；

接收根据所输出的人物的身份的描述信息对待选人脸图像的选择结果，得到所述目标人脸图像。

根据已查询出的图像进一步地返回该图像对应人的其他辅助信息，例如身份证号，姓名，年龄，户籍等其他信息，方便根据输入的其他辅助信息选择目标人脸图像，提高识别结果的准确度。

在一个示例性实施例中，所述从待选人脸图像中选择至少一个人脸图像作为目标人脸图像，包括：

接收筛选条件，其中所述筛选条件包括所述需检索的人脸图像中人物的身份特征信息；以及，获取每个待选人脸图像中人物的身份的描述信息；

利用所述需检索的人脸图像中人物的身份特征信息，对每个待选人脸图像中人物的身份的描述信息进行匹配，得到所述目标人脸图像。

根据该图像对应人的其他辅助信息进行进一步的过滤，过滤字段信息可由用户在输入检测图像时指定，例如身份证号，姓名，年龄，户籍等其他信息，提高用户的操作灵活性，提高识别结果的准确度。

在一个示例性实施例中，所述将所述基准特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比，得到所述人脸图像对应的候选目标人脸图像之前，所述方法还包括：

为所述数据库中的人脸图像配置对应的应用标识，其中所述应用标识用于记录所述人脸图像的业务应用场景信息；

在接收到需检索的人脸图像后，获取所述需检索的人脸图像对应的业务应用场景；

利用所述需检索的人脸图像对应的业务应用场景，对所述数据库中的人脸图像的应用标识进行查找，得到符合所述业务应用场景的人脸图像；

在所述符合所述业务应用场景的人脸图像中进行人脸图像的匹配。

在对数据库中执行人脸区域检测、特征向量提取、特征向量索引构建的过程中，可以生成唯一标识字段，用于标记该人脸图像，该字段用于标记该人脸图像的业务应用场景，以便在不同场景下的用户端使用时只在其对应的图像检索库中查找，这样便于整个检索系统的统一管理，从而在特定地方不需要部署多套针对不同图像数据库的检索系统服务。

下面对本申请实施例提供的方法进行说明：

本申请实施例提供一种基于深度学习技术的人脸识别检索系统，目的在于为信息检索手段提供更多的可能性，进一步充分挖掘和利用人脸图像数据的价值。

图2为本申请实施例提供的基于深度学习技术的人脸识别检索系统的结构图。如图2所示，所述系统包括：

查询图像01为用户端上传请求的需要检索的图像(即一个人脸图片)。

人脸区域检测02为将用户端侧上传的图像中人脸部分坐标检测出来，在人脸特征抽取03之前按区域坐标进行裁剪，去除图片中与人脸无关的部分，只保留图像中人脸部分的区域，提高人脸特征抽取03的准确性，从而进一步提高检索的准确性，所述人脸区域检测02模型可用mtcnn，yolo，ssd等深度学习目标检测模型，人脸区域检测02包括对检测出的人脸图像进行置信度阈值过滤。

人脸特征抽取03为将目标检测裁剪后的人脸图像部分进行特征向量的抽取，所述人脸特征抽取为人脸识别检索系统的核心，特征抽取采用基于深度学习的cnn(卷积神经网络)模型，其中在设计具体网络结构时，可参考经典的cnn模型或加以改进，例如alexnet，vgg，googlenet，resnet等模型，特征向量维度可为1024维、512维、256维等，具体维度选择需考虑数据量的大小和检索的准确性等因素，选择时可按低维到高维去选择，优先选择低维，当效果不佳时可逐步尝试高维。

图像数据库04为被检索比对的人脸图像库，即在指定的人脸库中进行查找检索。

批量人脸区域检测05为将被检索人脸图像库的图片全部进行人脸目标检测，该所述目标检测模型和人脸区域检测02所述模型为同一个模型，其中批量人脸区域检测05包括对检测出的人脸图像进行置信度阈值过滤以及把检测结果存储到数据库。

人脸特征库06为将人脸图像库中的图片经人脸目标检测后全部转为特征向量，该抽取特征模型和人脸特征抽取03所述模型为同一个模型，其中包括把特征向量存储到数据库。

特征向量索引07为人脸特征库06中特征向量构建索引，避免在向量对比查询时线性搜索，向量索引构建可用faiss等工具构建，可根据数据量大小选择不同的索引方式；尤其在数据量大的时候，查询索引的构建会使查询速度明显提升。

特征向量检索08为用户端上传请求图片抽取后的特征向量和与其对应被要查询的人脸库中图片特征向量进行对比，查询出topn的最相似图片。

相似度计算09为用户端请求的图片特征向量与检索出来的topn图片特征向量进行相似度的量化，相似度的计算可用欧式距离，余弦距离等，其中计算得到的欧式距离越小或余弦距离越小，表示两个图片之间的相似度越大。

召回结果排序过滤10主要是基于预设相似度阈值的过滤，以此过滤掉相似度较底的召回图片，其中相似度阈值的设定值根据模型效果，业务场景等因素综合而定。

定制化数据内容输出11主要是根据已查询出的图像进一步地返回该对应人的其他信息，例如身份证号、姓名、年龄、户籍等其他信息，其中这些信息可根据查询出的图像去其他数据库关联查询其他所需信息；或者根据某些值再次过滤，例如查询时用户可指定户籍、年龄等属性。

同步更新12是当图像数据库04有更新动作时，及时更新下游有关部分，包括批量人脸区域检测05，人脸特征库06、特征向量索引07的更新。

基于cnn的人脸目标检测模型、特征抽取模型在部署时应单独作为服务部署，达到模型服务解耦的目的，便于后期模型维护，更新。

当人脸目标检测模型在图像中检测出多个人脸时，后面流程中截取人脸部分时优先只选择置信度最高的区域。

针对不同来源或者不同场景的图像数据库04，在经过批量人脸区域检测05、人脸特征库06、特征向量索引07的过程中，可选地生成唯一标识字段携带或配置信息，在不同场景下的用户端使用时只在其对应的图像检索库中查找，这样便于整个检索系统的统一管理，从而在特定地方不需要部署多套针对不同图像数据库的检索系统服务。

当图像数据库04有删除，增加等变化操作时，相应的人脸特征库06也应有相同的更新操作以及特征向量索引07的重新构建。其中同步更新12的操作可用定时任务或实时去更新，定时的周期可为一小时、一天、一周等，具体的更新频率根据业务场景需求而定；实时更新是对图像数据库04状态实时检测，当有变化操作时，及时地进行批量人脸区域检测05、人脸特征库06、特征向量索引07的更新。图像数据库04为被检索比对的人脸图像库，即在指定的人脸库中进行查找检索。

本申请实施例提供的系统包括以下优点：

1、人脸特征抽取之前的人脸检测，通过先进行人脸区域的检测可只抽取图像中只有关人脸部分的特征，避免图像其他部分的干扰，大大地提高检索的精确度；

2、基于cnn模型的特征抽取方法比相关技术中的抽取方法具有明显的效果提升，更能提取深层次的信息；特征向量索引的构建在大数据量下比线性搜索具有明显更快的检索速度，提高用户体验；

3、通过预设目标相似度阈值可过滤掉检索出图像中相似度低的图像，提高召回的准确性；

4、可根据已检索出的图像进一步地返回与该图像对应人的其他身份相关信息，或者根据其他身份相关信息进行进一步的过滤，过滤字段信息可由用户在输入检测图像时指定，提高用户的操作灵活性。图3为本申请实施例提供的人脸图像的识别装置的结构图。如图3所示，图3所示装置包括：

第一确定模块，设置为在接收到需检索的人脸图像后，利用预先设置的人脸特征的提取模型，确定所述需检索的人脸图像的基准特征向量；

对比模块，设置为将所述基准特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比，得到所述人脸图像对应的候选目标人脸图像；

选择模块，设置为从所述候选目标人脸图像与所述人脸图像选择一个人脸图像作为目标人脸图像，作为所述需检索的人脸图像的识别结果。

在一个示例性实施例中，所述装置还包括：

第二确定模块，设置为在确定所述人脸图像的特征向量之前，确定所述人脸图像中人脸的位置信息；

处理模块，设置为去除所述人脸图像中除所述位置信息之外的其他区域，得到人脸数据，将所述人脸数据作为特征提取模型的处理对象。

在一个示例性实施例中，所述装置还包括：

构建模块，设置为在将所述基准特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比之前，为所述数据库中的特征向量构建索引，得到特征向量的索引表；

所述对比模块包括：

确定单元，设置为确定所述基准特征向量在所述特征向量的索引表中的基准索引；

对比单元，设置为利用所述基准索引，在所述数据库中的各人脸图像的特征向量的索引进行对比，得到所述人脸图像对应的候选目标人脸图像。

在一个示例性实施例中，所述选择模块包括:

计算单元，设置为计算每个候选目标人脸图像的图片相似度；

第一选择单元，设置为根据每个候选目标人脸图像的图片相似度，选择图像相似度大于预先设置的相似度阈值的候选目标人脸图像作为待选人脸图像；

第二选择单元，设置为从所述待选人脸图像中选择至少一个人脸图像作为目标人脸图像。

在一个示例性实施例中，所述第二选择单元包括：

第一获取子单元，设置为获取每个待选人脸图像中人物的身份的描述信息；

输出子单元，设置为输出所述每个待选人脸图像中人物的身份的描述信息；

第一接收子单元，设置为接收根据所输出的人物的身份的描述信息对待选人脸图像的选择结果，得到所述目标人脸图像。

在一个示例性实施例中，所述第二选择单元包括：

第二接收子单元，设置为接收筛选条件，其中所述筛选条件包括所述需检索的人脸图像中人物的身份特征信息；

第二获取子单元，设置为获取每个待选人脸图像中人物的身份的描述信息；

匹配子单元，设置为利用所述需检索的人脸图像中人物的身份特征信息，对每个待选人脸图像中人物的身份的描述信息进行匹配，得到所述目标人脸图像。

在一个示例性实施例中，所述装置还包括：

配置模块，设置为在将所述基准特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比之前，为所述数据库中的人脸图像配置对应的应用标识，其中所述应用标识用于记录所述人脸图像的业务应用场景信息；

获取模块，设置为在接收到需检索的人脸图像后，获取所述需检索的人脸图像对应的业务应用场景；

查找模块，设置为利用所述需检索的人脸图像对应的业务应用场景，对所述数据库中的人脸图像的应用标识进行查找，得到符合所述业务应用场景的人脸图像；

所述对比模块，设置为在所述符合所述业务应用场景的人脸图像中进行人脸图像的匹配。

本申请实施例提供的装置，在接收到需检索的人脸图像后，利用预先设置的人脸特征的提取模型，确定所述需检索的人脸图像的基准特征向量，将所述基准特征向量与预先设置的数据库中的各人脸图像的特征向量进行对比，得到所述人脸图像对应的候选目标人脸图像，从所述候选目标人脸图像与所述人脸图像选择一个人脸图像作为目标人脸图像，作为所述需检索的人脸图像的识别结果，通过利用人脸图像的特征向量进行内容的对比，提高人脸特征的比对准确性。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上文任一项中所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上文任一项中所述的方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。