图像处理方法及装置、电子设备和存储介质与流程

本公开涉及智能监控领域，特别涉及图像处理方法及装置、电子设备和存储介质。

背景技术：

当前，政府大楼、企业园区、酒店、小区、写字楼等场所通常通过传统的人防手段来对进入相应场所的人员进行管理，但是该种方法无法识别到访人员是否有进入区域内部权限。基于该问题，通常采用闸机，门禁进行刷卡，或者通过人脸识别的方式进行管理。然而闸机或者刷卡的方式无法防止私下换卡或尾随行为，另外基于人脸识别的陌生人识别，由于实际场景中人员出现在摄像机前时经常出现脸部遮挡、侧脸、低头等情况，造成人员抓拍照片与目标库照片差异较大，造成陌生人的误报率非常高。

技术实现要素：

本公开实施例提供了一种能够通过多个摄像模组采集的图像信息对相应区域场所内的待验证对象的身份进行联合判定的图像处理方法及装置、电子设备和存储介质，其判定精度高，误报率低。

根据本公开的一方面，提供了一种图像处理方法，其包括：

获取待验证对象的第一图像和第二图像，其中，所述第一图像由第一摄像模组采集，所述第二图像由至少一个第二摄像模组采集；

将所述第一图像与目标库中的图像数据进行对比以执行身份验证，获取第一验证结果；

响应于第一验证结果为验证失败的情况，利用所述第一图像与所述第二图像进行联合验证，根据该联合验证的第二验证结果确定所述待验证对象的身份。

在一些可能的实施方式中，所述目标库包括白/黑名单库；

所述将所述第一图像与目标库中的图像数据进行对比以执行身份验证，获取第一验证结果，包括：

将所述第一图像的第一特征数据与所述白/黑名单库中的各图像的特征数据进行对比；

在所述白/黑名单库中存在与所述第一特征数据匹配的特征数据的情况下，确定所述第一验证结果为验证成功，并将所述第一图像对应的待验证对象确定为黑名单对象或白名单对象。

在一些可能的实施方式中，所述目标库包括已标记的陌生人库；

所述将所述第一图像与目标库中的图像数据进行对比以执行身份验证，获取第一验证结果，包括：

将获取的所述第一图像的第一特征数据与所述已标记的陌生人库中的图像的特征数据进行对比；

在所述已标记的陌生人库中存在与所述第一特征数据匹配的特征数据的情况下，所述第一验证结果为验证成功，并将所述第一图像对应的待验证对象确定为已被标记的陌生人。

在一些可能的实施方式中，在所述已标记的陌生人库中存在与所述第一特征数据匹配的特征数据的情况下，所述方法还包括：

统计所述第一图像对应的待验证对象被标记为陌生人的次数。

在一些可能的实施方式中，所述方法还包括：

在所述第一验证结果为验证成功的情况下，将所述第一图像以及所述第一图像的关联信息添加至匹配的特征数据对应的匹配记录中，其中，所述第一图像的关联信息包括所述第一摄像模组采集所述第一图像的时间信息、所述第一摄像模组的标识信息以及所述第一摄像模组的位置信息中至少一种。

在一些可能的实施方式中，在利用所述第一图像与所述第二图像进行联合验证之前，所述方法还包括：

对第一时间范围内验证失败的第一图像和/或第二图像进行去重处理，获得在第一时间范围内针对每个待验证对象满足第一预设条件的第一图像和/或第二图像。

在一些可能的实施方式中，所述响应于第一验证结果为验证失败的情况，利用所述第一图像与所述第二图像进行联合验证，根据该联合验证的第二验证结果确定所述待验证对象的身份，包括：

将第二时间范围内第一验证结果为验证失败的第一图像与第一验证结果为验证失败的第二图像进行聚类处理，获得针对每个待验证对象的图像集；

确定所述图像集中每个图像与所述图像集中其他图像的相似度；

基于所述图像集中每个图像对应的相似度确定所述图像集是否满足第二预设条件；

在所述图像集满足第二预设条件的情况下，确定该图像集对应的待验证对象为陌生人。

在一些可能的实施方式中，所述确定所述图像集中每个图像与其他图像的相似度，包括：

获取每个图像集中的各图像的特征数据与全部的图像的特征数据的数量积的加和值；

基于所述加和值与该图像集中的特征数据的个数确定每个图像与其余图像的相似度。

在一些可能的实施方式中，所述将第二时间范围内第一验证结果为验证失败的第一图像与第一验证结果为验证失败的第二图像进行聚类处理，获得针对每个待验证对象的图像集，包括：

获取所述第二时间范围内验证失败的第一图像和第二图像数据分别对应的第一特征数据和第二特征数据；

将所述第一特征数据与所述第二特征数据进行对比匹配，确定各第一特征数据和各第二特征数据是否对应于同一待验证对象；

将所述同一待验证对象的第一特征数据和第二特征数据进行聚类形成所述同一待验证对象的图像集。

在一些可能的实施方式中，所述基于所述图像集中每个图像对应的相似度确定所述图像集是否满足第二预设条件，包括以下方式中的至少一种：

所述图像集中各图像对应的相似度中的最大相似度大于第一相似度阈值；

所述图像集中各图像对应的相似度中大于第二相似度阈值的相似度的特征数据数量超过预设比例；

所述图像集中各图像对应的相似度中的最小相似度大于第三相似度阈值。

在一些可能的实施方式中，所述响应于第一验证结果为验证失败的情况，利用所述第一图像与所述第二图像进行联合验证，根据该联合验证的第二验证结果确定所述待验证对象的身份，还包括：

在所述图像集中图像之间的相似度不满足预设条件的情况下，删除该图像集对应的全部图像。

在一些可能的实施方式中，所述在所述图像集满足第二预设条件的情况下，确定该图像集对应的待验证对象为陌生人，包括：

在所述特征数据集中的特征数据对应的图像为在不同的时间范围内通过不同的摄像模组采集的图像的情况下，则确定所述特征数据集对应的待验证对象为陌生人。

在一些可能的实施方式中，所述获取待验证对象的第一图像和第二图像，包括：

分别获取第一摄像模组采集的第一视频和至少一个第二摄像模组采集的第二视频，对所述第一视频进行预处理获得第三图像以及对所述第二视频进行预处理得到第四图像，或者接收第三图像和第四图像；

将第三图像中满足质量要求的图像确定为所述第一图像，以及将第四图像中满足质量要求的图像确定为第二图像。

在一些可能的实施方式中，在所述获取待验证对象的第一图像和第二图像之后，且在所述获取所述第一图像的第一特征数据，并将所述第一特征数据与目标库中的特征数据进行对比以执行身份验证，获取第一验证结果之前，还包括：

检测所述第一图像和/或第二图像中是否包含预定特征；

响应于所述第一图像和/或第二图像中包含预定特征的情况，对包含所述预定特征的第一图像和/或第二图像进行标记，其中，所述预定特征包括口罩、帽子、墨镜中的至少一种。

在一些可能的实施方式中，所述方法还包括：

输出提示所述第一验证结果或者第二验证结果。

在一些可能的实施方式中，所述输出提示所述第一验证结果或第二验证结果包括：

响应于第一验证结果为验证成功的情况，通过预设的方式输出所述待验证对象的身份及其关联信息，以及在确定该待验证对象为已标记的陌生人时，输出被标记为陌生人的次数；或者

输出所述第二验证结果。

在一些可能的实施方式中，所述方法还包括：

响应于第二验证结果为待验证对象为陌生人的情况，将该待验证对象对应的第一图像、第二图像以及关联信息存储至所述目标库；

通过用户交互界面显示被判定为陌生人的验证结果，统计信息和提示信息。

根据本公开的第二方面，提供了一种图像处理装置，其包括：

获取模块，其用于获取待验证对象的第一图像和第二图像，其中，所述第一图像由第一摄像模组采集，所述第二图像由至少一个第二摄像模组采集；

第一验证模块，其用于将所述第一图像与目标库中的图像数据进行对比以执行身份验证，获取第一验证结果；

第二验证模块，其用于响应于第一验证结果为验证失败的情况，利用所述第一图像与所述第二图像进行联合验证，根据该联合验证的第二验证结果确定所述待验证对象的身份。

在一些可能的实施方式中，所述目标库包括白/黑名单库；

所述第一验证模块还用于将所述第一图像的第一特征数据与所述白/黑名单库中的各图像的特征数据进行对比；以及

在所述白/黑名单库中存在与所述第一特征数据匹配的特征数据的情况下，确定所述第一验证结果为验证成功，并将所述第一图像对应的待验证对象确定为黑名单对象或白名单对象。

在一些可能的实施方式中，所述目标库包括已标记的陌生人库；

所述第一验证模块还用于将获取的所述第一图像的第一特征数据与所述已标记的陌生人库中的图像的特征数据进行对比；以及

在所述已标记的陌生人库中存在与所述第一特征数据匹配的特征数据的情况下，所述第一验证结果为验证成功，并将所述第一图像对应的待验证对象确定为已被标记的陌生人。

在一些可能的实施方式中，所述装置还包括统计模块，其用于在所述已标记的陌生人库中存在与所述第一特征数据匹配的特征数据的情况下，统计所述第一图像对应的待验证对象被标记为陌生人的次数。

在一些可能的实施方式中，所述第一验证模块还用于在所述第一验证结果为验证成功的情况下，将所述第一图像以及所述第一图像的关联信息添加至匹配的特征数据对应的匹配记录中，其中，所述第一图像的关联信息包括所述第一摄像模组采集所述第一图像的时间信息、所述第一摄像模组的标识信息以及所述第一摄像模组的位置信息中至少一种。

在一些可能的实施方式中，所述装置还包括去重模块，其用于在利用所述第一图像与所述第二图像进行联合验证之前，对第一时间范围内验证失败的第一图像和/或第二图像进行去重处理，获得在第一时间范围内针对每个待验证对象满足第一预设条件的第一图像和/或第二图像。

在一些可能的实施方式中，所述第二验证模块还用于将第二时间范围内第一验证结果为验证失败的第一图像与第一验证结果为验证失败的第二图像进行聚类处理，获得针对每个待验证对象的图像集，并

确定所述图像集中每个图像与所述图像集中其他图像的相似度，以及

基于所述图像集中每个图像对应的相似度确定所述图像集是否满足第二预设条件，以及

在所述图像集满足第二预设条件的情况下，确定该图像集对应的待验证对象为陌生人。

在一些可能的实施方式中，所述第二验证模块还用于获取每个图像集中的各图像的特征数据与全部的图像的特征数据的数量积的加和值，以及

基于所述加和值与该图像集中的特征数据的个数确定每个图像与其余图像的相似度。

在一些可能的实施方式中，所述第二验证模块还用于获取所述第二时间范围内验证失败的第一图像和第二图像数据分别对应的第一特征数据和第二特征数据，并

将所述第一特征数据与所述第二特征数据进行对比匹配，确定各第一特征数据和各第二特征数据是否对应于同一待验证对象；以及

将所述同一待验证对象的第一特征数据和第二特征数据进行聚类形成所述同一待验证对象的图像集。

在一些可能的实施方式中，所述第二验证模块还用于通过以下方式中的至少一种执行所述基于所述图像集中每个图像对应的相似度确定所述图像集是否满足第二预设条件：

所述图像集中各图像对应的相似度中的最大相似度大于第一相似度阈值；

所述图像集中各图像对应的相似度中大于第二相似度阈值的相似度的特征数据数量超过预设比例；

所述图像集中各图像对应的相似度中的最小相似度大于第三相似度阈值。

在一些可能的实施方式中，所述第二验证模块还用于在所述图像集中图像之间的相似度不满足预设条件的情况下，删除该图像集对应的全部图像。

在一些可能的实施方式中，所述第二验证模块还用于在所述特征数据集中的特征数据对应的图像为在不同的时间范围内通过不同的摄像模组采集的图像的情况下，则确定所述特征数据集对应的待验证对象为陌生人。

在一些可能的实施方式中，所述获取模块还用于分别获取第一摄像模组采集的第一视频和至少一个第二摄像模组采集的第二视频，对所述第一视频进行预处理获得第三图像以及对所述第二视频进行预处理得到第四图像，或者接收第三图像和第四图像，以及

将第三图像中满足质量要求的图像确定为所述第一图像，以及将第四图像中满足质量要求的图像确定为第二图像。

在一些可能的实施方式中，所述获取模块还用于在所述获取待验证对象的第一图像和第二图像之后，且在所述获取所述第一图像的第一特征数据，并将所述第一特征数据与目标库中的特征数据进行对比以执行身份验证，获取第一验证结果之前，检测所述第一图像和/或第二图像中是否包含预定特征，并

响应于所述第一图像和/或第二图像中包含预定特征的情况，对包含所述预定特征的第一图像和/或第二图像进行标记，其中，所述预定特征包括口罩、帽子、墨镜中的至少一种。

在一些可能的实施方式中，所述装置还包括提示模块，其用于输出提示所述第一验证结果或者第二验证结果。

在一些可能的实施方式中，所述提示模块还用于响应于第一验证结果为验证成功的情况，通过预设的方式输出所述待验证对象的身份及其关联信息，以及在确定该待验证对象为已标记的陌生人时，输出被标记为陌生人的次数；或者

输出所述第二验证结果。

在一些可能的实施方式中，所述第二验证模块还用于响应于第二验证结果为待验证对象为陌生人的情况，将该待验证对象对应的第一图像、第二图像以及关联信息存储至所述目标库，以及控制通过用户交互界面显示被判定为陌生人的验证结果，统计信息和提示信息。

根据本公开的第三方面，提供了一种电子设备，其包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行第一方面中任意一项所述的方法。

根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现第一方面中任意一项所述的方法。

本公开实施例能够基于多个摄像模组采集的图像信息对待验证对象的身份权限进行判定，可以有效的降低误报率，大幅提升对陌生人员的识别准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1示出根据本公开实施例的一种图像处理方法的流程图；

图2示出根据本公开实施例的一种图像处理方法中步骤s100的流程图；

图3示出根据本公开实施例的图像处理方法中步骤s200的流程图；

图4示出根据本公开实施例的图像处理方法中步骤s200的流程图；

图5示出根据本公开实施例的图像处理方法中的步骤s300的流程图；

图6示出根据本公开实施例的图像处理方法中步骤s301的流程图；

图7示出根据本公开实施例的图像处理方法中步骤s302的流程图；

图8示出根据本公开实施例的图像处理方法的流程图；

图9示出根据本公开实施例的图像处理方法陌生人比对的流程图；

图10示出根据本公开实施的一种图像处理装置的框图；

图11示出根据本公开实施的一种电子设备800的框图；

图12示出根据本公开实施例的一种电子设备1900的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开实施例的一种图像处理方法的流程图，其中本公开实施例的图像处理方法可以应用在政府大楼、企业园区、酒店、小区、写字楼等需要对进入人员进行管理的场所，其可以通过设置在不同区域位置的摄像模组采集的图像信息对待验证对象的身份进行联合判定，从而可以确定该待验证对象是否为陌生人，或者是否为已登记的在库人员。

如图1所示，本公开实施例的图像处理方法可以包括：

s100：获取待验证对象的第一图像和第二图像，其中，所述第一图像由第一摄像模组采集，所述第二图像由至少一个第二摄像模组采集。

本公开实施例的图像处理方法可以应用在终端设备或者服务器等具有图像处理功能的电子设备中，终端设备可以为如手机、计算机设备等。这些电子设备与安装在待检测区域的各个角落的摄像装置电连接，所述的摄像装置包括不限于摄像机，抓拍机等。在其他实施例中，这些电子设备包含有显示屏幕。

其中，待验证对象是指进入待验证区域的人员，第一图像和第二图像可以为需要被确定身份的待验证对象的面部图像，也可以全身图像，在本发明的实施例中以面部图像解释说明，但不能理解为对本发明的限制。这里的第一图像和第二图像来自于不同的视频源，例如第一图像可以由第一摄像模组采集，第二图像可以由至少一个第二摄像模组采集，本公开实施例可以通过在不同的位置区域上设置不同的摄像模组，即第一摄像模组和第二摄像模组可以为设置在不同位置上的摄像模组。同时为了方便描述，将第一摄像模组以外的摄像模组统称为第二摄像模组，各第二摄像模组设置的位置也可以不同，通过该种方式可以实时的采集不同位置区域内的图像信息。另外，上述第一图像和第二图像的采集时间可以相同也可以不同，本公开对此不进行限定。

s200：将所述第一图像与目标库中的图像数据进行对比以执行身份验证，获取第一验证结果；

其中，可以利用神经网络获得各第一图像的第一特征数据，并将该第一特征数据与预先存储的目标库中的图像数据的特征数据进行对比，该目标库中可以包括已登记的黑名单和白名单，以及已被标注为陌生人对象。通过将第一特征数据与目标库中的特征数据进行对比匹配，可以方便的确定该第一特征数据对应的对象是否为目标库中的人员对象。其中，如果目标库中不存在与第一特征数据匹配的特征数据，则表明针对第一图像的第一验证结果为验证失败，如果目标库中存在与第一特征数据匹配的特征数据，则表明针对第一图像的第一验证结果为验证成功。

s300：响应于第一验证结果为验证失败的情况，利用所述第一图像与所述第二图像进行联合验证，根据该联合验证的第二验证结果确定所述待验证对象的身份。

基于步骤s200的身份验证，如果目标库中不存在与第一特征数据匹配的特征数据时，可以结合至少一个第二摄像模组采集的第二图像进行联合验证，来验证待验证对象的身份。

本公开实施例中可以将针对验证失败的第一图像以及第二图像对待验证对象的身份进行联合验证，从而可以提高对待验证对象的验证成功率。

下面对本公开实施例的具体过程进行详细说明，其中，在执行本公开实施例时，首先通过步骤s100获取待待验证对象的第一图像和第二图像，该第一图像为通过第一摄像模组采集的图像。其中，如上所述，本公开实施例的图像处理方法可以应用在人员进行管理的场所中，该场所的不同位置处可以安装摄像头，其中任一摄像头都可以作为本公开实施例的第一摄像模组，为了方便描述下文中该第一摄像模组以外的摄像模组被称为第二摄像模组，并且第二摄像模组采集的图像可以被称为第二图像。

本公开实施例中步骤s100中获得的需要进行身份验证的第一图像和第二图像可以为直接从第一摄像模组和第二摄像模组获取的图像，也可以为经过分析处理、筛选后的图像。本公开对此不进行限定。图2示出根据本公开实施例的一种图像处理方法中步骤s100的流程图，其中所述获取待进行身份判定的第一图像，可以包括：

s101：获取第一摄像模组采集的第一视频以及至少一个第二摄像模组采集的第二视频，并对所述视频进行预处理获得多个第三图像以及对所述第二视频进行预处理得到第四图像，或者直接接收包括待验证对象的面部信息的所述第三图像和第四图像。

本公开实施例中，接收的信息可以为视频形式的信息，也可以为图片形式的信息，在接收的为视频形式的信息时，可以对该视频信息进行预处理操作，以从视频信息中获得需要处理的第三图像以及第四图像，其中预处理操作可以包括视频解码、图像的采样以及人脸检测等处理操作，通过上述预处理操作可以获取相应的包括面部图像的第三图像以及第四图像。

在另一些可能的实施例中，获得的可以为图片形式的第三图像和第四图像，此时可以直接对第三图像和第四图像进行处理，即可以通过人脸检测方式获得包括待验证对象的面部图像的第三图像和第四图像。或者第一摄像模组可以直接采集包括面部图像的第三图像以及第二摄像模组可以直接采集包括面部图像的第四图像，如第一摄像模组和第二摄像模组可以为人脸抓拍机，获得的第三图像和第四图像即为面部图像，本公开对此不进行具体限定，只要在获得的第三图像和第四图像中包括待判定的待验证对象的面部区域的情况下，即可以作为本公开的实施例。

s102：将获得的第三图像中满足质量要求的图像确定为所述第一图像，以及将第四图像中满足质量要求的图像确定为第二图像。

由于在实际场景下，采集的图像的角度、清晰度、是否佩戴帽饰、口罩眼睛等配饰以及有无其他物体或者人物的遮挡都具有随机性，因此在获得从摄像模组采集的第三图像和第四图像之后，还需用从第三图像和第四图像中筛选出符合质量要求的图像，执行用户的身份的检测和判定。其中，可以同时对第三图像和第四图像进行角度、质量分数联合判定，低于一定质量的图片将会被丢弃。

本公开实施例中，可以通过神经网络对第三图像和第四图像的图像质量进行确定，或者也可以通过预设的算法对第三图像的图像质量进行确定，其中可以结合图像的清晰度、人脸的角度对第三图像和第四图像进行评分，如果该评分值低于预设分值，如低于80分，则可以将该第三图像和第四图像删除，如果评分值高于预设分值，则说明该图像的质量满足质量要求，此时可以利用该第三图像和第四图像执行人员身份的判定，即可以利用满足质量要求的第三图像作为待进行身份验证的第一图像，满足质量要求的第四图像作为待进行身份验证的第二图像。其中，预设分数可以根据不同的需求和应用场景自行设定，本工开不作具体限定。

在另一些可能的实施方式中，在所述获取待验证对象的第一图像和第二图像之后，且在所述获取所述第一图像的第一特征数据，并将所述第一特征数据与目标库中的特征数据进行对比以执行身份验证，获取第一验证结果之前，还可以检测第一图像和/或第二图像中是否包含预定特征，在检测到第三图像和/或第四图像中包含预定特征时，可以对包含预定特征的第三图像和/或第二图像进行标记。这里的标记是指，可以为包含预定特征的第三图像和/或第四图像分配标识符，该标识符用于表示对应的图像可以直接作为待身份验证的第一图像和第二图像。其中，所述预定特征可以包括口罩、帽子、墨镜中的至少一种特征。例如，在检测到从第一摄像模组采集的第一视频获得的第三图像中的待验证对象为戴帽子、戴口罩的待验证对象(即第一图像对应的特征数据包括帽子、口罩等特征)时，可以直接将该待验证对象列入可疑人员，即其第三图像可以作为第一图像。或者，在检测到从第二摄像模组采集的第二视频获得的第四图像中的待验证对象为戴帽子、戴墨镜的待验证对象(即第二图像对应的特征数据包括帽子、墨镜等特征)时，可以直接将该待验证对象列入可疑人员，即其第四图像可以作为第二图像。其中，可以通过神经网络检测第三图像和第四图像的特征数据来确定是否具有上述预定特征。

通过上述方式，可以方便的针对接收不同类型的图像获得待处理的第一图像和第二图像，其中由于获得的第一图像和第二图像为满足质量要求的图像，则可以用于精确的进行待验证对象的身份验证。

在获得第一图像和第二图像之后，则可以将该第一图像和第二图像与目标库中的对象的特征数据进行对比匹配，即可以执行步骤s200。其中，本公开实施例可以包括目标库，其中目标库中记录有黑名单和白名单，以及被标记的陌生人信息。其中黑名单是指不能进入该场所的对象的信息，以及白名单是指能够允许进入该场所的对象的信息，本公开实施例目标库中存储的是具有已知身份的对象的信息以及被标记为陌生人的对象的信息。

例如，针对第一摄像模组获得的第一图像，本公开实施例在通过步骤s100获得第一图像之后，可以将第一图像的第一特征数据与目标库中的图像数据的特征数据进行对比匹配。例如，目标库中存储有各第一对象的面部图像及其面部特征数据，或者也可以包括其他信息，如姓名、年龄等等，本公开不作具体限定。

本公开实施例可以将第一图像的第一特征数据与目标库中各对象的特征是数据进行对比，如果在目标库中存在与第一特征数据的匹配值超过第一匹配阈值的特征数据，则可以确定第一图像对应的待验证对象为目标库中的对象，此时表明第一验证结果为验证成功。进一步的，如果查询不到与第一特征数据对应特征数据，即可以确定第一验证结果为验证失败。另外，在目标库中不存在与第一图像的第一特征数据匹配的特征数据时，如目标库中全部的对象的面部特征与第一特征数据的匹配值都低于第一匹配阈值，此时可以确定目标库中不存在与第一特征数据匹配的特征数据。即第一图像对应的待验证对象并非目标库中的人员。此时可以结合第二摄像模组采集的第二图像进行进一步的判定。其中，由于本公开实施例可以根据摄像模组采集的图像或者接收的图像进行人物对象的身份验证，其可以实现以输入的图像与目标库中的图像数据进行对比的效果，即具有以图搜图的效果，可以搜寻到与输入图像匹配的目标库中的图像。

其中，在此需要说明的是，本公开实施例的目标库可以包括白/黑名单库以及已标记的陌生人库。其中，白/黑名单库中包括为已登记的黑名单对象和白名单对象，其中黑名单对象即为限制进入相应的场所的人员，白名单对象为准许进入相应场所的人员。其中白/黑名单库中包括的白名单对象和黑名单对象的面部图像，或者还可以包括相应的姓名、年龄、职位等信息。针对白/黑名单库可以执行待验证对象的身份验证，通过验证结果可以表明该待验证对象是否为黑名单对象或者白名单对象。

图3示出根据本公开实施例的图像处理方法中步骤s200的流程图，其中，将所述第一图像与目标库中的图像数据进行对比以执行身份验证，获取第一验证结果，包括：

s201：将所述第一图像的第一特征数据与所述白/黑名单库中的各图像的特征数据进行对比；

s202：在所述白/黑名单库中存在与所述第一特征数据匹配的特征数据的情况下，确定所述第一验证结果为验证成功，并将所述第一图像对应的待验证对象确定为黑名单对象或白名单对象。

如上所述，目标库包括白/黑名单库，白/黑名单库中可以包括白名单对象和黑名单对象的面部图像或者也可以直接包括面部图像的特征数据。通过将第一特征数据与白/黑名单库中各对象的图像数据中的特征数据进行匹配，如果存在与第一特征数据匹配度高于第一匹配阈值的特征数据，则可以确定该待验证对象为白/黑名单库中的对象，并可以将匹配度最高的特征数据对应的身份信息确定为该待验证对象的身份信息，此时可以确认该待验证对象的身份，并且表明第一验证结果为验证成功。否则，如果白/黑名单库中的全部的特征数据与第一特征数据的匹配度都低于第一匹配阈值，则表明白/黑名单库中不存在与该待验证对象匹配的对象。

在一些可能的实施方式中，在白/黑名单库中查询到与第一特征数据匹配的特征数据后，可以将第一图像以及第一图像的关联信息加载到匹配的对象的匹配记录中，其中关联信息可以为第一摄像模组采集第一图像的时间、第一摄像模组的标识、以及对应的位置信息等。本公开实施例在获取各图像时，可以同时获得与各图像的关联信息。通过将验证成功的第一图像及其关联信息添加至对应的匹配记录中可以方便对该对象的轨迹、出行时间等等进行分析。

在另一些实施例中，如果在白/黑名单库中查询到与第一特征匹配的特征数据对应的对象为黑名单对象，此时还可以执行预设的提示操作，例如可以通过语音或者显示输出的方式提示该黑名单人员的进入情况。或者，也可以统计该黑名单对象的进入次数等信息，同时提示输出该进入次数，方便管理人员进行查看。本公开实施例中，可以将上述信息传输至上述电子设备的用户交互界面，并通过该用户交互界面进行显示，方便查看各项提示信息。

通过上述即可以执行黑名单对象和白名单对象的身份验证，并且在白/黑名单库中存在与所述第一特征数据匹配的特征数据的情况下，确定所述第一验证结果为验证成功。

另外，如上所述，目标库还可以包括已标记的陌生人库，该已标记的陌生人库中的对象为被标记为陌生人的对象，其中也可以包括各对象的面部图像或者直接包括面部特征数据，同时也可以包括各面部图像的采集时间、位置等关联信息，还可以包括被标记陌生人的次数等。

针对已标记的陌生人库可以执行待验证对象的身份验证，通过验证结果可以表明该待验证对象是否为被标记的陌生人对象。

图4示出根据本公开实施例的图像处理方法中步骤s200的流程图，其中，所述将所述第一图像与目标库中的图像数据进行对比以执行身份验证，获取第一验证结果，包括：

s203：将获取的所述第一图像的第一特征数据与所述已标记的陌生人库中的图像的特征数据进行对比；

s204：在所述已标记的陌生人库中存在与所述第一特征数据匹配的特征数据的情况下，所述第一验证结果为验证成功，并将所述第一图像对应的待验证对象确定为已被标记的陌生人。

如上所述，目标库包括已标记的陌生人库，已标记的陌生人库中可以被标记为陌生人的对象的面部图像或者也可以直接包括面部图像的特征数据。通过将第一特征数据与已标记的陌生人库中各对象的特征数据进行匹配，如果存在与第一特征数据匹配度高于第二匹配阈值的特征数据，则可以确定该待验证对象为已标记的陌生人库中的对象，并可以将匹配度最高的特征数据对应的对象的身份信息确定为该验证对象的身份信息，此时可以确认该待验证对象的身份为陌生人，并且表明第一验证结果为验证成功。否则，如果全部的特征数据与第一特征数据的匹配度都低于第二匹配阈值，则表明已标记的陌生人库中不存在与该待验证对象匹配的对象。

在一些可能的实施方式中，在已标记的陌生人库中查询到与第一特征数据匹配的特征数据后，可以将第一图像以及第一图像的关联信息加载到匹配的对象的匹配记录中，其中关联信息可以为第一摄像模组采集第一图像的时间、第一摄像模组的标识、以及对应的位置信息等。本公开实施例在获取各图像时，可以同时获得与各图像的关联信息。通过将验证成功的第一图像及其关联信息添加至对应的匹配记录中可以方便对该对象的轨迹、出行时间等等进行分析。

在另一些实施例中，如果在已标记的陌生人库中查询到与第一特征匹配的特征数据，此时还可以执行预设的提示操作，例如可以通过语音或者显示输出的方式提示该陌生人员的进入情况。或者，也可以统计该陌生人员的在相应场所内被标记的次数、以及该陌生人在相应场所内的停留时间、出现的频率等信息，同时提示输出上述信息，方便管理人员进行查看。其中，停留时间可以根据检测到对象被标记为陌生人的时间来确定，如可以将最后一次被标记为陌生人的第一时间与第一次被标记为陌生人的时间之间的时间差作为停留时间，出现的频率可以为该陌生人被识别到的次数与上述停留时间的比值。在本公开的其他实施例中，也可以统计其他信息，例如该陌生人出现的位置信息，其中可以根据采集到该陌生人的图像的摄像模组的标识或位置确定陌生人所在的位置，从而可以获取陌生人的运行轨迹，对于统计的信息本公开在此不一一列举。本公开实施例中，可以将上述信息传输至电子设备的用户交互界面，并通过该用户交互界面进行显示，方便查看各项提示信息。

通过上述即可以执行已被等级的陌生对象的身份验证，并且在已标记的陌生人库中存在与所述第一特征数据匹配的特征数据的情况下，确定所述第一验证结果为验证成功。

其中，第一匹配阈值和第二匹配阈值可以为相同的阈值，也可以为不同的阈值，本领域技术人员可以根据需求自行设定。

另外，本公开实施例中，对于目标库中的白/黑名单库和已标记的陌生人库的验证顺序，本领域技术人员可以根据需求设定，其中，可以先通过白/黑名单库对第一特征数据进行验证，在白/黑名单库中不存在匹配的特征数据时，再利用已标记的陌生人库进行验证，也可以先通过已标记的陌生人库对第一特征数据进行验证，在已标记的陌生人库中不存在匹配的特征数据时，再利用白/黑名单库进行验证，或者也可以同时利用白/黑名单库和已标记的陌生人库进行验证。也就是说，本公开实施例对利用两个库的执行验证操作的时间顺序不作具体限定，只要能够执行上述验证即可以作为本公开实施例。

另外，本公开实施例中，在所述目标库中不存在与所述第一图像的第一特征数据匹配的特征数据的情况下(即已标记的陌生人库和白/黑名单库都不存在匹配的特征数据)，此时可以确定第一验证结果为验证失败，此时可以保存所述第一图像。例如在目标库中的全部对象的特征数据与第一图像的第一特征数据都不匹配时，可以保存该第一图像。同时响应于第一验证结果为验证失败的情况，可以基于第一摄像模组以外的第二摄像模组所获取的第二图像与第一图像进行联合验证，根据该联合验证的第二验证结果确定所述待验证对象的身份。

本公开实施例对第二图像的第一验证操作的过程与第一图像相同，同样的也可以获得第二图像的第一验证结果。本公开在此不再重复说明。

其中，在目标库中不存在与第一特征数据匹配的对象的情况下，可以暂存该第一图像。并且为了减小图像的冗余以及减小暂存的第一图像占用的存储空间，可以对预设时间范围内的第一图像进行去重处理，从而可以减少针对同一待验证对象暂存过多的图像。其中，本公开实施例可以对第一时间范围内验证失败的第一图像和/或第二图像进行去重处理，获得在第一时间范围内针对每个待验证对象满足第一预设条件的第一图像和/或第二图像。其中，第一时间范围可以为可调的时间窗口(rollingwindow)，例如可以设置为2-5秒，可以按照第一时间范围对等待归档(暂存)的第一图像以及第二图像进行一次批量处理，此时可以对相同的待验证对象的第一图像进行合并以及去重处理，以及对相同的待验证对象的第二图像进行合并以及去重处理。由于第一时间范围内可以获得不同待验证对象的第一图像，因此暂存的第一图像也可以为不同待验证对象的图像，也可以为一个待验证对象的多个图像，此时可以识别第一图像中相同的待验证对象的图像，例如可以根据各图像的特征数据进行对比，将相似度大于相似度阈值的图像确定为相同待验证对象的图像，并可以进一步按照第一预设条件在相同待验证对象的各图像中仅保留一个图像。其中第一预设条件可以为按照暂存时间，将最先暂存的图像保留，删除相同待验证对象的其余暂存图像。或者第一预设条件也可以为对比对于相同待验证对象的各图像的评分值，将评分值最高的图像保留，删除其余图像。该评分值的获取与上述实施例相同，例如可以根据预设算法对图像进行分析，得到评分值，或者利用神经网络对图像进行评分，其中评分的原理根据图像的清晰度、面部的角度、被遮挡情况等确定。本领域技术人员可以根据需求选择相应的评分方法，本公开对此不进行具体限定。

通过上述方式则可以获得第一时间范围内第一摄像模组所采集的第一图像中的可疑人员(未匹配到第一对象以及第二对象)，并为每个待验证对象仅保留一个第一图像，从而可以减少存储空间的使用。上述仅通过第一摄像模组的示例说明针对第一摄像模组的第一图像的处理，对于其余摄像模组的处理方式相同，在此不再重复说明。

在对各第一图像进行合并和去重处理之后，则可以结合其余的第二摄像模组采集的第二图像对待验证对象的身份进行判定。图5示出根据本公开实施例的图像处理方法中步骤s300的流程图，其中，所述响应于第一验证结果为验证失败的情况，利用所述第一图像与所述第二图像进行联合验证，根据该联合验证的第二验证结果确定所述待验证对象的身份，可以包括：

s301：将第二时间范围内第一验证结果为验证失败的第一图像与第一验证结果为验证失败的第二图像进行聚类处理，获得针对每个待验证对象的图像集；

执行本公开实施例图像处理方法的设备可以将每个摄像模组在第二时间范围内未匹配到特征数据的第一图像和第二图像进行合并，并进行聚类处理，得到针对每个待验证对象的图像集，每个图像集包括的图像为相同待验证对象的图像。从而可以方便的针对每个图像集进行处理。

s302：确定所述图像集中每个图像与所述图像集中其他图像的相似度；

本公开实施例中，可以对同一待验证对象的图像集的图像进行相似度分析，即可以确定每个图像与其他图像之间的相似度，从而可以进一步判断图像集中各图像是否为同一待验证对象的图像。

s303：基于所述图像集中每个图像对应的相似度确定所述图像集是否满足第二预设条件；

s304：在确定所述图像集满足第二预设条件的情况下，确定该图像集对应的待验证对象为陌生人。

在获得每个图像集中各图像与其他图像之间的相似度之后，可以根据获得的相似度值确定图像集是否满足第二预设条件，在满足第二预设条件时即可以确定该图像集为相同对象的图像的概率较高，可以保留图像集，如果判断出各相似度不满足第二预设条件，则可以判断该图像集中各图像的聚类并不可信，为相同对象的图像的概率较低，此时可以删除该图像集。并可以进一步利用满足预设条件的图像集确定该待验证对象是否为未登记的对象。

下面对各过程进行详细说明。图6示出根据本公开实施例的图像处理方法中步骤s301的流程图，其中，所述将第二时间范围内第一验证结果为验证失败的第一图像与第一验证结果为验证失败的第二图像进行聚类处理，获得针对每个待验证对象的图像集，可以包括：

s3011：获取所述第二时间范围内验证失败的第一图像和第二图像数据分别对应的第一特征数据和第二特征数据；

s3012：将所述第一特征数据与所述第二特征数据进行对比匹配，确定各第一特征数据和各第二特征数据是否对应于同一待验证对象；

s3013：将所述同一待验证对象的第一图像的第一特征数据和第二图像的第二特征数据进行聚类形成对应于该待验证对象图像集。

步骤s3011中，第二时间范围为大于第一时间范围的时间范围，例如，第一时间范围可以为2-5s，第二时间范围可以为10min，但不作为本公开实施例的具体限定。通过第二时间范围大于第一时间范围的限定，能够得到每个第一时间范围内验证失败且经过去重处理得到的第一图像和第二图像，并利用第二时间范围内各个摄像模组得到的第一图像和第二图像获得不同待验证对象的不同图像。例如可以用第二时间范围内获得的第一摄像模组以及至少一个第二摄像模组在各第一时间范围内去重处理得到的第一图像和第二图像，并从中选择找出重复的待验证对象的特征进行合并，例如可以将图像的面部特征大于相似度阈值的图像合并为一类，即可以作为一个待验证对象的图像。通过该步骤可以得到针对多个待验证对象的图像集，每个图像集为相同待验证对象的图像。

其中，在此需要说明的是，本公开实施例中各处理的图像都可以包括与其关联的摄像模组的标识信息，从而可以确定每个图像都是由哪个摄像模组采集的，对应的获取待验证对象所在的位置。另外，图像也可以关联有摄像模组采集该图像的时间信息，从而可以确定每个图像被采集到的时间，对应的确定待验证对象在各位置的时间。

在对各图像进行聚类时可以首先获得第二时间范围内验证失败的第一图像的第一特征数据，以及验证失败的第二图像的第二特征数据，其中可以通过神经网络识别各图像的特征数据，本公开不作具体限定。在得到各第一特征数据以及第二特征数据之后，可以将第一特征数据和第二特征数据进行对比匹配，确定各第一特征数据和第二特征数据是否对应于相同的待验证对象，将对应于相同的待验证对象的特征数据组合到一类中，形成针对每个待验证对象的图像集，该图像集中可以包括各图像以及各图像对应的特征数据，也可以仅包括各图像的特征数据，本公开不作具体限定。其中，确定各特征数据是否为对应于同一待验证对象的方式可以包括利用神经网络确定，如果识别出的两个特征数据为同一待验证对象的概率高于预设阈值，则可以确定二者为同一待验证对象，如果低于预设阈值，则可以确定为不同的待验证对象。通过该种方式即可以确定各特征数据是否为相同的待验证对象的特征数据，进一步确定对应于不同待验证对象的图像集。

在获得针对每个待验证对象的图像集之后，可以确定每个图像集中各图像之间的相似度。图7示出根据本公开实施例的图像处理方法中步骤s302的流程图，其中，所述确定所述图像集中每个图像与所述图像集中其他图像的相似度，包括：

s3021：获取每个图像集中的各图像的特征数据与全部的图像的特征数据的数量积的加和值；

其中，通过步骤s200，可以获得对于图像集中的每个图像的特征数据，如第一特征数据，其可以表示为特征向量的形式。在此基础上，可以将图像集中每个图像的特征数据与全部图像的特征数据进行数量积运算并加和处理。例如，图像集中可以包括n个图像，n为大于1的整数，则可以对象的获取针对每个图像与全部图像之间的面部特征数据之间的加和值。例如对于第i个图像的加和值可以为si＝ni·n1+ni·n2+...ni·nn，其中ni为第i个图像的面部特征数据。通过上述方式即可以获得每个图像的面部特征数据与全部图像的面部特征数据的数量积的加和值。

在此需要说明的是，本公开实施例获得的各图像的特征数据为归一化处理的特征向量，即通过本公开实施例得到的各第一图像的第一特征数据以及第二图像的第二特征数据均为维度相同且长度相同的特征向量，从而可以方便的对各特征数据进行运算。

s3022：基于所述加和值与该图像集中的特征数据的个数确定每个图像与其余图像的相似度。

在获得各加和值之后，在根据图像集中图像的数量确定每个图像与其他图像的相似度。本公开实施例中相似度可以为

即可以将获得的加和值处于n-1即可以获得每个图像与其余图像之间的相似度。

在获得各图像与其余图像之间的相似度之后，则可以根据获得的各相似度值确定图像集是否满足预设条件。并利用满足预设条件的图像集判断对应的待验证对象是否为未登记人员。

在一些可能的实施方式中，所述在基于各图像之间的相似度确定所述图像集满足预设条件的情况下，基于所述图像集确定所述待验证对象是否为陌生人之前，还可以进一步确定图像集是否满足第二预设条件，在所述图像集中各图像对应的相似度满足以下情况中的任意一种时，确定为所述图像集满足第二预设条件：

a)所述图像集中各图像之间的相似度中的最大相似度大于第一相似度阈值；

在本公开实施例中，可以利用与其余图像之间的相似度最大的相似度和第一相似度阈值进行比较，如果该最大的相似度大于第一相似度阈值，则说明该图像集中各图像之间的相似度较大，则可以确定该图像集满足预设条件。如果最大的相似度小于第一相似度阈值，则说明该图像集的聚类效果不理想，该图像集中的各图像为不同待验证对象的概率较大，此时可以删除该图像集。

b)所述图像集中各图像之间的相似度中大于第二相似度阈值的相似度的图像数量超过预设比例；

类似的，如果图像集中各图像之间的相似度大于第二相似度阈值的相似度的比例大于预设比例，如有50％的图像的相似度都大于第二相似度阈值，则此时可以确定该图像集中各图像之间的相似度较大，则可以确定该图像集满足预设条件。如果大于第二相似度阈值的图像的比例小于该预设比例，则说明该图像集的聚类效果不理想，该图像集中的各图像为不同待验证对象的概率较大，此时可以删除该图像集。

c)所述图像集中各图像之间的相似度中的最小相似度大于第三相似度阈值。

类似的，如果图像集中最小的相似度大于第三相似度阈值，则说明该图像集中各图像之间的相似度较大，则可以确定该图像集满足预设条件。如果最小的相似度小于第一相似度阈值，则说明该图像集的聚类效果不理想，该图像集中的各图像为不同待验证对象的概率较大，此时可以删除该图像集。其中，第一相似度阈值、第二相似度阈值以及第三相似度阈值的选择可以根据不同的需求进行设定，本公开对此不进行具体限定。

通过上述方式即可以确定图像集是否满足预设条件，并进一步利用满足预设条件的图像集执行待验证对象的身份判定。其中在所述图像集中各图像之间的相似度满足预设条件的情况下，确定所述待验证对象是否为陌生人，可以包括在所述图像集中的图像为在不同的时间范围内通过不同的摄像模组采集的图像的情况下，则确定所述待验证对象为陌生人。

即如果图像集中包括2个图像，其中两个图像分别由第一摄像模组以及第二摄像模组采集，并且采集的时间分别位于不同的时间范围，此时可以确定该图像集对应的待验证对象为陌生人。即第一摄像模组采集的第一图像中未识别出该待验证对象的身份，以及第二摄像模组采集的第二图像也没有识别出该待验证对象的身份，并且第一图像和第二图像采集的时间位于不同的时间范围，例如在不同的第一时间范围内，则在由该第一图像和第二图像构成的图像集满足预设条件的情况下，可以确定图像集对应的待验证对象为陌生人，即为陌生人员。

通过上述方式可以通过多个摄像模组采集的图像对可疑人员的身份进性联合判定，从而可以更加精确的确定待验证对象的身份。

在确定第一图像对应的待验证对象为陌生人的情况下，执行预设的提示操作。如上述实施例所述，可以通过音频或者显示输出的方式提示相关人员该陌生人的信息。即本公开实施例中，在所述第一图像对应的待验证对象为陌生人的情况下，执行预设的提示操作包括：在显示设备中显示该陌生人的图像，、该陌生人当前的位置信息，以及出现的次数的统计信息；和/或通过音频提示的方式提示出现陌生人、该陌生人当前的位置信息，以及出现的次数的统计信息。其中，停留时间可以根据检测到对象被标记为陌生人的时间来确定，如可以将最后一次被标记为陌生人的第一时间与第一次被标记为陌生人的时间之间的时间差作为停留时间，出现的频率可以为该陌生人被识别到的次数与上述停留时间的比值。在本公开的其他实施例中，也可以统计其他信息，例如该陌生人出现的位置信息，其中可以根据采集到该陌生人的图像的摄像模组的标识或位置确定陌生人所在的位置，从而可以获取陌生人的运行轨迹，对于统计的信息本公开在此不一一列举。本公开实施例中，可以将上述信息传输至电子设备的用户交互界面，并通过该用户交互界面进行显示，方便查看各项提示信息。

另外，在确定图像集对应的待验证对象为陌生人的情况下，可以将该图像集存入至已标记的陌生人库，其中还可以关联的存储各图像的采集时间、采集位置以及采集图像的摄像模组的标识等信息。

在另一些可能的实施例中，在确定该待验证对象为已标记的陌生人时，可以输出被标记为陌生人的次数；或者输出所述第二验证结果。该第二验证结果为对待验证对象进行联合判定后确认的结果，如可以识别为陌生人或者无法识别该对象的信息等。

为了更加详细的说明本公开实施例，下面举例说明本公开实施例的具体过程。图8示出根据本公开实施例的图像处理方法的流程图，图9示出根据本公开实施例的图像处理方法陌生人比对的流程图。

其中，首先将白名单/黑名单人员信息录入系统形成白/黑名单库，白/黑名单库内的第一对象统称为在库人员，非在库人员即为陌生人。已被标记为陌生人的对象信息可以构成已标记的陌生人库，上述两个库可以形成目标库。获取摄像模组采集的图像的方式可以包括利用前端摄像机采集人像信息，其中高清网络摄像机采集视频流传回到后端服务器，或者也可以通过人脸抓拍机采集人脸图片直接传回给服务器。服务器在接收到视频流时，对传回的视频流进行解码，通过人脸检测算法或者神经网络提取其中人脸图片及特征值(面部特征)，如服务器接收的为传回的人脸图片，则可以跳过视频流解码，直接检测人脸图像的特征值时。其中，在执行人脸检测的同时还可以检测该人脸图片是否含戴口罩的特征，符合戴口罩特征图片可以直接存入可疑人员图片库中保存；同时对人脸图片进行角度、质量分数联合判定，将不符合质量要求的人脸图像丢弃。

接着，可以将获取的人脸图像的人脸特征值和陌生人识别系统中的白/黑名单库进行比对，超过第一匹配阈值(可调)，则视为比中黑名单对象或者白名单对象，此时可以将该人脸图像存入在白/黑名单库的比对记录中。在未比中在白/黑名单库的特征时，可以与已标记的陌生人库进行比对，超过第二匹配阈值(可调)则认为匹配成功，为陌生人再次被识别到。

如果既未比中白/黑名单库，又未比中已标记的陌生人库，将人脸图像的特征值暂存以等待处理。此时可以根据设置第一时间窗口(rollingwindow)，例如为2-5秒，对等待归档的特征值进行一次批量处理，对当前时间窗口的所有特征遍历，若相似度阈值thresholdlv2(可调)，则认为是同一人在一个场景被多拍，此时可以进行合并、去重(例如可以保留符合要求的最早的特征)，并记录拍摄的设备的标识。

利用不同的摄像设备在多个第一时间范围后保留的人脸图像，进行合并和聚类分析，例如第二时间范围可以为该多个第一时间范围，第二时间范围可以被设置为10分钟，找出该第二时间范围内不同摄像设备保留的人脸图像中重复的人像特征进行合并，其中可以利用相似度阈值thresholdlv3(可调)进行聚类，并可以记录图像对应的拍摄设备的标识，此步骤的人脸特征原始值不丢弃，合并在一个类中存储。

经过上述两步之后，相似度超过lv2和lv3的特征值被归纳到同一类中，视为同一人的不同图片特征，针对这个人的所有特征值，n1,n2,n3....nk,计算从1到k的每个特征值与其余特征值之间的相似度pi＝(ni*n1+ni*n2+…+ni*n(i-1)+ni*n(i+1)...ni*nk)/k-1,取其中最大值,若其大于等于阈值thresholdlv4(可调，该lv4大于lv3)，认为前期聚类未发生扩散，ni对应的特征及人脸图片有效保留，作为待展示人脸图片，如果小于thresholdlv4，则认为前期聚类不可信，丢弃所有特征及对应图片。

针对验证后的每个类别(即每个不同来访人员)的所有特征值，判断是以下两个条件，i)：是否出现在n个时间窗口(rollingwindow)内，n通常设置为1或者2；ii)：记录的设备数量是否大于m，m通常设置为2；如果都满足，则符合陌生人判定条件，插入到陌生人库中。即可以判断图像集中的图像是否为在不同时间范围内被不同的摄像设备拍摄，如是，在符合陌生人判定条件，可以将获得的满足陌生人判定条件的图像集加入至第二数据库中，否则，丢弃图像集。

以上步骤所有保存下来的特征值与其原始人脸图片均可一一对应，且均带时间、地址(设备号)信息，系统根据这些信息进行陌生人图片查询、以图搜图、陌生人轨迹查询，态势统计等应用。

综上所述，本公开实施例能够基于多个摄像模组采集的图像信息对待验证对象的身份权限进行判定，可以有效的降低误报率，陌生人员的识别准确率大幅提升。另外，本公开实施例支持将戴口罩、帽子人员直接记录在可疑人员列表中，同时记录时间地点，方便后期查询；也可以根据需求设定出现口罩人员即告警的业务逻辑。支持陌生人信息记录、统计：根据时间地点查询陌生人图片，以图搜图，轨迹查询，滞留时间查询，陌生人出现频率等操作。即根据本公开实施例可有效记录进出陌生人信息，且准确率达到实际应用要求，解决了公共场所无法有效识别陌生人的问题。在实际应用中，可帮助管理人员、安保人员管控陌生人进出政府大楼、企业园区、酒店、小区、写字楼等封闭场所，提高场所的安全性及秩序感。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。

此外，本公开还提供了图像处理装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种图像处理方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。

图10示出根据本公开实施例的一种图像处理装置的框图，如图10所示，所述装置包括：

获取模块10，其用于获取待验证对象的第一图像和第二图像，其中，所述第一图像由第一摄像模组采集，所述第二图像由至少一个第二摄像模组采集；

第一验证模块20，其用于将所述第一图像与目标库中的图像数据进行对比以执行身份验证，获取第一验证结果；

第二验证模块30，其用于响应于第一验证结果为验证失败的情况，利用所述第一图像与所述第二图像进行联合验证，根据该联合验证的第二验证结果确定所述待验证对象的身份。

在一些可能的实施方式中，所述目标库包括白/黑名单库；

所述第一验证模块还用于将所述第一图像的第一特征数据与所述白/黑名单库中的各图像的特征数据进行对比；以及

在所述白/黑名单库中存在与所述第一特征数据匹配的特征数据的情况下，确定所述第一验证结果为验证成功，并将所述第一图像对应的待验证对象确定为黑名单对象或白名单对象。

在一些可能的实施方式中，所述目标库包括已标记的陌生人库；

所述第一验证模块还用于将获取的所述第一图像的第一特征数据与所述已标记的陌生人库中的图像的特征数据进行对比；以及

在所述已标记的陌生人库中存在与所述第一特征数据匹配的特征数据的情况下，所述第一验证结果为验证成功，并将所述第一图像对应的待验证对象确定为已被标记的陌生人。

在一些可能的实施方式中，所述装置还包括统计模块，其用于在所述已标记的陌生人库中存在与所述第一特征数据匹配的特征数据的情况下，统计所述第一图像对应的待验证对象被标记为陌生人的次数。

在一些可能的实施方式中，所述第一验证模块还用于在所述第一验证结果为验证成功的情况下，将所述第一图像以及所述第一图像的关联信息添加至匹配的特征数据对应的匹配记录中，其中，所述第一图像的关联信息包括所述第一摄像模组采集所述第一图像的时间信息、所述第一摄像模组的标识信息以及所述第一摄像模组的位置信息中至少一种。

在一些可能的实施方式中，所述装置还包括去重模块，其用于在利用所述第一图像与所述第二图像进行联合验证之前，对第一时间范围内验证失败的第一图像和/或第二图像进行去重处理，获得在第一时间范围内针对每个待验证对象满足第一预设条件的第一图像和/或第二图像。

在一些可能的实施方式中，所述第二验证模块还用于将第二时间范围内第一验证结果为验证失败的第一图像与第一验证结果为验证失败的第二图像进行聚类处理，获得针对每个待验证对象的图像集，并

确定所述图像集中每个图像与所述图像集中其他图像的相似度，以及

基于所述图像集中每个图像对应的相似度确定所述图像集是否满足第二预设条件，以及

在所述图像集满足第二预设条件的情况下，确定该图像集对应的待验证对象为陌生人。

在一些可能的实施方式中，所述第二验证模块还用于获取每个图像集中的各图像的特征数据与全部的图像的特征数据的数量积的加和值，以及

基于所述加和值与该图像集中的特征数据的个数确定每个图像与其余图像的相似度。

在一些可能的实施方式中，所述第二验证模块还用于获取所述第二时间范围内验证失败的第一图像和第二图像数据分别对应的第一特征数据和第二特征数据，并

将所述第一特征数据与所述第二特征数据进行对比匹配，确定各第一特征数据和各第二特征数据是否对应于同一待验证对象；以及

将所述同一待验证对象的第一特征数据和第二特征数据进行聚类形成所述同一待验证对象的图像集。

在一些可能的实施方式中，所述第二验证模块还用于通过以下方式中的至少一种执行所述基于所述图像集中每个图像对应的相似度确定所述图像集是否满足第二预设条件：

所述图像集中各图像对应的相似度中的最大相似度大于第一相似度阈值；

所述图像集中各图像对应的相似度中大于第二相似度阈值的相似度的特征数据数量超过预设比例；

所述图像集中各图像对应的相似度中的最小相似度大于第三相似度阈值。

在一些可能的实施方式中，所述第二验证模块还用于在所述图像集中图像之间的相似度不满足预设条件的情况下，删除该图像集对应的全部图像。

在一些可能的实施方式中，所述第二验证模块还用于在所述特征数据集中的特征数据对应的图像为在不同的时间范围内通过不同的摄像模组采集的图像的情况下，则确定所述特征数据集对应的待验证对象为陌生人。

在一些可能的实施方式中，所述获取模块还用于分别获取第一摄像模组采集的第一视频和至少一个第二摄像模组采集的第二视频，对所述第一视频进行预处理获得第三图像以及对所述第二视频进行预处理得到第四图像，或者接收第三图像和第四图像，以及

将第三图像中满足质量要求的图像确定为所述第一图像，以及将第四图像中满足质量要求的图像确定为第二图像。

在一些可能的实施方式中，所述获取模块还用于在所述获取待验证对象的第一图像和第二图像之后，且在所述获取所述第一图像的第一特征数据，并将所述第一特征数据与目标库中的特征数据进行对比以执行身份验证，获取第一验证结果之前，检测所述第一图像和/或第二图像中是否包含预定特征，并

响应于所述第一图像和/或第二图像中包含预定特征的情况，对包含所述预定特征的第一图像和/或第二图像进行标记，其中，所述预定特征包括口罩、帽子、墨镜中的至少一种。

在一些可能的实施方式中，所述装置还包括提示模块，其用于输出提示所述第一验证结果或者第二验证结果。

在一些可能的实施方式中，所述提示模块还用于响应于第一验证结果为验证成功的情况，通过预设的方式输出所述待验证对象的身份及其关联信息，以及在确定该待验证对象为已标记的陌生人时，输出被标记为陌生人的次数；或者

输出所述第二验证结果。

在一些可能的实施方式中，所述第二验证模块还用于响应于第二验证结果为待验证对象为陌生人的情况，将该待验证对象对应的第一图像、第二图像以及关联信息存储至所述目标库，以及控制通过用户交互界面显示被判定为陌生人的验证结果，统计信息和提示信息。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述

本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。

本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述方法。

电子设备可以被提供为终端、服务器或其它形态的设备。

图11是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。

参照图11，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。

图12是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图12，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(i/o)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如windowsservertm，macosxtm，unixtm，linuxtm，freebsdtm或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。