多模态多策略融合的陌生人识别方法和系统与流程

本发明涉及人脸识别技术领域，尤其是涉及一种多模态多策略融合的陌生人识别方法和系统。

背景技术：

现代公司的绝密资料(例如生产工艺资料)的泄露和生产物料的丢失一直以来都是公司管控的难点。而对所有进入公司园区的人员进行管控追溯、及时识别陌生人员和可疑人员并能形成相应轨迹和频次分析，实现在发生问题前进行有效的预警、在发生问题后进行有效的追溯，可以在很大程度上缓解上述问题。在这个过程中，核心是陌生人员和可疑人员的识别。

现有技术中，通常采用的陌生人识别方法是通过员工库、家属库等黑白名单库的识别结果，直接判断非上述库内人员都为陌生人。该方法仅通过单张单维度的信息进行陌生人判断，存在误识别率高的技术问题，同时还存在着精度和召回率都较低的技术问题。

技术实现要素：

有鉴于此，本发明的目的在于提供一种多模态多策略融合的陌生人识别方法和系统，以缓解了现有技术中存在的误识别率高和精度低、召回率低的技术问题。

第一方面，本发明实施例提供了一种多模态多策略融合的陌生人识别方法，应用于服务器，包括：通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量；将所述多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；所述预设特征向量库为预设人脸图像的特征向量的集合；基于所述比对结果对所述多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；所述第一识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像；基于所述多个特征向量对所述多个待识别人脸图像进行聚类分析，得到多个人脸类别；其中一个人脸类别对应于一个人的人脸；基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果，所述第二识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。

进一步地，包括：在通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量之前，所述方法还包括：检测多个目标图像中的人脸图像，得到多个初始人脸图像；所述多个目标图像为包括待识别人脸图像的图像帧；基于所述多个初始人脸图像得到多个待识别人脸图像。

进一步地，基于所述多个初始人脸图像得到多个待识别人脸图像，包括：通过训练之后的人脸质量评估模型对所述多个初始人脸图像进行质量评估操作，得到人脸质量分数；将所述多个初始人脸图像中所述人脸质量分数高于预设分数的人脸图像，作为待识别人脸图像。

进一步地，基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果，包括：将属于同一个人脸类别的多个待识别人脸图像的第一识别结果，修正为相同的识别结果，得到第二识别结果。

进一步地，在基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果之后，所述方法还包括：获取属于同一个人脸类别的多个待识别人脸图像的抓拍位置信息；基于所述抓拍位置信息，绘制所述人脸类别所对应的目标人脸的移动路径。

进一步地，在基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果之后，所述方法还包括：将所述第二识别结果为陌生人脸图像的待识别图像存入预设陌生人脸底库。

第二方面，本发明实施例还提供了一种多模态多策略融合的陌生人识别系统，应用于服务器，包括：特征提取模块，比对模块，识别模块，聚类模块和修正模块，其中，所述特征提取模块，用于通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量；所述比对模块，用于将所述多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；所述预设特征向量库为预设人脸图像的特征向量的集合；所述识别模块，用于基于所述比对结果对所述多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；所述第一识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像；所述聚类模块，用于基于所述多个特征向量对所述多个待识别人脸图像进行聚类分析，得到多个人脸类别；其中一个人脸类别对应于一个人的人脸；所述修正模块，用于基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果，所述第二识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。

进一步地，所述系统还包括：路径绘制模块，用于：获取属于同一个人脸类别的多个待识别人脸图像的抓拍位置信息；基于所述抓拍位置信息，绘制所述人脸类别所对应的目标人脸的移动路径。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。

第四方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面所述方法。

本发明提供了一种多模态多策略融合的陌生人识别方法和系统，通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量；将多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；基于比对结果对多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；基于多个特征向量对多个待识别人脸图像进行聚类分析，得到多个人脸类别；基于多个人脸类别对第一识别结果进行修正，得到第二识别结果。本发明通过将人脸识别模型与聚类分析相融合的方式，提高了陌生人脸识别的准确率，以及提升了陌生人识别抓取的召回率和精度，缓解了现有技术中存在的误识别率高和精度低、召回率低的技术问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多模态多策略融合的陌生人识别方法的流程图；

图2为本发明实施例提供的另一种多模态多策略融合的陌生人识别方法的流程图；

图3为本发明实施例提供的一种多模态多策略融合的陌生人识别系统的示意图；

图4为本发明实施例提供的另一种多模态多策略融合的陌生人识别系统的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

图1是根据本发明实施例提供的一种多模态多策略融合的陌生人识别方法的流程图，该方法应用于服务器。如图1所示，该方法具体包括如下步骤：

步骤s102，通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量。

步骤s104，将多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；预设特征向量库为预设人脸图像的特征向量的集合。

可选地，预设向量库包括已知人脸图像的特征向量库和陌生人脸的特征向量库，其中，已知人脸图像向量库包括：员工底库，家属底库，常驻外包底库和黑名单底库。

步骤s106，基于比对结果对多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；第一识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。

步骤s108，基于多个特征向量对多个待识别人脸图像进行聚类分析，得到多个人脸类别；其中一个人脸类别对应于一个人的人脸。

步骤s110，基于多个人脸类别对第一识别结果进行修正，得到第二识别结果，第二识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。

本发明提供的一种多模态多策略融合的陌生人识别方法，通过将人脸识别模型与聚类分析相融合的方式，提高了陌生人脸识别的准确率，以及提升了陌生人识别抓取的召回率和精度，缓解了现有技术中存在的误识别率高和精度低、召回率低的技术问题。

可选地，本发明实施例提供的方法在步骤s102之前还包括获取多个待识别人脸图像的步骤，具体地，检测多个目标图像中的人脸图像，得到多个初始人脸图像；多个目标图像为包括待识别人脸图像的图像帧；基于多个初始人脸图像得到多个待识别人脸图像。

在本发明实施例中，首先通过摄像头获取包括待识别人脸图像的图像帧，然后通过人脸检测的方法对图像帧进行人脸检测和人脸对齐操作，获取对齐矫正之后的人脸图像，得到多个初始人脸图像，再对初始人脸图像进行人脸质量筛选，过滤掉模糊、遮挡、大姿态、强光照等人脸质量不合格的人脸图像，最后得到多个待识别人脸图像。

具体地，基于多个初始人脸图像得到多个待识别人脸图像，包括：通过训练之后的人脸质量评估模型对多个初始人脸图像进行质量评估操作，得到人脸质量分数；将多个初始人脸图像中人脸质量分数高于预设分数的人脸图像，作为待识别人脸图像。

在本发明实施例中，将多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；然后基于比对结果对多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果。

具体地，首先计算每个特征向量与预设特征向量库中的特征向量之间的距离，判断最小距离是否小于预设阈值；如果小于，则可以确定所述特征向量是属于预设特征向量库中的已知人脸图像的特征向量库还是陌生人脸的特征向量库；如果大于或者等于，则确定所述特征向量不在预设特征向量库中；将上述判断结果确定为比对结果。根据比对结果，例如特征向量属于已知人脸图像的特征向量库，则识别该特征向量所对应的待识别人脸图像为非陌生人脸图像；如果特征向量属于陌生人脸的特征向量库或者该特征向量不在预设特征向量库中，则识别该特征向量所对应的待识别人脸图像为陌生人脸图像。

可选地，步骤s110包括：将属于同一个人脸类别的多个待识别人脸图像的第一识别结果，修正为相同的识别结果，得到第二识别结果。

具体地，首先确定属于同一个人脸类别的多个待识别人脸图像中，每个待识别人脸图像的第一识别结果，如果多个带识别人脸图像的第一识别结果不相同，则根据每种识别结果所对应的待识别人脸图像的所占比例对第一识别结果进行修正，修正为相同的识别结果。例如，属于同一个人脸类别的待识别人脸图像的数量为10个，其中有8个待识别人脸图像的第一识别结果为陌生人脸图像，有2个待识别人脸图像的第一识别结果为非陌生人脸图像，则将2个识别结果为非陌生人脸图像的待识别人脸图像的识别结果修正为陌生人脸图像。

可选地，图2是根据本发明实施例提供的另一种多模态多策略融合的陌生人识别方法的流程图，如图2所示，该方法还包括：

步骤s112，获取属于同一个人脸类别的多个待识别人脸图像的抓拍位置信息。

具体地，可以根据待识别人脸图像所在的图像帧所对应的抓拍视频，以及拍摄所述抓拍视频的摄像头的位置，确定待识别人脸图像的抓拍位置信息。

步骤s114，基于抓拍位置信息，绘制人脸类别所对应的目标人脸的移动路径。

在本发明实施例中，可以根据人脸识别结果，确定每个人脸类别对应的待识别人脸图像是否属于陌生人脸图像，同时能够根据待识别人脸图像的抓拍位置信息，绘制每个人脸类别对应的人脸的移动路径。例如，可以绘制出识别到的陌生人脸图像的移动路径，从而可以实现对进入识别区域内的陌生人的出入进行跟踪的功能。

可选地，如图2所示，该方法还包括：

步骤s116，将第二识别结果为陌生人脸图像的待识别图像存入预设陌生人脸底库。

具体地，将步骤s108中得到的每个人脸类别的聚类中心所对应的待识别人脸图像存入预设陌生人脸底库。

本发明实施例提供了一种多模态多策略融合的陌生人识别方法，通过摄像头获取抓拍数据后首先对抓拍的图片进行人脸检测对齐，获取对齐矫正后的人脸图像，然后经过人脸识别完成特征向量提取并与预设特征向量库的特征向量进行检索比对，得到第一识别结果，再经过聚类算法对第一识别结果进行修正，得到最终的第二识别结果，最后根据第二识别结果完成当天陌生人入库。

本发明实施例融合了人脸检测、人脸质量评估、人脸识别特征、聚类算法以及动线轨迹分析等多种模态和多种策略，实现了完备的陌生人识别方法，极大的提升了陌生人识别抓取的召回和精度，以及提高了对于陌生人的识别准确率。

实施例二：

图3是根据本发明实施例提供的一种多模态多策略融合的陌生人识别系统的示意图，该系统应用于服务器。如图3所示，该系统包括：特征提取模块10，比对模块20，识别模块30，聚类模块40和修正模块50。

具体地，特征提取模块10，用于通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量。

比对模块20，用于将多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；预设特征向量库为预设人脸图像的特征向量的集合。

识别模块30，用于基于比对结果对多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；第一识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。

聚类模块40，用于基于多个特征向量对多个待识别人脸图像进行聚类分析，得到多个人脸类别；其中一个人脸类别对应于一个人的人脸。

修正模块50，用于基于多个人脸类别对第一识别结果进行修正，得到第二识别结果，第二识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。

具体地，修正模块50，用于将属于同一个人脸类别的多个待识别人脸图像的第一识别结果，修正为相同的识别结果，得到第二识别结果。

本发明提供了一种多模态多策略融合的陌生人识别系统，通过特征提取模块利用训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量；通过比对模块将多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；通过识别模块基于比对结果对多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；基通过聚类模块于多个特征向量对多个待识别人脸图像进行聚类分析，得到多个人脸类别；最后通过修正模块基于多个人脸类别对第一识别结果进行修正，得到第二识别结果。本发明通过将人脸识别模型与聚类分析想融合的方式，提高了陌生人脸识别的准确率，以及提升了陌生人识别抓取的召回率和精度，缓解了现有技术中存在的误识别率高和精度低、召回率低的技术问题。

可选地，图4是根据本发明实施例提供的另一种多模态多策略融合的陌生人识别方法和系统的示意图，如图4所示，该系统还包括：人脸检测模块60和人脸质量评估模块70。

具体地，人脸检测模块60，用于检测多个目标图像中的人脸图像，得到多个初始人脸图像；其中，多个目标图像为包括待识别人脸图像的图像帧。

人脸质量评估模块70，用于基于多个初始人脸图像得到多个待识别人脸图像。

具体地，人脸质量评估模块70，用于通过训练之后的人脸质量评估模型对多个初始人脸图像进行质量评估操作，得到人脸质量分数；将多个初始人脸图像中人脸质量分数高于预设分数的人脸图像，作为待识别人脸图像。

可选地，如图4所示，系统还包括：路径绘制模块80，用于获取属于同一个人脸类别的多个待识别人脸图像的抓拍位置信息；基于抓拍位置信息，绘制人脸类别所对应的目标人脸的移动路径。

可选地，如图4所示，系统还包括：入库模块90，用于将第二识别结果为陌生人脸图像的待识别图像存入预设陌生人脸底库。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例一中的方法的步骤。

本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述实施例一中的方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。