人脸识别方法、装置和系统与流程

本公开涉及物联网智能视频监控领域，尤其涉及一种人脸识别方法、装置和系统。

背景技术：

在智能视频监控应用中，人脸识别作为生物特征识别的重要组成，使用隐蔽性强、涵盖应用目标对象广，在各行业都具有规模应用的需求和条件。人脸检测在动态的场景与复杂的背景中判断是否存在面像、并分离出这种面像时，各种场所设置的普通监控摄像头拍摄的视频进行面部识别时，会受到环境条件，如摄像机架控位置、光线环境、被拍摄对象的大小、人脸自身遮盖等原因影响，识别的人脸会出现侧脸、半边脸等局部脸部特征的情况。

技术实现要素：

本公开要解决的一个技术问题是提供一种人脸识别方法、装置和系统，能够提高人脸识别的准确性。

根据本公开一方面，提出一种人脸识别方法，包括：接收视频监控设备发送的视频图像和监控时间信息；若视频图像中包含待识别人脸图像，则根据监控时间查找视频监控设备获得的用户设备标识信息；根据用户设备标识信息确定对应的完整人脸图像；将完整人脸图像与待识别人脸图像进行匹配，识别出待识别人脸图像的整体面部特征。

可选地，该人脸识别方法还包括：将用户设备标识信息对应的完整人脸图像进行聚类分析；将每一类完整人脸图像的关键面部特征进行加权计算；将待识别人脸图像的关键面部特征进行加权计算；将待识别人脸图像的关键面部特征的加权值与完整人脸图像的关键面部特征的加权值进行匹配；将与待识别人脸图像的关键面部特征的加权值最匹配的完整人脸图像的整体面部特征作为待识别人脸图像的整体面部特征。

可选地，该人脸识别方法还包括：将识别出的待识别人脸图像的整体面部特征与数据库中的人脸图像的整体面部特征进行比对，确定待识别人图像对应的人员身份信息；其中，数据库中保存有人脸图像的整体面部特征与人员身份信息的对应关系。

可选地，该人脸识别方法还包括：通过视频拼接将视频图像中识别出的待识别人脸图像进行合成，动态呈现待识别人脸图像的完整人脸图像。

可选地，用户设备标识信息为用户设备的mac地址。

根据本公开的另一方面，还提出一种人脸识别装置，包括：信息接收单元，用于接收视频监控设备发送的视频图像和监控时间信息；待识别人脸确定单元，用于确定视频图像中是否包含待识别人脸图像；设备标识信息获取单元，用于若视频图像中包含待识别人脸图像，则根据监控时间查找视频监控设备获得的用户设备标识信息；完整人脸图像确定单元，用于根据用户设备标识信息确定对应的完整人脸图像；人脸匹配单元，用于将完整人脸图像与待识别人脸图像进行匹配，识别出待识别人脸图像的整体面部特征。

可选地，该人脸识别装置还包括：聚类分析单元，用于将用户设备标识信息对应的完整人脸图像进行聚类分析；面部特征加权计算单元，用于将每一类完整人脸图像的关键面部特征进行加权计算，以及将待识别人脸图像的关键面部特征进行加权计算；其中，人脸匹配单元用于将待识别人脸图像的关键面部特征的加权值与完整人脸图像的关键面部特征的加权值进行匹配，将与待识别人脸图像的关键面部特征的加权值最匹配的完整人脸图像的整体面部特征作为待识别人脸图像的整体面部特征。

可选地，该人脸识别装置还包括：人员身份确定单元，用于将识别出的待识别人脸图像的整体面部特征与数据库中的人脸图像的整体面部特征进行比对，确定待识别人图像对应的人员身份信息；其中，数据库中保存有人脸图像的整体面部特征与人员身份信息的对应关系。

可选地，该人脸识别装置还包括：人脸图像合成单元，用于通过视频拼接将视频图像中识别出的待识别人脸图像进行合成，动态呈现待识别人脸图像的完整人脸图像。

可选地，用户设备标识信息为用户设备的mac地址。

根据本公开的另一方面，还提出一种人脸识别系统，包括：视频监控设备和上述的人脸识别装置；其中，视频监控设备具有无线探测功能。

根据本公开的另一方面，还提出一种人脸识别装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的人脸识别方法。

根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的人脸识别方法的步骤。

本公开若视频图像中包含待识别人脸图像，则根据监控时间查找视频监控设备获得的用户设备标识信息，并根据用户设备标识信息确定对应的完整人脸图像，将完整人脸图像与待识别人脸图像进行匹配，识别出待识别人脸图像的整体面部特征，能够动态优化人脸图像，提高人脸识别的准确性。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开人脸识别方法的一个实施例的流程示意图。

图2为本公开人脸识别方法的另一个实施例的流程示意图。

图3为本公开人脸识别方法的再一个实施例的流程示意图。

图4为本公开人脸识别装置的一个实施例的结构示意图。

图5为本公开人脸识别装置的另一个实施例的结构示意图。

图6为本公开人脸识别系统的一个实施例的结构示意图。

图7为本公开人脸识别装置的再一个实施例的结构示意图。

图8为本公开人脸识别装置的又一个实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

图1为本公开人脸识别方法的一个实施例的流程示意图。

在步骤110，接收视频监控设备发送的视频图像和监控时间信息。其中，该视频图像中可能包含侧脸、半边脸等局部脸部图像，也可能包含完整的人脸图像。

在步骤120，若视频图像中包含待识别人脸图像，则根据监控时间查找视频监控设备获得的用户设备标识信息。其中，视频监控设备具有无线探测功能，用户设备标识信息为用户设备的mac地址。例如，若视频图像包括侧脸图像，则可以根据监控时间查找通过wifi探针获取用户终端mac地址，该wifi探针可以设置在视频监控设备内。

在步骤130，根据用户设备标识信息确定对应的完整人脸图像。例如，通过该区域的其他视频监控设备可以获得用户设备标识信息对应的完整人脸图像。

在步骤140，将完整人脸图像与待识别人脸图像进行匹配，识别出待识别人脸图像的整体面部特征。例如，在同一时间，在区域内的其他监控视频中有对应的完整人脸图像，并且也通过wifi探针获取该完整人脸图像对应的用户终端mac地址，若待识别人脸图像对应的用户终端mac地址与完整人脸图像对应的用户终端mac地址相同，则认为该完整人脸图像的面部特征为待识别人脸图像的整体面部特征。

在该实施例中，若视频图像中包含待识别人脸图像，则根据监控时间查找视频监控设备获得的用户设备标识信息，并根据用户设备标识信息确定对应的完整人脸图像，将完整人脸图像与待识别人脸图像进行匹配，识别出待识别人脸图像的整体面部特征，能够动态优化人脸图像，提高人脸识别的准确性。

图2为本公开人脸识别方法的另一个实施例的流程示意图。

在步骤210，接收视频监控设备发送的视频图像和监控时间信息。

在步骤220，若视频图像中包含待识别人脸图像，则根据监控时间查找视频监控设备获得的用户设备标识信息。

在步骤230，根据用户设备标识信息确定对应的完整人脸图像。其中，由于同一视频画面中可能包含多个人脸的情况，因此，匹配该用户设备标识信息的人脸可能为多个不同的人。

在步骤240，将用户设备标识信息对应的完整人脸图像进行聚类分析。通过对完整人脸图像进行聚类分析，可以确定视频画面中对应多少类完整人脸图像，即对应多少个人。

在步骤250，将每一类完整人脸图像的关键面部特征进行加权计算。

在步骤260，将待识别人脸图像的关键面部特征进行加权计算。

其中，步骤250和步骤260可以同时执行，也可以不分先后的执行。

在步骤270，将待识别人脸图像的关键面部特征的加权值与完整人脸图像的关键面部特征的加权值进行匹配。

在步骤280，将与待识别人脸图像的关键面部特征的加权值最匹配的完整人脸图像的整体面部特征作为待识别人脸图像的整体面部特征。其中，对人脸信息进行特征向量的比对分析后，可以进行智能补偿等预处理，完成预处理后，可以得到较全面特征的人脸图像，优化出最合适的人脸图像，使得图像细节特征更清晰。

在该实施例中，对于同一视频图像中有多个人脸信息的情况，可以先对完整人脸图像进行聚类分析，将每一类完整人脸图像的关键面部特征进行加权计算，同时对待识别人脸图像的关键面部特征进行加权计算，然后将待识别人脸图像的关键面部特征的加权值与完整人脸图像的关键面部特征的加权值进行匹配，将最匹配的完整人脸图像的整体面部特征作为待识别人脸图像的整体面部特征，能够完善视频中的局部脸部图像，优化出视频中待识别人脸的完整容貌，实现多监控区域动态获取跟踪目标，并且提高了人脸图像的感官效果。

图3为本公开人脸识别方法的再一个实施例的流程示意图。其中视频监控设备可以为具有wifi探测功能的摄像机，能够进行视频拍摄，同时能够探测到用户终端的mac地址。

在步骤310，摄像机获取一个无法识别的侧脸视频，将该视频发送至人脸识别装置，其中，该视频中携带时间信息。

在步骤320，人脸识别装置分析出该侧脸人员视频片段，并对监控画面中的待识别人脸进行截图，同时获取时间信息。

在步骤330，人脸识别装置向摄像机发送获取用户终端mac地址的请求。

在步骤340，摄像机基于时间信息向人脸识别装置发送用户终端mac地址。

在步骤350，人脸识别装置通过用户终端mac地址获取一个或多个完整人脸图像。

在步骤360，将完整人脸图像与待识别人脸图像进行匹配。其中，可以根据关键特征相似度等确认出待识别人脸的整体面部特征。

在步骤370，将识别出的待识别人脸图像的整体面部特征与数据库中的人脸图像的整体面部特征进行比对，确定待识别人图像对应的人员身份信息。其中，数据库中保存有人脸图像的整体面部特征与人员身份信息的对应关系。

在该实施例中，通过进行mac地址比对，优化出待识别人脸的完整面貌，动态优化人脸图像的模式，再做人脸识别分析，从而得到细节特征更加清晰的人脸图像，提高人脸识别的准确性与完整性。

另外，本公开还可以通过视频拼接将识别出的待识别人脸图像进行合成，动态呈现待识别人脸图像的完整人脸图像，实现全方位的人脸识别，进而进行多监控区域动态获取跟踪目标。用户可以通过客户端查看人脸识别结果以及对视频进行实时播放和录像。

图4为本公开人脸识别装置的一个实施例的结构示意图。该人脸识别装置包括信息接收单元410、待识别人脸确定单元420、设备标识信息获取单元430、完整人脸图像确定单元440和人脸匹配单元450，其中：

信息接收单元410用于接收视频监控设备发送的视频图像和监控时间信息。其中，该视频图像中可能包含侧脸、半边脸等局部脸部图像，也可能包含完整的人脸图像。

待识别人脸确定单元420用于确定视频图像中是否包含待识别人脸图像。

设备标识信息获取单元430用于若视频图像中包含待识别人脸图像，则根据监控时间查找视频监控设备获得的用户设备标识信息。其中，视频监控设备具有无线探测功能，用户设备标识信息为用户设备的mac地址。

完整人脸图像确定单元440用于根据用户设备标识信息确定对应的完整人脸图像。

人脸匹配单元450用于将完整人脸图像与待识别人脸图像进行匹配，识别出待识别人脸图像的整体面部特征。

在该实施例中，若视频图像中包含待识别人脸图像，则根据监控时间查找视频监控设备获得的用户设备标识信息，并根据用户设备标识信息确定对应的完整人脸图像，将完整人脸图像与待识别人脸图像进行匹配，识别出待识别人脸图像的整体面部特征，能够动态优化人脸图像，提高人脸识别的准确性。

图5为本公开人脸识别装置的另一个实施例的结构示意图。该人脸识别装置包括信息接收单元510、待识别人脸确定单元520、设备标识信息获取单元530、完整人脸图像确定单元540、聚类分析单元550、面部特征加权计算单元560和人脸匹配单元570，其中：

信息接收单元510用于接收视频监控设备发送的视频图像和监控时间信息。待识别人脸确定单元520用于确定视频图像中是否包含待识别人脸图像。设备标识信息获取单元530用于若视频图像中包含待识别人脸图像，则根据监控时间查找视频监控设备获得的用户设备标识信息。完整人脸图像确定单元540用于根据用户设备标识信息确定对应的完整人脸图像。聚类分析单元550用于将用户设备标识信息对应的完整人脸图像进行聚类分析。通过对完整人脸图像进行聚类分析，可以确定视频画面中对应多少类完整人脸图像，即对应多少个人。面部特征加权计算单元560用于将每一类完整人脸图像的关键面部特征进行加权计算，以及将待识别人脸图像的关键面部特征进行加权计算。人脸匹配单元570用于将待识别人脸图像的关键面部特征的加权值与完整人脸图像的关键面部特征的加权值进行匹配，将与待识别人脸图像的关键面部特征的加权值最匹配的完整人脸图像的整体面部特征作为待识别人脸图像的整体面部特征。

在该实施例中，对于同一视频图像中有多个人脸信息的情况，可以先对完整人脸图像进行聚类分析，将每一类完整人脸图像的关键面部特征进行加权计算，同时对待识别人脸图像的关键面部特征进行加权计算，然后将待识别人脸图像的关键面部特征的加权值与完整人脸图像的关键面部特征的加权值进行匹配，将最匹配的完整人脸图像的整体面部特征作为待识别人脸图像的整体面部特征，能够完善视频中的局部脸部图像，优化出视频中待识别人脸的完整容貌，实现多监控区域动态获取目标跟踪，并且提高了人脸图像的感官效果。

在本公开的另一个实施例中，该人脸识别装置还可以包括人员身份确定单元580，用于将识别出的待识别人脸图像的整体面部特征与数据库中的人脸图像的整体面部特征进行比对，确定待识别人图像对应的人员身份信息；其中，数据库中保存有人脸图像的整体面部特征与人员身份信息的对应关系。

在本公开的另一个实施例中，该人脸识别装置还可以包括人脸图像合成单元590，用于通过视频拼接将视频图像中识别出的待识别人脸图像进行合成，动态呈现待识别人脸图像的完整人脸图像。

通过上述实施例，本公开能够实现全方位的人脸识别，进而进行多监控区域动态获取跟踪目标。

图6为本公开人脸识别系统的一个实施例的结构示意图。该人脸识别系统包括视频监控设备610和人脸识别装置620，其中，人脸识别装置620已在上述实施例中进行了详细介绍，视频监控设备610具有无线探测功能，例如为具有wifi探测功能的摄像机，能够进行视频拍摄，同时能够探测到用户终端的mac地址。

本公开可以在监控区域内设置多个视频监控设备实现监控场景多处覆盖的效果，通过上述方式匹配出多处关键特征人脸图像，实现全方位的人脸识别，提高人脸识别的整体效率。

图7为本公开人脸识别装置的再一个实施例的结构示意图。该人脸识别装置包括存储器710和处理器720。其中：存储器710可以是磁盘、闪存或其它任何非易失性存储介质。存储器710用于存储图1-3所对应实施例中的指令。处理器720耦接至存储器710，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器720用于执行存储器中存储的指令。

在一个实施例中，还可以如图8所示，该人脸识别装置800包括存储器810和处理器820。处理器820通过bus总线830耦合至存储器810。该人脸识别装置800还可以通过存储接口840连接至外部存储装置850以便调用外部数据，还可以通过网络接口860连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够动态优化人脸图像，提高人脸识别的准确性。

在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1-3所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。