动态人脸识别的方法、装置、系统和介质与流程

本公开涉及电子技术领域，更具体地，涉及一种动态人脸识别的方法、装置、系统和介质。

背景技术：

随着人工智能、自动控制、通信和计算机技术的快速发展，人脸识别得到了广泛的应用和发展。目前人脸识别采用的普遍是静态模式，即静态人脸识别技术。具体应用场景可以是用于人脸识别的刷脸机固定在某个位置，待识别者需要走到刷脸机正前方某个距离较近的位置，静止直视刷脸机屏幕，等待几秒后方可完成识别。

在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题：这种静态人脸识别技术是在特定的区域或者范围之内进行人脸识别，即静态人脸识别对角度、距离、位置的要求会比较高。因此，一方面，使得该静态识别技术的应用范围受到限制，另一方面在需要在短时间内识别量要求比较大的应用场景中，往往需要待识别者排队等候，凸显识别效率低下的问题。

技术实现要素：

有鉴于此，本公开提供了一种可以识别非静止状态下的人物对象的人脸的动态人脸识别方法。

本公开的一个方面提供了一种动态人脸识别的方法。所述方法包括：获取一幅或多幅图像，所述一幅或多幅图像中的至少一幅图像为包括一个或多个人脸的特定图像，其中，所述一个或多个人脸中的至少一个人脸对应的人物对象在所述特定图像的拍摄时刻处于非静止状态；从所述一幅或多幅图像中提取人脸图像；将提取的所述人脸图像归类至至少一个人脸图像集合，其中同一个所述人脸图像集合中的人脸图像对应于同一个待识别人物；以及对每个所述人脸图像集合中的人脸图像进行人脸识别，以确定每个所述人脸图像集合对应的待识别人物的身份。

根据本公开的实施例，对每个所述人脸图像集合中的人脸图像进行人脸识别，以确定每个所述人脸图像集合对应的待识别人物的身份，包括对于每个所述人脸图像集合：将所述人脸图像集合中的每一个人脸图像与人脸库中的人脸图像对比进行人脸识别，获取所述人脸图像集合中的每一个人脸图像的识别结果，得到由所述识别结果组成的识别结果集合，以及根据所述识别结果集合确定与所述人脸图像集合对应的待识别人物的身份。

根据本公开的实施例，在所述识别结果集合中识别成功的识别结果指向一个已知的特定对象的情况下，根据所述识别结果集合确定与所述人脸图像集合对应的待识别人物的身份，包括确定与所述人脸图像集合对应的待识别人物的身份为所述特定对象。根据本公开的实施例，在所述识别结果集合中包括识别失败的识别结果的情况下，所述方法还包括将所述识别失败的识别结果对应的人脸图像录入所述人脸库，以扩充所述特定对象在所述人脸库中的人脸图像。

根据本公开的实施例，在所述识别结果集合中存在多个识别成功的识别结果分别指向不同的已知对象的情况下，根据所述识别结果集合确定与所述人脸图像集合对应的待识别人物的身份，包括确定与所述人脸图像集合对应的待识别人物的身份识别错误。根据本公开的实施例，在根据所述识别结果集合确定与所述人脸图像集合对应的待识别人物的身份之后，所述方法还包括获取与所述人脸图像集合对应的待识别人物的身份证明信息，以及根据所述身份证明信息，纠正与所述人脸图像集合对应的待识别人物的身份。

根据本公开的实施例，对于连续拍摄的多幅图像，将提取的所述人脸图像归类至至少一个人脸图像集合，包括计算当前图像中的每一个人脸图像的几何中心与所述当前图像的前一幅图像中的每个人脸图像的几何中心在绝对空间中的距离，以及将所述当前图像中的每一个人脸图像归类至与该每一个人脸图像的所述距离最小的人脸图像所在的人脸图像集合。

本公开的另一个方面提供了一种动态人脸识别的装置。所述装置包括图像获取模块、人脸图像提取模块、人脸图像归类模块以及人脸图像识别模块。图像获取模块用于获取一幅或多幅图像，所述一幅或多幅图像中的至少一幅图像为包括一个或多个人脸的特定图像，其中，所述一个或多个人脸中的至少一个人脸对应的人物对象在所述特定图像的拍摄时刻处于非静止状态。人脸图像提取模块用于从所述一幅或多幅图像中提取人脸图像。人脸图像归类模块用于将提取的所述人脸图像归类至至少一个人脸图像集合，其中同一个所述人脸图像集合中的人脸图像对应于同一个待识别人物。人脸识别模块用于对每个所述人脸图像集合中的人脸图像进行人脸识别，以确定每个所述人脸图像集合对应的待识别人物的身份。

根据本公开的实施例，所述人脸识别模块对每个所述人脸图像集合中的人脸图像进行人脸识别，以确定每个所述人脸图像集合对应的待识别人物的身份，包括对于每个所述人脸图像集合：将所述人脸图像集合中的每一个人脸图像与人脸库中的人脸图像对比进行人脸识别，获取所述人脸图像集合中的每一个人脸图像的识别结果，得到由所述识别结果组成的识别结果集合，以及根据所述识别结果集合确定与所述人脸图像集合对应的待识别人物的身份。

根据本公开的实施例，在所述识别结果集合中识别成功的识别结果指向一个已知的特定对象的情况下，所述人脸识别模块根据所述识别结果集合确定与所述人脸图像集合对应的待识别人物的身份，包括确定与所述人脸图像集合对应的待识别人物的身份为所述特定对象。根据本公开的实施例，所述人脸图像提取模块还用于在所述识别结果集合中包括识别失败的识别结果的情况下，将所述识别失败的识别结果对应的人脸图像录入所述人脸库，以扩充所述特定对象在所述人脸库中的人脸图像。

根据本公开的实施例，在所述识别结果集合中存在多个识别成功的识别结果分别指向不同的已知对象的情况下，所述人脸识别模块根据所述识别结果集合确定与所述人脸图像集合对应的待识别人物的身份，包括确定与所述人脸图像集合对应的待识别人物的身份识别错误。根据本公开的实施例，所述装置还包括身份信息获取模块和身份纠正模块。身份信息获取模块用于在根据所述识别结果集合确定与所述人脸图像集合对应的待识别人物的身份之后，获取与所述人脸图像集合对应的待识别人物的身份证明信息。身份纠正模块用于根据所述身份证明信息，纠正与所述人脸图像集合对应的待识别人物的身份。

根据本公开的实施例，对于连续拍摄的多幅图像，所述人脸图像归类模块将提取的所述人脸图像归类至至少一个人脸图像集合，包括计算当前图像中的每一个人脸图像的几何中心与所述当前图像的前一幅图像中的每个人脸图像的几何中心在绝对空间中的距离，以及将所述当前图像中的每一个人脸图像归类至与该每一个人脸图像的所述距离最小的人脸图像所在的人脸图像集合。

本公开的另一方面还提供了一种动态人脸识别的系统。所述系统包括一个或多个存储器，其上存储可执行指令，以及一个或多个处理器，执行所述可执行指令，用以实现如上所述的动态人脸识别的方法。

本公开的另一方面还提供了一种计算机可读存储介质，其上存储可执行指令，所述指令在被处理器执行时使得处理器执行如上所述的动态人脸识别的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的动态人脸识别的方法。

根据本公开的实施例，可以至少部分地避免现有的静态人脸识别技术对角度、距离、位置的要求比较高的问题，可以识别非静止状态下的人物对象的人脸，使得进行人脸识别时待识别者不需要必须静止地以特定的状态或角度站在特定的位置。根据本公开的实施例，可以对在非静止状态下的人物对象进行人脸识别。这样，在进行人脸识别时，待识别者可以处于自然的移动等动态状态，并且可以位于摄像头拍摄范围的任意位置，从而对于待识别而言这种人脸识别方式更加自然。这样，使得人脸识别可以应用的范围更广，而且效率更高。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的动态人脸识别的方法和装置的系统性架构；

图2示意性示出了根据本公开实施例的动态人脸识别的方法的流程图；

图3示意性示出了根据本公开实施例的图2中将人脸图像归类至至少一个人脸图像集合的方法的流程图；

图4示意性示出了根据本公开实施例的从一幅或多幅图像中提取人脸图像的一个实例的应用情景；

图5示意性示出了根据本公开实施例的根据人脸图像的几何中心在绝对空间中的距离进行人脸图像归类的一个实例的应用情景；

图6示意性示出了根据本公开实施例的将图5中的人脸图像归类获得的至少一个人脸图像集合的一个实例的应用情景；

图7示意性示出了根据本公开实施例的图2中确定每个人脸图像集合对应的待识别人物的身份的方法的流程图；

图8示意性示出了根据本公开另一实施例的动态人脸识别的方法的流程图；

图9示意性示出了根据本公开又一实施例的动态人脸识别的方法的流程图；

图10示意性示出了根据本公开实施例的动态人脸识别的装置的方框图；以及

图11示意性示出了根据本公开实施例的动态人脸识别的计算机系统的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“a或b”应当被理解为包括“a”或“b”、或“a和b”的可能性。

本公开的实施例提供了一种动态人脸识别的方法、装置、系统和介质。该方法包括：获取一幅或多幅图像，该一幅或多幅图像中的至少一幅图像为包括一个或多个人脸的特定图像，其中，该一个或多个人脸中的至少一个人脸对应的人物对象在该特定图像的拍摄时刻处于非静止状态；从该一幅或多幅图像中提取人脸图像；将提取的该人脸图像归类至至少一个人脸图像集合，其中同一个该人脸图像集合中的人脸图像对应于同一个待识别人物；以及对每个该人脸图像集合中的人脸图像进行人脸识别，以确定每个该人脸图像集合对应的待识别人物的身份。根据本公开的实施例，可以对非静止状态下的人物对象进行人脸识别，有效地扩展了人脸识别的应用范围，提高了人脸识别的效率。

图1示意性示出了根据本公开实施例的动态人脸识别的方法和装置的系统性架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，该系统架构100可以包括图像获取装置101、网络102和服务器103。网络102用于在图像获取装置101、和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

图像获取装置101可以获取一幅或多幅包括人脸的图像，并可以将这些图像经过网络102传输给服务器103。图像获取装置101具体可以是摄像头101、可穿戴设备或者终端设备101等。

摄像头101可以现场拍摄一幅或多幅包括人脸的图像。

可穿戴设备101可以具有前置摄像头。该前置摄像头可以用于拍摄采集一幅或多幅包括人脸的图像。在一些实施例中，可穿戴设备101可以穿戴于企业安防人员的身上(例如，头部)，用于辅助企业安防任意进行安防工作中的人脸识别。

终端设备101可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。终端设备101可以存储、或者从云端或网络上获取已经拍摄好的图像。在一些实施例中，终端设备101也可以具有摄像头，这样终端设备101也可以通过其自带的摄像头拍摄图像。终端设备101可以对获取到的图像进行一定的处理(例如，提取人脸图像)后通过网络102发送给服务器103，或者，也可以将获取到的图像不进行处理直接发送给服务器103。服务器103可以根据用户请求进行处理(例如，进行人脸识别)，并将处理结果反馈给终端设备101。

服务器103可以是提供各种服务的服务器，例如从接收到图像中通过人脸检测算法和/或人脸校准算法获取人脸图像。或者，在一些实施例中，可以将多幅图像中的人脸图像进行动态人脸跟踪计算等处理。在一些实施例中，服务器103可以将获取到的人脸图像进行人脸识别，从而获得人脸识别结果。

需要说明的是，本公开实施例所提供的动态人脸识别的方法一般可以由服务器103执行。相应地，本公开实施例所提供的动态人脸识别装置一般可以设置于服务器103中。本公开实施例所提供的动态人脸识别方法也可以由不同于服务器103且能够与和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的人动态脸识别装置也可以设置于不同于服务器103且能够与和/或服务器103通信的服务器或服务器集群中。或者，本公开实施例所提供的动态人脸识别的方法也可以部分由图像获取装置101执行，部分由服务器103执行。相应地，本公开实施例所提供的动态人脸识别的装置也可以部分设置于图像获取装置101中，部分设置于服务器103中。

应该理解，图1中的图像获取装置、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的的图像获取装置、网络和服务器。

图2示意性示出了根据本公开实施例的动态人脸识别的方法的流程图。

如图2所示，根据本公开的实施例，该动态人脸识别的方法包括操作s201～操作s204。

在操作s201，获取一幅或多幅图像，该一幅或多幅图像中的至少一幅图像为包括一个或多个人脸的特定图像，其中，该一个或多个人脸中的至少一个人脸对应的人物对象在该特定图像的拍摄时刻处于非静止状态。

在一些实施例中，该非静止状态例如可以是该人物对象处于行走、转身、跑步等运动状态。在另一些实施例中，该非静止状态也可以是该人物对象处于仅头部活动等的状态，例如该人物对象站在某一位置四处张望等。

根据本公开的实施例，当获取一幅图像时，该一幅图像即为该特定图像。当获取多幅图像时，该多幅图像中包括至少一幅该特定图像。在一些实施例中，该多幅图像可以是连续拍摄的多幅图像。通过该多幅图像的结合可以得到该人物对象在非静止状态下的状态连续变化过程。该连续拍摄的多幅图像可以是，例如摄像头连续拍照获得的多幅图，或者从一段视频中解析获得连续的多帧图像。在另一些实施例中，该多幅图像也可以是非连续拍摄的多幅图像，例如根据需要挑选出的多幅图像，例如在刑侦领域等可以根据筛选出的部分多幅图像进行人脸识别。

在操作s202，从该一幅或多幅图像中提取人脸图像。具体可以通过人脸检测和/或人脸校准的方法从该一幅或多幅图像中提取出人脸图像。人脸检测的实现过程，可以是首先通过检测从该一幅或多幅图像中找到人脸，然后可以将检测到的人脸用矩形框框出来。常用的人脸检测的方法包括基于haar特征的分类器、viola-jones算法、adaboost级联分类器、或者基于检测点的人脸检测方法等。人脸校准的实现过程，可以是对检测到的人脸进行姿态的校正，使其人脸尽可能“正”(例如，尽可能展现人脸的正面的全貌)。人脸校正的方法有2d校正、3d校正等方法。人脸校准可以提高人脸识别的精度。根据2014年在eccv(europeanconferenceoncomputervision，欧洲计算机视觉国际会议)上的论文可以知道，在一些实施例中，可以实现通过级联的方式，将人脸检测、人脸校准同时完成。

在操作s203，将提取的该人脸图像归类至至少一个人脸图像集合，其中同一个该人脸图像集合中的人脸图像对应于同一个待识别人物。例如，若在操作s201中获取的是一幅图像，则可以将从该一幅图像中提取到的人脸图像每一个归为一个人脸图像集合。又例如，若在操作s201中获取的是多幅图像，这种情况下就可以通过人脸跟踪的方法等将不同图像中的同一个人物对象的人脸图像归类在一起，从而方便进一步的人脸识别。将提取的人脸图像进行归类的人脸跟踪的方法可以多种多样。在一些实施例中，可以根据不同图像中提取的人脸图像的肤色信息的一致性或接近程度来判断。在另一些实施例中，可以根据不同图像中提取的人脸图像中的人脸局部器官的一致性来判断。在另一些实施例中，例如对于连续拍摄的多幅图像，基于运动轨迹的连续性，可以根据不同时刻提取的人脸图像的几何中心在绝对空间(例如，地球坐标系中)的最小距离来确定人脸图像的一致性，对此，可以参考图3的描述。

图3示意性示出了根据本公开实施例的图2中将人脸图像归类至至少一个人脸图像集合的方法的流程图。

如图3所示，根据本公开实施例，操作s203中将提取的该人脸图像归类至至少一个人脸图像集合具体可以包括操作s313和操作s323。

在操作s313，对于连续拍摄的多幅图像，计算当前图像中的每一个人脸图像的几何中心与该当前图像的前一幅图像中的每个人脸图像的几何中心在绝对空间中的距离。在一些实施例中，该距离可以是欧式距离。

计算在绝对空间中的距离可以根据摄像头在连续拍摄该多幅图像时是否发生位置和/或角度的变化来具体确定。例如，当在拍摄该连续拍摄的多幅图像的过程中，摄像头的位置和角度没有发生变化，则在绝对空间中的距离的计算，可以是计算基于每个人脸图像在每幅图像中的相对坐标计算得到的距离。又例如，当在拍摄该连续拍摄的多幅图像的过程中，摄像头的位置和/或角度发生了变化，则可以结合摄像头拍摄每幅图像时摄像头的位置和/或角度信息，以及每幅图像中提取得到的人脸图像的几何中心在该每幅图像中的坐标信息和/或景深信息，获得每个人脸图像的几何中心在该绝对空间中的坐标，然后基于每个人脸图像的几何中心在绝对空间中的坐标，计算两个人脸图像之间的距离。

在操作s323，将该当前图像中的每一个人脸图像归类至与该每一个人脸图像的该距离最小的人脸图像所在的人脸图像集合。

在操作s204，对每个该人脸图像集合中的人脸图像进行人脸识别，以确定每个该人脸图像集合对应的待识别人物的身份。

根据本公开的实施例，可以对在非静止状态下的人物对象进行人脸识别。这样，在进行人脸识别时，待识别者可以处于自然的移动等动态状态，并且可以位于摄像头拍摄范围的任意位置，从而对于待识别者而言这种人脸识别方式更加自然。在一些实施例中，还可以对该一幅或多幅图像中的多个人脸进行实时地识别，例如，采用高性能无损变焦、零延迟实时拍摄的摄像头，以及采实时运算能力强的处理设备，可以实现动态地、实时地人脸识别。这样，对于在短时间内大量人需要进行人脸识别的情况下，识别效率迅速提高。

下面参考图4～图6，结合具体实施例对图2和图3所示的方法做进一步说明。

图4示意性示出了根据本公开实施例的从一幅或多幅图像中提取人脸图像的一个实例的应用情景。具体地，图4示意了从一幅图像中提取人脸图像的实例。

如图4所示，在操作s201获取了一幅图像。然在操作s202通过人脸检测以及人脸校准，从该幅图像中提取出了四个人脸图像，如图4右侧图中分别用四个矩形框框出来的部分。

图5示意性示出了根据本公开实施例的根据人脸图像的几何中心在绝对空间中的距离进行人脸图像归类的一个实例的应用情景。具体地，图5中的图像是将一段视频进行解析得到的连续拍摄的多帧静态图像。在图5的示例中，从每一帧静态图像中可以提取出两个人脸图像，分别是一个女士的人脸图像和一个男士的人脸图像。

如图5所示，在将不同帧图像中提取的人脸图像进行归类时，首先计算每一帧图像中提取的每个人脸图像的几何中心、与其前一帧图像中的每个人脸图像的几何中心在绝对空间中的距离(例如，欧式距离)，然后将每个人脸图像归类至与其距离最小的其他人脸图像所在的人脸图像集合。

具体地，例如图5的示例中，以第2帧图像为当前图像，第2帧图像中提取出的两个人脸图像的几何中心在绝对空间中的坐标可以分别是：女士的人脸图像的几何中心(x21，y21，z21)、男士的人脸图像的几何中心(x22，y22，z22)，其中z21、z22可以是景深数据。

第2帧图像的前一帧图像为第1帧图像。从该第1帧图像中提取出的两个人脸图像的几何中心在绝对空间中的坐标可以分别是：女士的人脸图像的几何中心的坐标为(x11，y11，z11)，和男士的人脸图像的几何中心的坐标为(x12，y12，z1-2)，其中z11、z12可以是景深数据。

对于第2帧中的女士人脸图像，分别计算该女士的人脸图像的几何中心与第1帧中的两个人脸图像几何中心的距离，并将第2帧中该女士的人脸图像归类至与其距离最小的第1帧中的人脸图像所在的人脸图像集合中。

例如，以该距离为欧式距离为例，第2帧中的女士人脸图像的几何中心与第一帧图像中的两个人脸图像的欧式距离分别是l21-11和l21-12，具体计算如下：

比较l21-11和l21-12的大小。若结果显示l21-11小于l21-12，则将第2帧中的女士人脸图像归类为l21-11对应的第一帧中的女士的人脸图像所在的人脸图像集合。

相应的，对于第2帧中的男士人脸图像，也通过类似的方法进行归类。

以此类推，对于第3帧、第4帧图像中提取出的每个人脸图像，都按照与第2帧中的人脸图像归类的方法进行归类，就可以将从连续多幅图像中提取出的人脸图像归类至至少一个人脸图像集合，其中同一个该人脸图像集合中的人脸图像对应于同一个待识别人物，如图6所示。

图6示意性示出了根据本公开实施例的将图5中的人脸图像归类获得的至少一个人脸图像集合的一个实例的应用情景。

如图6所示，经过图5的归类方法，可以将不同帧图像中的女士的人脸图像进行归类得到为标记为1的人脸图像集合，将不同帧图像中的男士的人脸图像进行归类得到标记为2的人脸图像集合。

根据本公开的实施例，考虑到连续拍摄的多幅图像序列中某个人脸的运动轨迹及大小变化具有一定的连贯性，从而可以基于运动轨迹中不同时刻之间人脸图像的几何中心最小距离来确定人脸图像的一致性，尤其适用于工作场合或者购物超市中待识别者的行走速度基本不会有明显差异，例如鲜少会有一些人行走、同时另一些人跑步等情形。

图7示意性示出了根据本公开实施例的确定每个该人脸图像集合对应的待识别人物的身份的方法的流程图。

如图7所示，根据本公开的实施例，操作s204可以包括操作s714～操作s734。

在操作s714，对于每个该人脸图像集合，将该人脸图像集合中的每一个人脸图像与人脸库中的人脸图像对比进行人脸识别。

在操作s724，获取该人脸图像集合中的每一个人脸图像的识别结果，得到由该识别结果组成的识别结果集合。例如，当一个人脸图像集合ik中有n(1≤n≤n，其中n为该一幅或多幅图像中单幅图像中能够提取的人脸图像的最大个数)个人脸图像，将该n个人脸图像与人脸库中录入的人脸图像对比进行人脸识别，可以获得n个人脸识别结果。由该n个人脸识别结果组成一个识别结果集合。具体地，每个人脸图像的识别结果的内容可以是，例如当该人脸图像与人脸库中某一个已知对象的人脸图像匹配得分达到某一阈值(例如95％)时，则该人脸图像识别成功且指向该某一个已知对象；或者，例如当该人脸图像在人脸库中没有与之匹配达到该某一阈值的人脸图像时，则该人脸图像识别失败。

在操作s734，根据该识别结果集合确定与该人脸图像集合对应的待识别人物的身份。

根据本公开的实施例，在该识别结果集合中识别成功的识别结果指向一个已知的特定对象的情况下，在操作s734中根据该识别结果集合确定与该人脸图像集合对应的待识别人物的身份，包括确定与该人脸图像集合对应的待识别人物的身份为该特定对象。以上述包括n个人脸识别结果的识别结果集合为例，该识别结果集合中识别成功的识别结果指向一个已知的特定对象的情况包括：该n个人脸识别结果中全部脸图像都识别成功且均指向该特定对象；或者，当n≥2时，该n个人脸识别结果中有一个人脸图像识别成功且指向该特定对象，其余的人脸图像识别失败；再或者，当n＞2时，该n个人脸识别结果中有两个以上的部分人脸图像识别成功，且均指向该特定对象，其余的人脸图像识别失败。根据本公开的实施例，当确定该人脸图像集合对应的待识别人物身份为该特定对象之后，若该识别结果集合中包括识别失败的识别结果，还可以按照图8所示的方法扩充人脸库。

图8示意性示出了根据本公开另一实施例的动态人脸识别的方法的流程图。

如图8所示，根据本公开的实施例，该动态人脸识别的方法包括操作s201～操作s204以及操作s805。

在操作s805，在确定与该人脸图像集合对应的待识别人物的身份为该特定对象情况下，并且该识别结果集合中包括识别失败的识别结果时，将该识别失败的识别结果对应的人脸图像录入该人脸库，以扩充该特定对象在该人脸库中的人脸图像。

根据本公开的实施例，将该识别失败的识别结果对应的人脸图像录入该人脸库，作为该特定对象的人脸图像，从而可以在人脸库中存储该特定对象更多角度或状态下的人脸图像，方便后续更准确、且快速地识别。例如，该识别失败的识别结果对应的人脸图像可能是该特定人物的其他角度的人脸图像，例如侧脸、或仰头等角度的人脸。根据本公开的实施例，将这些识别失败的识别结果对应的人脸图像也录入人脸库，作为该特定人物的人脸图像识别素材，可以作为对该特定人物的人脸库的正反馈补充，达到自适应扩充人脸库目的，方便以后更快速准确地识别该特定人物的人脸。

根据本公开的实施例，在该识别结果集合中存在多个识别成功的识别结果分别指向不同的已知对象的情况下(例如，当人脸图像集合中的多个人脸图像分别与人脸库中的多个已知对象的人脸图像均以很高概率匹配)，在操作s734中根据该识别结果集合确定与该人脸图像集合对应的待识别人物的身份，包括确定与该人脸图像集合对应的待识别人物的身份识别错误。根据本公开的实施例，当确定与该人脸图像集合对应的待识别人物的身份识别错误之后，还可以根据该待识别人物的身份证明信息纠正识别结果，具体可以参考图9的示意。

图9示意性示出了根据本公开又一实施例的动态人脸识别的方法的流程图。

如图9所示，根据本公开又一实施例，该动态人脸识别的方法包括操作s201～操作s204，以及操作s905和操作s906。

在操作s905，在与该人脸图像集合对应的待识别人物的身份识别错误的情况下，获取该人脸图像集合对应的待识别人物的身份证明信息。该身份证明信息例如可以是身份证、或工作证等信息。

在操作s906，根据该身份证明信息，纠正与该人脸图像集合对应的待识别人物的身份。以此方式，可以快速地纠正识别错误。

在一些实施例中，在操作s906中根据该身份证明信息对该待识别人物的身份进行纠正和确认之后，可以将该待识别人物的人脸图像集合中的人脸图像作为白名单库中的人脸图像。该白名单库的优先级可以高于普通人脸库，即在执行操作s204的人脸识别时，可以先将每个人脸图像集合中的人脸图像与该白名单库中的人脸图像进行对比来进行人脸识别；当该白名单库无法确定待识别者的身份时，再将每个人脸图像集合中的人脸图像与普通人脸库中的人脸图像进行对比来进行人脸识别。由于白名单库中的人脸图像对应的待识别人物是根据身份证明信息验证过的，具有较高的可信度。因此，如果通过白名单库可以快速获得该待识别人物的身份信息，就可以不再次经过普通人脸库的对比识别。以此方式，对于进行过身份识别错误纠正的待识别人物对象，再次进行人脸识别时可以通过白名单库快速识别，从而不会总是发生需要进行身份纠错的尴尬。

根据本公开的实施例，在该识别结果集合中所有识别结果均为识别失败的情况下，在操作s734中根据该识别结果集合确定与该人脸图像集合对应的待识别人物的身份，包括确定与该人脸图像集合对应的待识别人物的身份未知。在一些实施例中，确定与该人脸图像集合对应的待识别人物的身份未知后，若该待识别人物可以提供身份证明信息，则可以参照图9中操作s905和操作s906，确定出该待识别人物的身份信息，例如对于公司的新员工。在一些实施例中，还可以在根据身份证明信息确定了该新员工的身份信息后，还可以将与该新员工对应的人脸图像集合存储到人脸库，通过这种方式可以快速获取到该新员工的人脸图像信息，并在以后的人脸识别过程中能够识别出该新员工。

根据本公开的实施例，在操作s734中确定出与该人脸图像集合对应的待识别人物的身份后，可以通过不同的图像、语音等各种方式向用户反馈该待识别人物的身份。例如，在一些实施例中，可以通过在该一幅或多幅图像中用不同颜色的矩形框来显示出该待识别人物的身份已确定、识别错误或者身份未知的信息。在一些实施例中，可以通过语音信息或文字信息告知该待识别人物的身份已确定、识别错误或者身份未知。

根据本公开的实施例，可以对在非静止状态下的人物对象进行人脸识别。在一些情况下，可以实现对于被摄像头拍摄下来的图像中的每个人脸进行识别以获得相应的识别结果。这样，在一些应用场景中，可以有效识别出人群中的外来人员(例如，在人脸库中没有对应人脸图像的人，如非公司的员工的外来人员)。这样，即使有外来人员跟随着被识别成功的人从大门口等位置混入，也能够被准确且快速地发现(例如，在一些实施例中，可以将非本公司人员的识别结果突出标识出来)。通过这种方式，可以避免静态人脸识别技术中一旦有外来人员跟着前面被识别成功的人从大门混入之后，就很难发现这些外来人员。以此方式，根据本公开实施例的动态人脸识别方法和装置，能够有效地应用于企业等机构的安防系统，并能够有效地帮助企业提高安防水平。

图10示意性示出了根据本公开实施例的动态人脸识别的装置1000的方框图。该动态人脸识别的装置1000可以用于实现参考图2～图9所描述的动态人脸识别的方法流程的部分或全部操作。

如图10所示，根据本公开过的实施例，该动态人脸识别的装置1000可以包括图像获取模块1010、人脸图像提取模块1020、人脸图像归类模块1030以及人脸图像识别模块1040。图像获取模块1010用于获取一幅或多幅图像，该一幅或多幅图像中的至少一幅图像为包括一个或多个人脸的特定图像，其中，该一个或多个人脸中的至少一个人脸对应的人物对象在该特定图像的拍摄时刻处于非静止状态。人脸图像提取模块1020用于从该一幅或多幅图像中提取人脸图像。人脸图像归类模块1030用于将提取的该人脸图像归类至至少一个人脸图像集合，其中同一个该人脸图像集合中的人脸图像对应于同一个待识别人物。人脸识别模块1040用于对每个该人脸图像集合中的人脸图像进行人脸识别，以确定每个该人脸图像集合对应的待识别人物的身份。

根据本公开的实施例，该人脸识别模块1040对每个该人脸图像集合中的人脸图像进行人脸识别，以确定每个该人脸图像集合对应的待识别人物的身份，包括对于每个该人脸图像集合：将该人脸图像集合中的每一个人脸图像与人脸库中的人脸图像对比进行人脸识别，获取该人脸图像集合中的每一个人脸图像的识别结果，得到由该识别结果组成的识别结果集合，以及根据该识别结果集合确定与该人脸图像集合对应的待识别人物的身份。

根据本公开的实施例，在该识别结果集合中识别成功的识别结果指向一个已知的特定对象的情况下，该人脸识别模块1040根据该识别结果集合确定与该人脸图像集合对应的待识别人物的身份，包括确定与该人脸图像集合对应的待识别人物的身份为该特定对象。根据本公开的实施例，该人脸图像提取模块1020还用于在该识别结果集合中包括识别失败的识别结果的情况下，将该识别失败的识别结果对应的人脸图像录入该人脸库，以扩充该特定对象在该人脸库中的人脸图像。

根据本公开的实施例，在该识别结果集合中存在多个识别成功的识别结果分别指向不同的已知对象的情况下，该人脸识别模块1040根据该识别结果集合确定与该人脸图像集合对应的待识别人物的身份，包括确定与该人脸图像集合对应的待识别人物的身份识别错误。

根据本公开的实施例，该动态人脸识别的装置1000还包括身份信息获取模块1050和身份纠正模块1060。身份信息获取模块1050用于在根据该识别结果集合确定与该人脸图像集合对应的待识别人物的身份之后，获取与该人脸图像集合对应的待识别人物的身份证明信息。身份纠正模块1060用于根据该身份证明信息，纠正与该人脸图像集合对应的待识别人物的身份。

根据本公开的实施例，对于连续拍摄的多幅图像，该人脸图像归类模块1030将提取的该人脸图像归类至至少一个人脸图像集合，包括计算当前图像中的每一个人脸图像的几何中心与该当前图像的前一幅图像中的每个人脸图像的几何中心在绝对空间中的距离，以及将该当前图像中的每一个人脸图像归类至与该每一个人脸图像的该距离最小的人脸图像所在的人脸图像集合。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，图像获取模块1010、人脸图像提取模块1020、人脸图像归类模块1030、人脸图像识别模块1040、身份信息获取模块1050以及身份纠正模块1060中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，图像获取模块1010、人脸图像提取模块1020、人脸图像归类模块1030、人脸图像识别模块1040、身份信息获取模块1050以及身份纠正模块1060中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，图像获取模块1010、人脸图像提取模块1020、人脸图像归类模块1030、人脸图像识别模块1040、身份信息获取模块1050以及身份纠正模块1060中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图11示意性示出了根据本公开实施例的动态人脸识别的计算机系统1100的方框图。图11示出的计算机系统1100仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图11所示，根据本公开实施例的计算机系统1100包括处理器1101，其可以根据存储在只读存储器(rom)1102中的程序或者从存储部分1108加载到随机访问存储器(ram)1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在ram1103中，存储有系统1100操作所需的各种程序和数据。处理器1101、rom1102以及ram1103通过总线1104彼此相连。处理器1101通过执行rom1102和/或ram1103中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，该程序也可以存储在除rom1102和ram1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在该一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统1100还可以包括输入/输出(i/o)接口1105，输入/输出(i/o)接口1105也连接至总线1104。系统1100还可以包括连接至i/o接口1105的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现参考图2～图9所描述的动态人脸识别的方法流程的各种操作。

根据本公开的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。

例如，根据本公开的实施例，计算机可读介质可以包括上文描述的rom1102和/或ram1103和/或rom1102和ram1103以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。