专利名称：视频人脸识别方法和装置的制作方法
技术领域：
本发明涉及人脸识别，尤其涉及视频人脸识别方法和装置。
背景技术：
人脸识别经过近40年的发展，取得了很大的成就，涌现出大量的识别算法。这些算法的涉及面非常广泛，包括模式识别、图像处理、计算机视觉、人工智能、统计学习、神经网络、小波分析、子空间理论和流形学习等。根据输入数据形式的不同，可分为基于静态图像的人脸识别(以下称为“静态图像人脸识别”)和基于视频的人脸识别(以下称为“视频人脸识别”)。一般认为，视频人脸识别是静态图像人脸识别的直接扩展，也即适用于静态图像人脸识别的算法同样适用于视频人脸识别。然而，由于视频的时间连续性以及由此产生的人脸信息的不确定性，除了空间信息之外，视频人脸识别还需要用到时间信息。目前典型的视频人脸识别系统一般都自动检测人脸区域，从视频中提取特征以分割出人脸，并然后用基于静态图像的识别方法进行人脸识别。与静态图像相比，视频存在人脸图像的尺寸较小、经常会有较大的光照和姿态变化、甚至还可能会有遮挡和伪装等的特性。这些不但会影响识别算法的性能，而且还会影响人脸检测、人脸分割和关键点定位的精度，从而导致整体识别性能下降。已知用于提高视频人脸识别的整体识别性能的一种方法是加入人脸跟踪，即如图1所示:通过利用姿态和从视频中估计到的深度信息合成一个虚拟的正面人脸，以和数据库中的模板人脸进行比对。其中，人脸跟踪的加入方式大致有两种，其一为跟踪后识别，另一为跟踪且识别。在跟踪后识别的方式中，首先检测出人脸，然后跟踪人脸特征随时间的变化，并当捕捉到一帧符合一定标准(大小、姿势)的图像时，利用基于静态图像的人脸识别算法进行识别。换言之，跟踪和识别是单独进行的，时间信息只在跟踪阶段用到，识别还是采用基于静态图像的方法而没用到时间信息。这种方法的缺点是运算复杂度高，精确度低。特别是当人脸的姿态不是标准的正面照的时候，错误率非常高。另一方面，在跟踪且识别的方式中，人脸跟踪和识别是同时进行的，时间信息在跟踪阶段和识别阶段都用到。目前普遍的做法是，首先利用视频中充裕的每一帧图像单独识另O，然后计算一定时间窗口内次数最多的结果作为最后输出结果。换言之，基于每帧图像的识别结果，使用简单的”投票”机制来确定识别结果。其中，投票方法可以是确定的，但一般优选使用概率投票方法。这种方法的缺点是计算结果复杂度依然很高。
发明内容
有鉴于此，本发明的目的在于提供一种视频人脸识别方法和装置，以能够在大量降低计算结果的复杂度的同时大幅提高识别的准确率。为了实现上述目的，根据本发明的实施例，提供了一种视频人脸识别方法，其包括:检测视频的一帧图像中的人脸；判断在所述视频的当前帧所检测到的各个人脸是否与在所述视频的前一帧所检测到的任一人脸关联为同一人；如果在当前帧所检测到的一个人脸被判断为与在前一帧所检测到的另一个人脸关联为同一人，则基于这个人的人脸轨迹持续帧数来修正这个人的人脸与数据库中的模板人脸之间的似然向量，其中所述人脸轨迹持续帧数表示这个人的人脸连续出现的帧数；以及基于修正后的似然向量对所检测到的人脸进行识别。为了实现上述目的，根据本发明的实施例，还提供了一种视频人脸识别装置，其包括:人脸检测单元，用于检测视频的一帧图像中的人脸；关联性判断单元，与所述人脸检测单元连接，用于判断在所述视频的当前帧检测到的各个人脸是否与在所述视频的前一帧所检测到的任一人脸关联为同一人；似然修正单元，与所述人脸检测单元以及所述关联性判断单元连接，用于如果在当前帧所检测到的一个人脸被判断为与在前一帧所检测到的另一个人脸关联为同一人，则基于这个人的人脸轨迹持续帧数来修正这个人的人脸与数据库中的模板人脸之间的似然向量，其中所述人脸轨迹持续帧数表示这个人的人脸连续出现的帧数；以及人脸识别单元，与所述人脸检测单元以及所述似然修正单元连接，用于基于通过所述似然修正单元修正后的似然向量对通过所述人脸检测单元检测到的人脸进行识别。由于直接基于前后帧的人脸图像块之间的关联性来修正人脸与数据库中的模板人脸之间的似然，根据本发明实施例的视频人脸识别方法和装置有效利用了视频中的时空信息，突破了传统的基于投票的多帧单独识别的局限，能够在大量降低计算结果的复杂度的同时大幅提闻识别的准确率。根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。图1示出加入了人脸跟踪的视频人脸识别方法的流程示意图；图2示出传统的人脸检测所使用的Haar滤波器；图3示出传统的人脸检测所使用的分类器级联结构；图4示出人脸检测所优选使用的前两个Haar特征；图5示出根据本发明第一实施例的视频人脸视频方法的流程图；图6示出根据本发明第一实施例的视频人脸识别方法的示意图；图7示出根据本发明第二实施例的视频人脸识别方法的流程图；图8示出根据本发明第二实施例的视频人脸识别方法的示意图；图9示出根据本发明第三实施例的视频人脸识别方法的流程图；图10示出根据本发明第四实施例的视频人脸识别装置的框图；图11示出根据本发明第五实施例的视频人脸识别装置的框图；图12示出根据本发明第六实施例的视频人脸识别装置的框图。
具体实施方式
在目前的人脸检测中，通常首先采用Haar特征[I]来描述人脸，其中用以提取Haar特征的Haar滤波器如图2所示。此外，为了快速检测人脸，采用了一种如图3所示的级联结构。该结构中的每个节点都是一个AdaBoost强分类器，只有当一个候选图像窗口通过了所有节点AdaBoost分类器才判定为人脸，只要有一个节点判定为非人脸，该图像窗口即分类为非人脸，其后的节点分类器亦不用计算，从而节约了计算资源，加快了计算速度。然而，即便通过AdaBoost机器学习方法学习到有效的人脸Haar特征(选择出的前两个Haar特征如图4所示)，并将所学习到的Haar特征组织成一个强分类器以区分人脸和非人脸，上述人脸检测方法应用于视频人脸识别仍然非常耗时，而且误报率高。本发明人认为这主要是因为没有很好地利用视频内充足的时空上下文(SpatialTemporal Context)信肩、O换言之，本发明人注意到人类的视觉系统擅长联合利用诸如时间连续性和空间连续性等多种信息来识别人的身份，并认为如果在机器视频人脸识别中仿人类视觉地同时采用(例如在每帧中的)空间信息和(比如人脸特征的运动轨迹等的)时间信息，也即联合利用与时间、空间和物体(object)有关的多模态信息来描述人脸并进行人脸识别，应该能有效提闻识别效果。有鉴于此，针对大规模视频人脸识别的需要，本发明人从时空域信息融合的角度出发，提出了基于时空上下文信息的视频人脸识别方法，以下详细说明本发明的具体实施方式
。第一实施例在根据本发明第一实施例的视频人脸识别方法中，首先，基于在当前帧所检测到的人脸与在前一帧所检测到的人脸之间在尺度、空间距离等方面的关系，判断在前后两帧所检测到的人脸之间的关联性；然后，对于前后两帧中被判断为相互关联的人脸，基于该人脸连续出现的帧数来修正该人脸与数据库中的模板人脸之间的似然向量。具言之，如示出了根据本发明第一实施例的视频人脸识别方法的流程图的图5所示，根据本发明第一实施例的视频人脸识别方法包括:步骤SI，检测视频的一帧图像中的人脸，并随后进入步骤S2 ；步骤S2，判断在当前帧所检测到的某个人脸是否与在前一帧所检测到的任一人脸关联为同一人，如果判断为是，则在执行后述步骤S3、S4后再进入步骤后述S5，如果判断为否，则直接进入步骤S5;步骤S3，在当前帧所检测到的某个人脸被判断为与在前一帧所检测到的另一个人脸关联为同一人的情况下，基于这个人的人脸轨迹持续帧数来修正这个人的人脸与数据库中的模板人脸之间的似然向量，并随后进入步骤S4，其中，所述人脸轨迹持续帧数表示这个人的人脸连续出现的帧数；步骤S4，基于修正后的似然向量对所检测到的人脸进行识别，并随后进入步骤S5 ;以及步骤S5，判断在当前帧所检测到的所有人脸是否均已进行了关联性判断处理，如果判断为是，则返回步骤SI以检测视频的下一帧图像中的人脸，如果判断为否，则返回步骤S2以判断在当前帧所检测到的下一个人脸是否与在前一帧所检测到的任一人脸关联为同一人。
对于上述步骤S2，在一种可能的实现方式中，如图6所示，假设在第t-Ι帧检测到的第 个人脸Ft^n的中心点为(Xt-U, Yt-!, η)、大小为(Wt_1>n，IV1J，在第t帧检测到的第m个人脸Ft,m的中心点为(xt,m，yt,m)、大小为(wt,m，ht,m)，并且人脸Ft^n与人脸Ft,m的图像块距离为H，则:如下式I计算人脸Ft^与人脸Ftini的尺度比R，
权利要求
1.一种视频人脸识别方法，其特征在于，包括: 人脸检测步骤，检测视频的一帧图像中的人脸； 关联性判断步骤，判断在所述视频的当前帧所检测到的各个人脸是否与在所述视频的前一巾贞所检测到的任一人脸关联为同一人； 似然修正步骤，如果在当前帧所检测到的一个人脸被判断为与在前一帧所检测到的另一个人脸关联为同一人，则基于这个人的人脸轨迹持续帧数来修正这个人的人脸与数据库中的模板人脸之间的似然向量，其中所述人脸轨迹持续帧数表示这个人的人脸连续出现的帧数；以及 人脸识别步骤，基于修正后的似然向量对所检测到的人脸进行识别。
2.根据权利要求1所述的视频人脸识别方法，其特征在于，假设在第t-Ι帧检测到的第η个人脸Ft_1>n的中心点为(Xt-Un, yt-uJ、大小为Ovun, U ,在第t巾贞检测到的第m个人脸Ft,m的中心点为(xt,m，yt,ffl)、大小为(wt,m，ht,m)，并且人脸Ft_i,n与人脸Ft,m的图像块距离为H，则在所述关联性判断步骤中: 如下式I计算人脸Ft_un与人脸Ft,m的尺度比R，
3.根据权利要求1或2所述的视频人脸识别方法，其特征在于，假设在第t-Ι帧检测至IJ的第η个人脸Ft_un与在第t帧检测到的第m个人脸Ft,m关联为同一人，这个人的人脸轨迹持续帧数为Q，并且人脸Ft_un、人脸Ft,m与数据库中的模板人脸之间的似然向量分别为Ic1和k2，则在所述似然修正步骤中，将这个人的人脸与数据库中的模板人脸之间的似然向量修正为下式7:
4.根据权利要求1至3中任一项所述的视频人脸识别方法，其特征在于，还包括候选集维护步骤，以基于所述人脸检测步骤所检测到的人脸以及所述关联性判断步骤中的判断结果维护针对当前帧的一个候选集，其中，所述候选集用于记录在当前帧所检测到的各个人脸以及所述各个人脸对应的人脸轨迹持续帧数。
5.根据权利要求4所述的视频人脸识别方法，其特征在于，所述候选集维护步骤包括: 初始生成步骤，在当前帧、假设第t帧检测到了 M个人脸Ft {Ft,1; Ft,2，…Ft,M}的情况下，基于…Ft,M}生成针对第t帧的候选集Ct(Ftil(IhFud),…Ft,M(l)}，其中Ft, i (I)表示在第t帧所检测到的第i个人脸Ft, i并且人脸Ft, i的人脸轨迹持续帧数为I ;以及 维护更新步骤，在第t帧所检测到的第i个人脸Ft,i被判断为与在前一帧、即第t-Ι帧所检测到的第j个人脸Ft_u关联为同一人的情况下，将候选集Ct中的人脸Ft,i的人脸轨迹持续帧数改写为等于I加上人脸Ft_u j在针对第t-Ι帧的候选集C^1中的人脸轨迹持续帧数。
6.根据权利要求1至5中任一项所述的视频人脸识别方法，其特征在于，仅在所述人脸轨迹持续帧数为b以上时，才针对与该人脸轨迹持续帧数对应的人脸进行所述似然修正步骤和所述人脸识别步骤，其中所述b为大于或等于2的整数。
7.根据权利要求1至5中任一项所述的视频人脸识别方法，其特征在于，在所述人脸检测步骤之前，还包括人脸跟踪步骤， 在所述人脸跟踪步骤中，将前一帧所检测到的人脸区域作为目标候选区域的初始值，并利用粒子滤波算法搜索当前帧中重构误差最小的区域作为所述目标候选区域，其中所述目标候选区域表示当前帧中待检测的人脸区域。
8.根据权利要求7所述的视频人脸识别方法，其特征在于，在所述人脸跟踪步骤中，采用加入了平凡模板的线性子空间来表示所述目标候选区域。
9.一种视频人脸识别装置，其特征在于，包括: 人脸检测单元，用于检测视频的一帧图像中的人脸； 关联性判断单元，与所述人脸检测单元连接，用于判断在所述视频的当前帧检测到的各个人脸是否与在所述视频的前一帧所检测到的任一人脸关联为同一人； 似然修正单元，与所述人脸检测单元以及所述关联性判断单元连接，用于如果在当前帧所检测到的一个人脸被判断为与在前一帧所检测到的另一个人脸关联为同一人，则基于这个人的人脸轨迹持续帧数来修正这个人的人脸与数据库中的模板人脸之间的似然向量，其中所述人脸轨迹持续帧数表示这个人的人脸连续出现的帧数；以及 人脸识别单元，与所述人脸检测单元以及所述似然修正单元连接，用于基于通过所述似然修正单元修正后的似然向量对通过所述人脸检测单元检测到的人脸进行识别。
10.根据权利要求9所述的视频人脸识别装置，其特征在于，所述关联性判断单元包括尺度比计算模块、尺度似然计算模块、空间距离计算模块、空间距离似然计算模块、图像块距离似然计算模块、关联似然计算模块、判定模块；并且，假设在第t-Ι帧检测到的第η个人脸Ft-1,n的中心点为(xt-1,n，yt-1,n)、大小为(wt-1,n，Ivun)，在第t巾贞检测到的第m个人脸Ft,m的中心点为(Xu, yt,m)、大小为(wt,n，ht,J，以及人脸Ft_Un与人脸Fu的图像块距离为H，则: 所述尺度比计算模块如下式I计算人脸Ft_un与人脸Ft,m的尺度比R，
11.根据权利要求9或10所述的视频人脸识别装置，其特征在于，假设在第t-ι帧检测至IJ的第η个人脸Ft_un与在第t帧检测到的第m个人脸Ft,m关联为同一人，这个人的人脸轨迹持续了 Q帧，并且人脸Ft_i, n、人脸Ft, m与数据库中的模板人脸之间的似然向量分别为Ic1和k2，则所述似然修正单元将这个人的人脸与数据库中的模板人脸之间的似然向量修正为如下式7:
12.根据权利要求9至11中任一项所述的视频人脸识别装置，其特征在于，还包括与所述人脸检测单元以及所述关联性判断单元连接的候选集维护单元，用于基于所述人脸检测单元所检测到的人脸以及所述关联性判断单元的判断结果维护针对当前帧的一个候选集，其中，所述候选集用于记录在当前帧所检测到的各个人脸以及所述各个人脸对应的人脸轨迹持续巾贞数。
13.根据权利要求12所述的视频人脸识别装置，其特征在于，所述候选集维护单元: 初始生成模块，与所述人脸检测单元连接，在当前帧、假设第t帧检测到了 M个人脸FtIFta, Ft,2,…Ft,M}的情况下，基于Ft{Ft,1; Ft,2，…Ft,M}生成针对第t帧的候选集Ct {Ft,!⑴，Ft,2⑴，…Ft,M(I)}，其中Ft, i⑴表示在第t帧所检测到的第i个人脸Ft, i并且人脸Ft, i的人脸轨迹持续帧数为I ;以及 维护更新模块，与所述初始生成模块以及所述关联性判断单元连接，在第t帧所检测到的第i个人脸Ft, i被判断为与在前一帧、即第t-Ι帧所检测到的第j个人脸Ft^关联为同一人的情况下，将候选集Ct中的人脸Ft, i的人脸轨迹持续帧数改写为等于I加上人脸Ft^在针对第t-Ι帧的候选集C^1中的人脸轨迹持续帧数。
14.根据权利要求9至13中任一项所述的视频人脸识别装置，其特征在于，仅在所述人脸轨迹持续帧数为b以上时，所述似然修正单元和所述人脸识别单元才针对与该人脸轨迹持续帧数对应的 人脸进行处理，其中所述b为大于或等于2的整数。
全文摘要
本发明涉及人脸识别，公开了一种视频人脸识别方法和装置，包括检测视频的一帧图像中的人脸；判断在所述视频的当前帧所检测到的各个人脸是否与在所述视频的前一帧所检测到的任一人脸关联为同一人；如果在当前帧所检测到的一个人脸被判断为与在前一帧所检测到的另一个人脸关联为同一人，则基于这个人的人脸轨迹持续帧数来修正这个人的人脸与数据库中的模板人脸之间的似然向量，其中所述人脸轨迹持续帧数表示这个人的人脸连续出现的帧数；以及基于修正后的似然向量对所检测到的人脸进行识别。由于直接基于前后帧的人脸图像块之间的关联性来修正人脸与数据库中的模板人脸之间的似然，根据本发明实施例的视频人脸识别方法和装置能够在大量降低计算结果的复杂度的同时大幅提高识别的准确率。
文档编号G06K9/00GK103150546SQ20121057512
公开日2013年6月12日 申请日期2012年12月26日 优先权日2012年12月26日
发明者冉阳 申请人:冉阳