专利名称：多角度人脸检测方法和系统的制作方法
技术领域：
本发明涉及一种多角人脸检测方法和系统，更具体地说，本发明涉及一种能够通过快速确定人脸角度来提升人脸检测的方法和系统。
背景技术：
快速而准确的物体检测算法是许多应用的基础性工作，如人脸检测和情感状态分析，视频会议控制和分析，行人保护系统等等。因此，在Adaboost人脸检测算法(正面识另IJ)取得重大成功之后，很多学者都将他们的研究投入到该领域中。但是，随着数码相机和移动电话的迅速发展，仅仅进行正面的人脸识别已经远不能满足人们日常生活的需求，很多算法都开始关注于更具有挑战性的问题，例如多角度情况下的人脸检测问题。这也就说明开展多角度情况下的快速准确人脸检测问题是十分必要的。美国专利No. 20070223812B2提出了一种鲁棒的多角度人脸检测的算法和设备。 在该专利中，一种具有高性能但是高冗余度的微结构特征被采用以表示人脸的特性。而 Adaboost算法被采用来从这类特征中选取出最具有代表性部分特征来组成强分类器，以用来从复杂的背景信息中找到人脸的位置。附图1所示的是该专利的示意图。该专利最大的缺点在于对于预定的每一个角度都训练了所对应的人脸检测器，而在检测过程中需要采用全部检测器以涵盖各种角度。因此，这个过程需要耗费相当长的检测时间。美国专利No. 7，324，671B2提出了可用于多角度人脸检测的算法和设备。在该专利中，人脸检测系统通过一系列复杂度递增的强分类器把非人脸数据在层级分类器结构中前面的层级(复杂度较低的层级)中滤除掉。其层级分类器结构为金字塔结构，采用了由粗到精、由简单到复杂的策略，利用比较简单的特征(层级分类器结构中前面层级采用的特征)就可以滤除大量的非人脸数据，从而得到了实时多角度人脸检测系统。该算法最大的问题在于，金字塔结构在检测过程中同时包含了大量的冗余信息，从而影响了检测的速度和精度。美国专利No. 7，457，432B2提出了可用于特定物体检测的方法和设备。在该专利中，HAAR特征被作为弱特征采用。Real-Adaboost算法被用来对层级分类器结构中每层级的强分类器进行训练以进一步提升检测精度，LUT (查询表)数据结构被提出以提升特征选择的速度。其中，“强分类器”及“弱特征”均为本技术领域中普遍熟知的概念。该专利的主要缺点在于，该方法只适用于特定物体在一定的角度范围内的检测，主要是正面人脸识别， 以致在一定程度上限制了它的应用。因此，在现有的多角度人脸检测方法中，要提高人脸检测的速度，需要解决如何检测人脸的角度，从而减少实际检测过程中所使用的人脸检测器的数量的问题。
发明内容
鉴于现有技术中存在的上述问题而作出本发明，本发明在现有技术的基础上，通过为现有的人脸检测系统提供一种混合型层级分类器来实现对输入数据给出角度标签并初步过滤部分非人脸数据的扫描窗口，从而减少检测系统实际操作过程中所需使用的人脸检测器。根据本发明的一个方面，提供一种多角度人脸检测系统，包括输入装置，用于输入图像数据；混合分类器，包括用于初步检测出非人脸图像数据的非人脸拒绝层级分类器和多个为包含人脸的图像数据赋予角度标签的角度标签分类器；以及多个角度级联分类器，其中每个对应于相应的人脸角度，所述多个角度级联分类器之一接收对应的角度标签分类器所输出的附有角度标签的图像数据，并进一步检测所接收的附有角度标签的图像数据是否包含人脸。根据本发明的多角度人脸检测系统，所述输入装置还包括图像窗口扫描单元，用于对原始图像的不同尺度不同位置的子窗口进行数据扫描，并将这些扫描子窗口的图像数据输入到混合分类器。根据本发明的多角度人脸检测系统，所述非人脸拒绝层级分类器包括多个子分类器，并且每个子分类器有多个弱分类器构成。 根据本发明的多角度人脸检测系统，所述多个角度标签分类器中的每一个计算针对在图像数据中提取的弱特征的响应值并求和，并将最大和值所对应的角度标签分类器所对应的角度标签赋予所输入的图像数据。根据本发明的多角度人脸检测系统，所述弱特征包括各种能够满足实时性能要求的局部纹理描述。根据本发明的另一个方面，提供一种多角度人脸检测方法，包括输入图像数据； 初步检测非人脸图像数据并为包含人脸的图像数据赋予角度标签；以及接收附有角度标签的图像数据，并进一步检测所接收的附有角度标签的图像数据是否包含人脸。根据本发明的多角度人脸检测方法，其还包括对原始图像的不同尺度不同位置的子窗口进行数据扫描。根据本发明的多角度人脸检测方法，其中，在进行数据扫描的同时，计算在进行检测步骤中所需要使用的弱特征。根据本发明的多角度人脸检测方法，其中，所述弱特征包括各种能够满足实时性能要求的局部纹理描述。根据本发明的多角度人脸检测方法，其中，所述初步检测非人脸图像数据通过分层级结构的分类器来执行。通过本发明的上述方面，当数据通过该分类器时，其被送入与它的角度标签相对应的层级分类器以进行精确的人脸检测。通过这种方式，对于人脸的多角度问题，我们可以给数据分配角度标签。对于检测速度问题，我们可以只采用对应于所得角度标签的人脸检测器，这样可以节约大量的时间。通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。
图1所示的是现有的多角度人脸检测系统的示意图。图2所示的是各个角度分类器的具体结构示意图。
图3示例性地图释了人脸相对于正面图像的五个角度。图4是示意性示出根据本发明的实施例的多角人脸检测系统的示意图。图5示意性地示出从全图中获取扫描窗口的示意图。图6所示的是混合分类器的结构示意图。图7所示的是图6左侧部分的角度标签分类器的具体结构示意图。图8是针对图6和图7具体描述混合分类器42对扫描窗口进行粗略拒绝人脸和附加角度标签的过程的流程图。图9是在角度分类器中所采用的弱特征图。图10是在角度分类器中所采用的弱分类器。
具体实施例方式图1所示的是现有的多角度人脸检测系统的示意图。其中，输入装置1用于输
入图像数据；角度级联分类器组VI、V2.......Vn分别对应于不同的检测角度。通常，角
度级联分类器组Vl由层级分类器VII、V12.......Vln级联而成，角度级联分类器组V2
由层级分类器V21、V22.......V2n级联而成，角度级联分类器组Vn由层级分类器Vnl、
Vn2.......Vnn级联而成，η为自然数。角度分类器参考标号的第1位下标数字代表该分
类器的检测角度的编号，第2位下标数字代表该层级分类器在相应的级联分类器组中的位置次序，也就是说，多个级联分类器组中左起第2位下标数字相同的分类器可以视为处于同一层级，同一组中位置不同的分类器采用的特征不同，而不同组中处于同一层级的分类器所采用的特征不必相同。图2所示的是各个角度分类器的具体结构示意图。尽管图2中示出各个角度级联分类器组中均具有η个层级分类器，然而，本领域技术人员可以理解，由于不同检测角度采用的特征可能不同，各个级联分类器组中的弱分类器数目也可以不同， 也就是，层级分类器不必然形成如图2所示的矩阵阵列，或者说层级分类器不必填满这样的矩阵。各个分类器可以是任意类型的强分类器，例如采用支持向量机(Support Vector Machine, SVM)、Adaboost等等的算法的公知的分类器。对于各个强分类器，可以使用多种表象局部纹理结构的弱特征或其组合来进行计算，所述弱特征诸如HAAR特征、多尺度LBP 特征等等在本领域中通常采用的特征。而且，尽管图2中示出用于3个检测角度的3个级联分类器组，然而，对于本领域技术人员显而易见的是，也可以增加或减少检测角度，例如设置2个级联分类器组用于2个检测角度，或4个级联分类器组用于4个检测角度，或更多个级联分类器组用于更多个检测角度，或者甚至只设置1个级联分类器组用于单角度检测作为多角度特定物体判断设备的一种特殊形式。针对人脸的分类器基于人脸的特定角度的特性的训练而得到，其中，所谓角度在本领域中通常是指物体相对于人脸的正面图像的旋转角度。在本发明具体实施方式
，我们以举例方式针对人脸的五个角度来进行描述。本领域技术人员可以根据实际情况的需要来选择不同数量的角度，其操作流程与本发明针对五个角度的流程相同。图3示例性地图释了人脸相对于正面图像的五个角度。如图3所示， 五个角度由左往右分别是面外旋转(rotation off plane，R0P)-45度，面内旋转(rotation in plane, RIP)_45度，正面，面内旋转+45度和面外旋转+45度。所谓人脸正面图像是本领域的公知公认的概念，与正面图像有一微小旋转角度的图像在实践中也视为正面图像来处理。同样，在本申请中，提到人脸旋转45度时，并不表示该角度一定为45度，而是表示在 45左右一定范围内的角度，例如40-50度之间的任何角度，在本发明中都将被视为45度。 也就是说，此处所提到的45度仅仅表达人脸的一种人脸的转动角度范围，在40-50度之间的范围内都被认为是旋转45度。用这五个特定角度的样本分别离线训练角度分类器和人脸检测器，就可以实现涵盖五个角度的多角度人脸检测系统。图4是示意性示出根据本发明的实施例的多角度人脸检测系统的示意图。在图4 所示的多角度人脸检测系统中，包括图像输入装置41、混合分类器42、以及角度级联分类
器组V1、V2.......Vn。混合分类器42接收图像输入装置41所输出的图像，然后针对所输
入的图像的每帧进行分类处理。具体而言就是，采用多尺度局部二值模式(LBP)对每帧图像进行扫描，对每个扫描窗口进行粗略的人脸判断，并确定人脸的角度，然后将人脸角度标签赋予被确定为人脸的扫描窗口，并将该附有角度标签的人脸扫描窗口输入相应的角度级联分类器Vi (其中i是1-n的正整数)。图5示意性地示出从全图中获取扫描窗口的示意图，S卩，可以根据不同尺度以不同步长的窗口在全幅图像上遍历，得到一系列窗口图像。无论是对于经过提取所得到的窗口图像，还是甚至对于未提取窗口的整幅图像，多角度人脸判断设备均可以按照同样的方式来处理。图6所示的是混合分类器42的结构示意图。在图6中，左侧是混合分类器42中的角度标签分类器Cl。图中为了简便起见，仅仅列出了角度标签分类器Cl的结构，在实际
的混合分类器42中，根据实际的需要配置了多个角度标签分类器Cl、C2.......Cn。在根
据本发明的具体实施方式
中，申请人针对5个角度标签分类器。每个角度标签分类器由多
个弱分类器构成。如图6所示，角度标签分类器Cl由弱分类器C11、C12.......Cln构成。
图7所示的是图6左侧部分的角度标签分类器的具体结构示意图。为了叙述方便，在图7 中仅仅表示出了 5个角度的角度标签分类器的具体结构。在试验中，我们需要对5个角度进行分类，这5个角度如图3所示。依据这个目的，我们建立了 5个Adaboost角度标签分类器。该角度标签分类器由离线学习过程得到，其训练正样本为手工选定的对应于各个角度的人脸图像数据，负样本为不包括人脸数据的各类图像。每个分类器对应于一个特定的角度，该角度可以覆盖一定的范围，比如正面人脸分类器，可以覆盖-5度到+5度这个角度范围的人脸数据。每个分类器由5个弱特征组成。当图像数据输入时，每个Adaboost分类器都会给出该数据隶属于该角度的置信度值，然后角度选择器会将其中的最大值作为最终的角度标签输出。图6的右侧部分是混合分类器42中用于进行人脸粗略判断的非人脸拒绝层级分类器R。在本发明的具体实施方式
中，该非人脸拒绝层级分类器R由两个人脸拒绝子分类器Rl和R2构成。实际上，本领域技术人员能够根据实际的需要来确定所述子分类器的数量。每个子分类器由多个弱分类器构成。如图6所示，子分类器Rl由两个弱分类器 Rll和Rl2构成，子分类器R2由三个弱分类器R21、R22以及R23构成。图8是针对图6和图7具体描述混合分类器42对扫描窗口进行粗略拒绝人脸和附加角度标签的过程的流程图。如图8所示，在步骤S81，输入图像数据。接着，在S82处对所接收到的图像的每帧采用多尺度LBP进行窗口扫描，从而获得多尺度的扫描窗口图像。随后，在步骤S83处， 利用多类boosting算法从所获取的扫描窗口计算中选择出最具有分类能力的弱特征，并利用这些弱特征为每个特定角度建立相应的Adaboost分类器，并计算这些弱分类器的响应值(置信度值)。这些弱分类器包括如图6和7中所示的所有的弱分类器。随后在步骤 S84处判断子分类器Rl的弱分类器Rll以及R12对相应的弱特征的响应值rll和rl2之和是否大于阈值Tl，如果大于Tl，则判断该扫描窗口包含人脸图像，并进入步骤S85，否则，则丢弃该扫描窗口，并返回到步骤S82，进行下一个窗口的扫描。在步骤S85处，判断子分类器 R2的弱分类器R21、R22以及R23对相应的弱特征的响应值r21、r22和r23之和是否大于阈值T2，如果大于T2，则判断该扫描窗口包含人脸图像，并进入步骤S86，否则，则丢弃该扫描窗口，并返回到步骤S82，进行下一个窗口的扫描。采用上述选择得到的弱特征来建立层级分类器，通过步骤S84和S85实现了对非人脸数据扫描窗口拒绝功能，从而可以在该步骤拒绝掉一部分非人脸数据，减少了在后续需要处理的数据量，从而获得更快的检测速度。随后或在步骤S83之后同步执行步骤S86。如图7所示，角度标签分类器Cl、
C2.......Cn中各自计算各自所属的弱分类器对弱特征的响应值的和。具体而言，当图像
数据输入时，每个Adaboost角度标签分类器都会计算出该数据隶属于该角度的各个弱分
类器的响应值，例如，角度标签分类器Cl的各个弱分类器Cll、C12.......Cln的响应值
ell、cl2.......cln并计算对应该角度的弱分类器的响应值的和Sc，即对应该角度的置信
度值。随后，在步骤S87处，由选择器70从对应于各个角度标签分类器C1、C2.......Cn所
述处的置信度值中选择最大值，并将该最大值随对应的角度标签分类器所对应的角度标签输出到角度级联分类器组VI、V2.......Vn中对应的角度级联分类器。通过本发明的上述实施方式，可以通过利用相同的弱特征将粗略拒绝人脸和附加角度标签的两种功能整合到同一分类器中。因此，根据本发明的实施例，本发明的多角度人脸检测系统中的混合分类器42会初步判断图像数据是否为人脸并对图像数据进行角度分类。如果判断为是，混合分类器42会根据其角度分类结果自动为数据标注角度标签，然后将附有角度标签的数据送入对应于其角度标签的角度层级分类器(人脸检测器)进行精确判断。在这里每一个人脸检测器都是有某一特定角度的人脸样本训练生成，比如说正面、正负45度的面内旋转或者正负45度的面外旋转，这些角度可在训练前由人手工标定，如图3 所示。因此，如果得到了某一输入数据所对应的角度标签之后，该数据就可以直接输入到该角度人脸检测器中。因为我们可以训练多个角度的人脸检测器，并由这些检测器输出最终的人脸检测结果，因此实现了多角度人脸检测的目的。至于后续的人脸检测器的操作，本领域的技术人员可以采用现有的技术来实施。下面给出了本发明采用的多类boosting算法的主要步骤的例子。包括以下步骤 1-3 1.假设存储C个分类，并且每个分类具有N个样本，初始化样本的分布Dtl(X) = 1/ (C*N)2.对于 t=l，2，......T选择最有效的弱特征构建每个分类的弱分类器更新样本分布3.最终的分类器
权利要求
1.一种多角度人脸检测系统，包括输入装置，用于输入图像数据；混合分类器，包括用于初步检测出非人脸图像数据的非人脸拒绝层级分类器和多个为包含人脸的图像数据赋予角度标签的角度标签分类器；以及多个角度级联分类器，其中每个对应于相应的人脸角度，所述多个角度级联分类器之一接收对应的角度标签分类器所输出的附有角度标签的图像数据，并进一步检测所接收的附有角度标签的图像数据是否包含人脸。
2.根据权利要求1所述的多角度人脸检测系统，其中，所述输入装置还包括图像窗口扫描单元，用于对原始图像的不同尺度不同位置的子窗口进行数据扫描，并将这些扫描子窗口的图像数据输入到混合分类器。
3.根据权利要求1所述的多角度人脸检测系统，其中，所述非人脸拒绝层级分类器包括多个子分类器，并且每个子分类器有多个弱分类器构成。
4.根据权利要求3所述的多角度人脸检测系统，其中，所述多个角度标签分类器中的每一个计算针对在图像数据中提取的弱特征的响应值并求和，并将最大和值所对应的角度标签分类器所对应的角度标签赋予所输入的图像数据。
5.根据权利要求4所述的多角度人脸检测系统，其中，所述弱特征包括各种能够满足实时性能要求的局部纹理描述。
6.一种多角度人脸检测方法，包括输入图像数据；初步检测非人脸图像数据并为包含人脸的图像数据赋予角度标签；以及接收附有角度标签的图像数据，并进一步检测所接收的附有角度标签的图像数据是否包含人脸。
7.根据权利要求6所述的多角度人脸检测方法，其还包括对原始图像的不同尺度不同位置的子窗口进行数据扫描。
8.根据权利要求7所述的多角度人脸检测方法，其中，在进行数据扫描的同时，计算在进行检测步骤中所需要使用的弱特征。
9.根据权利要求7所述的多角度人脸检测方法，其中，所述弱特征包括各种能够满足实时性能要求的局部纹理描述。
10.根据权利要求7所述的多角度人脸检测方法，其中，所述初步检测非人脸图像数据通过分层级结构的分类器来执行。
全文摘要
本发明提供一种多角度人脸检测系统，包括输入装置，用于输入图像数据；混合分类器，包括用于初步检测出非人脸图像数据的非人脸拒绝层级分类器和多个为包含人脸的图像数据赋予角度标签的角度标签分类器；以及多个角度级联分类器，其中每个对应于相应的人脸角度，所述多个角度级联分类器之一接收对应的角度标签分类器所输出的附有角度标签的图像数据，并进一步检测所接收的附有角度标签的图像数据是否包含人脸。本发明还提供一种多角度人脸检测方法。
文档编号G06K9/62GK102467655SQ201010532710
公开日2012年5月23日 申请日期2010年11月5日 优先权日2010年11月5日
发明者刘童, 师忠超, 王刚, 袁勋, 钟诚 申请人:株式会社理光