专利名称：利用联合检测器进行物体检测的方法
技术领域：
本发明涉及一种物体检测方法，更具体地说，涉及一种利用不同检测器 的联合来进行物体检测的方法。
背景技术：
物体检测是进行媒体内容管理、智能监控等应用领域的基础，是这些领 域中非常重要的核心技术。特别地，对于人脸的检测作为物体检测中的重要 组成部分，广泛地应用于身份验证、智能监控、智能相机等领域。
在现有技术中，都是利用单一的检测器来进行物体检测，作为示例，所
述单一的检测器为Haar检测器、SIFT (尺度不变特征变换，Scale Invariant Feature Transform )检测器、MCT ( Modified Census Transform )检测器、NMF (非负矩阵分角罕，non-negative matrix factorization )才全测器等。
图1中的(A)、 (B)和(C)分别示出Haar边缘特征、Haar线特征和 Haar扩展特征，其中，Haar边缘特征可用于构造边缘特征器，Haar线特征可 用于构造线特征检测器，Haar扩展特征可用于获取点特征、对角线特征等。 Haar特征值计算如下
其中，R是预定的局部区域，i是区域内的像素点，P'是该像素点的灰度
值，W是该点的权重。w'满足如下要求 I>=0。
上述Haar特征值的加权和被作为Haar检测器的判别依据，从而对被检 测样本进行筛选。此外，也可利用积分图像的方法，快速得到所计算的Haar
特征值。
图2示出现有技术中基于3x3网格的MCT特征，其中，每个网格大小 相等，可以是一个像素，也可以是多个像素组成的长方形或正方形。图3示 出现有技术中的检测器中所包括的示例性MCT特征，其中，白色网格表示其
4特征值高于均值，而黑色网格表示其特征值低于均值。
MCT特征值基于3x3网格，每个网格的像素值求和以作为网格特征值； 将所述网格特征值与所有网格特征值的均值进行比较，获得0或1;将9个 网格的比较结果连接成0-511的整数，从而通过索引而得到MCT特征值。
MCT特征值的索引地址计算如下
9
1 9
其中，g'是3x3网格中第i个元素的值。g"是网格的均值& —9Ug'。
x")是二值函数"X to k0。
由于MCT特征是通过比较各个元素值与均值的大小而获得，所以鲁棒 性高，且具有很好的光照不变性。另外，3x3网格中的每个元素既可以是单 个像素，也可以是矩形或正方形区域。与Haar特征相同，上述MCT特征值 的加权和被作为MCT检测器的判别依据，从而对被检测样本进行筛选。此外， 也可以通过采用积分图像的方法来快速计算出MCT特征值的索引地址。
然而，不管是Haar检测器，还是MCT、 SIFT、 NMF4全测器，现有技术 均存在由于采用单一的检测器而受到很大局限性的问题，以致无法实现快速 且准确的物体检测。例如，从图1、图2和图3可以看出，Haar检测器结构 简单，速度较快，但是区分复杂的特征需要融合相当多个Haar检测器，导致 效率偏低。而SIFT检测器结构过于复杂，速度较慢，目前无法应用于快速的 物体检测。此外，MCT检测器便于区分一些较为复杂的特征，但是结构不够 简单，速度也不是很快。
尽管第20050249401号题为"Method for combining boosted classifiers for efficient multi-class object detection"的美国专利申请4是出了 一种基于权重不同 的弱分类器来进行Haar检测的方法，但是该方法对于区分复杂的非物体样本， 仍旧需要大量的Haar弱分类器，导致时间性能和检测率的下降。此外，尽管 第20080002856号题为 "Tracking system with fused motion and objection detection"的美国专利申请提出了 一种应用局部SIFT来建立形状模型以进行 图像检测的方法，但是该方法所采用的SIFT检测器由于非常耗时，导致系统 速度较慢，从而不能达到实用产品的性能。
因此，需要提出 一种能够克服单个检测器的缺陷而进行准确快速的物体检测的方法。
发明内容
在下面的描述中将部分地阐明本发明另外的方面和/或优点，通过描述，其会变得更加清楚，或者通过实施本发明可以了解。
本发明的目的在于提供一种能够将不同种类的物体检测器进行联合，从而以多层的方式对被检测图像进行物体检测，这样，能够克服单一检测器的局限性，实现快速且准确的物体检测。
根据本发明的 一方面，提供一种利用联合检测器进行物体检测的方法，
所述方法包括将种类不同的第 一检测器与第二^^测器以联合的方式组成多层联合检测器；从最高层检测器开始，对输入的样本进行强分类检测；允许在当前层被检测为物体的样本进入下一层，并拒绝在当前层被检测为非物体的样本进入下一层；以及将通过所有层的样本作为检测到的物体。第 一检测器是Haar检测器，第二检测器是MCT检测器。第 一检测器是Haar检测器，第二检测器是SIFT检测器。第 一检测器是Haar检测器，第二检测器是NMF检测器。所述联合的方式为将第一检测器设置在多层联合检测器的最开始的n层，将第二检测器设置在多层联合检测器的剩余m层。根据经验和测试结果来确定n和m的值。
所述联合的方式为将第一检测器与第二检测器交替设置在所述多层中的各个层。
第一检测器位于奇数层，第二检测器位于偶数层。
所述联合的方式为通过设置反映样本检测速度和检测效果的性能函数，分别训练第 一检测器和第二检测器，并基于训练结果为每一层选择性能较优的检测器作为该层的检测器。
根据本发明的另 一方面，提供一种利用联合;f企测器对多姿态图像进行物体检测的方法，所述方法包括按照视角将多姿态图像划分为多个子类；针对每个子类，将种类不同的第 一检测器与第二检测器以联合的方式组成多层联合检测器；在每个子类的多层联合检测器，从最高层检测器开始，对输入的样本进行强分类检测；允许在当前层被检测为物体的样本进入下一层，并拒绝在当前层被检测为非物体的样本进入下一层；以及将各个子类的联合检测器最终输出的样本进行融合，以形成所检测到的物体。
通过下面结合附图进行的对实施例的描述，本发明的上述和/或其它目的
和优点将会变得更加清楚，其中
图1中的(A)、 (B)和(C)分别示出现有技术中的Haar边缘特征、
Haar线特征和Haar扩展特征；
图2示出现有技术中基于3x3网格的MCT特征；
图3示出现有技术中的检测器中所包括的示例性MCT特征；
图4示出根据本发明一示例性实施例的利用联合检测器进行物体检测的
示图5示出根据本发明另一示例性实施例的利用联合检测器进行物体检测 的示图6示出根据本发明另一示例性实施例的利用联合检测器进行物体检测 的示图；以及
图7示出将本发明的示例性实施例应用于多视角物体检测的情况的示图。
具体实施例方式
现将详细参照本发明的实施例，所述实施例的示例在附图中示出，将通 过参照附图来说明所述实施例，以便解释本发明。
在本发明的实施例中，所述联合检测器中的每一个检测器采用的是现有 技术中的分层结构，其中，每层均是强分类器，能够使被检测为物体的样本 通过以到达下一层，而拒绝被检测为非物体的样本通过该层。在具体检测中， 可使用如上所述的特征值的加权和作为判別依据，通过与阈值的比较对样本 进行筛选。这样，样本自上而下通过各个层，只有最终被检测为物体的样本 才能通过所有层。针对被检测对象的特征以及各种检测器在样本检测方面的 特点，本发明提出利用各种检测器的联合来进行物体检测的方案。以下，将 参照图4至图7来详细说明本发明的示例性实施例。
图4示出根据本发明一示例性实施例的利用联合检测器进行物体检测的 示图。参照图4，采用Haar检测器与MCT检测器联合的方式以分层结构进
7行物体检测，其中，由于Haar检测器结构简单且速度较快，所以将其用于初 始阶段，以便快速去除简单的非物体样本，而由于MCT检测器的结构可用于 区分一些较为复杂的特征，所以其适合后续阶段，以拒绝复杂的非物体样本。 如图4所示，在多层的联合检测器配置中，将Haar检测器用于最开始的n层， 而将MCT检测器用于后续的m层，其中，n和m的具体数值可根据经验和 测试结果来确定，以便选择速度最快和检测效果最好的配置。这样，通过n 层的Haar检测器首先去除大部分的非物体样本，然后，通过位于下部的m层 MCT检测器来排除数量少，但结构相对复杂的非物体样本，由此，虽然MCT 检测器的计算量较大，但是因为进入下部的非物体样本数量已经减少，所以 整个系统的运算速度还是很快的。上述确定n和m的方式仅仅是示例性的， 本发明并不受限于此，还可以采用本领域所知的其它方式来确定n和m的值， 只要能够使得联合的检测器达到良好的检测性能。
上述Haar检测器与MCT检测器仅仅是作为示例，本发明并不受限于此。 本领域的技术人员应了解，还可用SIFT检测器、NMF检测器等来代替MCT 检测器以与Haar检测器组成联合检测器，从而进行物体检测。
图5示出根据本发明另一示例性实施例的利用联合检测器进行物体检测 的示图。参照图5，采用Haar检测器与MCT检测器联合的方式以分层结构 进行物体检测，其中，由于Haar检测器的特征和MCT检测器的特征存在互 补的特性，所以将Haar检测器与MCT检测器交替设置，作为示例，如图5 所示，在多层的联合检测器配置中，按照从上到下的顺序，将Haar检测器用 于第一层、第三层、第五层等奇数层，而将MCT检测器用于第二层、第四层、 第六层等偶数层。这样，利用Haar特征和MCT特征的互补性，可以充分检 测到物体，并具有较高的计算速率。
上述Haar检测器与MCT检测器仅仅是作为示例，本发明并不受限于此。 本领域的技术人员应了解，还可用SIFT检测器、NMF检测器等来代替MCT 检测器以与Haar一企测器组成联合检测器，从而进行物体检测。
图6示出根据本发明另一示例性实施例的利用联合检测器进行物体检测 的示图。参照图6,采用Haar检测器与MCT检测器联合的方式以分层结构 进行物体检测，其中，每一层具体为Haar检测器还是MCT检测器需要根据 针对被检测对象的训练过程来确定。例如，可通过设置反映样本检测速度和 检测效果的性能函数，分别训练Haar检测器和MCT检测器，并基于训练结检测的训
练过程中，通常，位于上层的检测器多为Haar检测器，而位于下层的检测器 多为MCT检测器，特别是最后2-3层几乎均为MCT检测器。
上述Haar检测器与MCT检测器仅仅是作为示例，本发明并不受限于此。 本领域的技术人员应了解，还可用SIFT检测器、NMF检测器等来代替MCT 检测器以与Haar检测器组成联合检测器，从而进行物体检测。
图7示出将本发明的示例性实施例应用于多视角物体检测的情况的示 图。可将图4至图6所示的本发明示例性实施例直接应用于简单的物体检测， 例如，对正面人脸的检测。而对于比较复杂的情况，例如，对于多姿态人脸 的检测，可将图4至图6的示例性实施例灵活地应用于这一检测。具体说来， 对于多姿态的人脸检测，可以按照视角将被检测对象划分为多个子类，对于 每个子类，可选择应用图4至图6的示例性实施例之一，并将所有子类的检 测结果融合，以作为最终的物体检测结果。
综上所述，根据本发明的利用联合检测器进行物体检测的方法，克服了 现有技术中利用单一检测器所存在的局限性，而且通过灵活地为各个分层选 择适合的检测器，从而达到既保证检测效果又提高计算速度的优点。
尽管已经示出并描述了本发明的一些实施例，但是本领域的技术人员应 认识到在不脱离本发明的原理和精神的情况下，可对这些实施例进行改变， 其中，本发明的范围在权利要求中限定。
权利要求
1、一种利用联合检测器进行物体检测的方法，所述方法包括将种类不同的第一检测器与第二检测器以联合的方式组成多层联合检测器；从最高层检测器开始，对输入的样本进行强分类检测；允许在当前层被检测为物体的样本进入下一层，并拒绝在当前层被检测为非物体的样本进入下一层；以及将通过所有层的样本作为检测到的物体。
2、 如权利要求1所述的方法，其中，第一检测器是Haar检测器，第二 检测器是MCT检测器。
3、 如权利要求l所述的方法，其中，第一检测器是Haar检测器，第二 检测器是SIFT检测器。
4、 如权利要求l所述的方法，其中，第一检测器是Haar检测器，第二 检测器是NMF检测器。
5、 如权利要求l所述的方法，其中，所述联合的方式为将第一检测器 设置在多层联合检测器的最开始的n层，将第二检测器设置在多层联合检测 器的剩余m层。
6、 如权利要求5所述的方法，其中，根据经验和测试结果来确定n和m的值。
7、 如权利要求l所述的方法，其中，所述联合的方式为将第一检测器 与第二检测器交替设置在所述多层中的各个层。
8、 如权利要求7所述的方法，其中，第一检测器位于奇数层，第二检测 器位于偶数层。
9、 如权利要求l所述的方法，其中，所述联合的方式为通过设置反映 样本检测速度和检测效果的性能函数，分别训练第 一检测器和第二检测器， 并基于训练结果为每一层选择性能较优的检测器作为该层的检测器。
10、 一种利用联合检测器对多姿态图像进行物体检测的方法，所述方法包括按照视角将多姿态图像划分为多个子类；针对每个子类，将种类不同的第 一检测器与第二检测器以联合的方式组成多层联合检测器；在每个子类的多层联合检测器，从最高层检测器开始，对输入的样本进行强分类^f企测；允许在当前层被才企测为物体的样本进入下一层，并拒绝在当前层被检测为非物体的样本进入下一层；以及将各个子类的联合检测器最终输出的样本进行融合，以形成所检测到的物体。
11、 如权利要求IO所述的方法，其中，所述联合的方式为将第一检测器设置在多层联合检测器的最开始的n层，将第二检测器设置在多层联合检测器的剩余m层。
12、 如权利要求IO所述的方法，其中，所述联合的方式为将第一检测器与第二检测器交替设置在所述多层中的各个层。
13、 如权利要求IO所述的方法，其中，所述联合的方式为通过设置反映样本检测速度和检测效果的性能函数，分别训练第 一检测器和第二检测器，并基于训练结果为每一层选择性能较优的检测器作为该层的检测器。
全文摘要
本发明提供一种利用联合检测器进行物体检测的方法，所述方法包括将种类不同的第一检测器与第二检测器以联合的方式组成多层联合检测器；从最高层检测器开始，对输入的样本进行强分类检测；允许在当前层被检测为物体的样本进入下一层，并拒绝在当前层被检测为非物体的样本进入下一层；以及将通过所有层的样本作为检测到的物体。
文档编号G06K9/62GK101685501SQ20081014926
公开日2010年3月31日 申请日期2008年9月22日 优先权日2008年9月22日
发明者任海兵, 李宗河, 金培亭 申请人:三星电子株式会社;北京三星通信技术研究有限公司