专利名称：对象检测装置及其学习装置的制作方法
技术领域：
本发明涉及一种用于从图像中检测诸如人脸的对象的对象检测装 置，以及一种用于该对象检测装置的学习装置。
背景技术：
在计算机视觉中，对象检测技术被断定是应用于决定对象在图像 中是否捕捉到特定对象的学科。作为对象，有汽车、行人、人脸等。 在许多应用中，对象检测被认为是非常难的问题。例如，在对象是人 脸的情况下，脸部看来如何很大程度上取决于人脸的方向、照明以及 由太阳镜、面具等造成的部分遮挡而发生变化。此外，当画面质量失 常以及在图像上叠加了噪声或者当在图像中所得到的脸部较小时，在 监控系统等所使用的应用中检测人脸更加困难。
作为用于解决对象检测中问题的常见系统，有基于统计学习的模 式识别技术。根据预先给出的学习样本来决定识别器的参数。作为在 人脸检测中的常见方法，有使用神经网络、支持向量机、Bayes估计等 方法。通常，基于特征选择技术以从输入图像中提取在识别中使用的 特征量、基于识别器构建技术以构建用于根据所选择的特征量的输入 决定对象是否存在的识别器、以及基于通过使用所构建的识别器来决 定在图像窗口中是否存在人脸的技术，来构造这些方法。在此，"图 像窗口"指的是在输入图像中的部分区域。可以从输入图像上切割出 其中部分区域的位置或尺寸被改变的大量窗口。
作为识别器构建方法，有非专利文献l中已知的自适应提升 (Adaptive Boosting)或Adaboost方法。在下文中，该方法被称作 "Adaboost学习方法"。该方法适用于许多对象检测装置，并且在非专
利文献2中陈述了使用该方法从图像中检测人脸的方法。在Adaboost学
习方法中，识别器可以具有较高的误差率从而识别误差可以被设置为
50%或更低，并且该识别器被称作弱分类器。在Adaboost学习方法中，
通过在大量准备好的弱分类器中选择一些弱分类器并且随后组合这些
弱分类器来构建误差率较低的强分类器。
作为通过使用Adaboost学习方法来实时检测正面人脸的方法，有 在非专利文献2和专利文献1中陈述的方法。在人脸识别器也就是在非 专利文献2和专利文献1中陈述的人脸传感器中，采用了其中串联多个 强分类器的级联结构。在该级联结构中，所连接的分类器被称为级以 及位于最靠近输入侧的第一级被称为第一级强分类器或在第一级处的 级识别器。通过根据Adaboost学习方法执行学习并随后根据从为了学习 目的的输入图像中提取的特征量连接大量的弱分类器，来构建在每一 级处的识别器。针对人脸图像的学习样本来训练每一级的识别器，从 而使得这些学习样本可以几乎被100%正确地识别，但是针对非人脸图 像的学习样本来训练，从而使得非人脸图像的学习样本可以几乎被50% 正确地识别。在第一级的级识别器决定输入图像是否对应于人脸，以 及在第一级以及后面的级处的级识别器分别决定由在第一级的级识别 器所决定的作为人脸的输入图像是否对应于人脸。由于由在第n级的级 识别器决定为非人脸的输入图像不再被处理，并且做出该输入图像不 是人脸的决定，所以可以有效地进行处理。因此，已知上述方法可以 以大约每秒15帧的处理速度操作。
此外，还有通过使用不同的学习样本并且综合这些识别结果来构 建多个人脸传感器从而改善识别准确度的方法。作为该方法的实例， 在非专利文献2中示出了多数票决系统。非专利文献2的作者Viola等人 指出制备三个级联识别器(具有级联结构的识别器)以及通过对这些 输出结果的多数票决来降低识别误差。在非专利文献3示出的另一应用 中，非专利文献3的作者Rowley等人训练许多神经网络以构建人脸传感 器。作为连接多个传感器的结果的方法，已经提出了使用被训练的神
经网络以从提出代替多数票决系统的大量神经网络传感器来输出最终 结果的方法。
作为提取特征量来检测人脸的方法，在非专利文献2中Viola等人已
经提出了被称作矩形特征的特征。通过分别测量由矩形滤波器所限定 的矩形部分区域之间的亮度差，来提取图像窗口的矩形特征。
此外，作为另一个特征量提取方法，已经在非专利文献4中提出了 "Modified Census Transform"。通过将输入图像中的3x3像素块转换为 二值图像来提取特征量。将块中像素的亮度值与块中亮度平均值进行 比较。如果像素的亮度值高于平均值，那么标记值l，反之如果像素的 亮度值不高于平均值，那么标记值0。由此，通过顺序地排列块中所有 像素的标记，来获得9-比特的信息，并且该信息被用作特征量的值。
专利文献1:美国专利申请公开2002/0102024说明书 非专利文献1: Yoav Freund, Robert E. Schapire, "A decision-theoretic generalization of on-line learning and an application to boosting", Computational Learning Theory: Eurocolt '95， Springer-Verlag, 1995, p.23-37
非专禾'J文献2: Paul Viola, Michael Jones， "Rapid Object Detection Using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2001 December, ISSN: 1063-6919, Vol. l,p.511-518
非专利文献3: H. Rowley, S. Baluja, T. Kanade， "Neural Network-Based Face Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol.20, No.l， 1998 January, p.23-28
非专禾!j文献4: Bernhard Froba, Andreas Ernst, "Face Detection with the Modified Census Transform", Proceedings for Sixth IEEE International Conference on Automatic Face and Gesture Recognition (AFGR)， 2004 May, p.91-9
发明内容
本发明需要解决的问题
然而，关于上述检测技术，存在一些问题。
第一个问题是，在非专利文献2及专利文献1中提出的级联识别器 中，由处理整个输入空间的线性识别器来构造弱分类器。增加/训练弱 分类器以补偿之前的弱分类器的识别误差。在这种情况下，当新近增 加了经过训练的弱分类器时，通过连接这些弱分类器所构造的整个识 别器的误差可以逐渐地降低并且在输入空间的某部分区域中可以改善 误差，但是在另一部分区域中会产生识别误差。因此，当在包含对象
(例如人脸)的图像和不包含对象的图像之间图像特征非常相似时， 通常在级联识别器后面级的强分类器不能线性地分离在特征间隔上的 这些数据，并由此增加识别误差的发生率。因此，需要大量的弱分类 器，以及增加了在识别时所处理的识别的数目。
此外，在学习级识别器时，由每一级的不同的图像样本来学习不 包含对象的图像(在下文中称作"对象无对象图像")，并随后选择 出适合学习中的对象无对象图像的最好的(最可识别的)弱分类器。 相反，在所有级，必须对象将包含对象的图像(在下文中称作"对象 图像")识别为对象自身，并且由相同的图像样本来学习包含对象的 图像。然而，例如，当对象是人脸时，人脸图像的特征根据人脸的方 向/倾斜、照明条件、个人特征、种族、被太阳镜、面具、头发等的遮 挡而大大不同。在图像中的正面向前并且具有清楚的眼睛、鼻子、嘴 等的人脸易于识别，然而当人脸的特征被方向、照明等减弱时，人脸 难以识别。尽管有这些情况，在现有技术中的识别器依然通过使用相 同的弱分类器来处理这些人脸特征。不存在用于处理容易与非人脸区 分开的人脸图像的机制。此外，由于不能实现响应每个人脸的特征的 识别，所以难以高度准确地检测复杂的人脸特征。
第二个问题是，在非专利文献2及专利文献1中的级联结构中，从 某一级处的强分类器到另一级处的强分类器之间没有信息传递。在现 有技术的系统中，在某一级处的弱分类器不知道在先前级处的强分类 器的输出值。因此，例如，当对象是人脸图像时，构建用于检测正面 向前并且易于被识别为对象的人脸的传感器可以通过级联结构来实 现，但是对于级联结构，难以实现检测复杂人脸(例如面向不同方向 的人脸图像)为对象的传感器，复杂人脸的输入空间是复杂的并且其 识'别器延伸到高阶。当强分类器执行学习不是为了知道在先前级的强 分类器的结果时，从总体上最令人满意地将学习人脸/非人脸样本分离 的弱分类器中选择在该强分类器中所使用的弱分类器。相反，如果给 出关于在先前级处的强分类器识别样本(也就是说，样本是否位于人 脸和非人脸之间的边界周围)是困难还是容易的信息作为在先前级处 的强分类器的结果，那么可以通过采用这样的信息，将用于令人满意 地识别在人脸与非人脸之间的边界周围的样本的弱分类器包括进来。 因此，可以快速地在特征空间上找出人脸/非人脸之间的边界。因此认 为在实现构建可以识别具有复杂识别边界的诸如朝向不同方向的人 脸的复杂人脸等的传感器中，在前级处的强分类器的信息是不可缺少 的。
第三个问题是，在非专利文献2中陈述的多数票决系统中，由于多 个传感器并行操作，所以处理负载较重。此外，由于分别单独地训练 级联识别器，所以不清楚这些识别器是否互补地工作。而且，在识别 器之间没有信息共享。多数票决方法不是适用于连接多个传感器结果 的最佳方法。例如，如在非专利文献4中所陈述的，当训练完全不同的 识别器并且构建多个识别器以输出最佳结果时，处理时间变得更短。
第四个问题是，在非专利文献2及专利文献1中，基于亮度值并由 Viola等人提出的矩形特征对于照明环境是敏感的。例如，图15是说明 现有技术中矩形特征问题的视图，以及矩形特征是由图15中的斜线所 遮蔽的矩形1220与矩形1221之间的亮度差值。例如，在图15 (B)中的
人脸图像1202中的人脸的部分上，照明的影响看起来较强，以及该图
像中的亮度值差具有与图15(D)中的非人脸图像1212相似的值。此外， 因为仅仅测量矩形块中的亮度信息作为特征量，所以从特征量不能获 得重要的排列信息。例如，由于图15 (C)中的非人脸图像1211与图15 (A)中的人脸图像1201都具有相同数目的每个具有低亮度值的像素， 所以它们具有在相同范围内的亮度差值。在识别图像中，具有高/低亮 度值的像素的空间分布是非常重要的，然而在特征提取过程中，没有 考虑这种分布。在其中非人脸图像与人脸图像彼此非常相似的后级处 的识别器中，在分离人脸与非人脸时，矩形特征变得不那么有效并由 此增加了识别误差。这种事件作为极大增加级识别器中的特征量数目 的因素。
作为不同的方法，有如在非专利文献l中所述的基于模式的 "modified census transform"特征量。然而，由于该方法只提取局部特 征量，所以这种方法对于噪声的影响变得敏感。例如，图16是说明现 有技术中特征量的问题的视图。转换模板从3x3像素块1250获得特征 量。当块1250被转换为在二值块1251中所示的二值化值时，上面叠加 了噪声的非人脸图像1231被转换为与人脸图像1201相同的二值块值。 这是因为从"modified census transform"特征量中完全忽视了亮度信息。 由于"modified census transform"特征量使用像素作为单元，所以像素 块被过度地局部化并且不能在全部位置上获得特征量。
鉴于上述情况，提出了本发明，以及本发明的目的是提供能够高 度准确地抑制处理负载的增加的对象检测装置及其学习装置对象。
解决问题的方法
第一方面，本发明的对象检测装置包括图像窗口提取部分，用 于从输入图像中提取多个图像窗口作为图像的部分区域；以及对象检 测部分，用于通过使用节点网络分别从所提取的图像窗口中检测对象 的存在，在节点网络中，将每一个具有用于识别对象的识别器的节点
连接为网络。
根据该结构，通过使用节点网络来识别图像窗口从而检测对象的 存在。因此，可以高度准确地抑制处理负载的增加。
第二方面，在根据本发明的第一方面的对象检测装置中，节点具 有多个识别器。
第三方面，在根据本发明的第一或第二方面的对象检测装置中， 对象检测部分具有用于在节点网络中生成至少一个路径的路线生成部 分，以及用于在每个所生成的路径中执行对象的识别过程并且输出识 别结果以表示图像窗口是否包含对象的识别部分。
第四方面，在根据本发明的第三方面的对象检测装置中，对象检 测部分决定在图像窗口中的节点网络中是否存在还未评估的新路线， 并且根据决定结果来重复路线生成部分的路线生成过程以及识别部分 的识别结果输出过程。
第五方面，在根据本发明的第四方面的对象检测装置中，重复路 线生成过程以及识别结果输出过程，直到重复的数目达到预定的次数 或者不生成新路线。
第六方面，在根据本发明的第三到第五方面中任何一个的对象检 测装置中，路线生成部分具有用于决定至少一个路线从而使得路线的 数目不超出预定数目的路线决定部分，以及分割网络上的每个路线以 生成新路线的功能。
第七方面，在根据本发明的第三到第六方面中任何一个的对象检 测装置中，识别部分具有评估部分，用于在每个生成的路线中执行 识别过程以获得识别结果和识别误差；选择部分，用于选择具有最低
识别误差的路线中的识别结果作为节点网络的识别结果；以及停止决 定部分，用于决定当最低识别误差变得小于预定值时，停止在评估部 分中的识别过程。
第八方面，在根据本发明的第七方面的对象检测装置中，评估部 分具有提取部分，用于在所生成路线的各个节点处提取图像窗口的 特征量值；应用部分，用于将特征量值应用于识别器以得到所生成路 线的各个节点的评估值；结合部分，用于结合各个节点的评估值以生 成所生成路线的累积评估值；识别部分，用于通过采用累积评估值以 获得所生成路线的识别结果，从而识别图像窗口是否包含对象物；以 及误差估计部分，用于估计关于所生成路线的识别结果的识别误差。
第九方面，在根据本发明的第一到第八方面中任何一个的对象检 测装置中，响应图像窗口中的特征来改变在最终结果的决定中是否利 用由在各个节点处的识别器所获得的识别结果。
第十方面，在根据本发明的第一到第八方面中任何一个的对象检 测装置中，响应图像窗口中的特征来改变在最终结果的决定中以何种 比率利用由在各个节点处的识别器所获得的识别结果。
第十一方面，在根据本发明的第十方面的对象检测装置中，根据 图像窗口中的特征与在识别器的学习中所使用的图像特征之间的差 异，来决定在最终结果的决定中以何种比率利用由在各个节点处的识 别器所获得的识别结果。
第十二方面，在根据本发明的第一到第八方面中任何一个的对象 检测装置中，当识别器基于提升方法时，基于两个值之间的差异来决 定某个识别器对于最终结果的决定的贡献比率，其中，第一个值为在 图像窗口中的所关注识别器之前的所有识别器的累积评估值，而第二 个值为当基于学习图像构建所关注识别器时的该关注识别器之前的所有识别器的累积评估值中识别误差最高的累积评估值。
第十三方面，在根据本发明的第一到第八方面中任何一个的对象 检测装置中，基于两个值之间的差异来决定在各个节点处的识别器对 于累积评估值的贡献比率，第一个值为在节点的父节点处的图像窗口 的累积评估值，第二个值为当基于学习图像构建在所关注节点处的 特征分类器时，所关注节点的父节点处的累积评估值中识别误差最高 的累积评估值。
第十四方面，在根据本发明的第一到第十三方面中任何一个的对 象检测装置中，当对于某个节点存在多个父节点时，对象在父节点处 的累积评估值的范围内，对象检测部分在当学习在所关注节点处的特 征分类器时在学习图像中的所关注节点的父节点处的累积评估值中搜 索包含最大识别误差的累积评估值。
第十五方面，用于对象检测装置的本发明的学习装置，该对象检 测装置具有节点网络学习部分，用于通过使用其中将每个具有用于识 别对象的识别器的节点连接为网络的节点网络来在网络结构中动态地 学习识别器，以及该节点网络学习部分具有空闲节点生成部分，用 于在节点网络中生成至少一个空闲节点；学习图像收集部分，用于收 集用来学习空闲节点的多个图像；以及节点学习部分，用于利用收集 的图像来学习空闲节点。
第十六方面，在根据本发明第十五方面的学习装置中，节点网络 学习部分决定是否可以生成新空闲节点，并且根据决定结果来重复在 空闲节点生成部分、学习图像收集部分以及节点学习部分中的过程。
第十七方面，在根据本发明第十五或第十六方面的学习装置中， 空闲节点生成部分当节点网络空闲时生成作为基准的节点，以及通过 结合和分割已经存在于节点网络中的节点来生成新空闲节点。
第十八方面，在根据本发明第十五到第十七方面中任何一个的学 习装置中，当通过学习图像收集部分所收集的图像数目不足时，空闲 节点生成部分去除该节点。
第十九方面，在根据本发明第十五到第十八方面中任何一个的学 习装置中，学习图像收集部分为正在构建的节点网络提供图像作为输 入，传播图像以通过传播图像在空闲节点之中共享图像，以及收集到 达各个空闲节点的图像。
第二十方面，在根据本发明第十五到第十九方面中任何一个的学 习装置中，将提升算法应用到节点学习部分。
第二十一方面，在根据本发明第二十方面的学习装置中，节点学 习部分根据提升算法从收集到的图像中决定子集，并且通过使用该子 集分别为收集到的图像添加权重。
第二十二方面，在根据本发明第一到第十四方面中任何一个的对 象检测装置中，对象检测部分通过利用图像窗口中的像素的空间分布 信息以及像素的强度信息来检测对象。
第二十三方面，在根据本发明第二十二方面的对象检测装置中， 像素的空间分布信息表示在每个由一个或多个像素构造的多个像素 块之中，各个像素块中特征量值的大小关系以及在图像上各个像素块 的排列关系。
第二十四方面，在根据本发明第二十三方面的对象检测装置中， 像素的强度信息结合空间分布信息表示在各个像素块中的特征量值的 强度的大小关系。
第二十五方面，在根据本发明第二十三或第二十四方面的对象检 测装置中，将矩形模板应用于每一个像素块。
本发明的优势
根据本发明，可以提供能够高度准确地抑制处理负载增加的对象 检测装置及其学习装置。
示出根据本发明实施例的对象检测装置的示意性结构的方框图。
:图2]示出根据本发明实施例的节点网络的概念视图。
:图3]示出根据本发明实施例的路径生成部分的处理过程的流程
图。 的流禾
:图4]示出根据本发明实施例的图像窗口检测处理部分的处理过程往图。
:图5]示出根据本发明实施例的对象检测学习装置的示意性结构的 方框图。
:图6]示出根据本发明实施例的空闲节点生成部分的处理过程的流程图。程图。框图。
视。
图7]说明根据本发明实施例的空闲节点生成的概念视图。
图8]示出根据本发明实施例的图像样本收集部分的处理过程的^
图9]示出根据本发明实施例的节点学习部分的处理过程的流程
图10]示出根据本发明实施例的特征提取部分的示意性结构的方
图ll]示出根据本发明实施例的用于特征提取的矩形模板实例的
图12]示出根据本发明实施例的特征提取部分的处理过程的流程说明根据本发明实施例在特征提取部分中的处理过程的说 明视图。示出根据本发明实施例的用于特征提取的矩形模板的另一 实例的视图。说明现有技术中矩形特征的问题的视图。 [图16]说明现有技术中特征量的问题的视图。
附图标记的描述
201输入部分
202输出部分
210图像窗口提取部分
390特征提取部分
502存储部分
520路径生成部分
530图像窗口检测处理部分
590网络识别器
710空闲节点生成部分
720图像样本收集部分
730节点学习部分
790网络学习部分
具体实施例方式
接下来，将在下文说明根据本发明实施例的对象检测装置。在下 面，通过具体实例同时使用人脸作为对象来进行说明。
<检测系统的结构〉
图l是示出根据本发明实施例的对象检测装置的示意性结构的方 框图。如图1所示，根据本实施例的对象检测装置包括输入部分201、 图像窗口提取部分210、存储部分502、网络识别器590以及输出部分 202。
图像窗口提取部分210从来自输入部分201的图像输入中提取多个 图像窗口。在此，"图像窗口"指的是在输入图像中的部分区域。可 以从输入图像上切割出大量其中部分区域的位置或尺寸被改变的窗 P。
存储部分502存储(accumulate)节点网络。图2是示出根据本发明
实施例的节点网络的概念视图。网络ioo具有排列在网络上的多个节点。
在图2中，示出了网络的基本单元IIO。基本单元110由作为一个节 点的"节点N" 111、用于最多结合来自M个节点的连接的连接部分117、 以及用于最多被分割为N个节点的分割部分118组成。例如，在图2中图 示说明了M-N二2的情况。此外，M个节点被称为节点N的父节点，以及 N个节点被称为节点N的子节点。
在图2中的情况下，节点N的父节点分别是节点112、 113，以及节 点N的子节点分别是114、 115。没有父节点的节点被称为路线节点(在 图2中的101)。输入图像170被输入到路线节点101中。
每个节点具有多个识别器，以及识别器具有特征分类器、、对象 识别器H。以及识别误差函数E,，。可以通过局部地使用提升算法来构建 识别器，例如，如在Jin R.， Hauptmann A.， Carbonell J.， Si L" Liu Y., "A New Boosting Algorithm Using Input Dependent Regularizer"， 20th International Conference on Machine Learning (ICML'03), Washington DC, August 21-23, 2003 (下文中称作"文献A")中所陈述的。提升学 习方法中的弱分类器可以被用作特征分类器，以及提升学习方法中的 强分类器可以被用作对象识别器。
说明将返回到图l中的对象检测装置。网络识别器590是具有网络
结构的识别器，以及从图像窗口提取部分210获得图像窗口并随后通过 使用存储在存储部分502中的节点网络来识别在每个图像窗口中是否 包含对象。
网络识别器590具有路径生成部分520以及图像窗口检测处理部分 530。路径生成部分520读取存储在存储部分502中的节点网络的信息， 并且生成至少一个路径(路线)或更多。路径是选择用来处理图像窗 口的节点序列。
图像窗口检测处理部分530获得来自图像窗口提取部分210的图像 窗口，并且经由由路径生成部分520所生成的路径来处理图像窗口。在 此，在每个路径中，通过由上述每个节点处的识别器(特征分类器hn、 对象识别器H。、识别误差函数E》执行操作来生成表示图像窗口是否 包含对象的识别结果。当要需要输出该识别结果时，选择识别误差最 低的识别结果并且将其存储在输出部分202中。
然后，图像窗口检测处理部分530指示路径生成部分520生成新路 径，并且重复上述识别过程直到不再生成新路径或者直到重复达到了 预定的次数。
图3是示出根据本发明实施例的路径生成部分的处理过程的流程 图。首先，路径生成部分520决定在网络中是否有生成的路径(步骤 621)。如果没有路径存在，那么生成只包含路线节点的路径(步骤622)。 然后，路径生成过程结束。
如果路径存在，那么路径生成部分520决定网络中所生成的路径数 目是否大于预先设置的K (步骤623)。例如，可以将l、 2、 3等设置为 K的值。如果路径数目超过K，那么终止具有较高识别误差的路径以便 将路径数目抑制到最多为K个(步骤624)。在此，根据已经由图像窗 口检测处理部分530检测到的路径来作出决定。此外，措词"终止路径"意味着不再处理经由某路径输入的输入图像。
通过分别分割现有路径来生成更多的路径(步骤625)。例如，将
考虑某一路径包含(nodeo， nodea， nodej的情况。此时，例如，生成 nodeb，ehildl和nodeb,ehild2作为节点b的子节点，并且生成新路径{node0， nodea， nodeb， nodeb,c認d禾口 {node0, nodea, nodeb, nodeb,child2}。
图4是示出根据本发明实施例的图像窗口检测处理部分的处理过 程的流程图。
图像窗口检测处理部分530评估表示图像窗口是否包含对象的各 个生成路径的识别结果。例如可以通过在上述文献A中所陈述的局部提 升来获得识别结果。从所生成路径的所有识别结果中选择要输出的识 别结果。
下面将说明图4中的流程图的各个步骤。首先，图像窗口检测处理 部分530在所生成路径的每个节点处从输入图像窗口中提取特征量(步 骤631)。在此，假设输入图像窗口是X以及在节点N处所提取的特征量 是f。(X)。例如，通过使用图10所示的特征提取部分390来处理特征提取， 并且将在后面描述其细节。
然后，将所提取的特征量fn(X)提供给识别器，并且计算所生成路 径中每个节点的得分K(X)(步骤632)。通过特征分类器hn得到得分 hn(X)，以及通过下面的公式(l)来计算得分h,《X)。
(Z) = Pr步=+11 /- Pr # = -11 / (X))…(！)
在上面的公式(l)中，Prob(k)表示事件k将发生的概率。Y^+l以及 Y二l分别表示输入图像包含对象的情况以及输入图像不包含对象的情
然后，对各个节点得分进行积分以评估所生成路径的累积得分
<formula>complex formula see original document page 22</formula>[公式2]
Sn(X)(步骤633)。可以通过下面的公式(2)来计算累积得分Sn(X)。
&(" = &,",(I) + exp(-|&,,CT,(Z) —a |)" (Z) ...(2) 其中，S0,parent(X)=0, ao=0
正则化函数exp(-IS，，t(X)-c^)响应输入图像局部化由特征分类器
K(X)所生成的影响，并且只有当Sn,UX)取值足够接近正则化参数^ 时才将输入图像X添加到累积得分Sn(X)。因此，在某种情况下，
exp(-|Sn,parent(X)-an|)几乎变为0 ，并且有时新值Sn(X)的取值与旧值
Sn,pa訓t(X)相对没有什么差异。
然后，图像窗口检测处理部分530根据每个路径的累积得分Sn(X)
和识别结果Hn(X)来决定图像窗口是否包含对象(步骤634)。在此，可 以从对象识别器H。得到识别结果Hn(X)或者可以通过下面的公式(3)来
计算识别结果Hn(X)。<formula>complex formula see original document page 22</formula>[公式3]Hn(X^+l指的是表示图像窗口包含对象的识别结果，以及 Hn(X);l指的是表示图像窗口不包含对象的识别结果。
然后，图像窗口检测处理部分530估计路径的识别结果的识别误差 En(X)(步骤635)。可以通过误差函数En (误差函数)得到识别误差或 者通过下面的公式(4)来计算识别误差。
<formula>complex formula see original document page 23</formula> (6)
然后，图像窗口检测处理部分530通过重复步骤631至635来评估各 个路径的识别结果以及识别误差(误差函数)(步骤636)。然后，图 像窗口检测处理部分530从所生成路径的识别结果中选择具有最低识 别误差的识别结果作为输出结果(步骤637)。
然后，当输出结果的识别误差小于预定值时，图像窗口检测处理 部分530终止识别过程(步骤638)。在这种情况下，当输出结果的识 别误差不小于预定值时，图像窗口检测处理部分530指示路径生成部分 520生成新路径。然后，路径生成部分520生成路径。
当网络识别器590的图像窗口检测处理部分530以这种方式识别图 像窗口并且结果是窗口包含对象时，输出部分202输出图像窗口的位置 (例如在输入图像上的坐标值)、尺寸等信息。
以这种这样，由于路径生成部分520结合并分割网络，所以可以构 建大量的路径。此外，在评估识别结果中使用了各个路径，以及网络 作为大量传感器的池(pool)。通过使用一组传感器可以输出比通过单
个识别器获得的输出结果更加可靠的输出结果。
此外，由K来限制路径的数目以确保高速的识别过程。为了确保最 佳的识别结果，动态地生成路径并且在识别过程中还终止具有较高识 别误差的路径。因此，只使用相对于输入具有较低识别误差的路径。
因此，在现有技术中的并联装置中统计地操作并行传感器，并且 并行传感器在识别过程中不能被改变，而在本实施例的对象检测装置 中动态地改变所利用的传感器并且可以抑制不必要的过程。
此外，由于在图像窗口检测处理部分530中利用提升算法，所以确 保将新近生成路径的识别误差降低为统计上小于旧路径的识别误差。 此外，上述公式(2)可以确保局部地应用提升并且识别器hn(X)只作用于
输入图像的子集上。
此外，由于停止识别误差足够低的过程的本方法，可以实现识别 过程的加速。这是由于即使输入图像可能包括对象或可能不包括对象， 对象也可以在早期识别容易处理的输入图像，并由此可以将用于识别 的必要节点的数目抑制到较小水平。
此外，本方法在早期可以只认识被识别为不包含对象的输入图像 窗口，并随后通过固定数目的识别器来执行过程。因此，本方法比现 有技术中的级联结构更加有效。
<用于对象检测的学习方法和系统>
图5是示出根据本发明实施例的对象检测学习装置的示意性结构
的方框图。与图l中示出的对象检测系统中重复的部分被附上相同的附
图标记。如图5所示，对象检测学习装置包括输入部分701、网络学习 部分790以及存储部分502。该对象检测学习装置接收伴随有决定结果 信息(是否存在对象)的多个图像样本，并且使得对象检测装置中所
使用的节点网络的节点的识别器进行学习。在这种情况下，包含有目 标对象的图像样本被称为正样本，以及不包含目标对象的图像样本被 称为负样本。
当为输入部分701提供多个图像样本时，网络学习部分790决定已 经进行过学习的节点网络以识别多个图像样本。在这里决定的节点网
络被存储在存储部分502中，并且用于网络识别器方框590的识别过程 中以识别图像窗口中是否具有对象的实例。
如图5所示，网络学习部分790具有空闲节点生成部分710、图像样 本收集部分720以及节点学习部分730。在此，空闲节点表示还没有为 其决定识别器的节点，以及学习节点表示巳经为其决定识别器的节点。 为了为网络节点决定识别器，例如，可以采用在上述文献A中所陈述的
局部提升算法。
首先，空闲节点生成部分710读取保存在存储部分502中的当前节 点网络并且为了学习生成空闲节点。然后，空闲节点生成部分710通过 使用图像样本收集部分720来从多个输入图像样本701中收集预定数目
的图像样本。如果收集到的图像样本的数目小于预定的数目，那么由 于节点学习部分730不能执行学习所以删除该空闲节点。
然后，节点学习部分730最终决定对应于通过使用由图像样本收集 部分720所收集的图像样本而生成的各个空闲节点的识别器。
重复这些学习过程直到空闲节点生成部分710不生成空闲节点。
图6是示出根据本发明实施例的空闲节点生成部分的处理过程的 流程图。在步骤811，决定节点网络是否空闲。当没有节点存在时，假 定网络是空闲的。如果节点网络是空闲的，那么通过生成空闲路线节 点(node。)来启动网络(步骤812)。
相反，如果节点网络不是空闲的，也就是说，如果存在至少一个 节点，那么通过结合和分割该节点来生成新空闲节点并使得子节点的 数目小于N (步骤813)。在此，将在下面说明该空闲节点生成过程。
图7是说明根据本发明实施例的空闲节点生成的概念视图。通过分
割来自当前节点网络901的节点960、 961、 962、 963来形成相应的空闲 节点950、 951、 952、 953，使得相邻的空闲节点共享共有的父代。例 如，节点950与节点951具有一个共有的父节点。
返回到图6，将在下面说明生成空闲节点的过程。在步骤814，由 图像样本收集部分720分别在空闲节点中收集预定数目T (例如IOOOO) 个图像样本。
在步骤815，删除其中不能收集到足够数目的图像样本的空闲节 点。例如，当图像样本的数目小于T时，删除空闲节点。
图8是示出根据本发明实施例的图像样本收集部分的处理过程的 流程图。
在步骤821，通过使用保存在存储部分502中的节点网络的识别中 所使用的路径来传送输入图像样本组701。例如，在步骤821，图像样 本收集部分720执行与网络识别器590相似的过程，并且生成一个或多 个路线用于通过与在检测对象中所采取的相同操作来识别一个图像样 本。生成图像样本的拷贝，通过所生成的网络路径传播该拷贝，并且 该拷贝到达位于路线尾端的节点。在那时，由于在网络上可能存在以 多种方式生成的路线，所以有时图像样本的多个拷贝到达相同的节点。
在这种情况下，图像样本收集部分720的操作是与检测对象中网络 识别器5^)的操作相同的操作。因此，当在某个节点处将识别图像中的
识别误差抑制到足够小时，终止那里的用于图像的路径并且还将路径 数目限制为小于预定的数目。
在步骤822中，与空闲子节点共享己经到达父节点的图像样本组。 (例如，当在一个子节点处存在多个父节点时，子节点获得来自各个 父节点的图像样本组的并集作为图像样本。当在一个父节点处存在多 个子节点时，各个子节点从共有的父节点接收相同的图像样本组。)也就是说，在子节点中分别生成在步骤821中已经到达父节点处的图像的拷贝。
正样本表示为(X, Y=+l)，以及负样本表示为(X，Y^1)。由公式(2)
相对于一个空闲节点来决定在父节点处的图像样本的累积得分 Sn,pa，t(X)。在空闲节点处的图像样本组表示为(X, Y, Sn,pamit(X))。
在步骤823中，图像样本收集部分720收集到达各个空闲节点的图 像样本，最多收集T个样本。例如，图像样本收集部分720从到达空闲 节点的所有图像样本中随机选择T/2个正样本以及T/2个负样本。
图9是示出根据本发明实施例的节点学习部分的处理过程的流程图。
节点学习部分730决定所收集的图像样本组的子集以学习空闲节 点n，以便在父节点处增加了识别误差。然后，以这样的方式决定权函 数，以便生成被局部化并且专门化用于集中在子集中进行学习的识别 器。将按照合适的顺序说明该节点学习部分的行为。
在步骤831，节点学习部分730响应图像样本通过改变当考虑累积 得分时所应用的权重，来决定应用于专门化节点的识别器的图像样本 的子集。图像样本的子集是在父节点处给出最高识别误差的子集。过 程如下给出。
首先，由图像样本收集部分720所收集的图像样本组被表示为(X, Y， Sn,parent(X))。然后，由上述公式(4)决定对于图像样本组的当前识别误
差En,pa誠(X)。然后，由下面的公式(7)同时使用识别误差En,p画t(X)来决
定正则化参数的值A。
利用公式(7)在an，p went,和QV，w2之间选择an以便具有接近于an的累
积得分Sn,^(X)的图像样本组在父节点处具有最大的识别误差 En，parent(X)。也就是说，进行选择以按照集中的方式学习在前级处不能
被满意地识别的图像。因此，期望在节点n处的识别器学习被选择以便
识别误差在父节点处达到最大的图像样本的子集，从而降低识别误差。
通过下面的公式(7)同时使用正则化函数exp(-lSn,wt(X)-a!)来决定 值A。正则化函数及累积得分都与对象检测装置中的相同。
<formula>complex formula see original document page 28</formula> (7)
也就是说，在CVp,u〈C^Q!n，p,t2范围内选择最大化在所有收集到
的图像样本中的在父节点的识别误差与正则化函数的乘积的总和的a 作为cv在这种情况下，当存在三个或更多父节点时，将a的选择范围 设置为min(an,pa雄:Kc^max(cVparent)。此时，当只存在单个父节点时，由 以下公式(8)给出该值。
<formula>complex formula see original document page 28</formula>(8)
照这样，通过步骤831，决定用来专门化识别器的图像样本的子集 作为图像样本的集合，其最大化在父节点处的识别误差。
然后，在步骤832，节点学习部分730通过使用在步骤831中决定的 子集分别决定所有收集到的图像样本的权重。加权的学习样本组表示 为(X,Y,w(X))。在此，通过下面的公式(9)数学地表示权函数w(X)。
<formula>complex formula see original document page 29</formula>9)
其中，当w(X)是分布时，Wsum是归一化常数。在该公式中，在
ISn，parent(X)-alNO的情况下权重较大，以及在| Sn,p,t(X)-a展大的情况下，
权重较大。
然后，在步骤833中，节点学习部分730通过使用加权的图像样本 组来决定节点n的不同节点识别器。要决定的识别器是分别由公式(l)、
(3)、 (4)给出的特征分类器hn、对象识别器Hn以及识别误差函数En。在
此，例如从上述文献A中的提升算法中发现的特征量中选择可以提供最 佳识别的一个特征量，并且使用该特征量作为特征量。
此外，特征分类器k可以由公式(10)来决定。<formula>complex formula see original document page 29</formula>1o)
在该公式中，P』)表示在分布w中事件j发生的加权概率。此外，
fn(X)是通过使用最佳选择的特征量(=提供最佳识别结果)而提取的图
像样本X的特征量，例如，通过使用在图10中的特征提取部分3卯(将
在后面描述)而提取的特征量。此外，i:w+、 zw-分别是具有特征量f;(x)
的正样本和负样本的权重的总和。 累积得分Sn(X)由公式(2)使用正则化参数的值Q!n以及特征分类器 hJX)来决定。由此，利用公式(ll)、 (12)来决定条件概率。
1[公式ll]<formula>complex formula see original document page 30</formula>…(11)
<formula>complex formula see original document page 30</formula>-…(12)
其中，c+和c.分别是具有累积得分s"x)的正样本和负样本的计数
(件数)。对象识别器Hn由公式(3)使用条件概率来决定。 此外，对象识别器的识别误差En(X)由公式(13)来表示。
<formula>complex formula see original document page 30</formula>…(13)
其中，min(a,W分别表示a和b的最小值。以这种方式，决定在每个
节点处的特征分类器hn、对象识别器Hn以及识别误差函数En。通过上述
的一系列过程完成节点学习过程。
以这种方式，在本发明的实施例中的网络学习部分790具有下面的优势。
首先，可以由空闲节点生成部分710使用多个路线的识别结果来决 定对象。因此，网络学习部分790具有相比现有技术中的级联结构可以 更有效地作出决定的优势。
在本实施例中，由于采用节点的结合及分割，所以存在经由连接 路径连接到一个低层节点的多于一个的高层节点。由于已经通过提升 算法学习的特征分类器被用作相应节点的特征分类器并且这些识别器 的结果被传送到一个或多个低层识别器，所以低层识别器可以通过采 用在这多个路线中的识别器的所有信息来作出对象的决定。
这个优点以及可以通过采用在多个路线中的识别器的所有信息来 作出决定的优点构成了相对于现有技术中的级联结构的优势，在现有 技术的级联结构中，在一级的弱识别器不具有在另一级的弱识别器的 信息。相反，在现有技术中，只将弱识别器的信息传递到在相同级的 随后的弱识别器。这一优势对应于在后面描述的第三特征。
此外，从学习的观点看，空闲节点生成部分710具有下面的优势。 采用现有技术中的级联结构的对象传感器中，在某一级的弱分类器从 来不利用在另一级的弱分类器的信息。相反，在本实施例的系统中， 可以通过利用属于在空闲节点生成流程中的多个级识别器的多个弱分 类器的信息，来致使空闲节点进行学习。
此外，由于在本系统中采用了节点的结合和分割，所以存在从路 线节点延伸到新近生成的空闲节点的路径以及从路线节点延伸到对应 于级识别器的空闲节点的相应路径。各个高层节点是已经通过提升算 法学习的特征分类器，以及实现了可以通过利用属于多个级识别器的 特征分类器的结果来学习空闲节点的构造。
在已知作为现有技术实例的多数票决系统中，在并行操作的多个 传感器中使用决定。与此相反，本发明的实施例具有下面的优势。
首先，在节点网络中生成有限数目的路径。因此，不像多数票决 系统，计算复杂度不因为路径数目而增加那么多。此外，使得应用于 学习/生成节点网络中的多个空闲节点的标准比较清楚。因此，可以有 效地执行基于多个路径的学习，并由此可以解决第三问题，即，在现
有技术的多数票决系统中不清楚各个级联识别器是否互补地操作的这 一问题。以这种方式，可以实现比现有技术更加有效的总体学习。
然后，可以通过图像样本收集部分720获得如下给出的优势。首先， 在本发明的实施例中，与多个空闲节点共享图像样本组。因此，可以 通过一张学习图像来同时学习一个或多个路线的节点。
结果，可以由网络识别器有效地识别图像样本，网络识别器由到 达相同空闲节点的多个路线构造并且利用来自多个路线的识别结果， 不像其中一个图像样本由一个识别器所识别的情况。这一优势对应于 将在后面描述的第二特征。这可以由其中图像样本收集部分使得多个 空闲节点彼此共享图像样本组的系统来实现。
第二，在本发明的实施例中，尽管增加识别器的级数也从不会导 致学习数据的过度分片，并且可以在后级处的识别器中执行稳定的学 习。
在现有方法中，存在这样的缺陷，即当识别器的级数逐渐增加时， 到达识别器的学习样本的数量逐渐降低(产生了多余的分片)，并由 此学习结果强烈地表现出与学习样本的相关性(过度学习)。在本方 法中，通过结合及分割节点来共享图像以允许经由多个路径的决定。 因此，由于存在学习的优选区域的重叠，所以学习样本从来不会过度 地被拆分为分片，并且学习结果很难表现为过度学习。结果，可以获 得可以执行稳定学习的优势。
通常，当高度灵活地执行学习时，存在这样的趋势，即没有再生 数据的统计原始特征但是学习过度地具有与在该学习中所使用的数据 集的相关性。例如，作为决定这种模型是否优良的指数，AIC(Akaike's 信息标准)是已知的。
在多元分析中，由于采用具有灵活性使得AIC最小的模型，所以防 止了学习过度地具有与在该学习中所使用的数据集的相关性。相似地， 在本发明的网络类型识别器中，无目的的高灵活性导致这样潜在的危 险，即只能对在学习中使用的数据集实现优良的学习结果，而不管原 始模型是否优良。然而，在本实施例的方法中，强加了多种限制以便 学习样本不会被节点结合过度地分片，当在空闲节点中没有收集指定 数目的图像时，不执行学习，通过使用多个路径中的识别器来作出决 定等，并且可以防止无目的地增加灵活性的危险。因此，在本方法中， 学习结果很难表现为过度学习。
此外，可以通过本实施例的节点学习部分730获得如下给出的优势。
第一，节点学习部分730构建专用于在父节点处不能被识别的图像 样本的子集的识别器。也就是说，节点学习部分730通过使用公式(9) 的权函数为在父识别器处导致较大识别误差的图像样本组添加较大的 权重(由于特征分类器hn已经根据公式(10)进行学习)。
第二，节点学习部分730构建其中影响被局部化的识别器hn。也就 是说，只有当在父节点生成较大识别误差时，这个节点才对累积得分 有贡献。实际上，当在父节点处生成较大识别误差时，在公式(2)中 |Sn,pa，t(X)-an|具有较小的值。因此，在累积得分中，项 exp(-IS。,p，t(X)-c^『hn(X)变得较大，并且在累积得分中充分反映了在 该节点处的识别器的值h。(X)。
相反地，当在父节点处没有生成较大的识别误差时，在公式(2)中
IS,、,p訓t(X)-C^具有较大的值。因此，项exp(-ISn，p證t(X)-an『hn(X)变得较 小，并且在这个节点处的识别器的值hn(X)很少对累积得分施加影响。
由于这个原因，将对累积得分的影响限制在其中在父节点处的识别误差较大的情况下。可以采用其影响被局部化的识别器来代替这个 事件。
以这种方式，在各个识别器中为累积得分提供较大贡献的输入图 像在一个路径中的各个节点处的识别器中是不同的。因此，在单独的 识别器中，存在其中可以优选操作该识别器以不具有对所有其它识别 器的操作的影响的优选区域。
相反，在具有如现有实例所列出的级联结构的识别器中，如在第 一问题中所讨论的，弱分类器是将过程应用于整个输入空间的线性识 别器，并且所有弱识别器必须将所有的人脸图像识别为人脸。相反， 本发明的实施例的节点识别器，只在容易由在之前节点处的识别器导 致错误识别的图像集中，从非人脸中鉴别出人脸。因此，其中节点识 别器操作的输入图像空间是限制性的，并且可以利用相较具有级联结 构的识别器的情况相当简单的结构来实现由这个节点识别器进行的人 脸/非人脸识别。这对应于将在后面描述的第一特征。
以这种方式，在本发明的实施例中，由于提供了其中在每个节点 处的识别器优选地操作的输入图像的优选空间，所以一个识别器的操 作几乎不对另外识别器的操作施加影响。这相对于包含有弱识别器在 整个输入空间中工作并且将具有对其它弱识别器的操作的影响的问题 的现有技术来说，具有极大的优势。
<特征提取〉
图10是示出根据本发明实施例的特征提取部分的示意性结构的方 框图。例如，这个特征提取部分用于图l示出的图像窗口检测处理部分
530以及图7示出的节点学习部分730中。
如图10所示，特征提取部分390从被输入到输入部分501的图像窗 口提取特征量309。该特征量309用来识别图像窗口是否包含对象。
例如，由特征提取部分390执行由图像窗口检测处理部分530所执
行的并在图4中陈述的步骤631。
图ll是示出根据本发明实施例的用于特征提取的矩形模板实例的
视图。矩形模板在给定的图像窗口1001的内部包含L个矩形块，例如具 有相同尺寸的长方形等。例如可以将L设置为2和9之间的任意值。可以 通过右上坐标、宽度w以及高度h来指定各个矩形块。
例如，图11(A)中示出的矩形模板1010、图11(B)中示出的矩形模板 1020以及图11(C)中示出的矩形模板1030分别包含6、 9、 7个矩形块。
图12是示出根据本发明实施例的特征提取部分的处理过程的流程 图。而且，图13是说明根据本发明实施例在特征提取部分中的处理过 程的说明视图。
在步骤491，特征提取部分390将在图像窗口中限定矩形块的矩形 模板f应用于图像窗口X。
在步骤492，特征提取部分3卯测量来自图像窗口的特别的分布信
息。提供该特别的分布信息作为模式iiio，表示模式的哪块矩形块具
有高于其它块的亮度值。
通过相互比较矩形块的亮度值来计算模式1110。首先，计算所有 矩形块的平均亮度值，并且将该值设置为基准亮度值。然后，计算各 块矩形块的平均亮度值。如果矩形块的平均亮度值小于基准亮度值， 那么该矩形块被标记"1"，而如果矩形块的平均亮度值大于基准亮度 值，那么该矩形块被标记"O"。可以通过使用整体图像(integral image)
来快速并有效地计算这些强度。可以通过收集矩形块的标记来获得模 式lllO。
在图13中，使用矩形模板1010作为实例。特征提取部分390生成关
于输入人脸图像1105的"pattem=101000"的模式1151。特征提取部分 390生成关于输入非人脸图像1106的"pattern, 1000"的模式1161。
在步骤493中，特征提取部分390测量来自图像窗口的空间亮度信 息。该空间亮度信息被称作"强度"，该"强度"表示在不同块之间 的窗口中强度差异存在的方式。
通过从标记为"0"的所有矩形块的平均亮度值上减去标记为"1" 的所有矩形块的平均亮度值来计算强度1120。
例如，在图13中，特征提取部分390生成关于输入人脸图像1105 的"Strength=35"的强度1152。特征提取部分390生成关于另外的输入 非人脸图像1106的"strength=37"的强度1152。
特征提取部分390提取的特征f(X)是二维量，并且可以由下面的公 式(14)来表示。<formula>complex formula see original document page 36</formula>
所提取的特征量使用模式和强度两个属性来提高特征量识别能 力。在许多情况下，需要空间分布信息和亮度值信息来鉴别图像。
举例来说，在图13中，输入人脸图像1105和输入非人脸图像1106 具有相似的强度。根据强度信息，通过现有技术不能将这两个图像彼 此区别开来。然而，由于人脸图像1105和非人脸图像1106具有不同的 模式值，所以可以根据模式值相互区别这两个图像。
图14是示出根据本发明的实施例用于特征提取的矩形模板的另一 实例的视图。当给出图像窗口1001时，矩形模板在窗口1001内部包含L 个矩形块。
如图14(A)中示出的矩形块1091，矩形块可以分别具有不同的尺 寸。此外，如图14(B)、图14(C)中示出的矩形块1092、 1093，矩形块可 以彼此不相交或者彼此不相邻。而且，如图14(D)、图14(E)中示出的矩 形块1094、 1095，矩形块可以彼此完全地重叠或者部分地重叠。
根据本发明实施例的对象检测装置及其学习装置，提供下面的构造。
首先，在对象检测装置中，节点具有已经通过提升学习方法训练 过的多个识别器。网络学习过程接收许多图像样本作为输入，将这些 图像样本组分为一些集合，并且根据相应的图像集来训练识别器。为 了决定要布置在节点上的识别器，在识别过程中，首先，该构造收集 到达节点的训练样本。然后，该构造决定具有最高识别误差并且其中 驻留有许多学习样本的区域。然后，弱分类器在限制区域中执行识别。 弱分类器从不对整个输入空间均匀地施加影响。特征化每个新近增加 的弱分类器，并且仅仅做出在决定的区域中的前面弱分类器的结果的 改进。在以这种方式构造的本发明实施例的网络识别器中，可以获得 这样的优势，即由每个路径中的识别器来识别由通过该路径传播的图 像组成的输入图像的部分空间，在部分空间中的人脸/非人脸决定中进 行分离相较在整个输入图像空间中的决定更加容易，以及不像在现有 技术中后级处的强分类器，不需要大量的弱分类器。结果，可以解决 第一问题。
此外，在本发明的实施例的节点网络中，(l)每个节点具有用于根 据在图像样本到达其自己的节点之前被处理节点的累积评估值来区别 人脸/非人脸的强分类器，以及(2)使得在每个节点处的识别器根据到达
该节点的学习样本以及在之前的节点处的累积评估值结果进行学习。
也就是说，根据本系统，采用了这样的构造，即当结果不足以决定对 象是否存在时，每个节点作为由存在于跟随到目前的路径上的节点组 成的强分类器，并且在响应决定结果而被学习的随后的子节点处继续 该过程。因此，由于总是可以有效地利用截止到目前所得到的识别结 果，所以可以高速地最优地实现识别过程。此外，通过第一解决方法 为每个节点选择专门用于输入空间的部分区域中的分类器以及，在结 合作为本节点网络的典型结构之一 (存在具有多个父节点的子节点) 的节点中，可以通过结合结构来执行输入空间的多个部分区域的识别 过程，该结合结构接收所有父节点的样本并学习在其中父节点的识别 对象区域被结合的部分区域中的最优分类器。因此，在多个节点处， 由弱分类器来处理输入空间中在某一点处的图像，并且可以实现根据 这些结果的累积值作出决定。由此，可以解决第二问题。
此外，在用于从图像中检测对象的系统中，在识别过程中，可以 经由网络上的多个路径来处理输入数据。术语"路径"是在处理/识别 输入数据中所使用节点的路线。路径上每个节点的识别器不仅包含识 别输入图像的弱分类器，而且还包含累积跟随到之前级的节点的弱分 类器的识别结果的识别器。因此，可以通过使用来自路径上各个节点 的弱分类器的累积得分来获得由强分类器或识别器得到的识别结果。 此外，在识别过程中，从当前路径进一步生成多个路径。为了防止不 必要路径的增加，终止具有最高识别误差的路径。由于节点被分割和/ 或被结合，所以可以将整个网络看作是共享共有弱分类器的多个不同 强分类器的结合。通过使用多个路径上的节点而构建的强识别器等效 于使被训练以协同操作的并行强分类器工作。选择路径的识别结果中 具有最佳识别误差的识别结果作为输出结果。以这种方式，可以实现 这样的识别器，该识别器可以以小于多数票决系统的计算复杂度使得 各个路径协同工作，同时保持等于或大于由多个级联识别器(=在多数 票决系统中的级联识别器)组成的传感系统的识别能力。由此，可以 解决第三问题。
在用于从图像中检测对象的系统中，本实施例的特征量提取方法 测量输入图像窗口的空间分布信息及亮度值信息。首先，在特征模板 中决定图像窗口中的对象区域。首先，作为表示为"模式"的属性， 计算表示区域的亮度值高于或低于其它区域的亮度值的值。该属性表 示亮度值的空间大小分布。然后，作为表示为"强度"的属性，计算 表示在图像窗口中亮度值的大小之间差异的值。简而言之，由本实施 例提出的特征选择方法采用两个属性值来从图像中提取有用信息。由 此，可以解决第四问题。
此外，根据本发明实施例的对象检测装置及其学习装置具有如下 所述的特征。第一特征是，识别器被局部化以在输入图像的部分空间 中执行识别。不像其中训练弱分类器来识别整个输入空间的现有方法， 本实施例通过引入网络结构来训练弱分类器处理输入空间的部分区 域。也就是说，每个识别器在特定区域中执行特定的识别过程，而与 其它识别器的识别过程无关。由此，可以获得准确度的改善以及识别 误差的降低并且可以构建更加复杂的非线性识别器。
此外，在本实施例中，应用对应于输入图像的识别器，并由此不 需要评估所有的识别器。因此，可以降低在识别过程中的计算处理成 本。此外，为了确保不管输入图像是否包含对象都可以在早期识别出 简单(容易识别)的输入图像，使位于网络的上部或者外部、其中较 早处理输入图像的弱分类器专门用来处理简单的输入图像。
第二特征是，更加有效地共享识别结果。在本实施例中，采用网 络结构来代替现有方法中的其中连接弱分类器的级联结构。识别器被 布置在从多个节点连接到多个节点的网络的节点上。网络分割结构将 识别器局部化在特定区域的操作上，以及结合结构确保网络相互地紧 密连接。在连接节点的构造中，通过结合使用中的父节点的学习样本 来防止对输入空间的过度分片。可以与其中通过分割及结合解决对象问题的本实施例的系统有效地分享识别信息，以及可以降低在整个对 象检测装置中所使用的识别器的总数。
第三特征是从一个识别器生成多个识别结果。在本实施例的系统 中，对象检测装置从识别器网络中选择多个弱分类器并且经由多个路 线执行输入图像的识别过程。各个路径是用来识别输入图像的识别器 集合。动态地选择识别器以降低在识别过程中的识别误差。在选择到 达某一层中节点的识别器路径后，通过利用达到之前级的旧路径同时 执行旧路径的节点的分割和结合来生成新路径。每个路径输出决定在 输入图像中是否存在对象的强决定结果。也就是说，事实上网络本身 是共享多个弱分类器的强分类器的集合。与其中使用单独的强分类器
的现有多数票决系统形成对照，本实施例的多个强分类器被集体地训 练并且以突出的方式操作。此外，可以通过终止具有最高识别误差的 路径来抑制在现有多数票决系统中并行操作多个分类器中导致的处理 负载的增加。
第四特征是，采用了具有更高识别能力的新特征提取方法。在本 实施例中，提出了使得可以测量在输入图像窗口中的某个区域中的空 间模式信息及亮度强度信息的矩形模式特征，与现有技术中的非专利 文献l和专利文献l形成对照，其中，使用矩形特征量来测量某个区域 的强度信息。空间模式信息表示在某个区域中如何布置具有不同亮度 大小的像素。强度信息表示具有不同亮度大小的像素区域之间的亮度 值差异有多强。由于包括了强度信息，所以本实施例的矩形模式特征 对于噪声图像是鲁棒性的，不像非专利文献4中的方法。此外，本实施 例的模式特征可以比非专利文献4中相互比较像素的方法提取更广泛 的特征。由此，可以更高的增加识别能力，并且当这个方法应用于检 测系统时，还可以降低找到对象物所需特征量的数目。
参考上述的具体实施例详细地说明了本发明。但是，对于本领域 的技术人员，在不背离本发明的主旨和范围的情况下可以应用各种改
变和修改是显而易见的。
本申请基于于2005年6月15日提交的日本专利申请(专利申请No. 2005-175356);其内容通过参考包括在这里。
产业适用性
本发明的对象检测装置及其学习装置具有可以高度准确地抑制处 理负载的增加的优势，并且在检测由监视相机等或其它所取得的对象 中是有用的。
权利要求
1.一种对象检测装置，包括图像窗口提取部分，其从输入图像中提取多个图像窗口作为图像的部分区域；以及对象检测部分，其通过使用节点网络来分别从所述提取的图像窗口中检测对象的存在，在所述节点网络中，将每个具有用于识别所述对象的识别器的节点连接为网络。
2. 根据权利要求l所述的对象检测装置，其中，所述节点具有多个识别器。
3. 根据权利要求1或2所述的对象检测装置，其中，所述对象检测 部分具有路线生成部分，在所述节点网络中生成至少一个路径；以 及识别部分，所述识别部分在每一个所述生成的路径中执行对所述对 象的识别过程，并且输出识别结果以表示所述图像窗口是否包含所述 对象。
4. 根据权利要求3所述的对象检测装置，其中，所述对象检测部 分决定尚未评估的新路线是否存在于所述图像窗口中的所述节点网络 中，并且根据决定结果重复所述路线生成部分的路线生成过程及所述 识另ij部分的识别结果输出过程。
5. 根据权利要求4所述的对象检测装置，其中，重复所述路线生 成过程及所述识别结果输出过程直到重复数目达到预定的次数或者不 生成新路线。
6. 根据权利要求3至5中的任一项所述的对象检测装置，其中，所 述路线生成部分具有决定至少一个路线以便路线的数目不超过预定数 目的路线决定部分，以及分割所述网络上的每个路线以生成新路线的功能。
7. 根据权利要求3至6中的任一项所述的对象检测装置，其中，所 述识别部分具有评估部分，在每个生成路线中执行识别过程以获得 识别结果和识别误差；选择部分，选择具有最低识别误差的路线中的 识别结果作为所述节点网络的识别结果；以及停止决定部分，当所述 最低识别误差变得小于预定值时，决定停止所述评估部分中的所述识 别过程。
8. 根据权利要求7所述的对象检测装置，其中，所述评估部分具有提取部分，在所述生成路线的各个节点处提取所述图像窗口的特 征量值；应用部分，将所述特征量值应用到所述识别器以得到所述生 成路线的各个节点的评估值；结合部分，结合各个节点的评估值以生 成所述生成路线的累积评估值；识别部分，通过使用所述累积评估值 获得所述生成路线的识别结果，来识别所述图像窗口是否包含对象物； 以及误差估计部分，估计关于所述生成路线的所述识别结果的识别误 差。
9. 根据权利要求1至8中的任一项所述的对象检测装置，其中，响 应所述图像窗口中的特征来改变在最终结果的决定中是否利用由在各 个节点处的所述识别器所获得的所述识别结果。
10. 根据权利要求1至8中的任一项所述的对象检测装置，其中， 响应所述图像窗口中的特征来改变在最终结果的决定中以什么比率利 用由在各个节点处的所述识别器所获得的所述识别结果。
11. 根据权利要求10所述的对象检测装置，其中，根据所述图像 窗口中的特征与在所述识别器的学习中所使用的图像的特征之间的差 异，来决定在所述最终结果的决定中以什么比率利用由在各个节点处 的所述识另lj器所获得的所述识别结果。
12. 根据权利要求1至8中的任一项所述的对象检测装置，其中， 当所述识别器基于提升方法时，根据所述图像窗口中在所关注识别器 之前的所有识别器的累积评估值与当根据学习图像构建所述关注识别 器时在所述关注识别器之前的所有识别器的累积评估值中识别误差最 高的累积评估值之间的差异，来决定某个识别器的结果对于所述最终 结果的所述决定的贡献比率。
13. 根据权利要求1至8中的任一项所述的对象检测装置，其中， 根据在所述节点的父节点处的图像窗口的累积评估值与当根据学习图 像在所关注节点处构建特征分类器时在所述关注节点的父节点处的累 积评估值中识别误差最高的累积评估值之间的差异，来决定对于在各 个节点处的所述识别器中的所述累积评估值的贡献比率。
14. 根据权利要求1至13中的任一项所述的对象检测装置，其中，当对于某个节点存在多个父节点时，所述对象检测部分在所述父节点 处的累积评估值的范围内搜索累积评估值，其当学习在所关注节点处 的所述特征分类器时在学习图像中的所述关注节点的所述父节点处的 所述累积评估值中包含最大识别误差。
15. —种用于对象检测装置的学习装置，包括节点网络学习部分，通过使用其中将每个具有用于识别对象的识 别器的节点连接为网络的节点网络来动态地学习在网络结构中的识别 器，以及其中，所述节点网络学习部分具有空闲节点生成部分，在所述 节点网络中生成至少一个空闲节点；学习图像收集部分，收集多个图 像用于学习所述空闲节点；以及节点学习部分，通过所述收集到的图 像来学习所述空闲节点。
16. 根据权利要求15所述的学习装置，其中，所述节点网络学习 部分决定是否可以生成新空闲节点，并且根据决定结果重复在所述空 闲节点生成部分、所述学习图像收集部分以及所述节点学习部分中的 过程。
17. 根据权利要求15或16所述的学习装置，其中，所述空闲节点生成部分在所述节点网路空闲时生成作为基准的节点，并且通过结合 及分割已经存在于所述节点网络中的节点来生成新空闲节点。
18. 根据权利要求15至17中的任一项所述的学习装置，其中，当 由所述学习图像收集部分所收集的图像数目不够时，所述空闲节点生 成部分去除节点。
19. 根据权利要求15至18中的任一项所述的学习装置，其中，所 述学习图像收集部分为正在构建的所述节点网络提供图像作为输入， 传播所述图像以在所述空闲节点中共享所述图像，以及收集到达各个 空闲节点的图像。
20. 根据权利要求15至19中的任一项所述的学习装置，其中，将 提升算法应用于所述节点学习部分。
21. 根据权利要求20所述的学习装置，其中，所述节点学习部分 根据所述提升算法从收集的图像中决定子集，并且通过使用所述子集 分别对收集到的图像加权。
22. 根据权利要求1至14中的任一项所述的对象检测装置，其中， 所述对象检测部分通过利用图像窗口中的像素的空间分布信息和像素 的强度信息来检测所述对象。
23. 根据权利要求22所述的对象检测装置，其中，像素的所述空 间分布信息表示在多个每个由一个或多个像素构造的像素块中，在各个像素块中的特征量值的大小关系以及在所述图像上的各个像素块 的布置关系。
24. 根据权利要求23所述的对象检测装置，其中，像素的所述强度信息连同所述空间分布信息表示在各个像素块中的所述特征量值的 强度的大小关系。
25. 根据权利要求23或24所述的对象检测装置，其中，矩形模 板被应用于每一个所述像素块。
全文摘要
提供了一种能够高度准确地抑制处理负载增加的对象检测装置及其学习装置。对象检测装置包括用于从输入图像中提取图像窗口作为图像的部分区域的图像窗口提取部分(210)，以及用于通过使用节点网络分别从所提取的图像窗口中检测对象的存在的网络识别器(590)，在该节点网络中，将每个具有用于识别存储在存储部分(502)中的对象的识别器的节点连接为网络。
文档编号G06T7/00GK101198987SQ200680021640
公开日2008年6月11日 申请日期2006年6月14日 优先权日2005年6月15日
发明者河合富美, 王子敬, 藁谷克则 申请人:松下电器产业株式会社