多类目标的检测装置及检测方法

专利名称：多类目标的检测装置及检测方法
技术领域：
本发明涉及目标检测技术。尤其涉及用于对多个类别的目标数据进行检测的检测 装置及其检测方法。
背景技术：
运用机器学习方法对图像或其它待检测数据进行目标数据的检测显得越来越重 要。尤其是对图像中的物体检测已成为其中一个重要分支。同一类物体受光照、视角、姿态等多重因素的影响在图像中可能产生出差异巨大 的状态，这给图像中的物体检测技术带来很大困难。同一类物体因而可能会被划分为多个 子类进行处理，但如何既有效利用多个子类之间的共性而又能准确区分其差别仍然是一个 需要进一步研究的课题。对多类图像物体检测技术来说，文献1提出了一种特征共享技术，通过将多类物 体的分类器进行联合训练，在多类之间尽可能共享特征，以达到减少运算成本的目的。单纯 的特征共享多类联合训练对减少运算成本十分有效，取得了良好的效果，但其效率较低，且 由于共享特征的同时也共享弱分类器导致在强分类器的后段，特征的共享越来越困难。文 献2在此基础上进一步提出了一种向量Boosting树算法来检测图像中呈现不同视角和 不同姿态的人脸。但同样文献2所提算法强制在各类之间进行特征共享，这使得当多类 中的某一类不能较好的与其他各类共享特征时，强制的特征共享方式给分类器的进一步训 练带来了困难。参考文献[1]A.Torralba, K. P. Murphy, and ff.T.Freeman. Sharing Features :Efficient Boosting Procedures for Multiclass Object Detection. CVPR2004.[2]C. Huang, H. Ai, Y.Li, and S. Lao. Vector Boosting for Rotationlnvariant Multi-View Face Detection. ICCV 2005.

发明内容
本发明的目的是提供一种区别于以上现有技术的、用于对多个类别的目标数据进 行检测的检测装置及其检测方法。根据本发明的一个方面，提供了一种用于对多个类别的目标数据进行检测的检测 装置的训练方法，包括确定所述多个类别中进行特征共享的最优特征共享样本类别集合，并通过特征遍 历为其挑选最优特征；使用所述选中的最优特征对所述最优特征共享样本类别集合中的各个类别分别 构建弱分类器；以及通过迭代地进行最优特征挑选得到当前级强分类器的特征列表，同时也为所述多 个类别分别构建一组弱分类器，获得包括能处理所述多个类别的相应多个强分类器的检测装置根据本发明的用于对多类目标数据进行检测的检测装置的训练方法使用多类目 标的样本进行训练，通过确定所述多个类别中在哪些类别之间进行特征共享误差最小来获 得特征共享样本类别集合，使用所述选中的最优特征对所述最优特征共享样本类别集合中 的各个类别分别构建弱分类器，由此构建包含弱分类器的检测装置。根据以上训练方法获得了用于对多个类别目标数据进行检测的检测装置和检测 方法，其中检测装置包括输入单元，被配置成输入待检测数据；联合分类器，包括数量与 所述类别数量相对应并用于分别检测对应类别的目标数据的强分类器，其中，每个所述强 分类器都由一组弱分类器相加得到，每个弱分类器使用一个特征对所述待检测数据进行弱 分类；判别单元，被配置成根据所述多个强分类器的分类结果，对所述待检测数据属于哪个 类别的目标数据进行判别，其中所述联合分类器内包含共享特征列表，所述共享特征列表 中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的 分属不同强分类器的弱分类器具有彼此不同的参数值。这样，在针对各类目标的强分类器 之间共享特征以减少计算成本，但各类之间不共享分类器以体现类间差异。根据本发明的另一个方面，提供了一种用于对r个类别的目标数据进行检测的检 测装置的训练方法，其中，所述r个类别可按预定相似性标准由细到粗被逐级合并为预定 多层结构，并且所述r个类别作为划分最细的类别设置在最底层，r为大于1的自然数，所 述训练方法包括按照由粗到细的策略从最顶层类别开始训练相应的级分类器，每个级分类器包括 具有与所针对类别数量相对应的数量的强分类器，所述各级分类器串联形成所述检测装 置，其中，针对其中一级准备检测m个类别的级分类器的训练包括为该级分类器准备处理的m个类别分别准备正样本集和负样本集，其中1 < m ^ r ；确定所述m个类别中进行特征共享的最优类别集合，并通过特征遍历为其挑选最 优特征；使用所述选中的最优特征对所述最优特征共享样本类别集合中的各个类别分别 构建弱分类器；以及通过迭代地进行最优特征挑选得到当前级强分类器的特征列表，同时也为所述m 个类别分别构建一组弱分类器，获得包括可处理所述m个类别的m个强分类器的级分类器。据本发明第二个方面的用于对多个(r个)类别目标数据进行检测的检测装置及 其检测方法，其中，所述多个类别按相似性标准被逐级合并为预定多层结构，并且所述多个 类别作为划分最细的类别设置在最底层，所述检测装置包括输入单元，被配置成输入待检测数据；以及级联分类器，所述级联分类器包括由多个串联的级分类器，所述多个级分类器被 配置成按照由粗到细的策略对所述预定多层结构中的各层类别进行分类处理，并且每个级 分类器都包括数量与所处理类别数量相对应的强分类器，其中，每个所述强分类器包括一 组弱分类器，每个弱分类器使用一个特征对所述待检测数据进行弱分类，其中每个所述级分类器包含一个共享特征列表，所述共享特征列表中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属不同强分 类器的弱分类器具有彼此不同的参数值。类似地，根据本发明第二个方面，作为级联式分类器的检测装置在各类目标的强 分类器之间共享特征以减少计算成本，但各类之间不共享分类器以体现类间差异。同时为 有效处理多类目标，在训练各级分类器的过程中按照由粗到细的原则先将多个类别合并处 理，而后逐渐拆分类别做细化处理。


结合附图，通过参考下列详细的示例性实施例的描述，将会更好地理解本发明本 身、优选的实施方式以及本发明的目标和优点。图1示出了根据本发明第一实施例的用于对多类目标数据进行检测的检测装置 的训练方法。图2示出了根据本发明第一实施例的训练方法所使用的Haar-like特征原型。图3a和图3b分别示出了弱分类器和强分类器的结构。图4示出了根据本发明第一实施例的训练方法所获得的检测装置的分类器。图5a和5b分别列举了使用类别树结构CT表示训练过程中的样本类别变化。图6示出了根据本发明第三实施例的训练方法。图7示出了根据本发明第二或第三实施例的训练方法所获得的检测装置的分类
o图8示出了根据本发明的检测装置检测图像或视频中预定多类目标的流程。图9是示出其中实现本发明的计算机的示例性结构的框图。
具体实施例方式下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便 于对本发明的理解，而对其不起任何限定作用。第一实施例的训练方法第一实施例以多类汽车(轿车、巴士和卡车)为待检测的目标。应了解，本发明的 实施例并不限于对图像和/或视频中的汽车进行检测，还可以对图像和/或视频中的其它 物体(如多角度的人脸)、甚至可对对实时网络数据或主机数据进行入侵分类等等进行检 测。图1示出了根据本发明第一实施例的用于对多类目标数据进行检测的检测装置 的训练方法100。该方法在步骤S101开始，首先为所述多个类别分别准备正样本集和负样本集。本 实施例中分别为三类汽车(轿车、巴士和卡车)准备一定数量的正样本集和负样本集，其正 样本集分别为三类汽车(轿车、巴士和卡车)正面视角的相同尺寸的汽车图像集，尺寸统一 为32X32(像素)；其负样本集从背景图像集(一组不包含目标物体的图像，尺寸不做任何 要求)中抽样得到，尺寸统一缩放到32 X 32 (像素)。同时准备训练特征池。将Haar-like特征原形应用于例如32X32(像素)的图像， 得到数十万具体的训练特征。但应了解本发明的实施例并不限定所使用特征的具体种类，
7例如可以是Haar-like特征，HOG(梯度方位直方图)特征，LBP (局部二值模式)特征或其 他特征。在此，图2示出了所使用的Haar-like特征原型。Haar-like特征为定义在图像 中的一个矩形，包括分别在图2中以白色和黑色表示的两部分，矩形的方位分为直立和45 度倾斜两种。Haar-like特征原型具有四个参数矩形在图像中的位置(x，y)和矩形的 尺寸(宽度w和高度h)，随着矩形的位置、尺寸和宽高比的变化，可生成数以万计的具体 Haar-like特征作用于图像。Haar-like特征的取值为一标量，定义白色区域内所有像素 的灰度值总和为Sum(ff)，黑色区域内为Sum(B)，则Haar-like特征值由公式feature!= Sum(ff) -Sum(B)计算。从图1的步骤S102开始训练。确定所述多个类别中进行特征共享的最优特征共 享样本类别集合，并通过特征遍历为其挑选最优特征。例如，以多个待选训练特征为基础， 通过使用前向顺序选择法等方法确定所述多个类别(在此为3个类别)中在哪些类别之间 进行特征共享是误差最小的，选择由所确定的类别组成的特征共享样本类别集合S，并通过 特征遍历选中相应的训练特征。在确定特征共享样本类别集合S及相应的所选最优特征后，使用所述选中的最 优特征对所述最优特征共享样本类别集合中的各个类别分别构建弱分类器(图1中步骤 S103)。弱分类器的结构如图3a所示，在本实施例中使用决策树作为弱分类器，每个弱分类 器使用一个Haar-like特征构建，根据输入的特征值与阈值的关系分类器有两个不同的输
出o图1的步骤S104，通过迭代地进行最优特征挑选得到当前级强分类器的特征列 表，同时也为所述多个类别(在此3个类别)分别构建一组弱分类器，获得包括能处理所述 多个类别的相应多个强分类器的检测装置。针对每一类别的强分类器(H(Ci)分类器)的 结构如图3b所示，其输出为+1或-1并且其阈值 可以根据需要进行调节。弱分类器h(Ci)使用的这些特征来自于分类器的特征列表(特征组)。分类器的 训练过程就是寻找各H(Ci)分类器的过程，也就是对每个类别搜索多个弱分类器h(Ci)的过 程，最终通过迭代搜索各个弱分类器所使用的特征的过程，即特征挑选过程。此过程最后得 到一组共享特征f”迭代的步骤可以如本领域技术人员所了解指定迭代次数T，通过调整样本权重开 始下一次迭代分别为所述多个类别(在此3个类别)再构建弱分类器，在满足迭代次数T 之后，获得包括所有弱分类器的检测装置，结束流程(步骤S105)。根据本发明，优选地可以采用训练终止判断条件来进行迭代，对各个类别的分类 器H(Ci)分别设定训练所要达到的期望性能，如果某个类别在训练过程中达到了其期望性 能，则这个类别将退出该分类器的H(Ci)联合训练过程。例如，对于所有属于当前特征共享 样本类别集合S的类别(Q G S)测试误检率f(C》=NFANT。tal(NFA为该分类器将负样本集中 样本误检为正样本的数量，NTotal为负样本的总数量)，如果f (Q) < f,则类别Q已经满足 训练终止条件，退出该分类器的训练；如果所有样本类别都满足训练终止条件，则结束该分 类器的训练。而如果有部分样本不满足训练条件，则对于属于SWCjCi G S)，则更新样本
权重
对则保持样本权重不变；同时使所有样本权重归一化使得=1，进行下一次迭代。根据本发明的第一实施例，在对分类器的训练过程中，使用前向顺序选择法来确 定在参与训练的所有类别中哪些类别之间进行特征共享是整体误差最小的，即由哪些类别 组成一个特征共享样本类别集合S进行特征共享是最优的，同时在特征库中挑选出对集合 S内的类别来说分类性能最优的特征，然后对s中的每个类别使用最优特征分别构建弱分 类器。然而，本发明并不限于前向顺序选择法，而是可以采用其它的顺序选择法(例如后向 顺序选择法)来选择由所确定的类别组成的特征共享样本类别集合。根据第一实施例的检测装置和检测方法在第一实施例中对每个类别都训练一个强分类器，其中所有强分类器的训练是联 合进行的，各强分类器中的弱分类器所使用的特征在多类之间进行共享，但各个弱分类器 的训练在各类内部分别独立进行；并不限定特征被所有类别共享，某个特征有可能被所有 类别共享，也可能只被某些类别共享。根据本发明第一实施例的训练方法所获得的检测装置包括被配置成输入待检测 数据的输入单元、包括多个强分类器的联合分类器以及判别单元，判别单元被配置成根据 多个强分类器的分类结果，对所述待检测数据属于哪个类别的目标数据进行判别。其中多个强分类器所组成的联合分类器如图4所示，包括m个数量与所述类别数 量m相对应并用于分别检测对应类别的目标数据(在此实施例中m = 3)的强分类器(在 第一实施例中是Boosting分类器H(Ci =E hj(Ci)))，其中每个强分类器包括一个或更多 个弱分类器拟))，其中，每个所述强分类器都由一组弱分类器相加得到，每个弱分类器 使用一个特征对所述待检测数据进行弱分类；其中联合分类器包含共享特征列表(即共享 特征组)，共享特征列表中的每个特征(f\ fn)被分别属于不同强分类器的一个或多个弱 分类器共享使用(例如4并不为强分类器H(Q)和强分类器H(C3)所使用)；使用同一特征 的分属不同强分类器的弱分类器具有彼此不同的参数值。这样，在针对各类目标的强分类 器之间共享特征以减少计算成本，但各类之间不共享分类器以体现类间差异。在该检测装置内部，待检测数据(例如样本图像)分别被所有类别的强分类器进 行处理并被判别单元进行判别，因而允许多于一个强分类器的输出被判断为正，而不是规 定只有一个判断为正；不同类别的强分类器之间没有互斥关系，某个待检测数据可能被判 别为多个类别的目标数据。只要有一个强分类器的输出被判别单元判其为正，则该检测装 置的输出为+1，否则输出为-1。第二实施例根据本发明的第二实施例，将用于检测多类目标数据的检测装置设计成由多个级 分类器串行联结的级联结构(Cascade)的分类器。为此，首先将训练级联分类器的各级分 类器(SCk)所使用的样本类别人为设计为预定多层结构(本发明中的第一多层结构)。将 划分最细的类别(例如r个类别，r为大于1的自然数)设置在最底层，然后根据预定相似 性标准将这些类别合并为较高一层的较少的几个较大的类，而后再逐级次合并至最高层的 例如一个大类为止。图5a和5b示出了使用类别树结构CT表示训练过程中的样本类别变化。图5a 中，共有7类物体的样本参与训练，将这7类设置在树的最底层Level3并称这7类为“叶 子类”C,";然后根据某种相似性标准将7类样本中的某些类合并得到树的较高层Level2的
93类C” ；最后将Level2的3类合并为最高层Levell的1类C ；在训练中使用样本时从CT 的Levell开始先使用较高层的样本类，即分类器训练的早期目标是整体上区分目标物体 和非目标物体；随着训练的进行当整体区分变得困难时再进行样本的类别拆分使用CT的 Level2的3类样本，最后使用CT的7个叶子类的样本。图5b仍针对轿车、卡车和巴士 3 类，此3类为CT的“叶子类”，三类合并后为CT的根节点类C。"。相应的训练将从开始然后 适时拆分为3个叶子类Cf。当然在将汽车分为卡车、轿车、巴士等等多个类别后，还可每个 类别再继续划分为更细致的多个子类。根据本发明的第二实施例，用于对r个类别的目标数据进行检测的检测装置的训 练方法，包括按照由粗到细的策略从最顶层类别开始训练相应的级分类器，每个级分类器 包括具有与所针对类别数量相对应的数量的强分类器，所述各级分类器串联形成所述检测
直o其中，针对其中一级准备检测m个类别的级分类器的训练包括为该级分类器准备处理的m个类别分别准备正样本集和负样本集，其中1 < m ^ r ；确定所述m个类别中进行特征共享的最优类别集合，并通过特征遍历为其挑选最 优特征；使用所述选中的最优特征对所述最优特征共享样本类别集合中的各个类别分别 构建弱分类器；以及通过迭代地进行最优特征挑选得到当前级强分类器的特征列表，同时也为所述m 个类别分别构建一组弱分类器，获得包括可处理所述m个类别的m个强分类器的级分类器。可以理解，级联分类器的某一级分类器SCk是针对此级分类器所要处理的m类样 本训练得到的，包含m个H(Ci)分类器，分别对应m类样本。同样，其中每一个强分类器H(Ci) 是由多个弱分类器h(C》相加得到的。H(Ci)分类器的结构如图3b所示，以决策树为例的 弱分类器h(Ci)如图3a所示。弱分类器h (Q)使用的这些特征来自于级分类器SCk的一组共享特征。。级分类 器sck的训练过程就是寻找各H(Ci)分类器的过程，也就是对每个类别搜索多个弱分类器 h(Ci)的过程，最终就是搜索各个弱分类器所使用的特征的过程，即特征挑选过程，由此得 到所述共享特征组fi。与第一实施例类似，共享特征组中的任意一个特征都可能被多个类别用于构建弱 分类器，即特征被多类共享；但弱分类器的参数根据各类的数据分别计算得到，即弱分类器 并不在多类间共享。如上所述，在训练中，先使用较高层的样本类别进行训练，并设定样本类别的拆分 标准；随着训练的进行，当这个标准得到满足时，将现有类别拆分为较低层的更细致的样本 类别继续训练，直至最后拆分至最底层。第二实施例所采用的“设定的样本类别拆分标准”可以是有监督地为各级指定子 类划分，进行强制的人为样本类别拆分。例如为最顶层指定第一级分类器，为较高层指定第 二、第三级分类器等等。也可以采用无监督的自动产生子类并延续训练的方法。可替代地，第二实施例优选以训练集内的误差作为样本类别拆分的判断标准。即 在训练正常进行时，训练集内误差持续减小，当集内误差难以继续降低时，说明当前使用的某些样本类别的类内差异较大阻碍了训练的继续，应当进行样本类别拆分。在这种情况下， 由于在训练除针对最底层之外的其他各层类别的各级分类器的过程可能会拆分样本，因此 尽管训练时是按照由粗到细的策略针对预定多层结构中的每一层类别分别训练一个或多 个相应的级分类器，但是例如当类内差异很大时针对某一层类别、特别是针对最高层类别 有可能并没有训练出对应的级分类器。训练完成后各级分类器实际处理的多层结构类别层 次(本发明中的第二多层结构)可能与事先人为定义的预定多层结构(本发明中的第一多 层结构)有所区别。具体地，针对准备处理除最底层类别之外的其他各层类别的任意一级分类器(即 l^m<r),则在每次迭代过程中在为所述类别构建弱分类器后进行有效性度量，以判断是 否进行样本类别拆分。所述进行有效性度量包括将由目前所构建弱分类器组成的强分类器的阈值设为零，并测试所述强分类器对 相应类别的正负样本的分类误差；判断所述分类误差是否随着逐个迭代过程逐渐降低；和如果判断所述分类误差不再随着逐个迭代过程逐渐降低、或者降低缓慢，或者发 生震荡，则退出该级分类器的训练，并且将样本类别按从粗到细拆分成下一层样品类别后 重新开始该级分类器的训练。如上所述，所述预定多层结构类别的最高层可以是任意数量的类别，但通常具有1 个类别。根据第二实施例，针对用于检测所述1个类别的目标数据的级分类器的训练包括 准备正样本集和负样本集；对于所述多个待选训练特征训练弱分类器，选择具有最小分类 误差的弱分类器；以及通过迭代构建弱分类器，获得由所获得的弱分类器构成的第一级分 类器，通常用于区分目标图像和非目标图像。同样，迭代的次数可以预定，也可以通过采用 训练终止判断条件来自动判定。类似地，针对其他任意一级分类器迭代训练分类器时，其迭代的次数都可以预定， 也可以通过采用训练终止判断条件来自动判定。针对训练终止判断条件的描述如第一实施 例中所述，在此不再赘述。不仅针对任意一级分类器可以设定训练终止判断条件，还可以整体上对目标各类 分别设定其期望训练性能(例如针对最底层类别分别设置总误检率F》，如果某个类别的训 练已经达到了期望性能，则这个类别不再参与后续的各级分类器的训练。第三实施例第三实施例以轿车、巴士和卡车作为待检测的目标，描述了更详细的对级联分类 器的分类(训练)方法。首先，准备三类正样本集(汽车图像)P(Ci) (i = 1,2,3)分别对应轿车、巴士和卡 车，将三类正样本合并为一类正样本集P (Q)，样本类别树的结构如图5b所示；训练从P (C》 (i = 0)开始，当需要进行正样本类别拆分时将P(Ci) (i = 0)拆分为P(Ci) (i = 1，2，3)；并 设定所有各类的期望训练目标检测率Di和总误检率& ；其次准备特征池，将例如Haar-like特征原形应用于32 X 32 (像素)的图像，得到 数十万具体特征。然后逐级训练各级分类器SQ至SCn。如图6所示，尤其示出了训练第k级分类器
11SCk(k = 1，2，3，...，n)的步骤在步骤S601，针对不同的类分别准备正样本集if i对应本级所使用的正样本类 别(一类或三类)，使用前k-1级分类器对正样本集P(Ci)进行筛选，通过去除判别为-1的 样本得到当前正样本集if。为每个正样本赋予标记=+1。同样在步骤S601，对应各正样本集if分别准备负样本集。可以通过在背景图 象中按照某种顺序截取与正样本图像尺寸相同的子图片，为各类准备负样本集A^。优选地，针对从第二级分类器开始的各级分类器，为相关类别(；准备负样本集包 括使用前面所有的已有级分类器中的与Q相关的强分类器组成的级联分类器，在背景图 像中做窗口遍历搜索，将误判为正样本的窗口图像添加到(；的负样本集Wf中。负样本的数 量可以根据实际需要确定，例如可以规定某个类别的负样本的数量与其正样本的样本数目 成固定比例。为每个负样本赋予标记在此可以整体上对各个样本类别分别设定其期望训练性能。例如定义最底层类别 Q的当前误检率为(NMg为搜索得到的负样本数量，Nwin为搜索过的所有窗口图 像的数目)，如果类别Q的误检率仏已经小于期望总误检率&，则类别Q不再参与后续训 练。如果所有类别的误检率都小于其总误检率，则退出全部训练过程。同样在步骤S601，为每个样本设定权重wf =1/M (初始权重为1/M)，M为样本总 数。在步骤S601还可以设定级分类器的退出条件，例如指定T次迭代次数，在此是对 各类目标设置期望最小检测率屯和期望最大误检率f”从步骤S602开始挑选特征，对每个类别搜索多个弱分类器h(Ci)的过程，最终通 过迭代搜索各个弱分类器所使用的特征。设定t = 0，1，...，进行第t个特征的挑选a)在步骤S602，搜索最优的特征共享样本类别集合S(在此例如使用前向顺序选 择法确定是哪些类别而不一定是所有类别共享该t个特征)i.对于所有/f和Af，计算当第Q类不参与特征共享时所引入的误差
J/ J对所有各类独立进行弱分类器训练，即在特征池中挑选一个特征能对当前类的正 负样本集做误差最小划分；记录各类所挑选出的最优特征广及其分类误差一；对所有类别
计算=彳+ YA ( 2>&当不参与时的误差)，取c =argmin(冷)(使&达到最
C 产 C,C产 qC,. 51
小值时的Ci的取值)为优先进入特征共享样本类别集合候选S的第一类，得到特征共享样 本类别集合候选Si ；将C;分别与其他各类组合，进行两类联合弱分类器训练，记录各种组合下 挑选出的最优特征pv,以及分类误差.对所有组合计算 0 = e'QV'+ 1>2'，取
Jtet 9Cj^Q&C^Si
C2 3^；11111…》)作为特征共享样本类别集合候选S的第二类，得到特征共享样本类别集合 候选S2。
以此类推，直到处理完所有类；在以上所得的所有Sx中，取特征共享误差最小的集合作为特征共享样本类别集合 s，即S = argmin(ej ；记录相应的广为最优特征广。b)在步骤S603，使用为S中的所有各类构建决策树弱分类器AC/,C,.)，其结构如 图3a所示；c)在步骤S604，为特征共享样本类别集合S中的所有样本类别更新印(Q)分类 器..Ht{Ci)=H,_l(Ci) + Kf;,Ci)，并根据期望最小检测率di确定Hi(Ci)分类器的阈值 t(Q (即在当前阈值下，分类器在当前正样本集的检测率为di)；d)在步骤S605，为特征共享样本类别集合S中各类样本的训练有效性度量例如 通过设置各类样本的印(Q)分类器的阈值为零，测试此时的印(Q)分类器对各类内部的正 负样本的分类误差，并在步骤S606判断该误差是否随着训练逐渐降低。如果这个误差不再 降低、或者降低缓慢、或者发生震荡，则退出第k级分类器SCk的训练并将样本类别按从粗 到细拆分成下一层样品类别(例如按图5b所示进行拆分)后重新开始第k级分类器SCk的 训练(见步骤S607)；e)在步骤S608，若步骤S606的判断结果为否，则进行训练终止判断。在此采用期 望最大误检率fi进行判断。具体地，对所有属于特征共享样本类别集合S的类别(Ci G S) 测试误检率f (Ci) = NFA/NTotal (Nfa为分类器将负样本集中样本误检为正样本的数量，NT。tal为 负样本的总数量)，如果f (Q) < &则类别Q已经满足训练终止条件，退出第k级分类器的 训练；如果所有样本类别都满足训练终止条件，则结束第k级分类器的训练，通过更新样本 集合Q 們，队)进行下一级训练(见步骤S609和S610)。f)在步骤S611，对属于S的(；拟G S)，则更新样本权重 < .eXp(-/K//,c,.,&) 々)，对q史s则保持样本权重不变；同时使所有样本权重归
一化使得=1，重新开始下一次迭代。应了解，前几级分类器SCk(k= 1,2,3,...,n)、尤其是第1级分类器SQ如果仅对 1个类别进行判别，则对于该级分类器的特征挑选则无需使用例如前向顺序选择法等来搜 索特征共享样本类别集合S。而对于后几级分类器sck如果已针对最底层的样品类别进行 训练，则无需有效性度量来判断是否需要样本类别拆分。另外，应了解对检测装置的训练并不限定具体的Boosting算法，而可以是 Gentle-Boosting, Real-Boosting 等等其它算法。根据第二和第三实施例的检测装置和检测方法根据本发明第二或第三实施例的训练方法所获得的检测装置包括输入单元，被 配置成输入待检测数据；以及级联分类器。其中级联分类器如图7所示，包括由多个(n个) 串联的级分类器。在此所述多个(r个)类别可按相似性标准被逐级合并为预定多层结构，并且所述 多个类别作为划分最细的类别设置在最底层，相应地，所述多个级分类器被配置成按照由 粗到细的策略对所述预定多层结构中的各层类别进行分类处理，并且每个级分类器都包括 数量与所处理类别数量相对应的强分类器。每个所述强分类器包括一组弱分类器，每个弱分类器使用一个特征对所述待检测
13数据进行弱分类，其中每个所述级分类器包含一个共享特征列表，所述共享特征列表中的 每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属 不同强分类器的弱分类器具有彼此不同的参数值。根据第二或第三实施例的检测装置其整体上看是由多个“级分类器” SC串行联结 的一个级联结构分类器，但它是为多个类别物体的同时检测设计的，在每个级分类器内部 多个类别的强分类器被共享特征列表(即共享特征组)结合在一起。以第三实施例的检测装置为例，待检测数据逐次输入级联分类器的各级分类器。其中，当待检测数据进入某级分类器时，依次被此级所包含的m个强分类器判别， 如果某个强分类器输出+1，则此强分类器判别其为属于相应类别的目标，称为被此强分类 器通过，否则输出-1，判别为非对应类别的目标，称为被此强分类器拒绝。其中，所述判别过程如下计算当前级分类器的特征列表中的所有有效特征的值； 对此级的m个强分类器，依次按照对特征列表中各特征的共享情况，根据计算已得的特征 值确定各个弱分类器的输出，并相加得到最终的强分类器的输出。所述判别过程中，如果待检测数据被某个用于检测类别Q的强分类器拒绝的情况 下，则后续级分类器中的用于检测类别Q和其子类的相应强分类器不再对所述输入的待检 测数据继续判别，此时称所述待检测数据被类别q所对应的叶子层类别拒绝。所述判别过程中，各级分类器的特征列表中只与所述不再参与判别过程的各强分 类器相关的特征视为无效特征，不再参与计算，以节省计算成本。所述判别过程中，如果待检测数据被所有叶子层类别拒绝，则中止判别过程，称此 待检测数据为非目标数据。所述判别过程的最后，如果待检测数据被最后一级分类器的某 个强分类器通过，则判别此待检测数据为具有所述强分类器所对应的目标类别属性，如果 待检测数据被最后一级的多个强分类器通过，则判别此待检测数据具有相应的多重目标类 别属性。根据本发明的检测装置可对各种多类目标数据进行检测，而在输入的图像或视频 中对多个类别的预定目标进行检测的情况下，根据本发明的检测装置还可包括被配置成 对待检测图像或视频进行窗口遍历的窗口遍历部件、和后处理部件，后处理部件被配置成 将所述窗口遍历部件产生的窗口进行合并，并使用预定阈值对合并窗口进行过滤，以获得 最终的检测结果。图8示出了根据本发明的检测装置检测图像或视频中预定多类目标的流程。窗口遍历过程810 对任意给定的待检测图像(步骤S811)或从待检测视频中截 取的图像，使用矩形窗口进行图像遍历(步骤S812)，在步骤S813依次得到窗口图像(其中 遍历的顺序和方式任意，可以是从左到右、从上到下的，也可以是从右到左，从下到上的；遍 历时窗口平移的步长任意，可以是逐像素的，也可以是隔多个像素的，或者与当前窗口的尺 寸成比例关系)。在遍历时，依次对扫描过程中得到的每个窗口应用所述级联分类器，使用训练所 得的分类器中的特征通过对窗口图像进行特征计算(步骤S814)并应用所述分类器进行分 类(步骤S815)。如果级联分类器判别此窗口图像为目标类别(具有一种以上的目标类别 属性)，则记录此窗口在原始图像中的位置和尺寸，以及其所具有的所有目标类别属性(步 骤S816)。窗口遍历结束后，按照一定的比例因子将图像缩小，重新进行上述窗口遍历和窗
14口图像判定过程。重复以上过程，直到当图像缩小到窗口遍历无法进行(图像的高度小于 窗口高度，或图像的宽度小于窗口宽度)为止(见步骤S817和S818)。将所有正响应窗口 按照其对应的图像与原图像的尺寸比例因子映射到原图像，得到所有正响应在原图像中的 位置和尺寸。遍历图像时除了采用以上的模式WinScanModel (即选择固定尺寸的窗口遍历图 像，遍历结束后，按一定比例缩小或放大图像的尺寸，使用固定尺寸的窗口重新遍历图像)， 还可采用模式WinScanModd，其中保持图像的尺寸不变，选择第一次遍历时窗口的尺寸，当 遍历结束后，按一定比例缩小或放大窗口的尺寸，重新遍历原图像。对每个窗口图像使用训练所得级联式分类器进行判别后，如果分类结果为+1，则 如果选择WinScanModel，记录当前窗口的尺寸和位置，并按照缩放图像的比例将当前窗口 的尺寸和位置映射回原图像坐标空间，得到当前响应在原图像中的位置和尺寸；如果选择 WinScanMode2,则直接记录当前窗口的尺寸和位置。后处理流程820由后处理部件执行，包括步骤S821窗口合并以便合并相邻的正 响应结果和步骤S822阈值过滤以便舍弃弱响应，并将经过窗口合并和阈值过滤后剩余的 合并结果作为最终的检测结果(步骤S830)。具体地，在图像中的同一目标(汽车)附近会产生多重响应，将邻近的多重响应合 并为一个输出响应。首先，所述合并过程定义“临近”为具有相邻的窗口中心位置、相近的尺寸比例和 相同的目标类别属性，然后计算临近的一簇目标窗口的平均中心位置、平均窗口尺寸，并将 合并的窗口的数量作为合并结果的置信度，其次，所述合并过程对合并后的位置中心相邻和尺寸相近的合并结果进行目标属 性合并，即如果图像中某个位置附近有多个具有不同目标属性的合并结果，统计各个目标 属性的数量，取数量最大的目标属性为最终目标属性，取各个目标属性的置信度的和为最 终合并结果的置信度，所述合并过程结束后，当合并窗口的置信度大于或等于预设置信度阈值时，接受 此合并结果，否则舍弃此合并结果。技术效果1、根据本发明的各个实施例，多类目标的分类器之间进行特征共享，但与共享特 征相关的弱分类器在各类内部单独构建的方式，使得各类目标间的差异得以有效区分，提 高了训练的收敛速度，同时也提高了联合分类器对各类目标间的区分性能。不硬性规定特 征在所有类别中进行共享的方式减少了不必要的运算。2、根据本发明的各个实施例，多类分类器间的特征共享减少了多类分类器的特征 计算成本。例如在本发明的第三实施例中，给定三类汽车(轿车、卡车和巴士)的样本共 17000个，分别训练三个并行的级联分类器和一个特征共享的联合分类器，训练所得分类器 使用Haar-like特征的数量如下表所示 由上表可见本发明实施例的方法可以大大减少所使用特征的数量。 设定开放汽车测试集(集内样本未参与训练，包含三类汽车样本共2264个)和背 景图像测试集(尺寸不统一，提供窗口图像约5300000个)。并行使用三类汽车的级联分类 器处理以上测试集，然后使用特征共享的联合分类器处理以上测试集，测试结果如下表所
不 由上表可见，两种方案具有类似的分类性能，但联合分类器具有更高的检测效率。 分类器所用特征的计算越复杂，联合分类器的检测效率优势就越明显。3、根据本发明的第二和第三实施例，联合分类器既要区分(多类)目标图像与非 目标图像，又要尽力体现各目标类别间的差异。由粗到精的多层次样本类别使用方式使得 联合分类器优先体现目标与非目标之间的整体差异，而后考虑目标类别间的差异，进一步 提高了检测的效率。4、根据本发明的第二和第三实施例，在多类联合训练时，各类独立使用负样本集 的方式便于特征共享式的分类器采用Cascade结构形式以获得更高的检测效率。其他实施例另外，还应该指出的是，上述系列处理和装置也可以通过软件和固件实现。在通过 软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图9所 示的通用计算机900安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各 种功能等等。在图9中，中央处理单元(CPU)901根据只读存储器(ROM)902中存储的程序或从 存储部分908加载到随机存取存储器(RAM) 903的程序执行各种处理。在RAM 903中，也根 据需要存储当CPU 901执行各种处理等等时所需的数据。CPU 901、ROM 902和RAM 903经由总线904彼此连接。输入/输出接口 905也连 接到总线904。下述部件连接到输入/输出接口 905 输入部分906，包括键盘、鼠标等等；输出部 分907，包括显示器，比如阴极射线管(CRT)、液晶显示器(IXD)等等，和扬声器等等；存储部 分908，包括硬盘等等；和通信部分909，包括网络接口卡比如LAN卡、调制解调器等等。通 信部分909经由网络比如因特网执行通信处理。根据需要，驱动器910也连接到输入/输出接口 905。可拆卸介质911比如磁盘、
16光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上，使得从中读出的计算机 程序根据需要被安装到存储部分908中。在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆 卸介质911安装构成软件的程序。本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程 序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子 包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(⑶-ROM)和数字通用盘 (DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是 ROM 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被 分发给用户。以上描述了本发明的优选实施方式。本领域的普通技术人员知道，本发明的保护 范围不限于这里所公开的具体细节，而可以具有在本发明的精神实质范围内的各种变化和
等效方案。
1权利要求
一种用于对多个类别目标数据进行检测的检测装置，包括输入单元，被配置成输入待检测数据；联合分类器，其内部包含数量与所述类别数量相对应并用于分别检测对应类别的目标数据的强分类器，其中，每个所述强分类器都由一组弱分类器相加得到，每个弱分类器使用一个特征对所述待检测数据进行弱分类；以及判别单元，被配置成根据所述多个强分类器的分类结果，对所述待检测数据属于哪个类别的目标数据进行判别，其中所述联合分类器内包含共享特征列表，所述共享特征列表中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参数值。
2.一种用于对多个类别目标数据进行检测的检测装置，其中，所述多个类别按相似性 标准被逐级合并为预定多层结构，并且所述多个类别作为划分最细的类别设置在最底层， 所述检测装置包括输入单元，被配置成输入待检测数据；及级联分类器，所述级联分类器包括多个串联的级分类器，所述多个级分类器被配置成 按照由粗到细的策略对所述预定多层结构中的各层类别分别进行分类处理，并且每个级分 类器都包括数量与所处理类别数量相对应的强分类器，其中，每个所述强分类器包括一组 弱分类器，每个弱分类器使用一个特征对所述待检测数据进行弱分类，其中每个所述级分类器包含共享特征列表，所述共享特征列表中的每个特征被分别属 于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属不同强分类器的弱 分类器具有彼此不同的参数值。
3.根据权利要求2所述的检测装置，其中，每个所述级分类器还被配置成针对输入的 待检测数据，计算其共享特征列表中的各有效特征的特征值；以及，针对所述级分类器中的 各个强分类器，根据针对强分类器所使用的特征查询已计算所得的特征值列表从而确定所 述强分类器的各个弱分类器的输出，并相加得到最终的强分类器的输出。
4.根据权利要求2所述的检测装置，其中，所述级联分类器被配置成使输入的待检测 数据依次被各个级分类器中的各个强分类器判别，并且在输入的待检测数据被其中一个用 于检测类别Ci的强分类器判别为非目标数据的情况下，则后续的各级分类器中的用于检测 类别Ci和/或其子类的相应强分类器不再对所述输入的待检测数据继续判别。
5.根据权利要求4所述的检测装置，其中，所述级联分类器被配置成针对每个所述级 分类器，判断其共享特征列表中是否存在只与所述不再参与判别过程的各强分类器相关的 特征，如果有则标记该特征为无效特征，不再计算其特征值。
6.根据权利要求2所述的检测装置，其中，所述级联分类器被配置成如果待检测数据 被任意一级级分类器中的所有强分类器拒绝，则中止分类处理；并且将所述待检测数据判 别为非目标数据。
7.根据权利要求2所述的检测装置，其中，所述多个级分类器中的最后一级级分类器 还包括判别单元，该判别单元被配置成如果待检测数据被某个强分类器通过，则判别所述 待检测数据为具有所述强分类器所对应的目标类别属性；如果待检测数据被所述最后一级 级分类器的多个强分类器通过，则判别此待检测数据具有相应的多重目标类别属性。
8.根据权利要求2所述的检测装置，用于在输入的图像或视频中对多个类别的预定目 标进行检测，其中还包括被配置成对待检测图像或从待检测视频中截取的图像进行窗口 遍历的窗口遍历部件，所述级联分类器被配置成对所述窗口遍历部件获取的窗口图像进行分类处理，并且在 判别窗口图像为目标类别的情况下，记录所述窗口在原始图像中的位置和尺寸及其具有的 所有目标类别属性。
9.根据权利要求8所述的检测装置，其中还包括后处理部件，被配置成将所述窗口遍 历部件产生的具有目标类别属性的窗口进行局部临近合并。
10.根据权利要求9所述的检测装置，其中所述后处理部件被进一步配置成针对具有相邻的窗口中心位置、相近的尺寸比例和相同的目标类别属性的窗口，计算 临近的一簇目标窗口的平均中心位置、平均窗口尺寸，并将合并的窗口的数量作为合并结 果的置信度；对合并后的位置中心相邻和尺寸相近的合并结果进行目标属性合并，即如果所述图 像中某个位置附近有多个具有不同目标属性的合并结果，则统计各个目标属性的置信度总 和，取置信度总和最大的目标属性为最终目标属性，并取各个目标属性的置信度总和的和 为最终合并结果的置信度，当所述最终合并结果的置信度大于或等于预设置信度阈值时，接受所述最终合并结 果，否则舍弃所述最终合并结果。
11.一种用于对多个类别目标数据进行检测的检测方法，包括输入待检测数据；使用包括多个强分类器的联合分类器对所述待检测数据进行分类，其中所述强分类器 具有与所述类别数量相对应的数量并分别用于检测对应类别的目标数据，所述联合分类器 内包含共享特征列表，所述共享特征列表中的每个特征被分别属于不同强分类器的一个或 多个弱分类器共享使用；使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参 数值；以及根据所述多个强分类器各自的分类结果，对所述待检测数据属于哪个类别的目标数据 进行判别。
12.一种用于对多个类别目标数据进行检测的检测方法，其中，所述多个类别按相似性 标准被逐级合并为预定多层结构，并且所述多个类别作为划分最细的类别设置在最底层， 所述检测方法包括输入待检测数据；以及使用包括多个串联的级分类器的级联分类器对所述待检测数据进行分类，其中所述多 个级分类器按照由粗到细的策略对所述预定多层结构中的各层类别分别进行分类处理，并 且每个级分类器都包括数量与所处理类别数量相对应的强分类器，所述使用级联分类器进行分类的步骤包括使输入的待检测数据依次被各个级分类器 中的各个强分类器判别，其中每个所述级分类器包含共享特征列表，所述共享特征列表中 的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用，使用同一特征的分 属不同强分类器的弱分类器具有彼此不同的参数值。
13.根据权利要求12所述的检测方法，其中，所述使输入的待检测数据依次被各个级分类器中的各个强分类器判别的步骤包括针对输入的待检测数据，计算所述级分类器的共享特征列表中的各有效特征的特征 值；以及，针对所述级分类器中的各个强分类器，根据针对强分类器所使用的特征查询已计 算所得的特征值列表从而确定此强分类器的各个弱分类器的输出，并相加得到最终的强分 类器的输出。
14.根据权利要求12所述的检测方法，其中，所述使输入的待检测数据依次被各个级 分类器中的各个强分类器判别的步骤包括在输入的待检测数据被其中一个用于检测类别 Ci的强分类器判别为非目标数据的情况下，则后续的各级分类器中的用于检测类别Ci和/ 或其子类的相应强分类器不再对所述输入的待检测数据继续判别。
15.根据权利要求14所述的检测方法，其中，使输入的待检测数据依次被各个级分类 器中的各个强分类器判别的步骤包括判断所述级分类器的共享特征列表中是否存在只与 所述不再参与判别过程的各强分类器相关的特征，如果有则标记该特征为无效特征，不再 计算其特征值。
16.根据权利要求12所述的检测方法，其中，所述使用级联分类器进行分类的步骤还 包括如果待检测数据被任意一级级分类器中的所有强分类器拒绝，则中止分类处理；并 且将所述待检测数据判别为非目标数据。
17.根据权利要求12所述的检测方法，其中，在使用最后一级级分类器进行分类处理 后，还包括如果待检测数据被某个强分类器通过，则判别所述待检测数据为具有所述强分类器所 对应的目标类别属性；如果待检测数据被所述最后一级级分类器的多个强分类器通过，则 判别此待检测数据具有相应的多重目标类别属性。
18.根据权利要求12所述的检测方法，用于在输入的图像或视频中对多个类别的预定 目标进行检测，其中还包括对待检测图像或从待检测视频中截取的图像进行窗口遍历，使用所述级联分类器对所述待检测数据进行分类的步骤包括使用所述级联分类器 对所述窗口遍历所获取的窗口图像进行分类处理，并且在判别窗口图像为目标类别的情况 下，记录所述窗口在原始图像中的位置和尺寸及其具有的所有目标类别属性。
19.根据权利要求18所述的检测方法，其中还包括将所述窗口遍历部件产生的具有 目标类别属性的窗口进行局部临近合并。
20.根据权利要求19所述的检测方法，其中所述局部临近合并步骤包括针对具有相邻的窗口中心位置、相近的尺寸比例和相同的目标类别属性的窗口，计算 临近的一簇目标窗口的平均中心位置、平均窗口尺寸，并将合并的窗口的数量作为合并结 果的置信度；对合并后的位置中心相邻和尺寸相近的合并结果进行目标属性合并，即如果所述图 像中某个位置附近有多个具有不同目标属性的合并结果，则统计各个目标属性的置信度总 和，取置信度总和最大的目标属性为最终目标属性，并取各个目标属性的置信度总和的和 为最终合并结果的置信度，当所述最终合并结果的置信度大于或等于预设置信度阈值时，接受所述最终合并结 果，否则舍弃所述最终合并结果。
全文摘要
本发明涉及多类目标的检测装置及其检测方法，其中检测装置包括输入单元，被配置成输入待检测数据；联合分类器，其内部包含多个可处理多个类别目标数据的强分类器，其中，每个强分类器由一组弱分类器相加得到，每个弱分类器使用一个特征对待检测数据进行弱分类；判别单元，被配置成根据多个强分类器的分类结果，对待检测数据属于哪个类别的目标数据进行判别，所述联合分类器内部包含共享特征列表，其中的每个特征被分别属于不同强分类器的一个或多个弱分类器共享使用；使用同一特征的分属不同强分类器的弱分类器具有彼此不同的参数值。
文档编号G06K9/62GK101853389SQ200910132668
公开日2010年10月6日 申请日期2009年4月1日 优先权日2009年4月1日
发明者吴伟国, 梅树起 申请人:索尼株式会社