分类器生成装置和方法,检测图像中的对象的装置和方法

专利名称：分类器生成装置和方法,检测图像中的对象的装置和方法
技术领域：
本发明总体上涉及图像处理技术，更具体地说涉及一种通过融合多种特征来生成分类器的装置和方法，以及利用融合了多种特征的分类器来检测图像中的对象的装置和方法。
背景技术：
在视频或者图像中检测对象有两类方法，第一类是采用静态图像特征建立区分对象与背景的分类器，用该分类器来在图像中检测对象。对于视频，则对每一帧视为一幅图像进行检测。第二类方法是结合静态特征与视频的帧间相关性，运动，声音等信息来检测视频中的对象。其中静态的方法是进行检测的基础。^t Viola P, Jones M J^IjflrWRapid Object Detection Using a Boosted Cascade of Simple Features"(Proc. of International Conference on Computer Vision and Pattern Recognition，2001，1 :511-518)中，采用 Haar-like 矩形特征来检测静态图像中的对象，用boost的方法自动挑选采用的特征，但是矩形特征对于对象检测的正确率不是很高。在N. Dalal 禾口B. Triggs.所著的"Histograms of Oriented Gradients for Human Detection “ (Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005 =886-893)中，采用方向性梯度直方图(HOG)特征检测图像中的行人，针对对象的各个位置都求取梯度，对各方向的梯度求和并求取区域之间的梯度总和比例作为特征。其中采用SVM(支持向量机)训练得到用于检测的分类器。由于直方图具有统计的意义，能够适应对象在小范围和角度内的变化，但姿态变化较大时检测率仍有待提高。可见，由于不同的图像或者同一图像的不同区域具有不同的特点，而且不同的特征对于各种图像要素的表现力也不同，所以用单一的特征往往不能很好地表征图像或者图像中的区域各自的特点，使得训练得到的分类器的分类能力不够理想。此外，相应地，在利用训练得到的分类器对图像中的对象进行检测时难以获得理想的检测结果，不利于提高对象检测的性能。

发明内容
鉴于现有技术中存在的上述问题，需要提供能够提高分类器的分类能力的分类器训练方案或者改善对象检测性能的图像检测方案。根据本发明的实施例，提供一种生成用于区分对象图像和非对象图像的分类器的方法，包括步骤从包括多个训练样本图像的训练样本图像集提取多种特征以形成图像特征集；和基于所提取的图像特征集训练得到用于区分对象图像和非对象图像的分类器，该分类器包括多个弱分类器，每一个弱分类器都包括与多种特征中的每一种特征分别相关的弱分类器分支。其中，针对每一个弱分类器中的每一个弱分类器分支，通过训练样本图像集中特定的训练样本图像来训练得到该弱分类器分支。该特定的训练样本图像中与该弱分类器分支对应的特征对于区分对象图像和非对象图像是有效的。根据本发明的实施例，还提供一种生成用于区分对象图像和非对象图像的分类器的装置，包括特征提取单元，其被配置成从包括多个训练样本图像的训练样本图像集提取多种特征以形成图像特征集；和分类器训练单元，其被配置成基于由特征提取单元所提取的图像特征集训练得到用于区分对象图像和非对象图像的分类器。该分类器包括多个弱分类器，每一个弱分类器都包括与多种特征中的每一种特征分别相关的弱分类器分支。其中，分类器训练单元被配置成针对每一个弱分类器中的每一个弱分类器分支，通过所述训练样本图像集中特定的训练样本图像来训练得到该弱分类器分支。上述的特定的训练样本图像中与该弱分类器分支对应的特征对于区分对象图像和非对象图像是有效的。根据本发明的实施例，又提供一种检测图像中的对象的方法，包括步骤从输入的图像提取多种特征以构建图像特征集；以及借助于分类器，基于图像特征集对所述图像进行分类，以便识别图像中是否存在待检测的对象。其中，分类器包括多个弱分类器，每一个弱分类器都包括多个弱分类器分支，每一个弱分类器分支用于基于图像特征集中与该弱分类器分支对应的、对于检测对象是有效的特征对图像进行分类。根据本发明的实施例，还提供一种检测图像中的对象的装置，包括特征提取单元，其被配置成从输入的图像提取多种特征以构建图像特征集；以及分类单元，其被配置成借助于分类器，基于由特征提取单元所提取的图像特征集对图像进行分类，以便识别图像中是否存在待检测的对象。其中，分类器包括多个弱分类器，每一个弱分类器都包括多个弱分类器分支，每一个弱分类器分支用于基于图像特征集中与该弱分类器分支对应的、对于检测对象是有效的特征对图像进行分类。根据本发明的实施例，还提供一种包括有如上述的根据本发明的实施例的检测图像中的对象的装置的对象检测系统。如上可知，根据本发明的实施例的采用多种特征的分类器训练方法或者检测图像中的对象的方法可以结合不同种类特征的不同优点，通过对不同特征的有效性进行判断， 可以融合多种特征进行分类器训练或者对图像中的对象进行检测。由于这种融合多种特征的方式比仅使用一种特征或者通过简单地叠加同时使用多种特征能够更好的发挥不同特征的优点，由此能够比仅采用一种特征或者简单地同时采用多种特征的分类器训练方案或者图像检测方案得到更好分类器训练性能或者检测性能。


图1是示出了根据本发明的实施例的生成用于区分对象图像和非对象图像的分类器的方法的流程简图；图2A-2B是示出了在生成分类器的过程中使用的训练样本图像集中对象图像和非对象图像的一个例子的示意图3A-3D是示出了图1所示的方法的一个实例中训练分类器时从样本图像提取梯度和特征以及HOB-BIN特征的示意图；图4是示出了根据本发明的实施例用于生成区分对象图像和非对象图像的分类器的装置的结构简化框图；图5是示出了根据本发明的实施例的检测图像中的对象的方法的流程简图；图6是示出了在图5所示的方法的一个实例中检测步骤的实现过程的示意图；图7是示出了根据本发明的实施例的检测图像中的对象的装置的结构简化框图； 以及图8是示出了可用于实现根据本发明的实施例的生成分类器的方法以及检测图像中的对象的方法的计算机系统的配置的简化框图。
具体实施例方式下面参照附图来说明本发明的实施例。应当注意，为了避免因不必要的细节而模糊了本发明，在附图中仅权示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。图1是示出了根据本的实施例的生成用于区分对象图像和非对象图像的分类器的方法100的流程简图。如图1所示，方法100开始于步骤S110，在步骤S120，从包括多个训练样本图像的训练样本图像集提取多种特征以形成图像特征集。在步骤S130，基于所提取的图像特征集训练得到用于区分对象图像和非对象图像的分类器，该分类器包括多个弱分类器，每一个弱分类器都包括与多种特征中的每一种特征分别相关的弱分类器分支。其中，针对每一个弱分类器中的每一个弱分类器分支，通过训练样本图像集中特定的训练样本图像来训练得到该弱分类器分支，在该特定的训练样本图像中与该弱分类器分支对应的特征对于区分对象图像和非对象图像而言是有效的。下面结合图2A-2B，3A_3D对图1中所示的方法100的具体实例进行详细描述。图2A-2B是示意性地示出了在生成分类器的过程中使用的训练样本图像集中对象图像和非对象图像的一个例子。训练分类器所使用的训练样本图像集包括多个对象图像和非对象图像。对象图像例如可以是人或者其他物体(例如车辆)的图像(参见图2A)，非对象图像例如是背景图像(参见图2B)。在从训练样本图像集提取特征以形成图像特征集的处理中，将对象图像和非对象图像划分为若干个区域(如图中网格线所示)，然后针对各个区域提取特征。可以利用各种已知的方法，针对任意一个区域根据需要提取图像特征，例如方向性梯度直方图(HOG)特征。在已知的图像特征中，HOG特征是一种常用的特征，其基本概念及其求取方法为本领域技术人员所熟知，细节在此不再赘述。例如可从上述N. Dalai, B. Triggs 所著的 “Histograms of Oriented Gradients for Human Detection，，(Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 2005 :886-893)中获得有关用于人类检测的HOG特征的知识。可将HOG特征中的每一维单独视为一种特征，在本说明书中称其为HOG-BIN特征。可见，一个HOG特征可以对应于多个 HOG-BIN 特征。HOG特征是公认的一种有效的特征，但是例如当提取HOG特征的区域内图像很平
10滑，即梯度总和非常小时，直方图是没有意义的，这种情况例如常见于天空，白墙等背景。这些场景中使用方向性梯度直方图特征进行训练或者检测一方面是计算量大，另一方面可能由于直方图的不可靠而产生虚假响应，由此导致训练分类器的效率低或者对象检测性能劣化。为了提高训练得到的分类器的分类能力，在图1所示的方法100的一个具体实例中，使得通过训练图像样本集得到的分类器包括多个弱分类器，每一个弱分类器包括与 HOG-BIN特征和方向性梯度和特征分别相关的弱分类器分支。下面简要描述本实例中方向性梯度和特征以及HOG-BIN特征的求取方法。假设一副图像的某个像素的亮度表示为I (X，y)水平方向梯度为Ix (x, y) = d (I (χ, y)) /dx = I (x+1，y) -I (χ-l，y)；垂直方向梯度为Iy (X，y) = d(I(x, y))/dy = I (χ, y+l)-I(x, y-1)；梯度为
Grad(x,y) = ^I1s+I1y ■
v9梯度方向为θ (χ, y) = arg tg(|ly/Ix|)。在上面是以像素的亮度为例进行梯度计算，当然也可以按每个像素的其他特征来计算，例如按每个像素的三个颜色分量分别计算对X，y的微分值，其最大的值作为该像素的梯度。如图3A-3D所示，将图像划分成若干区域(区域的大小可以相同也可以各不相同)，每个区域(region)内所有像素(pixel)的特征的梯度总和称为该区域的梯度和特征， 每一种方向中的梯度的总和称为方向性梯度和特征。参见图3D上部，示意性地示出了针对区域302提取的梯度和特征。具体而言，区域“region”的梯度和特征GradSum(region)表示为GradSum(region) =(式丄)
pixel (x,y)e region在区域“region”内方向“direction”中的方向性梯度和特征 OriGradSum(region，direction)表不为OriGradSum(region, direction) =^ Grad(χ,少)(式 2)
pixelregion ,\0(x,y、-direction | < Δ其中Δ是表示一个像素的梯度方向θ (χ, y)与方向“direction”之间的差异的阈值。如图3A-3D所示，将图像划分成若干区域。对于每一个区域，将梯度图分成若干个方向，求取该区域内所有的方向性梯度和，然后将每个方向性梯度和除以该区域的梯度和， 所得到的每个特征就是HOG-BIN特征。S卩，将上述(式幻的右边除以(式1)的右边即得到与每个方向相应的HOG-BIN特征。参见图3D下部，示意性地示出了针对区域302提取的 HOG-BIN特征。也就是说，HOG-BIN特征表示相应的HOG特征的任意一维，即，一个HOG-BIN 特征表示相应的HOG特征在某个方向中的分量。通常，一个弱分类器对应一种特征，但是在本发明的该实例中，每一个弱分类器融合了方向性梯度和特征以及与方向性梯度和特征所对应的区域和方向相同的区域和方向中的HOG-BIN特征，也就是说，该弱分类器对应两种特征，其每一个弱分类器分支分别对应这两种特征中的一种。在训练分类器的处理中，针对一个弱分类器中的每一个弱分类器分支，通过训练样本图像集中特定的训练样本图像来训练得到该弱分类器分支。在这些特定的训练样本图像中，与该弱分类器分支对应的特征对于区分对象图像和非对象图像是有效。具体而言，对于一个弱分类器，计算训练样本图像集中所有图像的与该弱分类器对应的方向性梯度和特征的值，通过该值可以确定对应的HOG-BIN特征是否有效。HOG-BIN 特征无效的图像一起来用方向性梯度和特征训练该弱分类器的与方向性梯度和特征相关的分支，HOG-BIN特征有效的图像再计算HOG-BIN特征值并用来训练该弱分类器的与 HOG-BIN特征对应的另一个弱分类器分支。上面提到的某种特征对于区分对象图像和非对象图像是否有效，指的是该种特征区分对象和非对象的能力是否符合预定的要求。例如，可以通过试验预先确定一个有效性阈值，并利用该有效性阈值作为判断某种特征是否有效的基准。该有效性阈值例如可以表示在何种情况下该种特征区分对象和非对象的能力失效。根据这种有效性阈值的定义，本领域技术人员易于通过试验等方法来确定这种有效性阈值。下面举一个简单的例子。在确定与HOG-BIN特征的有效性相关的有效性阈值的试验中，可以给定一些图像，然后通过利用HOG-BIN特征对于图像中的对象和非对象进行区分(即，检测出图像中的对象)。HOG-BIN 特征对于区分对象和非对象有效和无效的情形将分别对应于方向性梯度和特征的不同值。 设定一个阈值，在试验过程中相应地调节该阈值，使得该阈值与方向性梯度和特征值之间的关系可以表明HOG-BIN特征区分对象和非对象的有效性。于是得到与HOG-BIN特征的有效性相关的有效性阈值。注意到，该有效性阈值与HOG-BIN特征本身的值不是直接关联，而是借助于该有效性阈值，可以通过方向性梯度和特征的值与该有效性阈值之间的关系来确定HOG-BIN特征区分对象和非对象的有效性。根据上面的描述，本领域技术人员可以了解通过这种试验来确定这种有效性阈值的具体步骤，细节在此不再赘述。在本实例中，对于一个弱分类器，将计算得到的训练样本图像集中所有图像的与该弱分类器对应的方向性梯度和特征的值与通过上述试验方法等预先确定的、用于判断 HOG-BIN特征之有效性的有效性阈值相比较，如果该方向性梯度和特征的值大于或等于该有效性阈值，则确定HOG-BIN特征对于区分对象图像和非对象图像是有效的(以下有时也简称为“有效”)。将通过这种方法判断得到的HOG-BIN特征有效的所有训练样本图像用来训练该弱分类器的与HOG-BIN特征相关的分支。在其余的训练样本图像中，认为与该弱分类器对应的方向性梯度和特征对于区分对象图像和非对象图像是有效的而HOG-BIN特征对于区分对象图像和非对象图像是无效的，因此通过这些样本图像来训练该弱分类器的与方向性梯度和特征相关的另一个弱分类器分支。或者，如果该方向性梯度和特征的值小于该有效性阈值，则确定HOG-BIN特征对于区分对象图像和非对象图像是无效的而方向性梯度和特征对于区分对象图像和非对象图像是有效的。将通过这种方法判断得到的HOG-BIN 特征无效的所有训练样本图像用来训练该弱分类器的与方向性梯度和特征相关的分支，而禾IJ用训练样本图像集中其余的训练样本图像来训练该弱分类器的与HOG-BIN特征相关的分支。当然，也可以通过计算并判断HOG-BIN特征的值与预定的、与方向性梯度和特征的有效性相关的有效性阈值之间的关系来确定方向性梯度和特征对于区分对象图像和非对象图像的有效性，或者同时计算出方向性梯度和特征以及HOG-BIN特征两者的值然后再利用预先设定的有效性阈值对相应特征的有效性进行联合判断，处理方式与上述的通过计算并判断方向性梯度和特征的值与预定的有效性阈值之间的关系来确定HOG-BIN特征的有效性的情形类似，在此不再逐一赘述。在上述实例中，结合使用方向性梯度和特征与HOG-BIN特征来训练弱分类器的各分支。由于不同种特征对于不同场景下具有不同特点的图像区分对象和非对象的能力是不同的，融合多种特征来训练分类器能够充分利用各种特征的优点，使得训练得到的分类器具有强大的分类能力。利用这种分类器能够在对象检测中实现提高的检测性能，例如改善检测准确性(减小虚假响应)。此外，在通过计算并判断方向性梯度和特征的值与相应的有效性阈值之间的关系来确定HOG-BIN特征的有效性的情况下，对于被确定为HOG-BIN特征无效的样本图像无需再计算HOG-BIN特征，由于HOG-BIN特征的计算复杂度相对较高，因此这种配置还可以提高训练分类器的速度，降低训练处理的复杂度。在一种可替选实例中，可以通过融合方向性梯度和特征以及与方向性梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征来训练弱分类器的各个分支。对于每一个弱分类器，例如，利用训练样本图像集中的、其中与该弱分类器对应的HOG特征对于区分对象图像和非对象图像是有效的训练样本图像来训练与HOG特征相关的弱分类器分支，将其余的训练样本图像用来训练该弱分类器的与方向性梯度和特征相关的弱分类器分支。类似地，可以借助于预先通过试验等方式设定有效性阈值作为判断HOG特征的对于区分对象图像和非对象图像的有效性的基准。例如，对于一个弱分类器，将计算得到的训练样本图像集中所有图像的相应区域中方向性梯度和特征的特征值之和与预定的、用于判断 HOG特征之有效性的有效性阈值进行比较，如果该特征值之和大于或等于该预定的有效性阈值，则认为HOG特征对于区分对象图像和非对象图像是有效的，并利用其中HOG特征有效的训练样本图像来训练弱分类器的与HOG特征相关的分支，而利用其他训练样本图像来训练弱分类器的与方向性梯度和特征相关的分支。或者，如果该特征值之和小于该预定的有效性阈值，则认为HOG特征对于区分对象图像和非对象图像是无效的而方向性梯度和特征对于区分对象图像和非对象图像是有效的，并利用其中HOG特征无效的训练样本图像来训练弱分类器的与方向性梯度和特征相关的分支，而利用其他训练样本图像来训练弱分类器的与HOG特征相关的分支。当然，也可以通过计算并判断HOG特征的值与预定的、与方向性梯度和特征的有效性相关的有效性阈值之间的关系来确定方向性梯度和特征对于区分对象图像和非对象图像的有效性，或者通过同时计算方向性梯度和特征以及HOG特征的值然后再利用预先设定的有效性阈值对相应特征的有效性进行联合判断的方式来训练分类器。 具体处理细节与上述的通过方向性梯度和特征与HOG-BIN特征的组合来训练弱分类器的各弱分类器分支的处理类似，在此不再逐一详述。在另一种可替选实例中，通过融合梯度和特征以及与梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征来训练弱分类器的各个分支。对于每一个弱分类器，例如，利用训练样本图像集中的、其中与该弱分类器对应的HOG特征对于区分对象图像和非对象图像是有效的训练样本图像集来训练与HOG相关的弱分类器分支，将其余的训练样本图像用来训练该弱分类器的与梯度和特征相关的弱分类器分支。类似地，可以借助于预先通过试验等方式设定的有效性阈值作为判断HOG特征的有效性的基准。例如，对于一个弱分类器，将计算得到的训练样本图像集中所有图像的梯度和特征的值与预定的、用于
13判断HOG特征之有效性的有效性阈值进行比较，如果梯度和特征的值大于或等于该阈值， 则认为HOG特征对于区分对象图像和非对象图像是有效的，利用其中HOG特征有效的训练样本图像来训练弱分类器的与HOG特征相关的分支，并利用其他训练样本图像来训练弱分类器的与梯度和特征相关的分支。或者，如果梯度和特征的值小于该阈值，则认为HOG特征对于区分对象图像和非对象图像是无效的而梯度和特征对于区分对象图像和非对象图像是有效的，利用其中HOG特征无效的训练样本图像来训练弱分类器的与梯度和特征相关的分支，并利用其他训练样本图像来训练弱分类器的与HOG特征相关的分支。当然，也可以通过计算并判断HOG特征的值与预定的、与梯度和特征的有效性相关的有效性阈值之间的关系来确定梯度和特征对于区分对象图像和非对象图像的有效性，或者同时计算梯度和特征以及HOG特征的值然后再利用预先设定的有效性阈值对相应特征的有效性进行联合判断的方式来训练分类器。具体处理细节与上述的通过方向性梯度和特征与HOG-BIN的组合训练弱分类器的各弱分类器分支的处理类似，在此不再逐一详述。类似地，在上述的两种可替选实例的配置中，也可以通过融合多种特征来训练分类器而增强训练得到的分类器的分类能力。由此，利用这种分类器能够在对象检测中实现提高的检测性能，例如改善检测准确性(减小虚假响应)。此外，在通过先行计算并判断方向性梯度和特征或者梯度和特征的值与预定的、与HOG特征的有效性相关的有效性阈值之间的关系来确定HOG特征的有效性的情况下，对于被确定为HOG特征是无效的样本图像无需再计算HOG特征，因此还可以提高训练分类器的速度。在上面描述的各实例中，训练得到的分类器包括的每一个弱分类器都具有分别与两种特征相关的弱分类器分支。但是，本领域技术人员理解，由于不同种特征具有不同的特性和优点，例如Haar-Iike特征体现了对象的外观(appearance)，HOG, HOG-BIN特征体现对象的形状，梯度特征体现纹理而且计算速度比HOG特征快，使用不同种的特征可以结合这些特征的不同的优点，因此，可以根据训练分类器的需要使弱分类器具有三个或者更多个分别与不同种特征相关的弱分类器分支。对于一个弱分类器的各个分支的训练方法可以参照上述结合具有两个分类器分支描述的分类器训练方法。例如，可以按照各种特征的区别能力的大小的顺序，借助于相关的预定的有效性阈值依次判断各种特征对于区分对象图像和非对象图像的有效性，并通过包含了有效的特征的训练样本图像来训练相应的弱分类器分支。各种特征的区别能力的大小与训练样本图像的特性有关。例如，对于外观特征比较显著的图像，可认为Haar-Iike特征是区别能力较强的特征，对于对象的形状特征比较突出的图像，可认为HOG，HOG-BIN特征等是区别能力较强的特征，而对于纹理特征比较显著的图像，可认为梯度特征是区别能力较强的特征，等等。此外，可以通过适当的配置(例如对相关有效性阈值的设置等)，使得不会出现各种特征都同时无效的情形。此外，对于各种特征的有效性阈值的设置以及有效性判断的条件和方式，可以根据具体情况采取其他各种合适的配置而不限于上面给出的实施例或者实例的情形。细节在此不逐一详述。在以上述方式训练各弱分类器的基础上，可通过各种现有的方法训练得到最终的用于区分对象图像和非对象图像的分类器。例如，可采用Qiang Zhu, Shai Avidan, Mei-Chen Yeh, Kwang-Ting Cheng 所著的"Fast Human Detection Using a Cascade of Histograms of Oriented Gradients," (Proc. IEEE Conf. Computer Vision and PatternRecognition, vol. 2，pp. 1491-1498，2006)中的boosting的方法挑选弱分类器，合理分配各弱分类器权重，以组合成最终的分类器。如上所述，由于根据本发明的实施例的生成分类器的方法融合使用了各种不同的特征，使得可以获得分类能力强大的分类器。相应地，在利用这样获得的分类器检测图像中的对象时可改善检测性能，后面将对此进行详述。此外，由于计算相对复杂的图像特征(例如HOG特征等)无需对于每一个训练样本图像都进行计算，因此有助于提高分类器训练的速度，降低训练的复杂度。图4是示出了根据本发明的实施例用于生成区分对象图像和非对象图像的分类器的装置400的结构简化框图。如图所示，装置400包括特征提取单元410和分类器训练单元420。特征提取单元410从包括多个训练样本图像的训练样本图像集提取多种特征以形成图像特征集。分类器训练单元420基于由特征提取单元410所提取的图像特征集训练得到用于区分对象图像和非对象图像的分类器。该分类器包括多个弱分类器，每一个弱分类器都包括与上述多种特征中的每一种特征分别相关的弱分类器分支。其中，分类器训练单元420被配置成针对每一个弱分类器中的每一个弱分类器分支，通过训练样本图像集中特定的训练样本图像来训练得到该弱分类器分支，这些特定的训练样本图像中与该弱分类器分支对应的特征对于区分对象图像和非对象图像是有效的。在一种具体实例中，特征提取单元410从训练样本图像集提取第一种特征和第二种特征以形成图像特征集。分类器训练单元420针对分类器中的每一个弱分类器，通过训练样本图像集中特定的训练样本图像来训练该弱分类器中与第一种特征相关的弱分类器分支，并且通过训练样本图像集中其他的训练样本图像来训练该弱分类器的与第二种特征相关的弱分类器分支。在上述的特定的训练样本图像中，与该弱分类器对应的第一种特征对于区分对象图像和非对象图像是有效的。在其他具体实例中，与相应的弱分类器的两个分支对应的第一种特征和第二种特征例如可以分别是梯度和特征以及与梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征、方向性梯度和特征以及与方向性梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征、方向性梯度和特征以及与方向性梯度和特征所对应的区域和方向相同的区域和方向中的HOG-BIN特征。例如，可预先设置与两种特征中特定的特征相关的有效性阈值作为判断相应特征对于区分对象图像和非对象图像是否为有效的基准。在分类器训练单元420进行训练处理时，针对一个弱分类器，通过训练样本图像集中的、借助于上述预定的有效性阈值判断为对于区分对象图像和非对象图像是有效的训练样本图像来训练该弱分类器中与被判断为有效的特征相关的弱分类器分支，并且通过训练样本图像集中其他的训练样本图像来训练该弱分类器的与其他特征相关的弱分类器分支。同样地，根据实际情况，一个弱分类器也可以包括三个或者更多个弱分类器分支， 以便可以将具有各种不同优点的更多种特征融合起来，使得训练得到的分类器具有强大的分类能力。上述生成分类器的装置400及其包括的特征提取单元410和分类器训练单元420 例如可以被配置成执行上述方法100及其各种具体实例中各步骤的处理，并且也可获得上述方法中类似的技术益处。具体细节可参见上面结合图1，2A-2B，3A-3D进行的描述，在此不再赘述。
下面将结合图5-6描述根据本发明的实施例的用于检测图像中的对象的方法和
直ο图5示出了根据本发明的实施例的检测图像中的对象(例如，人，动物，车辆，等等)的方法500的流程简图。如图所示，方法500开始于步骤S510。在步骤S520，从输入的图像提取多种特征以构建图像特征集。在步骤S530，借助于分类器，基于所得到的图像特征集对图像进行检测，以便识别该图像中是否存在待检测的对象。该分类器包括多个弱分类器，每一个弱分类器都包括多个弱分类器分支，每一个弱分类器分支用于基于图像特征集中与该弱分类器分支对应的、对于检测对象是有效的特征对所述图像进行检测。下面详细描述方法500的各具体实例。在方法500的一个具体实例中，对于待检测的输入图像，从该图像提取多种特征以构建图像特征集。首先，获得该图像中任意位置任意尺寸的搜索窗口中的图像。可以有两种方式来得到多个搜索窗口。一种方式是利用预定数量的、各种不同尺寸的扫描窗口对图像进行滑动式扫描，利用每一种扫描窗口进行的扫描都会得到若干搜索窗口，由此得到与所有尺寸的扫描窗口对应的多个搜索窗口。当改变扫描窗口的尺寸时，所得到的搜索窗口中图像的尺寸也会随之变化。另外一种方式是，扫描窗口的尺寸保持标准尺寸，即，只有一种尺寸的扫描窗口，而对原始图像进行不同比例的缩放以得到各种不同尺寸的比例图像。 通过该标准的扫描窗口对各种尺寸的比例图像进行滑动式扫描，由此得到多个搜索窗口。 这样得到的搜索窗口中的图像尺寸固定，但是内容来源于原图像素的插值。这两种方式都是在进行对象检测时常用的处理方式，具体细节不再逐一详述。在下面的描述中将搜索窗口中的图像称为子图像，以与原始的输入图像相区别。然后，针对所得到的多个搜索窗口，计算搜索窗口中子图像的与训练分类器时计算的同样的各种特征。具体而言，对于每一个搜索窗口中的子图像，将该子图像划分为多个区域，提取每一个区域的多种特征，通过针对多个区域的所有区域提取的所有特征来构成与该搜索窗口中的子图像对应的图像特征子集。通过对所有搜索窗口中的子图像进行上述类似处理，得到所有图像特征子集构成待检测图像的图像特征集。如果采用上述的通过尺寸变化的多个扫描窗口来获得多个搜索窗口的方式，则在提取特征时对于不同尺寸的子图像计算相同的特征，可以将搜索窗口中的图像尺寸缩放到标准尺寸后进行计算，或者直接改变特征的尺寸进行计算。如果采用上述的将原始图像改变各种不同尺寸进行扫描的方式来获得多个搜索窗口，则每一个搜索窗口中的图像为标准尺寸，可直接进行特征计算。在该实例的一种实现方式中，可针对每一个搜索窗口中的子图像提取该子图像中每一个区域的对于检测对象是有效的第一种特征或者第二种特征，以便构成与该子图像对应的图像特征子集。通过与所有搜索窗口中的子图像对应的图像特征子集来构建所述图像的图像特征集。在基于图像特征集进行检测的处理中，针对图像特征集中包括的对于检测对象是有效的第一种特征，通过使用多个弱分类器中相应的弱分类器的、与该第一种特征相关的弱分类器分支来进行分类，以及，针对图像特征集中包括的对于检测对象是有效的第二种特征，通过使用多个弱分类器中相应的弱分类器的、与第二种特征相关的弱分类器分支来进行分类，以便识别待检测图像中是否存在特定对象。与上面的描述类似，在此提及的某种特征是否有效，指的是该种特征区分待检测图像中对象和非对象的能力是否符合预定的要求。例如，可以通过试验预先确定一个有效性阈值作为判断某种特征是否有效的基准。该有效性阈值表示在何种情况下该种特征区分对象和非对象的能力失效。根据这种有效性阈值的定义，本领域技术人员易于通过试验来确定这种有效性阈值，具体细节在此不再赘述。例如，可以根据与在上述的训练分类器的处理中确定相关有效性阈值的方法类似的方法来确定在此的检测处理中使用的有效性阈值。 根据一种具体实现方式，对于同一种特征而言，在此所描述的检测处理中使用的有效性阈值与上述的分类器训练处理中所使用的有效性阈值可以设置为是相同的。当然，根据实际情况需要，也可以设置为是不同的，只要能够作为在相关处理中(例如，分类器训练处理或者检测图像中的对象的处理)确定相应特征的有效性的基准即可。利用预先训练得到的分类器，基于所获得的图像特征集来对图像进行检测，S卩，检测图像中的对象。具体而言，对于图像特征集中包括的多种特征中的对于检测对象是有效的每一种特征，通过使用分类器包括的相应的弱分类器的与该种特征相关的弱分类器分支来进行分类处理(或者也可称为检测处理)。可利用通过任何适当的方法训练得到分类器来进行分类。作为例子但非限制，可利用通过上述图1-3中示出的方法或图4所示的装置训练得到的包括多个弱分类器的分类器来进行分类或者检测处理，其中每一个弱分类器包括与多种特征分别相关的弱分类器分支。根据一个具体实例，针对每一个区域所提取的多种特征包括HOG-BIN特征和与 HOG-BIN特征所对应的区域和方向相同的区域和方向中的方向性梯度和特征。在这种情况下，例如可以预先设置与HOG-BIN特征的有效性相关的有效性阈值，作为判断HOG-BIN特征对于检测对象是否有效的基准。针对一个搜索窗口内的子图像中的每一个区域，如果该区域内某个方向中的方向性梯度和特征的值大于或等于该预定的有效性阈值，则认为该方向中的HOG-BIN特征对于检测对象是有效的，并提取该方向中的HOG-BIN特征。在利用分类器进行的分类处理(或者也可称为检测处理)中，则通过相应的弱分类器中与HOG-BIN特征相关的弱分类器分支来确定该弱分类器的输出。否则，如果该方向中的方向性梯度和特征的值小于该预定的有效性阈值，则认为该方向中的HOG-BIN特征对于检测对象是无效的而方向性梯度和特征对于检测对象是有效的，并提取该方向中的方向性梯度和特征。在利用分类器进行的分类处理中，通过相应的弱分类器中与方向性梯度和特征相关的弱分类器分支来确定该弱分类器的输出。如上面已经描述过的，HOG-BIN特征是HOG特征的任意一维，S卩，HOG特征中各个方向中的分量表示各个方向中的HOG-BIN特征。图6给出了利用具有与HOG-BIN特征以及方向性梯度和特征相关的弱分类器分支的弱分类器来对所提取的特征进行分类的示意图。为了简洁起见，图中仅示意性地描绘了一个弱分类器600，容易理解，分类器中包括的多个弱分类器可基于类似的操作方式进行工作。如图所示，弱分类器600包括与两种不同的特征相关的分支，即与HOG-BIN特征相关的分支620以及与方向性梯度和特征相关的分支610。在进行检测处理时，对于某个搜索窗口内的子图像所划分成的一个区域，首先提取方向性梯度和特征，如果判断方向性梯度和特征的值大于或等于预定的、与HOG-BIN特征的有效性相关的有效性阈值，则说明HOG-BIN特征对于检测对象是有效的(以下简称为“有效”)，由与HOG-BIN特征相关的弱分类器分支 620来给出该弱分类器的输出。输出左值还是右值由弱分类器阈值2来决定。反之，如果方向性梯度和特征的值小于该预定的有效性阈值，则说明HOG-BIN特征无效而方向性梯度和特征有效，由与方向性梯度和特征相关的弱分类器分支610来给出该弱分类器的输出，输出左值还是右值由弱分类器阈值1来决定。除了融合了两种不同的特征来对图像特征集中相应的特征进行分类处理以外，弱分类器的其他操作与常规的弱分类器的操作类似，对此不再赘述。容易理解，在该实例中，也可以通过计算和判断HOG-BIN特征的值与预先设定的、 与方向性梯度和特征的有效性相关的有效性阈值之间的关系确定方向性梯度和特征的有效性来进行检测处理，或者通过同时计算两种特征的值并借助于相应的有效性阈值联合判断哪种特征有效来进行检测处理，具体处理细节与上述的通过判断方向性梯度和特征的值与相应的有效性阈值之间的关系来确定HOG-BIN特征的有效性的情形类似，在此不再逐一详述。当然，由于HOG-BIN特征的计算相对复杂，在通过计算和判断方向性梯度和特征的值与预定的有效性阈值之间的关系来确定HOG-BIN特征的有效性的情况下，对于HOG-BIN特征无效而方向性梯度和特征有效的情形，可以省却HOG-BIN特征的计算，由此可进一步降低检测处理的复杂度，并提高检测处理的速度。在上述实例中，融合了方向性梯度和特征与HOG-BIN特征来检测图像中的特定对象。由于不同种特征对于不同场景下具有不同特点的图像区分对象和非对象的能力是不同的，融合多种特征来检测图像能够充分利用各种特征的优点，提高的检测性能，例如改善检测准确性(减小虚假响应)。此外，如上所述，在通过计算并判断方向性梯度和特征的值与预定的有效性阈值之间的关系来确定HOG-BIN的有效性的情况下，还可以提高检测速度， 降低训练处理的复杂度。根据一个可替选实例，针对每一个区域所提取的多种特征包括方向性梯度直方图 HOG特征和与HOG特征所对应的区域相同的区域中的梯度和特征。在这种情况下，例如可预先设置与HOG特征的有效性相关的有效性阈值，作为判断HOG特征对于检测对象是否有效的基准。对于一个搜索窗口内的子图像中的每一个区域，如果梯度和特征的值大于或等于该预定的有效性阈值，则认为该区域中HOG特征有效，并提取该区域的HOG特征。在利用分类器进行分类的处理中，通过相应的弱分类器中与HOG特征相关的弱分类器分支来确定该弱分类器的输出。否则，如果梯度和特征的值小于该预定的有效性阈值，则认为该区域中梯度和特征有效而HOG特征无效，并提取该区域的梯度和特征。在利用分类器进行分类的处理中，通过相应的弱分类器中与梯度和特征相关的弱分类器分来确定该弱分类器的输出。根据另一个可替选实例，针对每一个区域所提取的多种特征包括方向性梯度直方图HOG特征和与HOG特征所对应的区域相同的区域中的方向性梯度和特征。在这种情况下， 例如可预先设置与HOG特征的有效性相关的有效性阈值，作为判断HOG特征对于检测对象是否有效的基准。对于一个搜索窗口内子图像中的每一个区域，如果该区域中方向性梯度和特征的总和大于或等于该预定的有效性阈值，则认为HOG特征有效，并提取该区域的HOG 特征。在利用分类器进行分类的处理(或者也可称为检测处理)中，通过相应的弱分类器中与HOG特征相关的弱分类器分支来确定该弱分类器的输出。否则，如果该区域中方向性梯度和特征的总和小于该预定的有效性阈值，则认为方向性梯度和特征有效而HOG特征无效，并提取得到该区域中每一种方向的方向性梯度和特征。在利用分类器进行分类的处理中，通过相应的弱分类器中与方向性梯度和特征相关的弱分类器分支来确定该弱分类器的输出。在上述两种可替选实例中，由于同时融合了多种特征来检测图像，能够充分利用各种特征的优点，提高的检测性能，例如改善检测准确性(减小虚假响应)。例如，在采用方向性梯度和特征以及HOG特征结合的检测方法中，可以提高检测准确性，例如减少虚假响应1个百分点。此外，在上述两种可替选实例中，也可以通过计算和判断HOG特征的值与相应的预定的有效性阈值之间的关系来确定各种特征的有效性而进行检测处理，或者通过同时计算两种特征的值并借助于相应的预定的有效性阈值联合判断哪种特征有效来进行检测处理，具体处理细节与上述实例中通过计算和判断方向性梯度和特征的值与预定的有效性阈值之间的关系来确定HOG-BIN特征的有效性的情形类似，在此不再赘述。同理，由于HOG特征的计算相对复杂，在通过判断梯度和特征或者方向性梯度和特征的值与预定的有效性阈值之间的关系来确定HOG特征的有效性的情况下，如果确定HOG特征对于检测对象是无效的，则在检测处理中可不提取待检测图像中相应区域的HOG特征，由此可进一步降低处理的复杂度，并提高检测处理的速度。例如，在采用方向性梯度和特征以及HOG特征结合的检测方法中，可以降低计算复杂度，例如提高检测速度20%以上。在上述各具体实例中，在提取特征的处理中，可以首先判断哪种特征对于检测对象是有效的，然后对判断为有效的特征进行提取以便构建图像特征集。换句话说，对于检测对象无效的特征不予提取。但是，本领域技术人员容易理解，也可以同时提取两种特征以构建图像特征集，而在后续利用分类器进行检测处理时确定哪种特征是有效的并针对被确定为有效的特征进行分类，确定相应特征的有效性的方法例如可与上述实例中描述的类似。容易理解，虽然在上面描述的各实例中，检测所使用的分类器中各个弱分类器都包括与两种特征相关的弱分类器分支，但是，本领域技术人员理解，由于不同种特征具有不同的特性和优点，而且待检测的图像也具有不同的特性，因此，可以根据具体情况确定所使用的分类器中各个弱分类器的分支的数量及其各自所对应的特征的种类。由此，可以在检测处理中结合各种特征的不同的优点，提高检测的性能，此外还可以提高检测的速度。例如，根据待检测的图像的特性等实际情况，可以融合三种或者更多种特征来进行对象检测， 这样就可以结合更多不同种特征的不同的优点。相应地，进行检测所利用的分类器所包括的弱分类器需要具有与这些特征分别相关的三个或者更多个弱分类器分支。例如，可以按照各种特征的区别能力的大小顺序，借助于相应的预定的有效性阈值等来依次判断各种特征对于检测对象的有效性。如果多种特征同时有效，则可优先使用区别能力较大的特征进行检测。如上所述，各种特征的区别能力的大小与待检测图像的特性等有关。此外，可以通过适当的配置(例如对相关有效性阈值的设置等)，使得不会出现各种特征都同时无效的情形。随后，基于各弱分类器的输出来确定分类器的最终输出，并对输出结果进行相应的后处理，以便确定在待检测图像中对象是否存在以及存在的准确位置。这些处理例如可以通过与现有的图像检测方法中相应的处理类似的处理来实现，具体细节不再赘述。此外，对于与各种特征的有效性相关的有效性阈值的设置以及有效性判断的条件和方式，可以根据具体情况采取其他各种合适的配置而不限于上面给出的实施例或者实例的情形。细节在此不逐一详述。图7示出了根据本发明的实施例的检测图像中的对象的装置700的结构简化框图。如图所示，装置700包括特征提取单元710和分类单元720。特征提取单元710从输入的图像提取多种特征以构建图像特征集。分类单元720借助于分类器，基于由特征提取单元710所提取的图像特征集对图像进行分类，以便识别该图像中是否存在待检测的对象。 其中，该分类器包括多个弱分类器，每一个弱分类器都包括多个弱分类器分支，每一个弱分类器分支用于基于所获得的图像特征集中与该弱分类器分支对应的、对于检测对象是有效的特征对所述图像进行分类。在根据上述装置700的一个具体实例中，特征提取单元710可以被配置成利用扫描窗口分别对原始图像进行扫描以得到多个搜索窗口，将每个搜索窗口中的子图像划分成多个区域，针对这些区域提取多种特征，以便构建与该子图像对应的图像特征子集。与所有搜索窗口中的子图像对应的图像特征自己构成待检测图像的图像特征集。分类单元720可以被配置成借助于经预先训练得到的分类器来对所构建的图像特征集进行分类，或者说进行检测。具体而言，针对图像特征集中包括的每一种对于检测对象而言是有效的特征，使得由分类器包括的相应的弱分类器中与这些有效的特征分别相关的分类器分支来确定弱分类器输出，即，对特征进行分类或者检测。在该实例的一种具体实现方式中，特征提取单元710可以针对各个搜索窗口中的子图像提取对于检测对象是有效的第一种特征或者对于检测对象是有效的第二种特征。相应地，在通过分类单元720进行分类(或者也可称为检测)处理时，通过使用分类器所包括的相应的弱分类器中与第一种特征或者第二种特征相关的弱分类器分支来分别对图像特征集中包括的第一种特征或第二种特征进行分类。根据各弱分类器的输出来得到分类器的最终输出，即，待检测图像中是否存在特定对象以及如果存在的话该对象的具体位置。容易理解，根据实际需要，也可以针对各个搜索窗口中的子图像提取三种或者更多种的特征，相应地，在训练各弱分类器时使得其包含有与三种或更多种特征相关的弱分类器分支，以便在检测处理过程中对各种特征进行分类时使用与这些特征分别相关的弱分类器分支给出输出结果。在各种其他可能的具体实例中，特征提取单元710针对所有搜索窗口中的子图像所提取的对于检测对象是有效的特征组合可以包括=HOG-BIN特征或与HOG-BIN特征所对应的区域和方向相同的区域和方向中的方向性梯度和特征、方向性梯度直方图HOG特征或与HOG特征所对应的区域相同的区域中的梯度和特征、方向性梯度直方图HOG特征或与HOG 特征所对应的区域相同的区域中的方向性梯度和特征。相应的，分类单元720可被配置成对于上述各种特征组合，通过分类器所包括的相应的弱分类器中与这些有效的特征分别相关的弱分类器分支来进行分类或检测处理。上述检测图像中的对象的装置700及其包括的特征提取单元710和分类单元720 例如可以被配置执行上述方法500及其各个具体实例中给出处理，并且可以获得与上述有关对象检测方法的具体示例中给出的类似的益处。具体细节可参见上面结合图5-6对各个实例进行的描述，在此不再赘述。相应地，具有如图7所示的对待检测图像中的对象进行检测的装置700的对象检测系统也应被认为落入本发明的保护范围内。这种对象检测系统可以实现本发明如上述图 5-6中所示出的检测图像中的对象的方法。根据本发明的实施例的用于检测图像中的对象的方法、装置，以及包括该对象检测装置的系统可用于例如视频监控、人工智能、计算机视觉等领域中的目标识别，用于在静
2态图像或者视频图像中检测作为识别目标的对象是否存在以及在被检测的静态图像或者视频图像中存在的位置。上述图4，7中示出的生成分类器的装置400和检测图像中的对象的装置700中各个组成单元、子单元以及部件可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图8所示的通用计算机 800)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行上述各种功能等，例如图1，5中示出的方法及其各实例的各种操作。如图8所示，中央处理单元(CPU) 801根据只读存储器(ROM) 802中存储的程序或从存储部分808加载到随机存取存储器(RAM)803的程序执行各种处理。在RAM 803中，还根据需要存储当CPU 801执行各种处理等等时所需的数据。CPU 801、ROM 802和RAM 803 经由总线804彼此连接。输入/输出接口 805也连接到总线804。下述部件连接到输入/输出接口 805 输入部分806(包括键盘、鼠标等等)、输出部分807(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分808(包括硬盘等)、通信部分809(包括网络接口卡比如LAN卡、调制解调器等)。通信部分809经由网络比如因特网执行通信处理。根据需要，驱动器810也可连接到输入/输出接口 805。可拆卸介质811比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器810上，使得从中读出的计算机程序根据需要被安装到存储部分808中。在通过软件实现上述系列处理的情况下，可从网络比如因特网或存储介质比如可拆卸介质811安装构成软件的程序。本领域的技术人员应当理解，这种存储介质不局限于图8所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质811。可拆卸介质811的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(⑶-ROM)和数字通用盘 (DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是 ROM 802、存储部分808中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的生成分类器的方法或者检测图像中的对象的方法。相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也应该本认为包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、 存储棒等等。在此需要说明，篇幅所限，上面列举的各实施例和具体实例都是示意性的而非穷举性的，也不是意在要对本发明构成限制。例如，上面各实施例中给出的实例及其各种改进方案可以分别根据需要进行任意的组合。此外，在上面对各实施例和实例的描述中，与数字有关的表述“ 1 ”，“2”，“一”，“二”，“第一”，“第二”等等仅仅是为了区别由这些数字修饰的部件或者元素，而不是为了表明这些部件或者元素之间的顺序或者重要性程度等等。在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。此外，根据本发明的各实施例的方法和处理不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的各种方法和处理的执行顺序不对本发明的技术范围构成限制。尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
权利要求
1.一种生成用于区分对象图像和非对象图像的分类器的方法，包括步骤从包括多个训练样本图像的训练样本图像集提取多种特征以形成图像特征集；和基于所提取的图像特征集训练得到所述用于区分对象图像和非对象图像的分类器，所述分类器包括多个弱分类器，每一个弱分类器都包括与所述多种特征中的每一种特征分别相关的弱分类器分支，其中，针对所述每一个弱分类器中的每一个弱分类器分支，通过所述训练样本图像集中特定的训练样本图像来训练得到该弱分类器分支，所述特定的训练样本图像中与该弱分类器分支对应的特征对于区分对象图像和非对象图像是有效的。
2.如权利要求1所述的生成用于区分对象图像和非对象图像的分类器的方法，其中， 所述的提取多种特征的步骤包括从训练样本图像集提取第一种特征和第二种特征以形成图像特征集；所述的训练得到分类器的步骤包括针对所述分类器中的每一个弱分类器，通过所述训练样本图像集中特定的训练样本图像来训练该弱分类器中与所述第一种特征相关的弱分类器分支，并且通过训练样本图像集中其他的训练样本图像来训练该弱分类器的与所述第二种特征相关的弱分类器分支，其中，所述特定的训练样本图像中与该弱分类器对应的第一种特征对于区分对象图像和非对象图像是有效的。
3.如权利要求2所述的生成用于区分对象图像和非对象图像的分类器的方法，其中所述第一种特征和第二种特征是梯度和特征以及与梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征，其中，对于所述训练样本图像集中要被提取梯度和特征的每一个图像中的相应区域，通过计算该区域内所有像素的特征的梯度总和得到该区域的梯度和特征；以及所述的训练得到分类器的步骤包括对于所述分类器中的每一个弱分类器，通过所述训练样本图像集中的、其中与该弱分类器对应的梯度和特征的值大于或等于预定的第一有效性阈值的训练样本图像来训练该弱分类器的与所述HOG特征相关的弱分类器分支，并且通过训练样本图像集中其他的训练样本图像来训练该弱分类器的与所述梯度和特征相关的弱分类器分支。
4.如权利要求2所述的生成用于区分对象图像和非对象图像的分类器的方法，其中所述第一种特征和第二种特征是方向性梯度和特征以及与方向性梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征，其中，对于所述训练样本图像集中要被提取方向性梯度和特征的每一个图像中的相应区域，通过计算该区域内多个方向的每一个方向中的像素的特征的梯度之和得到该区域的每一个方向的方向性梯度和特征；以及所述的训练得到分类器的步骤包括对于所述分类器中的每一个弱分类器，通过所述训练样本图像集中的、其中与该弱分类器对应的方向性梯度和特征在相应的区域中的特征值之和大于或者等于预定的第二有效性阈值的训练样本图像来训练该弱分类器中与所述HOG特征相关的弱分类器分支，并且通过训练样本图像集中其他的训练样本图像来训练该弱分类器的与所述方向性梯度和特征相关的弱分类器分支。
5.如权利要求2所述的生成用于区分对象图像和非对象图像的分类器的方法，其中所述第一种特征和第二种特征是方向性梯度和特征以及与方向性梯度和特征所对应的区域和方向相同的区域和方向中的HOG-BIN特征，其中HOG-BIN特征是方向性梯度直方图HOG特征的任意一维，对于所述训练样本图像集中要被提取方向性梯度和特征的每一个图像中的相应区域，通过计算该区域内多个方向的每一个方向中的像素的特征的梯度之和得到该区域的每一个方向的方向性梯度和特征；以及所述的训练得到分类器的步骤包括对于所述分类器中的每一个弱分类器，通过所过训练样本图像集中的、其中与该弱分类器对应的方向性梯度和特征的值大于或等于预定的第三有效性阈值的训练样本图像来训练该弱分类器中与所述HOG-BIN特征相关的弱分类器分支，并且通过训练样本图像集中其他的训练样本图像来训练该弱分类器的与所述方向性梯度和特征相关的弱分类器分支。
6.一种生成用于区分对象图像和非对象图像的分类器的装置，包括特征提取单元，其被配置成从包括多个训练样本图像的训练样本图像集提取多种特征以形成图像特征集；和分类器训练单元，其被配置成基于由所述特征提取单元所提取的图像特征集训练得到所述用于区分对象图像和非对象图像的分类器，所述分类器包括多个弱分类器，每一个弱分类器都包括与所述多种特征中的每一种特征分别相关的弱分类器分支，其中，所述分类器训练单元被配置成针对所述每一个弱分类器中的每一个弱分类器分支，通过所述训练样本图像集中特定的训练样本图像来训练得到该弱分类器分支，所述特定的训练样本图像中与该弱分类器分支对应的特征对于区分对象图像和非对象图像是有效的。
7.如权利要求6所述的生成用于区分对象图像和非对象图像的分类器的装置，其中所述特征提取单元被配置成从训练样本图像集提取第一种特征和第二种特征以形成图像特征集；以及所述分类器训练单元被配置成针对所述分类器中的每一个弱分类器，通过所述训练样本图像集中特定的训练样本图像来训练该弱分类器中与所述第一种特征相关的弱分类器分支，并且通过训练样本图像集中其他的训练样本图像来训练该弱分类器的与所述第二种特征相关的弱分类器分支，其中，所述特定的训练样本图像中与该弱分类器对应的第一种特征对于区分对象图像和非对象图像是有效的。
8.如权利要求7所述的生成用于区分对象图像和非对象图像的分类器的装置，其中所述第一种特征和第二种特征是梯度和特征以及与梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征，其中，对于所述训练样本图像集中要被提取梯度和特征的每一个图像中的相应区域，通过计算该区域内所有像素的特征的梯度总和得到该区域的梯度和特征；以及所述分类器训练单元被配置成对于所述分类器中的每一个弱分类器，通过所述训练样本图像集中的、其中与该弱分类器对应的梯度和特征的值大于或等于预定的第一有效性阈值的训练样本图像来训练该弱分类器的与所述HOG特征相关的弱分类器分支，并且通过训练样本图像集中其他的训练样本图像来训练该弱分类器的与所述梯度和特征相关的弱分类器分支。
9.如权利要求7所述的生成用于区分对象图像和非对象图像的分类器的装置，其中所述第一种特征和第二种特征是方向性梯度和特征以及与方向性梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征，其中，对于所述训练样本图像集中要被提取方向性梯度和特征的每一个图像中的相应区域，通过计算该区域内多个方向的每一个方向中的像素的特征的梯度之和得到该区域的每一个方向的方向性梯度和特征；以及所述分类器训练单元被配置成对于所述分类器中的每一个弱分类器，通过所述训练样本图像集中的、其中与该弱分类器对应的方向性梯度和特征在相应的区域中的特征值之和大于或等于预定的第二有效性阈值的训练样本图像来训练该弱分类器中与所述HOG特征相关的弱分类器分支，并且通过训练样本图像集中其他的训练样本图像来训练该弱分类器的与所述方向性梯度和特征相关的弱分类器分支。
10.如权利要求7所述的生成用于区分对象图像和非对象图像的分类器的装置，其中所述第一种特征和第二种特征是方向性梯度和特征以及与方向性梯度和特征所对应的区域和方向相同的区域和方向中的HOG-BIN特征，其中HOG-BIN特征是方向性梯度直方图HOG特征的任意一维，对于所述训练样本图像集中要被提取方向性梯度和特征的每一个图像中的相应区域，通过计算该区域内多个方向的每一个方向中的像素的特征的梯度之和得到该区域的每一个方向的方向性梯度和特征；以及其中所述分类器训练单元被配置成对于所述分类器中的每一个弱分类器，通过所述训练样本图像中集的、其中与该弱分类器对应的方向性梯度和特征的值大于或等于预定的第三有效性阈值的训练样本图像来训练该弱分类器中与所述HOG-BIN特征相关的弱分类器分支， 并且通过训练样本图像集中其他的训练样本图像来训练该弱分类器的与所述方向性梯度和特征相关的弱分类器分支。
11.一种检测图像中的对象的方法，包括步骤 从输入的图像提取多种特征以构建图像特征集；以及借助于分类器，基于所述图像特征集对所述图像进行分类，以便识别所述图像中是否存在待检测的对象，其中，所述分类器包括多个弱分类器，每一个弱分类器都包括多个弱分类器分支，每一个弱分类器分支用于基于所述图像特征集中与该弱分类器分支对应的、对于检测所述对象是有效的特征对所述图像进行分类。
12.如权利要求11所述的检测图像中的对象的方法，其中所述的从输入的图像提取多种特征的步骤包括利用各种尺寸的多个扫描窗口分别对所述图像进行扫描以得到多个搜索窗口，或者， 利用固定尺寸的一个扫描窗口对所述图像按照多种预定比例缩放得到的多个比例图像进行扫描以得到多个搜索窗口，对于每一个搜索窗口中的子图像，将该子图像划分为多个区域，针对所述多个区域提取多种特征以便构成与该子图像对应的图像特征子集，以及，通过与所有搜索窗口中的子图像对应的图像特征子集来构建所述图像的图像特征集。
13.如权利要求12所述的检测图像中的对象的方法，其中所述的从输入的图像提取多种特征的步骤包括针对每一个搜索窗口中的子图像，提取该子图像中每一个区域的对于检测对象是有效的第一种特征或者第二种特征，以便构成与该子图像对应的图像特征子集，通过与所有搜索窗口中的子图像对应的图像特征子集来构建所述图像的图像特征集；以及所述的对图像进行分类的步骤包括针对所述图像特征集中包括的对于检测对象是有效的第一种特征，通过使用所述多个弱分类器中相应的弱分类器的、与所述第一种特征相关的弱分类器分支来进行分类，以及， 针对所述图像特征集中包括的对于检测对象是有效的第二种特征，通过使用所述多个弱分类器中相应的弱分类器的、与所述第二种特征相关的弱分类器分支来进行分类，以便识别所述图像中是否存在待检测的对象。
14.如权利要求13所述的检测图像中的对象的方法，其中所述第一种特征和第二种特征是梯度和特征以及与梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征，所述的从输入的图像提取多种特征的步骤包括针对一个子图像中的每一个区域，如果该区域中梯度和特征的值大于或等于预定的第四有效性阈值，认为HOG特征对于检测对象是有效的，并提取该区域的HOG特征，否则，认为HOG特征对于检测对象是无效的而梯度和特征对于检测对象是有效的，并通过计算该区域内所有像素的特征的梯度总和得到该区域的梯度和特征，以及，通过针对所有子图像提取对于检测对象是有效的梯度和特征或HOG特征来构成所述图像特征集；以及所述的对图像进行分类的步骤包括对于所述图像特征集中的梯度和特征，通过相应的弱分类器中与所述梯度和特征相关的弱分类器分支来确定该弱分类器的输出，以及，对于所述图像特征集中的HOG特征，通过相应的弱分类器中与所述HOG特征相关的弱分类器分支来确定该弱分类器的输出。
15.如权利要求13所述的检测图像中的对象的方法，其中所述第一种特征和第二种特征是方向性梯度和特征以及与方向性梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征，所述的从输入的图像提取多种特征的步骤包括针对一个子图像中的每一个区域，如果该区域中方向性梯度和特征的特征值之和大于或等于预定的第五有效性阈值，认为HOG特征对于检测对象是有效的，并提取该区域的HOG特征，否则，认为HOG特征对于检测对象是无效的而方向性梯度和特征对于检测对象是有效的，并通过计算该区域内每一种方向中的像素的特征的梯度之和得到该区域的所述每一种方向中的方向性梯度和特征，以及，通过针对所有子图像提取对于检测对象是有效的方向性梯度和特征或HOG特征构成所述图像特征集；以及所述的对图像进行分类的步骤包括对于所述图像特征集中的方向性梯度和特征，通过相应的弱分类器中与所述方向性梯度和特征相关的弱分类器分支来确定该弱分类器的输出，以及，对于所述图像特征集中的 HOG特征，通过相应的弱分类器中与所述HOG特征相关的弱分类器分支来确定该弱分类器的输出。
16.如权利要求13所述的检测图像中的对象的方法，其中所述第一种特征和第二种特征是方向性梯度和特征以及与方向性梯度和特征所对应的区域和方向相同的区域和方向中的HOG-BIN特征，所述的从输入的图像提取多种特征的步骤包括针对一个子图像中的每一个区域，如果该区域内某一方向中的方向性梯度和特征的特征值大于或等于预定的第六有效性阈值，认为该方向中的HOG-BIN特征对于检测对象是有效的，并提取该方向中的HOG-BIN特征，否则，认为该方向中的HOG-BIN特征对于检测对象是无效的而该方向中方向性梯度和特征对于检测对象是有效的，并通过计算该区域内该方向中的像素的特征的梯度之和得到该方向中的方向性梯度和特征，其中HOG-BIN特征是该区域中HOG特征与该方向对应的一维，以及，通过针对所有子图像提取对于检测对象是有效的方向性梯度和特征或HOG-BIN特征构成所述图像特征集；以及所述的对图像进行分类的步骤包括对于所述图像特征集中的方向性梯度和特征，通过相应的弱分类器中与所述方向性梯度和特征相关的弱分类器分支来确定该弱分类器的输出，以及，对于所述图像特征集中的 HOG-BIN特征，通过相应的弱分类器中与所述HOG-BIN特征相关的弱分类器分支来确定该弱分类器的输出。
17.一种检测图像中的对象的装置，包括特征提取单元，其被配置成从输入的图像提取多种特征以构建图像特征集；以及分类单元，其被配置成借助于分类器，基于由所述特征提取单元所提取的图像特征集对所述图像进行分类，以便识别所述图像中是否存在待检测的对象，其中，所述分类器包括多个弱分类器，每一个弱分类器都包括多个弱分类器分支，每一个弱分类器分支用于基于所述图像特征集中与该弱分类器分支对应的、对于检测所述对象是有效的特征对所述图像进行分类。
18.如权利要求17所述的检测图像中的对象的装置，其中所述特征提取单元被配置成通过如下方式从图像中提取多种特征以构建图像特征集利用各种尺寸的多个扫描窗口分别对所述图像进行扫描以得到多个搜索窗口，或者， 利用固定尺寸的一个扫描窗口对所述图像按照多种预定比例缩放得到的多个比例图像进行扫描以得到多个搜索窗口，对于每一个搜索窗口中的子图像，将该子图像划分为多个区域，针对所述多个区域提取多种特征以便构成与该子图像对应的图像特征子集，以及，通过与所有搜索窗口中的子图像对应的图像特征子集来构建所述图像的图像特征集。
19.如权利要求18所述的检测图像中的对象的装置，其中所述特征提取单元被配置成针对每一个搜索窗口中的子图像，提取该子图像中每一个区域的对于检测对象是有效的第一种特征或者第二种特征，以便构成与该子图像对应的图像特征子集，通过与所有搜索窗口中的子图像对应的图像特征子集来构建所述图像的图像特征集；以及所述分类单元被配置成针对所述图像特征集中包括的对于检测对象是有效的第一种特征，通过使用所述多个弱分类器中相应的弱分类器的、与所述第一种特征相关的弱分类器分支来进行分类，以及， 针对所述图像特征集中包括的对于检测对象是有效的第二种特征，通过使用所述多个弱分类器中相应的弱分类器的、与所述第二种特征相关的弱分类器分支来进行分类，以便识别所述图像中是否存在待检测的对象。
20.如权利要求19所述的检测图像中的对象的装置，其中所述第一种特征和第二种特征是梯度和特征以及与梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征，所述特征提取单元被配置成针对一个子图像中的每一个区域，如果该区域中梯度和特征的值大于或等于预定的第四有效性阈值，认为HOG 特征对于检测对象是有效的，并提取该区域的HOG特征，否则，认为HOG特征对于检测对象是无效的而梯度和特征对于检测对象是有效的，并通过计算该区域内所有像素的特征的梯度总和得到该区域的梯度和特征，以及，通过针对所有子图像提取对于检测对象是有效的梯度和特征或HOG特征来构成所述图像特征集；以及所述分类单元被配置成对于所述图像特征集中的梯度和特征，通过相应的弱分类器中与所述梯度和特征相关的弱分类器分支来确定该弱分类器的输出，以及，对于所述图像特征集中的HOG特征，通过相应的弱分类器中与所述HOG特征相关的弱分类器分支来确定该弱分类器的输出。
21.如权利要求19所述的检测图像中的对象的装置，其中所述第一种特征和第二种特征是方向性梯度和特征以及与方向性梯度和特征所对应的区域相同的区域中的方向性梯度直方图HOG特征，所述特征提取单元被配置成针对一个子图像中的每一个区域，如果该区域中方向性梯度和特征的特征值之和大于或等于预定的第五有效性阈值，认为HOG特征对于检测对象是有效的，并提取该区域的HOG特征，否则， 认为HOG特征对于检测对象是无效的而方向性梯度和特征对于检测对象是有效的，并通过计算该区域内每一种方向中的像素的特征的梯度之和得到该区域的所述每一种方向中的方向性梯度和特征，以及，通过针对所有子图像提取对于检测对象是有效的方向性梯度和特征或HOG特征构成所述图像特征集；以及所述分类单元被配置成对于所述图像特征集中的方向性梯度和特征，通过相应的弱分类器中与所述方向性梯度和特征相关的弱分类器分支来确定该弱分类器的输出，以及，对于所述图像特征集中的HOG特征，通过相应的弱分类器中与所述HOG特征相关的弱分类器分支来确定该弱分类器的输出。
22.如权利要求19所述的检测图像中的对象的装置，其中所述第一种特征和第二种特征是方向性梯度和特征以及与方向性梯度和特征所对应的区域和方向相同的区域和方向中的HOG-BIN特征，所述特征提取单元被配置成针对一个子图像中的每一个区域，如果该区域内某一方向中的方向性梯度和特征的特征值大于或等于预定的第六有效性阈值，认为该方向中的HOG-BIN特征对于检测对象是有效的，并提取该方向中的HOG-BIN特征，否则，认为该方向中的HOG-BIN特征对于检测对象是无效的而该方向中方向性梯度和特征对于检测对象是有效的，并通过计算该区域内该方向中的像素的特征的梯度之和得到该方向中的方向性梯度和特征，其中HOG-BIN特征是该区域中HOG 特征与该方向对应的一维，以及，通过针对所有子图像提取对于检测对象是有效的方向性梯度和特征或HOG-BIN特征构成所述图像特征集；以及所述分类单元被配置成对于所述图像特征集中的方向性梯度和特征，通过相应的弱分类器中与所述方向性梯度和特征相关的弱分类器分支来确定该弱分类器的输出，以及，对于所述图像特征集中的HOG-BIN特征，通过相应的弱分类器中与所述HOG-BIN特征相关的弱分类器分支来确定该弱分类器的输出。
23.一种具有如权利要求17-22中任一项所述的检测图像中的对象的装置的对象检测系统。
24.如权利要求23所述的对象检测系统，其中所述对象检测系统是视频监控系统、人工智能系统或计算机视觉系统。
全文摘要
一种生成分类器的方法和装置。该方法包括从包括多个训练样本图像的训练样本图像集提取多种特征以形成图像特征集；基于提取的图像特征集训练得到分类器。该分类器中每一个弱分类器都包括与多种特征中的每一种特征分别相关的弱分类器分支，针对每一个弱分类器中的每一个弱分类器分支，通过训练样本图像集中特定的训练样本图像来训练得到该弱分类器分支，上述特定的训练样本图像中与该弱分类器分支对应的特征对于区分对象图像和非对象图像是有效的。还提供检测图像中的对象的方法和装置。通过本发明的实施例，可改善分类器生成和图像检测的性能，降低分类器训练的复杂度，提高分类器的分类检测能力，相应地改善对象检测的精度，此外提高检测速度。
文档编号G06K9/66GK102479329SQ20101056049
公开日2012年5月30日 申请日期2010年11月22日 优先权日2010年11月22日
发明者孟龙 申请人:索尼公司