对图像进行分类的方法和设备的制作方法

专利名称：对图像进行分类的方法和设备的制作方法
技术领域：
本发明涉及对视频或图像的分类(包含对象/不包含对象)，即视频或图像中对象的检测或识别，尤其涉及生成用于区分视频或图像中是否包含所要检测的对象的分类器的方法和设备，以及用所生成的分类器对图像进行分类的方法和设备。
背景技术：
随着视频监控、人工智能、计算机视觉等应用的不断普及，对检测视频和图像中出现的特定对象，例如人、动物、车辆等等的技术的需求日益增加。在用于检测视频或者图像中的对象的方法中，已知有一类方法是采用静态图像特征来建立用于区分视频或图像中是包含对象还是非对象的分类器，从而用该分类器来对图像进行分类，即在图像中检测对象， 其中对于视频，将每一帧视为一幅图像来进行检测。Paul Viola 禾口 Michael Jones 在"Robust Real-time Object Detection，，， Second International Workshop On Statistical And ComputationalTheories Of Vision-Modeling,Learning,Computing,And Sampling,Vancouver,Canada,July 13,2001 中公开了一种这样的技术。在Paul Viola等人的技术中，从图像中提取矩形块的像素和之间的差作为特征，通过AdaBoost方法从所提取的特征中选择更适合用来区分对象和非对象的特征来形成弱分类器，并且通过融合弱分类器来形成强分类器。这类方法比较适合在图像中检测例如人脸这样的对象，但是对于例如人这样的对象的检测的鲁棒性则不是很尚ο

发明内容
鉴于现有技术的上述不足，本发明旨在提供一种生成分类器的方法、设备和对图像进行分类的方法和设备，以提高图像中对象检测的鲁棒性。本发明的一个实施例是一种生成用于区分对象图像和非对象图像的分类器的方法，包括从输入图像中提取特征向量，其中所述特征向量包括多个第一候选特征，每个所述第一候选特征与沿第一轴的方向布置的多个第一区域、和沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的候选组合相对应，每个所述第一候选特征的提取包括获得相应候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和相应候选组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在相应候选组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和，以作为所述第一候选特征；以及根据所述提取的特征向量训练出所述分类器。本发明的另一个实施例是一种生成用于区分对象图像和非对象图像的分类器的设备，所述设备从输入图像中提取特征向量，其中所述特征向量包括多个第一候选特征，每个所述第一候选特征与沿第一轴的方向布置的多个第一区域、和沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的候选组合相对应，并且所述设备包括差计算单元，其针对每个所述第一候选特征，获得相应候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和相应候选组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量，并且获得所述第一差向量和第二差向量在相应候选组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及特征计算单元，其获得所述第一投影差向量和第二投影差向量的大小的和，以作为所述第一候选特征；以及训练单元，根据所述提取的特征向量训练出所述分类器。根据本发明的上述实施例，分别基于沿两个方向布置的区域的像素来计算第一差向量和第二差向量，使得所提取的特征能够更加真实地反映相应图像部分中对象边缘的分布。此外，通过不同的预定取向来假设对象局部的各种可能的边缘取向，能够进一步提高分类器的鲁棒性。进一步地，在上述方法和设备中，特征向量还可以包括至少一个第二候选特征，每个所述第二候选特征与沿第一轴的方向布置的多个第一区域、沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的至少两个候选组合相对应。每个第二候选特征的提取可以包括针对与所述第二候选特征相对应的至少两个候选组合中的每个候选组合，获得所述候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和所述候选组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在所述候选组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和；以及获得与所述至少两个候选组合对应的和的均值或总和，以作为所述第二候选特征。根据本发明的上述实施例，每个候选组合的相应特征表征一个对象边缘，而将至少两个候选组合的相应特征联合起来，则能够获得表征至少两个对象边缘的单个特征，从而有利于训练出更加鲁棒的分类器。在上述方法和设备中，各区域可以是矩形区域，其中第一区域是相接的，并且第二区域也是相接的。在上述方法和设备中，在第一区域的数目和第二区域的数目均为二，第一区域是相接的并且第二区域是相接的情况下，第一轴和第二轴的交点在第一区域的连接线上或连接点的预定范围内，并且在第二区域的连接线上或连接点的预定范围内。在上述方法和设备中，在第一区域的数目和第二区域的数目均为二，第一区域是间隔开的并且第二区域是间隔开的情况下，第一轴和第二轴的交点在第一区域的位置中心之间的中点和第二区域的位置中心之间的中点的预定范围内。在上述方法和设备中，在第一区域的数目和第二区域的数目均为三的情况下，第一轴和第二轴的交点分别在第一区域中居于中间的第一区域内和第二区域中居于中间的第二区域内。在上述方法和设备中，至少两个所述候选组合之间的差别可以包括下述中的一个或多个区域的相对位置关系、区域的数目、区域的形状、区域的大小、区域的纵横比。这使得可供考察的特征更加丰富，从而更加利于选择适合区分对象和非对象的特征。
在上述方法和设备中，多个预定取向相对于所述第一轴或第二轴旋转的角度范围可以为O度到180度或0度到360度。在上述方法和设备中，多个预定取向中的相邻预定取向间的角度可以相同。在上述方法和设备中，可以根据与第一候选特征对应的候选组合生成至少一个集合，其中每个所述集合包含至少两个所述候选组合。可以通过以下述方式获得对应于每个所述集合的第二候选特征，来评估所述第二候选特征的鉴别能力针对所述集合的每个候选组合，获得所述候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和所述候选组合的所述多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在所述候选组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和；以及获得所述集合的各个候选组合的相应和的均值或总和，以作为所述第二候选特征。在所述第二候选特征的鉴别能力不满足预定要求的情况下，可以从生成的集合中排除所述集合。之后，可以将每个集合的各个候选组合作为第二候选特征之一的对应候选组合。本发明的另一个实施例是一种对图像进行分类的方法，包括从所述图像中提取特征向量，其中所述特征向量包括多个第一特征，每个所述第一特征与沿第一轴的方向布置的多个第一区域、和沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的组合相对应，每个所述第一特征的提取包括获得相应组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和相应组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在相应组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和，以作为所述第一特征；以及根据所述提取的特征向量，对所述图像进行分类。本发明的另一个实施例是一种对图像进行分类的设备，所述设备从所述图像中提取特征向量，其中所述特征向量包括多个第一特征，每个所述第一特征与沿第一轴的方向布置的多个第一区域、和沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的组合相对应，并且所述设备包括差计算单元，其针对每个所述第一特征，获得相应组合的所述多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和相应组合的所述多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量，并且获得所述第一差向量和第二差向量在相应组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及特征计算单元，其获得所述第一投影差向量和第二投影差向量的大小的和，以作为所述第一特征；以及分类单元，其根据所述提取的特征向量，对所述图像进行分类。根据本发明的上述实施例，分别基于沿两个方向布置的区域的像素来计算第一差向量和第二差向量，使得所提取的特征能够更加真实地反映相应图像部分中对象边缘的分布。此外，通过不同的预定取向来假设对象局部的各种可能的边缘取向，能够得到具有更强鉴别能力的特征，从而进一步提高分类的鲁棒性。在上述方法和设备中，特征向量还可以包括至少一个第二特征，其中每个所述第二特征与沿第一轴的方向布置的多个第一区域、沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的至少两个组合相对应。每个第二特征的提取可以包括针对与所述第二特征相对应的至少两个组合中的每个组合，获得所述组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和所述组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量； 获得所述第一差向量和第二差向量在所述组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和；以及获得与所述至少两个组合对应的和的均值或总和，以作为所述第二特征。根据本发明的上述实施例，每个组合的相应特征表征一个对象边缘，而将至少两个候选组合的相应特征联合起来，则能够获得表征至少两个对象边缘的单个特征，从而增强特征的鉴别能力，有利于提高分类的鲁棒性。在上述方法和设备中，各区域可以是矩形区域，其中第一区域是相接的，并且第二区域是相接的。在上述方法和设备中，在第一区域的数目和第二区域的数目均为二，第一区域是相接的并且第二区域是相接的情况下，第一轴和第二轴的交点在第一区域的连接线上或连接点的预定范围内，并且在第二区域的连接线上或连接点的预定范围内。在上述方法和设备中，在第一区域的数目和第二区域的数目均为二，第一区域是间隔开的并且第二区域是间隔开的情况下，第一轴和第二轴的交点在第一区域的位置中心之间的中点和第二区域的位置中心之间的中点的预定范围内。在上述方法和设备中，在第一区域的数目和第二区域的数目均为三的情况下，第一轴和第二轴的交点分别在第一区域中居于中间的第一区域内和第二区域中居于中间的第二区域内。在上述方法和设备中，至少两个所述组合之间的差别可以包括下述中的一个或多个区域的相对位置关系、区域的数目、区域的形状、区域的大小、区域的纵横比。这使得可供考察的特征更加丰富，从而更加利于选择适合区分对象和非对象的特征。在上述方法和设备中，与每个所述第二特征相对应的至少两个组合能够形成一个序列，该序列中相邻组合的预定取向的偏差在预定范围内，其各个区域的覆盖范围彼此接近并且所述至少两个组合所覆盖的像素彼此不完全相同。在上述方法和设备中，多个预定取向相对于所述第一轴或第二轴旋转的角度范围可以为0度到180度或0度到360度。在上述方法和设备中，多个预定取向中的相邻预定取向间的角度可以相同。


参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出单元的尺寸和相对位置。图1的框图示出了根据本发明一个实施例的、生成用于区分对象图像和非对象图像的分类器的设备的结构。图2是示出特征的区域的布局的例子的示意图。图3a示出了对象(人体)的轮廓边缘的分布的一个例子。
图北和3c分别示出了基于图加和2b示出的区域布局在图3a示出的部分中确定第一区域和第二区域的示意图。图如是示出图3a所示的部分302中所包含的对象轮廓边缘的示意图，图4b是多个预定取向的示意图，图4c是示出差向量和投影差向量的示例的图例，图4d示出了差向量和投影差向量之间的投影关系的例子。图5示出了根据本发明一个实施例的生成用于区分对象图像和非对象图像的分类器的方法的流程图。图6a示出了存在关联的候选组合的覆盖范围的例子的示意图，图6b是示出存在连续性的对象轮廓边缘部分的例子的示意图，图6c是说明候选组合的取向一致性约束的图例，图6d和6e分别示出了相邻候选组合的预定取向的偏差的例子。图7示出了根据本发明一个优选实施例的、生成用于区分对象图像和非对象图像的分类器的设备的框图。图8示出了根据本发明一个优选实施例的、生成用于区分对象图像和非对象图像的分类器的方法的流程图。图9示出了根据本发明一个优选实施例的、生成用于区分对象图像和非对象图像的分类器的方法的流程图。图10示出了根据本发明一个优选实施例的、生成用于区分对象图像和非对象图像的分类器的设备的框图。图11示出了根据本发明一个优选实施例的、生成用于区分对象图像和非对象图像的分类器的方法的流程图。图12的框图示出了根据本发明一个实施例的、对图像进行分类的设备的结构。图13示出了根据本发明一个实施例的、检测图像中的对象的方法的流程图。图14示出了根据本发明一个优选实施例的分类方法的流程图。图15是示出其中实现本发明的计算机的示例性结构的框图。
具体实施例方式下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。图1的框图示出了根据本发明一个实施例的、生成用于区分对象图像和非对象图像的分类器的设备100的结构。如图1所示，设备100包括差计算单元102、特征计算单元103和训练单元104。在采用静态图像特征来建立分类器的技术中，收集对象图像和非对象图像，从所收集的对象图像和非对象图像中提取特征，利用例如AdaBoost方法的筛选方法对提取的特征进行选择和融合，得到区分对象图像和非对象图像的分类器。在Ding等人的标题为“A Robust Human Face DetectingMethod In Complicated Background Image，，的专禾丨J申请WO 2008/151470中公开了收集和准备这样的对象图像和非对象图像的方法(参见说明书第2 页至第3页)。所收集和准备的对象图像和非对象图像可作为设备100的输入图像。设备 100从多个输入图像的每个图像中提取一组特征作为特征向量。因而，每个图像提取出一个特征向量VJf1, f2，. . .，fn)，然后根据所提取的向量的集合来训练出分类器。
对于各个图像的特征向量而言，其每个维的特征是基于相应图像的一或多个部分的像素来计算的。在本发明的实施例中，特征由特征区域和取向决定。每个特征的计算所基于的像素由若干像素区域来限定。为便于说明，这里将限定一个特征的计算所基于的像素的像素区域称为该特征的特征区域。相同维的特征的特征区域是相同的。可以预先确定要提取的特征向量包含哪些特征，以及这些特征中的每个特征与什么样的特征区域相对应。一个特征的特征区域可以包括沿第一轴的方向布置的多个第一区域和沿与第一轴方向相交(例如，以直角或非直角相交)的第二轴的方向布置的多个第二区域。可从布局和位置两个方面确定特征的特征区域。这里所说的布局包括区域的相对位置关系、区域的数目、区域的形状、区域的大小、区域的纵横比。第一区域和第二区域的布局可以有各种方式。在一个例子中，多个第一区域的像素的位置的加权平均位置以及多个第二区域的像素的位置的加权平均位置在所述第一轴和第二轴的交点的预定范围内。具体以第一区域为例，可以将第一区域的像素的位置表示为(Xij，yj，其中Xij表示第i个第一区域中的第j个像素在第一轴(例如X轴)上的座标，Yij表示第i个第一区域中的第j个像素在第二轴(例如Y轴)上的座标。可将第一区域的像素的位置的加权平均位置(xa， ya)定义如下
N MiN Mixa =Hxij X W.，ya =ΣΣ少χ 乂
i j i j其中N为第一区域的数目，Mi为第i个第一区域中像素的数目，Wi为第i个第一区域的权重，并且 μ=1 进一步地，或可选地，在上述例子中，所有第一区域的权重可以相同，也可以至少部分地不同。在不相同的情况下，可以为包含的像素较多的第一区域分配较小的权重，为包含的像素较少的第一区域分配较大的权重。虽然前面以第一区域为例对加权平均位置进行了说明，然而上述说明也适用于第二区域。在另一个例子中，区域可以是矩形区域，第一区域是相接的，并且第二区域是相接的。图2是示出特征的特征区域的布局的例子的示意图。在图2中，X轴表示第一轴， Y轴表示第二轴，并且矩形块的白色和黑色只是用于区分的目的。虽然图2中的第一轴和第二轴被示出为相互正交的，然而第一轴和第二轴也可以以非直角的角度相交。此外，第一轴和第二轴的方向可以分别与图像宽度方向和图像高度方向一致，或者第二轴和第一轴的方向可以分别与图像宽度方向和图像高度方向一致，或者第一轴和第二轴的方向可以相对图像宽度方向或图像高度方向旋转预定角度，例如45度的整数倍。根据一种区域布局，第一区域的数目和第二区域的数目均为二，第一区域是相接的并且第二区域是相接的。在这种布局中，第一轴和第二轴的交点在第一区域的连接线上或连接点(例如当矩形区域的顶点相接时)的预定范围内(例如基本重合)，并且在第二区域的连接线上或连接点的预定范围内。图加和图2b示出了这种区域布局的一个例子。具体地，图加示出了在第一轴方
14向上第一区域的布置，其中白色矩形块201和黑色矩形块202均表示第一区域并且在连接线上相接，而第一轴和第二轴的交点在连接线上。图2b示出了在第二轴方向上第二区域的布置，其中白色矩形块203和黑色矩形块204均表示第二区域并且在连接线上相接，而第一轴和第二轴的交点在连接线上。虽然图加和图2b中分别示出了第一轴和第二轴方向上区域的布置，但实际上反映的是将图加和图2b合并，即图加的第一轴和第二轴分别与图2b 的第一轴和第二轴相同时的区域布局。可选地，矩形块201与202，以及矩形块203与204 可以通过各自的顶点彼此相接。根据另一种区域布局，第一区域的数目和第二区域的数目均为二，第一区域是间隔开的并且第二区域是间隔开的。在这种布置中，第一轴和第二轴的交点在第一区域的位置中心之间的中点和第二区域的位置中心之间的中点的预定范围内。图2c和图2d示出了这种区域布局的一个例子。图2c示出了在第一轴方向上第一区域的布置，其中白色矩形块205和黑色矩形块206均表示第一区域并且是间隔开的，而第一轴和第二轴的交点在白色矩形块205和黑色矩形块206的位置中心之间的中点的预定范围内。图2d示出了在第二轴方向上第二区域的布置，其中白色矩形块207和黑色矩形块 208均表示第二区域并且是间隔开的，而第一轴和第二轴的交点在白色矩形块207和黑色矩形块208的位置中心之间的中点的预定范围内。虽然图2c和图2d中分别示出了第一轴和第二轴方向上区域的布置，但实际上反映的是将图2c和图2d合并，即图2c的第一轴和第二轴分别与图2d的第一轴和第二轴相同时的区域布局。图2g和图池示出了这种区域布局的另一个例子，其中矩形块的顶点相对。图2g 示出了在第一轴方向上第一区域的布置，其中白色矩形块215和黑色矩形块216均表示第一区域并且是间隔开的，而第一轴和第二轴的交点在白色矩形块215和黑色矩形块216的位置中心之间的中点的预定范围内。图池示出了在第二轴方向上第二区域的布置，其中白色矩形块217和黑色矩形块218均表示第二区域并且是间隔开的，而第一轴和第二轴的交点在白色矩形块217和黑色矩形块218的位置中心之间的中点的预定范围内。虽然图2g 和图池中分别示出了第一轴和第二轴方向上区域的布置，但实际上反映的是将图2g和图池合并，即图2g的第一轴和第二轴分别与图池的第一轴和第二轴相同时的区域布局。根据另一种区域布局，第一区域的数目和第二区域的数目均为三。在这种布置中， 第一轴和第二轴的交点分别在第一区域中居于中间的第一区域内和第二区域中居于中间的第二区域内。图加和图2f示出了这种区域布局的一个例子。图加示出了在第一轴方向上第一区域的布置，其中白色矩形块210和黑色矩形块209、211均表示第一区域，并且第一轴和第二轴的交点在居中的白色矩形块210内。图2f示出了在第二轴方向上第二区域的布置， 其中白色矩形块213和黑色矩形块212、214均表示第二区域，并且第一轴和第二轴的交点在居中的白色矩形块213内。虽然图加和图2f中分别示出了第一轴和第二轴方向上区域的布置，但实际上反映的是将图2e和图2f合并，即图加的第一轴和第二轴分别与图2f的第一轴和第二轴相同时的区域布局。可选地，矩形块209、210与211，以及矩形块212、213 与214可以是分离的，而不是相接的。需要注意，第一区域和第二区域的形状并不限于矩形，也可以是其它形状，例如多边形、三角形、圆形、环形、不规则形状。第一区域和第二区域的形状也可以是不同的，并且同一特征的特征区域中，不同第一 /第二区域的形状也可以是不同的。另外，在具有矩形形状的情况下，第一区域中的不同区域的边可以是彼此平行的， 也可以是彼此相对旋转一个角度，例如45度的整数倍。同样地，在具有矩形形状的情况下， 第二区域中的不同区域的边可以是彼此平行的，也可以是彼此相对旋转一个角度，例如45 度的整数倍。在具有矩形形状的情况下，矩形区域的相接包括通过各自的边来相接(即第一轴和第二轴的交点在这些边上)，和通过各自的角部的顶点相接(即第一轴和第二轴的交点在这些顶点处)。还应注意，第一轴方向上布置的第一区域和第二轴方向上布置的第二区域的数目不限于图2所示的数目，并且第一区域的数目不必与第二区域的数目相同，只要第一区域的像素的位置的加权平均位置以及第二区域的像素的位置的加权平均位置在第一轴和第二轴的交点的预定范围内。优选地，第一区域的数目和第二区域的数目均不超过3。还应注意，在同一特征的特征区域中，第一区域的相对位置关系和第二区域的相对位置关系可以是任意的，例如第一轴方向上布置的第一区域可以是相接的、分离的、部分相接的、部分分离的，第二轴方向上布置的第二区域可以是相接的、分离的、部分相接的、部分分离的，只要第一区域的像素的位置的加权平均位置以及第二区域的像素的位置的加权平均位置在第一轴和第二轴的交点的预定范围内。特征的特征区域还具有位置属性，其限定区域布局所涉及的各个第一区域和第二区域在图像中的位置。这里所说的位置是指整个区域布局在图像中的位置。该位置可以用整个区域布局中或之外的点(例如，特征区域的几何中心)在图像中的位置来表示，但对于具有相同区域布局的不同特征的特征区域而言，所述点针对特征区域的相对位置是固定的。某些特征的特征区域可能未完全落在图像内。在这样的情况下，可以为图像之外的部分的像素指定预定值，例如0，或图像所有像素的均值。在收集的对象图像中，对象的轮廓边缘表现出区别于非对象的特征。对象的轮廓边缘在对象图像中可能具有各种分布。为了能够提取出足够的反映对象的轮廓边缘的特征，不同特征的特征区域可以涉及不同区域布局和图像中的不同位置，以获得足够的轮廓边缘特征。图3a示出了对象(人体)的轮廓边缘的分布的一个例子。如图3a所示，在输入图像中，人体的轮廓边缘存在于例如部分301、302、303的大小不同、位置不同的各个部分中。图北和3c示出了基于图加和2b示出的区域布局在图3a示出的部分302中确定第一区域和第二区域的示意图。在图北中，附图标记304指示第一区域的布置。在图3c 中，附图标记305指示第一区域的布置。就确定特征向量的每个特征的特征区域而言，在一个实施例中，可以基于一种区域布局在输入图像的不同位置确定第一区域和第二区域(即特征区域)。接着通过改变这种区域布局中区域大小和/或区域纵横比来得到新的区域布局，并且基于新的区域布局在输入图像的不同位置确定第一区域和第二区域。重复此过程，直到这种区域布局的所有可能区域大小或区域纵横比均被尝试过。另外，或可选地，在上述实施例中，可以通过改变区域布局中区域的相对位置关系来得到新的区域布局。另外，或可选地，在上述实施例中，可以通过改变区域布局中区域的数目来得到新的区域布局。另外，或可选地，在上述实施例中，可以通过改变区域布局中区域的形状来得到新的区域布局。基于一种区域布局在输入图像中的一个位置确定的第一区域和第二区域决定了一个要提取的特征所基于的特征区域。概括地讲，特征向量中至少两个特征所基于的特征区域的区域布局是不同的。例如，不同区域布局之间的差别可以包括下述中的一个或多个 区域的相对位置关系、区域的数目、区域的形状、区域的大小、区域的纵横比。每个特征区域的第一区域和第二区域基本上覆盖了图像中某个位置的部分。在这个图像部分中，如果存在对象的轮廓边缘，则轮廓边缘可能有各种取向。可以预先假设图像部分中对象轮廓边缘的各种可能取向，根据假设的取向来提取表征对象轮廓边缘的特征， 以便能够在分类器中采用更加有鉴别能力的特征。例如，图如示出图3a所示的图像部分302中所包含的对象轮廓边缘的示意图。图 4b是多个预定取向的示意图。可以看出，图4b中的取向402与图如中示出的对象轮廓边缘401的取向接近。基于取向402来提取特征，能够较好地表征对象轮廓边缘401。因此，在本发明的实施例中，特征向量中同一维的特征由相应特征区域和多个预定取向之一的组合来决定，也就是说，每个特征与沿第一轴的方向布置的多个第一区域、和沿与第一轴相交的第二轴的方向布置的多个第二区域和多个预定取向之一的组合相对应。特征向量的每一维的特征的相应组合可以是根据上述方法预先确定的，并且由设备100在运行时使用。如果在设备100运行时尚未确定特征向量的每一维的特征的相应组合，设备100可以包含一个确定单元来根据上述方法确定这些组合。下面对差计算单元102进行说明。由于在训练出分类器之前所提取的特征并不一定能够成为分类器所采用的特征，因而这里出于说明清楚的目的将训练出分类器之前提取的特征和相应的第一区域、第二区域与预定取向的组合分别称为候选特征和候选组合。回到图1，对于输入图像，差计算单元102针对要提取的特征向量的每个候选特征，获得相应候选组合的多个第一区域的像素和或均值(例如灰度)之间的差值(也称为第一差值)，以得到第一轴方向上的第一差向量，和相应候选组合的多个第二区域的像素和或均值(例如灰度)之间的差值(也称为第二差值)，以得到第二轴方向上的第二差向量。差向量的大小为相应差值的绝对值。如果差值为正，则相应差向量的方向为相应轴的方向；如果差值为负，则相应差向量的方向为相应轴的方向的反方向。可选地，如果差值为正，则相应差向量的方向为相应轴的方向的反方向；如果差值为负，则相应差向量的方向为相应轴的方向。可选地，差向量也可以恒定为相应轴的方向或其反方向，无论差值为正还是负。计算轴向上区域的像素和或均值(灰度)之间的差值的目的是获得反映相应轴向上像素灰度的变化的信息。对于不同的区域布局，可以根据此目的确定相应的计算差值的方法，只要其能够反映这种变化。例如在Ding等人的标题为“A Robust Human Face Detecting Method In ComplicatedBackground Image” 的#禾I」串i青 WO 2008/151470 开了根据单个方向上区域的布局计算差值的方法(参见说明书第9页至第10页)。例如，对于图加和2b示出的区域布局，可以通过下式计算第一差值和第二差值第一差值=矩形块202的像素和或均值-矩形块201的像素和或均值，
第二差值=矩形块204的像素和或均值-矩形块203的像素和或均值。再例如，对于图2c和2d示出的区域布局，可以通过下式计算第一差值和第二差值第一差值=矩形块206的像素和或均值-矩形块205的像素和或均值，第二差值=矩形块208的像素和或均值-矩形块207的像素和或均值。再例如，对于图示出的区域布局，可以通过下式计算第一差值和第二差值第一差值=矩形块209的像素和或均值+矩形块211的像素和或均值-矩形块 210的像素和或均值X2，第二差值=矩形块212的像素和或均值+矩形块214的像素和或均值-矩形块 213的像素和或均值X2。再例如，对于图2g和池示出的区域布局，可以通过下式计算第一差值和第二差值第一差值=矩形块216的像素和或均值-矩形块215的像素和或均值，第二差值=矩形块218的像素和或均值-矩形块217的像素和或均值。图如是示出差向量的示例的图例。在图如的例子中，假设一个要提取的候选特征的相应候选组合包括由图加和2b所示的区域布局和图3a所示的位置302确定的特征区域和图4b所示的取向402，并且还假设如果差值为正，则相应差向量的方向为相应轴的方向； 如果差值为负，则相应差向量的方向为相应轴的方向的反方向。由于在部分302中右上部分的像素较暗，即灰度值较低，而左下部分的像素较亮，即灰度值较高，所以当根据下式第一差值=矩形块202的像素和或均值-矩形块201的像素和或均值，第二差值=矩形块204的像素和或均值-矩形块203的像素和或均值，计算的第一差值和第二差值均为负。相应地，得到的第一差向量和第二差向量分别如图4c中向量 403和404所示。回到图1，相应地，差计算单元102获得第一差向量和第二差向量在相应候选组合的预定取向的直线上的第一投影差向量和第二投影差向量。这里的差向量和投影差向量之间可以存在任何投影关系，包括但不限于正投影关系和斜投影关系，只要满足差向量的大小越大，则投影差向量的大小就越大的关系即可。图如也示出了差向量的投影差向量的例子。如图如所示，向量405和406分别是差向量403和404在候选组合的预定取向402的直线上的投影差向量。在一个具体例子，多个预定取向相对于第一轴或第二轴旋转的角度范围可以为0 度到180度。所述旋转可以是顺时针或逆时针的。进一步地，多个预定取向中的相邻预定取向间的角度相同，在一个具体例子中为15度，于是这些预定取向分别为相对于第一轴或第二轴旋转0度、15度、30度、45度、…、120度、…、165度。在旋转角度范围为0度到180 度的情况下，取向被认为是无方向的，因为在取向的直线上不区分两个方向。在一个具体例子，多个预定取向相对于第一轴或第二轴旋转的角度范围可以为0 度到360度。所述旋转可以是顺时针或逆时针的。进一步地，多个预定取向中的相邻预定取向间的角度相同，在一个具体例子中为15度，于是这些预定取向分别为相对于第一轴或第二轴旋转0度、15度、30度、45度、…、120度、…、165度、…、345度。在旋转角度范围为0度到180度的情况下，取向被认为是有方向的，因为同一直线可以有两个不同的取向。在图4d所示的一个具体例子中，令dx和dy分别表示第一差向量和第二差向量， pdx和pdy分别表示第一投影差向量和第二投影差向量，α表示相对于第一轴逆时针旋转的角度，于是，pdx = dx * cos(a )pdy = dy * sin ( a )。回到图1，特征计算单元103获得第一投影差向量和第二投影差向量的大小的和， 以作为候选特征。在取向为无方向的情况下，投影差向量的大小可以均为正值或均为负值， 或者，也可以求出两个投影差向量的和向量，并且以和向量的大小作为结果。在取向为有方向的情况下，如果投影差向量的方向与取向的方向一致，则其大小为正值，否则其大小为负值，反之亦然。训练单元104根据所提取的特征向量训练出分类器。可利用已知的方法来训练出分类器。例如可采用SVM(支持向量机)方法或AdaBoost方法。在训练分类器的过程中， 特征向量的某些维的候选特征会因鉴别能力较差而被淘汰，而保留下来被分类器采用的特征的相应候选组合会被用于对象分类或检测应用的特征提取。图5示出了根据本发明一个实施例的生成用于区分对象图像和非对象图像的分类器的方法500的流程图。如图5所示，方法500从步骤501开始。步骤503、505和507用于从当前输入图
像中提取一组候选特征作为特征向量。在步骤503，对于输入图像，针对要提取的特征向量的每个候选特征，获得相应候选组合的多个第一区域的像素和或均值(例如灰度)之间的差值(也称为第一差值)，以得到第一轴方向上的第一差向量，和相应候选组合的多个第二区域的像素和或均值(例如灰度)之间的差值(也称为第二差值)，以得到第二轴方向上的第二差向量。差向量的大小为相应差值的绝对值。如果差值为正，则相应差向量的方向为相应轴的方向；如果差值为负，则相应差向量的方向为相应轴的方向的反方向。可选地，如果差值为正，则相应差向量的方向为相应轴的方向的反方向；如果差值为负，则相应差向量的方向为相应轴的方向。可选地，差向量也可以恒定为相应轴的方向或其反方向，无论差值为正还是负。如参照图1所描述的，可通过Ding等人的标题为“A Robust HumanFace Detecting Method In Complicated Background Image” 的专利申请 WO 2008/151470 中公开的方法 (参见说明书第2页至第3页)来收集和准备包括对象图像和非对象图像的输入图像。候选组合可以是前面结合生成分类器的设备的实施例说明的候选组合。特征向量的每一维的特征的相应候选组合可以是根据前面结合生成分类器的设备的实施例说明的方法预先确定的，并且在执行方法500时使用。如果在执行方法500时尚未确定特征向量的每一维的特征的相应候选组合，则方法500可以在步骤503之前包含一个根据前面结合生成分类器的设备的实施例说明的方法确定这些候选组合的步骤。计算轴向上区域的像素和或均值(灰度)之间的差值的目的是获得反映相应轴向上像素灰度的变化的信息。对于不同的区域布局，可以根据此目的确定相应的计算差值的方法，只要其能够反映这种变化。例如在Ding等人的标题为“A Robust Human Face
19Detecting Method In ComplicatedBackground Image” 的#禾I」串i青 WO 2008/151470 开了根据单个方向上区域的布局计算差值的方法(参见说明书第9页至第10页)。再例如，可采用前面结合图2的示例说明的计算方法。在步骤505，获得第一差向量和第二差向量在相应候选组合的预定取向的直线上的第一投影差向量和第二投影差向量。这里的差向量和投影差向量之间可以存在任何投影关系，包括但不限于正投影关系和斜投影关系，只要满足差向量的大小越大，则投影差向量的大小就越大的关系即可。在一个具体例子，多个预定取向相对于第一轴或第二轴旋转的角度范围可以为O 度到180度。所述旋转可以是顺时针或逆时针的。进一步地，多个预定取向中的相邻预定取向间的角度相同，在一个具体例子中为15度，于是这些预定取向分别为相对于第一轴或第二轴旋转0度、15度、30度、45度、…、120度、…、165度。在旋转角度范围为0度到180 度的情况下，取向被认为是无方向的，因为在取向的直线上不区分两个方向。在一个具体例子，多个预定取向相对于第一轴或第二轴旋转的角度范围可以为0 度到360度。所述旋转可以是顺时针或逆时针的。进一步地，多个预定取向中的相邻预定取向间的角度相同，在一个具体例子中为15度，于是这些预定取向分别为相对于第一轴或第二轴旋转0度、15度、30度、45度、…、120度、…、165度、…、345度。在旋转角度范围为0度到180度的情况下，取向被认为是有方向的，因为同一直线可以有两个不同的取向。接着在步骤507，获得第一投影差向量和第二投影差向量的大小的和，以作为候选特征。在取向为无方向的情况下，投影差向量的大小可以均为正值或均为负值，或者，也可以求出两个投影差向量的和向量，并且以和向量的大小作为结果。在取向为有方向的情况下，如果投影差向量的方向与取向的方向一致，则其大小为正值，否则其大小为负值，反之亦然。接着在步骤509，确定对于当前输入图像，是否存在未提取的候选特征。如果存在， 则返回步骤503，以执行提取下一个候选特征的过程；否则，执行步骤511。在步骤511，确定是否还有未提取特征向量的输入图像。如果有，则返回步骤503， 以执行提取下一个输入图像的特征向量的过程；否则，方法前进到步骤513。在步骤513，根据所提取的特征向量训练出分类器。可利用已知的方法来训练出分类器。例如可采用SVM(支持向量机)方法或AdaBoost方法。在训练分类器的过程中，特征向量的某些维的候选特征会因鉴别能力较差而被淘汰，而保留下来被分类器采用的特征的相应候选组合会被用于对象分类或检测应用的特征提取。方法500在步骤515结束。在前面描述的实施例中，所提取的特征向量由孤立的候选特征组成。事实上，由于对象轮廓边缘的连续性，某些特征之间存在着关联。图6a示出了这种关联的一个例子。如图6a所示，存在三个组合，其各自的特征区域的大致的覆盖范围如块601、602和603所示。 这三个块覆盖了对象从右肩到右上臂的轮廓边缘部分。图6b更加清楚地示出了这三个块覆盖的对象轮廓边缘部分604、605和606。通过图6a和6b可以看出，这三个块所覆盖的轮廓边缘反映了对象轮廓边缘的连续性。如果将这三个块所反映的特征关联起来以提取出能够反映这种轮廓边缘连续性的特征，则其鉴别能力显然会强过三个孤立的特征。虽然通过训练过程的筛选和融合能够将鉴别能力较强的孤立特征结合起来，然而这种训练过程无法发现和利用反映对象轮廓边缘连续性的多个特征之间的这种关联。对于前面描述的生成用于区分对象图像和非对象图像的分类器的设备，为了利于发现和利用反映对象轮廓边缘连续性的多个特征之间的这种关联，除了预先准备或由确定单元确定的候选组合之外，还预先准备或由确定单元确定至少一个集合，每个集合包含这些候选组合中的至少两个候选组合。相应地，所提取的特征向量还包括与每个这样的集合相对应的候选特征(也称作联合候选特征)。在图1所示的实施例的进一步改进中，除了如前所述针对每个孤立候选特征获得与该候选特征相对应第一投影差向量和第二投影差向量之外，进一步地，差计算单元102 针对每个联合候选特征，获得与该联合候选特征相对应的集合的每个候选组合的多个第一区域的像素和或均值之间的差值，以得到第一轴方向上的第一差向量，和该候选组合的多个第二区域的像素和或均值之间的差值，以得到第二轴方向上的第二差向量，并且获得第一差向量和第二差向量在候选组合的预定取向的直线上的第一投影差向量和第二投影差向量。这里，对于集合中的每个候选组合，差计算单元102获得相应第一差向量、第二差向量、第一投影差向量和第二投影差向量的方法与前面描述的差计算单元102获得孤立候选组合的相应第一差向量、第二差向量、第一投影差向量和第二投影差向量的方法相同，因此不再重复说明。除了如前所述针对每个孤立候选特征获得与该候选特征相对应第一投影差向量与第二投影差向量的大小的和之外，进一步地，对于差计算单元102获得的分别与每个集合的各个候选组合相对应的各个第一投影差向量和第二投影差向量对，特征计算单元103 分别获得每对第一投影差向量和第二投影差向量的大小的和。特征计算单元103获得每对第一投影差向量和第二投影差向量的大小的和的方法与前面描述的特征计算单元103获得孤立候选组合的相应第一投影差向量和第二投影差向量的大小的和的方法相同，因此不再重复说明。此外，特征计算单元103获得与每个集合的各个候选组合对应的和(即各对第一投影差向量和第二投影差向量的大小的和)的均值或总和，以作为与该集合对应的联合候选特征。上述总和也可以是加权和，其中可以为覆盖的像素较多的候选组合的相应和分配较小的权重，为覆盖的像素较少的候选组合的相应和分配较大的权重。训练单元104的处理与前面描述的相同，因此不再重复说明。在上述实施例中，各个集合包含的内容是候选组合的简单组合。事实上，联合候选特征所反映的对象轮廓边缘不宜过长，即集合中包含的候选组合的数目不宜过多，否则会有损特征的代表性，从而降低特征的鉴别能力。因此，在一个优选实施例中，每个集合所包含的候选组合的数目被限制在某个阈值以下。该阈值例如为5到10。另外，由于对象轮廓边缘的连续性，每个集合的各个候选组合所覆盖的图像部分不宜相距过远。因此，在一个优选实施例中，可以将每个集合包含的候选组合约束为每个候选组合的覆盖区域与至少一个其它候选组合的覆盖区域的间距在某个阈值以下，即彼此接近。间距例如可以用覆盖区域的几何中心间的距离来衡量。阈值的选择应考虑到覆盖区域的大小。对于较小的覆盖区域， 阈值相应较小。对于较大的覆盖区域，阈值相应较大。在上述实施例中，在确定每个集合包含的候选组合时，在反映对象轮廓边缘连续性的多个特征之间的关联方面施加的限制较少。因而，可能有相当数量的集合所包含的候选组合并未反映这种关联。这可能限制分类器性能的提高。一种简单的改进是增加集合的数目，但这样可能会增加工作量，降低效率。图7示出了根据本发明一个优选实施例的、生成用于区分对象图像和非对象图像的分类器的设备700的框图。如图7所示，设备700包括差计算单元702、特征计算单元703、训练单元704、搜索单元705和过滤单元706。组合信息701包含如前面结合生成分类器的设备和方法的实施例描述的孤立候选组合。搜索单元105从组合信息701的孤立候选组合中搜索至少一个集合。每个集合包含满足下述条件的至少两个孤立候选组合1)各个候选组合能够形成一个序列，该序列中相邻候选组合的预定取向的偏差在预定范围(例如45度、90度)内并且其各个区域(第一区域和第二区域)的覆盖范围(即候选组合的覆盖区域)彼此接近；幻不同的孤立候选组合所覆盖的像素彼此不完全相同。在本文中，假设存在沿相邻候选组合中在前候选组合的预定取向并且穿过在前候选组合的覆盖区域的几何中心Gl的直线Li，以及沿相邻候选组合中在后候选组合的预定取向并且穿过在后候选组合的覆盖区域的几何中心G2的直线L2，并且直线Ll和L2的交点为C。上述相邻候选组合的预定取向的偏差是指从交点C开始沿从几何中心Gl到交点C 的方向延伸的边与从交点C开始沿从交点C到几何中心G2的方向延伸的边所夹的角。图 6d和6e分别示出了这样的偏差的例子，其中圆点610表示在前候选组合的覆盖区域的几何中心Gl，线611表示直线Li，圆点614表示在后候选组合的覆盖区域的几何中心G2，线613 表示直线L2，圆点612表示直线Ll和L2的交点，角δ表示从交点C开始沿从几何中心Gl 到交点C的方向延伸的边与从交点C开始沿从交点C到几何中心G2的方向延伸的边所夹的角，即相邻候选组合的预定取向的偏差。条件1)利于提高联合候选特征反映对象轮廓边缘连续性的可能性。连续的对象轮廓边缘的各个部分通常具有边缘取向的一致性。在条件1)中通过序列中相邻候选组合的预定取向的偏差在预定范围内的约束来表征这种一致性。图6c结合图6b的示例说明了这种约束。在图6c中，覆盖区域601的相应候选组合、覆盖区域602的相应候选组合和覆盖区域603的相应候选组合形成一个序列。该序列中，覆盖区域601的相应候选组合与覆盖区域602的相应候选组合相邻，并且其取向607和608的偏差在45度内。此外，覆盖区域602的相应候选组合与覆盖区域603的相应候选组合相邻，并且其取向608和609的偏差在45度内。对于条件1)，可以通过使相邻候选组合的覆盖区域之间的间距保持在某个阈值以下来保证彼此接近。间距例如可以用覆盖区域的几何中心间的距离来衡量。阈值的选择应考虑到覆盖区域的大小。对于较小的覆盖区域，阈值相应较小。对于较大的覆盖区域，阈值相应较大。条件幻的目的在于避免同一集合内不同候选组合的覆盖区域彼此重合或一个覆盖区域被另一个覆盖区域包含，即避免冗余。在一个简单实现中，搜索单元705可以先获得各个集合，然后根据条件1)至2)来过滤不符合条件的集合。
为提高搜索效率，可选地，搜索单元705可以以各个候选组合为种子，尝试将种子与其它候选组合组成满足条件1)至幻的序列。此外，搜索单元705可以以获得的序列为种子，从序列的两端开始尝试加入其它候选组合以组成满足条件1)至幻的新序列。上述过程可以迭代执行，直到序列不能继续增长或达到预定长度限制。上述迭代过程可称为序列的生长。过滤单元706将作为搜索结果的每个集合包含在组合信息701中，以用于提取相应的联合候选特征。差计算单元702针对组合信息701中的每个孤立候选特征获得与该候选特征相对应第一投影差向量和第二投影差向量。这个方面的处理与前面结合生成分类器的设备的实施例描述的处理相同，因此不再重复说明。进一步地，差计算单元702针对组合信息701中的每个集合，获得与该集合的每个候选组合的多个第一区域的像素和或均值之间的差值，以得到第一轴方向上的第一差向量，和该候选组合的多个第二区域的像素和或均值之间的差值，以得到第二轴方向上的第二差向量，并且获得第一差向量和第二差向量在该候选组合的预定取向的直线上的第一投影差向量和第二投影差向量。这里，对于集合中的每个候选组合，差计算单元702获得相应第一差向量、第二差向量、第一投影差向量和第二投影差向量的方法与前面描述的差计算单元102获得孤立候选组合的相应第一差向量、第二差向量、第一投影差向量和第二投影差向量的方法相同，因此不再重复说明。特征计算单元703针对组合信息701中的每个孤立候选特征获得与该候选特征相对应第一投影差向量与第二投影差向量的大小的和。这个方面的处理与前面结合生成分类器的设备的实施例描述的处理相同，因此不再重复说明。进一步地，对于差计算单元702获得的分别与每个集合的各个候选组合相对应的各个第一投影差向量和第二投影差向量对，特征计算单元703分别获得每对第一投影差向量和第二投影差向量的大小的和。特征计算单元703获得每对第一投影差向量和第二投影差向量的大小的和的方法与前面描述的特征计算单元103获得孤立候选组合的相应第一投影差向量和第二投影差向量的大小的和的方法相同，因此不再重复说明。此外，特征计算单元703获得与每个集合的各个候选组合对应的和(即各对第一投影差向量和第二投影差向量的大小的和)的均值或总和，以作为与该集合对应的联合候选特征。训练单元704的处理与前面描述的相同，因此不再重复说明。图8示出了根据本发明一个优选实施例的、生成用于区分对象图像和非对象图像的分类器的方法800的流程图。如图8所示，方法800从步骤801开始。在步骤803，对于输入图像，针对每个孤立候选组合或每个集合的每个候选组合， 获得相应候选组合的多个第一区域的像素和或均值(例如灰度)之间的差值(也称为第一差值)，以得到第一轴方向上的第一差向量，和相应候选组合的多个第二区域的像素和或均值(例如灰度)之间的差值(也称为第二差值)，以得到第二轴方向上的第二差向量。在步骤805，获得第一差向量和第二差向量在相应候选组合的预定取向的直线上的第一投影差向量和第二投影差向量。接着在步骤807，获得第一投影差向量和第二投影差向量的大小的和。
接着在步骤808，确定所计算的和的相应候选组合是孤立候选组合还是集合的候选组合。如果是孤立候选组合，则将计算的和作为候选特征，并且前进到步骤809。否则，在步骤817确定集合中是否还有未处理的候选组合。如果有，则返回步骤803以针对下一未处理的候选组合进行计算。否则，前进到步骤819计算集合的各个候选组合的相应和的均值或总和，以作为该集合的相应联合候选特征。然后前进到步骤809。在步骤809，确定对于当前输入图像，是否存在未提取的候选特征。如果存在，则返回步骤803，以执行提取下一个候选特征的过程；否则，执行步骤811。在步骤811，确定是否还有未提取特征向量的输入图像。如果有，则返回步骤803， 以执行提取下一个输入图像的特征向量的过程；否则，方法前进到步骤813。在步骤813，根据所提取的特征向量训练出分类器。方法800在步骤815结束。图9示出了根据本发明一个优选实施例的、生成用于区分对象图像和非对象图像的分类器的方法900的流程图。如图9所示，方法900从步骤901开始。在步骤902-1，从组合信息的孤立候选组合中搜索至少一个集合。每个集合包含满足下述条件的至少两个孤立候选组合1)各个候选组合能够形成一个序列，该序列中相邻候选组合的预定取向的偏差在预定范围(例如45度、90度)内并且其各个区域(第一区域和第二区域)的覆盖范围(即候选组合的覆盖区域)彼此接近；幻不同的孤立候选组合所覆盖的像素彼此不完全相同。在一个简单实现中，可以先获得各个集合，然后根据条件1)至幻来过滤不符合条件的集合。为提高搜索效率，可选地，可以以各个候选组合为种子，尝试将种子与其它候选组合组成满足条件1)至幻的序列。此外，可以以获得的序列为种子，从序列的两端开始尝试加入其它候选组合以组成满足条件1)至幻的新序列。上述过程可以迭代执行，直到序列不能继续增长或达到预定长度限制。上述迭代过程可称为序列的生长。接着在步骤902-3，将作为搜索结果的每个集合包含在组合信息中，以用于提取相应的联合候选特征。其它步骤903、905、907、908、909、911、913、915、917、919分别与图 8 的方法中的步骤 803、805、807、808、809、811、813、815、817、819 相同，因此不再重复说明。图10示出了根据本发明一个优选实施例的、生成用于区分对象图像和非对象图像的分类器的设备的框图。如图10所示，设备1000包括差计算单元1002、特征计算单元1003、训练单元 1004、搜索单元1005、过滤单元1006和评估单元1007。组合信息1001包含如前面结合生成分类器的设备和方法的实施例描述的孤立候选组合。差计算单元1002、特征计算单元1003、训练单元1004和搜索单元1005分别与图 7的实施例中的差计算单元702、特征计算单元703、训练单元704和搜索单元705相同，因此不再重复说明。
对于搜索单元1005搜索到的每个集合，评估单元1007可获得对应于每个集合的联合候选特征，来评估联合候选特征的鉴别能力。如图10所示，评估单元1007可通过差计算单元1002和特征计算单元1003来获得联合候选特征。或者，评估单元1007也可包含差计算单元1002和特征计算单元1003用于提取联合候选特征的功能。可以采用已知的评估方法来评估联合候选特征的鉴别能力。例如根据从样本图像中提取的联合候选特征来构造分类器，并且通过样本图像来统计分类器的出错率，以衡量鉴别能力。过滤单元1006在联合候选特征的鉴别能力满足预定要求的情况下，将该集合包含在组合信息1001中。否则，过滤单元1006从搜索到的集合中排除该集合。在图10所示的设备的一种变型中，可以将搜索单元1005改变为根据与孤立候选特征对应的孤立候选组合生成至少一个集合，其中每个集合包含至少两个孤立候选组合。评估单元1007可获得对应于每个集合的联合候选特征，来评估联合候选特征的鉴别能力。评估单元1007可通过差计算单元1002和特征计算单元1003来获得联合候选特征。或者，评估单元1007也可包含差计算单元1002和特征计算单元1003用于提取联合候选特征的功能。过滤单元1006可以在联合候选特征的鉴别能力不满足预定要求的情况下，从生成的集合中排除所评估的集合，并且将每个满足预定要求的集合的各个孤立候选组合作为联合候选特征之一的对应孤立候选组合，即将该集合包含在组合信息1001中。在这个变型中，去除了前面条件1)和2、的要求，因而能够获得表征对象轮廓中非连续的多个局部边缘的特征。当然，可以增量、迭代地生成集合、评估鉴别能力和过滤集合。图11示出了根据本发明一个优选实施例的、生成用于区分对象图像和非对象图像的分类器的方法1100的流程图。如图11所示，方法1100从步骤1101开始。步骤1102-1与图9的方法中的步骤902_1相同，因此不再重复说明。在步骤1102-2，对于步骤1102-1搜索到的每个集合，获得对应于每个集合的联合候选特征，来评估联合候选特征的鉴别能力。可通过与步骤1103、1105、1107、1108、1117和 1119同样的功能来获得联合候选特征。可以采用已知的评估方法来评估联合候选特征的鉴别能力。例如根据从样本图像中提取的联合候选特征来构造分类器，并且通过样本图像来统计分类器的出错率，以衡量鉴别能力。在步骤1102-3，在联合候选特征的鉴别能力满足预定要求的情况下，将该集合包含在组合信息1001中。否则，过滤单元1006从搜索到的集合中排除该集合。其它步骤1103、1105、1107、1108、1109、1111、1113、1115、1117、1119 分别与图 9 的方法中的步骤903、905、907、908、909、911、913、915、917、919相同，因此不再重复说明。在图11所示的方法的一种变型中，可以将步骤1102-1改变为根据与孤立候选特征对应的孤立候选组合生成至少一个集合，其中每个集合包含至少两个孤立候选组合。在步骤1102-2，对于步骤1102-1搜索到的每个集合，获得对应于每个集合的联合候选特征，来评估联合候选特征的鉴别能力。在步骤1102-3，在第联合选特征的鉴别能力不满足预定要求的情况下，从生成的集合中排除所评估的集合，并且将每个满足预定要求的集合的各个孤立候选组合作为联合
25候选特征之一的对应孤立候选组合，即将该集合包含在组合信息1001中。在这个变型中，去除了前面条件1)和幻的要求，因而能够获得表征对象轮廓中非连续的多个局部边缘的特征。当然，可以增量、迭代地生成集合、评估鉴别能力和过滤集合。在前面的实施例中，首先搜索出作为候选的集合，然后再进行评估和过滤。优选地，可以在搜索过程中逐步生长，每当生长出新序列(即集合)时就进行评估和过滤。如此迭代执行，直到满足迭代终止条件，例如达到预定迭代次数、找到预定数目的集合、不能生长出新集合、等等。另外，由于生长是在序列的两端进行的，这样可能会错过一些可能的集合。优选地，可以在生长过程中通过从序列中去除两端中未生长的一端的候选组合来获得新集合。对于多个获得的新集合，可以保留其中鉴别能力较优的新集合，并且淘汰其它新集
I=I O下面会说明对图像进行分类的设备和方法的实施例。经过训练而得到的分类器所采用的候选特征的相应孤立候选组合和集合被保留在组合信息中。在对图像进行分类的设备和方法的实施例使用了该组合信息。在下面的说明中，也将组合信息中保留的孤立候选组合和集合中的候选组合称为孤立组合和集合的组合。也将候选特征和联合候选特征称为特征和联合特征。图12的框图示出了根据本发明一个实施例的、对图像进行分类的设备1200的结构。如图12所示，设备1200包括差计算单元1202、特征计算单元1203和分类单元 1204。输入设备1200的图像可以是通过扫描窗口从要处理的图像中获得预定尺寸的图 象。"STililiDing·入白勺丰示||》“A Robust Human FaceDetecting Method In Complicated Background Image”的专利申请W02008/151470中描述的方法来获得图像(参见说明书第 5页)。要从输入图像中提取的特征向量所包含的特征由组合信息中包含的孤立组合和
集合决定ο对于输入图像，差计算单元1202针对要提取的特征向量的每个特征，获得相应组合的多个第一区域的像素和或均值(例如灰度)之间的差值(也称为第一差值)，以得到第一轴方向上的第一差向量，和相应组合的多个第二区域的像素和或均值(例如灰度)之间的差值(也称为第二差值)，以得到第二轴方向上的第二差向量。差向量的大小为相应差值的绝对值。如果差值为正，则相应差向量的方向为相应轴的方向；如果差值为负，则相应差向量的方向为相应轴的方向的反方向。可选地，如果差值为正，则相应差向量的方向为相应轴的方向的反方向；如果差值为负，则相应差向量的方向为相应轴的方向。可选地，差向量也可以恒定为相应轴的方向或其反方向，无论差值为正还是负。计算轴向上区域的像素和或均值(灰度)之间的差值的目的是获得反映相应轴向上像素灰度的变化的信息。对于不同的区域布局，可以根据此目的确定相应的计算差值的方法，只要其能够反映这种变化。例如在Ding等人的标题为“A Robust Human Face Detecting Method In Comp 1 icatedBackground Image” 的#禾I」串i青 WO 2008/151470开了根据单个方向上区域的布局计算差值的方法(参见说明书第9页至第10页)。再例如，可采用前面结合图2的示例说明的计算方法。相应地，差计算单元1202获得第一差向量和第二差向量在相应组合的预定取向的直线上的第一投影差向量和第二投影差向量。这里的差向量和投影差向量之间可以存在任何投影关系，包括但不限于正投影关系和斜投影关系，只要满足差向量的大小越大，则投影差向量的大小就越大的关系即可。特征计算单元1203获得第一投影差向量和第二投影差向量的大小的和，以作为孤立特征。在取向为无方向的情况下，投影差向量的大小可以均为正值或均为负值，或者， 也可以求出两个投影差向量的和向量，并且以和向量的大小作为结果。在取向为有方向的情况下，如果投影差向量的方向与取向的方向一致，则其大小为正值，否则其大小为负值， 反之亦然。分类单元1204根据所提取的特征向量，对输入图像进行分类。图13示出了根据本发明一个实施例的、对图像进行分类的方法1300的流程图。如图13所示，方法1300从步骤1301开始。步骤1303、1305和1307用于从当前输入图像中提取一组特征作为特征向量。要从输入图像中提取的特征向量所包含的特征由组合信息中包含的孤立组合和集合决定。输入图像可以是通过扫描窗口从要处理的图像中获得预定尺寸的图像。可通过在 Ding等人的标题为“A Robust Human Face DetectingMethod In Complicated Background Image”的专利申请WO 2008/151470中描述的方法来获得图像(参见说明书第5页)。在步骤1303，对于输入图像，针对要提取的特征向量的每个特征，获得相应组合的多个第一区域的像素和或均值(例如灰度)之间的差值(也称为第一差值)，以得到第一轴方向上的第一差向量，和相应组合的多个第二区域的像素和或均值(例如灰度)之间的差值(也称为第二差值)，以得到第二轴方向上的第二差向量。差向量的大小为相应差值的绝对值。如果差值为正，则相应差向量的方向为相应轴的方向；如果差值为负，则相应差向量的方向为相应轴的方向的反方向。可选地，如果差值为正，则相应差向量的方向为相应轴的方向的反方向；如果差值为负，则相应差向量的方向为相应轴的方向。可选地，差向量也可以恒定为相应轴的方向或其反方向，无论差值为正还是负。计算轴向上区域的像素和或均值(灰度)之间的差值的目的是获得反映相应轴向上像素灰度的变化的信息。对于不同的区域布局，可以根据此目的确定相应的计算差值的方法，只要其能够反映这种变化。例如在Ding等人的标题为“A Robust Human Face Detecting Method In ComplicatedBackground Image” 的#禾I」串i青 WO 2008/151470 开了根据单个方向上区域的布局计算差值的方法(参见说明书第9页至第10页)。再例如，可采用前面结合图2的示例说明的计算方法。接着在步骤1305，获得第一差向量和第二差向量在相应组合的预定取向的直线上的第一投影差向量和第二投影差向量。这里的差向量和投影差向量之间可以存在任何投影关系，包括但不限于正投影关系和斜投影关系，只要满足差向量的大小越大，则投影差向量的大小就越大的关系即可。接着在步骤1307，获得第一投影差向量和第二投影差向量的大小的和，以作为孤立特征。在取向为无方向的情况下，投影差向量的大小可以均为正值或均为负值，或者，也可以求出两个投影差向量的和向量，并且以和向量的大小作为结果。在取向为有方向的情况下，如果投影差向量的方向与取向的方向一致，则其大小为正值，否则其大小为负值，反之亦然。接着在步骤1309，确定对于当前输入图像，是否存在未提取的特征。如果存在，则返回步骤1303，以执行提取下一个特征的过程；否则，执行步骤1311。在步骤1311，根据所提取的特征向量，对输入图像进行分类。方法1300在步骤1313结束。在图12所示的实施例的进一步改进中，组合信息还包含有集合，因而要提取的特征向量中还包含相应的联合特征。除了如前所述针对每个孤立特征获得与该孤立特征相对应第一投影差向量和第二投影差向量之外，进一步地，差计算单元1202针对每个联合特征，获得与该联合特征相对应的集合的每个组合的多个第一区域的像素和或均值之间的差值，以得到第一轴方向上的第一差向量，和该组合的多个第二区域的像素和或均值之间的差值，以得到第二轴方向上的第二差向量，并且获得第一差向量和第二差向量在该组合的预定取向的直线上的第一投影差向量和第二投影差向量。这里，对于集合中的每个组合，差计算单元1202获得相应第一差向量、第二差向量、第一投影差向量和第二投影差向量的方法与前面描述的差计算单元1202获得孤立组合的相应第一差向量、第二差向量、第一投影差向量和第二投影差向量的方法相同，因此不再重复说明。除了如前所述针对每个孤立特征获得与该孤立特征相对应第一投影差向量与第二投影差向量的大小的和之外，进一步地，对于差计算单元1202获得的分别与每个集合的各个组合相对应的各个第一投影差向量和第二投影差向量对，特征计算单元1203分别获得每对第一投影差向量和第二投影差向量的大小的和。特征计算单元1203获得每对第一投影差向量和第二投影差向量的大小的和的方法与前面描述的特征计算单元1203获得孤立组合的相应第一投影差向量和第二投影差向量的大小的和的方法相同，因此不再重复说明。此外，特征计算单元1203获得与每个集合的各个组合对应的和(即各对第一投影差向量和第二投影差向量的大小的和)的均值或总和，以作为与该集合对应的联合特征。分类单元1204根据所提取的特征向量，对输入图像进行分类。图14示出了根据本发明一个实施例的、对图像进行分类的方法1400的流程图，其中组合信息还包含有集合，因而要提取的特征向量中还包含相应的联合特征。如图14所示，方法1400从步骤1401开始。在步骤1403，对于输入图像，针对每个孤立组合或每个集合的每个组合，获得相应组合的多个第一区域的像素和或均值(例如灰度)之间的差值(也称为第一差值)，以得到第一轴方向上的第一差向量，和相应组合的多个第二区域的像素和或均值(例如灰度)之间的差值(也称为第二差值)，以得到第二轴方向上的第二差向量。在步骤1405，获得第一差向量和第二差向量在相应组合的预定取向的直线上的第一投影差向量和第二投影差向量。接着在步骤1407，获得第一投影差向量和第二投影差向量的大小的和。接着在步骤1408，确定所计算的和的相应组合是孤立组合还是集合的组合。如果是孤立组合，则将计算的和作为孤立特征，并且前进到步骤1409。否则，在步骤1417确定集合中是否还有未处理的组合。如果有，则返回步骤1403以针对下一未处理的组合进行计算。否则，前进到步骤1419计算集合的各个组合的相应和的均值或总和，以作为该集合的相应联合特征。然后前进到步骤1409。在步骤1409，确定对于当前输入图像，是否存在未提取的特征。如果存在，则返回步骤1403，以执行提取下一个特征的过程；否则，执行步骤1411。在步骤1411，根据所提取的特征向量，对输入图像进行分类。方法1400在步骤1413结束。本发明的设备和方法可通过硬件、软件和二者的结合的方式来实现。在通过硬件实现的情况下，对于设备包括的各个装置，可以根据其功能设计出输入输出的逻辑真值表，然后按照数字逻辑设计方法由逻辑真值表构造出相应逻辑电路。也可以根据逻辑真值表对可编程逻辑器件进行编程，以实现相应逻辑电路。各个装置可通过总线、专用连接或网络相连。对于方法的各个步骤，可以根据其功能设计出输入输出的逻辑真值表，然后按照数字逻辑设计方法由逻辑真值表构造出执行步骤的功能的相应逻辑电路。也可以根据逻辑真值表对可编程逻辑器件进行编程，以实现步骤的功能的相应逻辑电路。相互衔接的步骤可通过总线、专用连接或网络相连。在通过软件实现的情况下，可将设备的各个装置和方法的各个步骤的功能通过诸如C、BASIC、JAVA等的编程语言编制成计算机程序。当诸如个人计算机的计算机执行这样的计算机程序时，能够实现设备和方法的功能。图15是示出其中实现本发明的设备和方法的计算机的示例性结构的框图。在图15中，中央处理单元(CPU) 1501根据只读映射数据(ROM) 1502中存储的程序或从存储部分1508加载到随机存取映射数据(RAM) 1503的程序执行各种处理。在RAM 1503 中，也根据需要存储当CPU 1501执行各种处理等等时所需的数据。CPU 150UR0M 1502和RAM 1503经由总线1504彼此连接。输入/输出接口 1505 也连接到总线1504。下述部件连接到输入/输出接口 1505 输入部分1506，包括键盘、鼠标等等；输出部分1507，包括显示器，比如阴极射线管(CRT)、液晶显示器(IXD)等等，和扬声器等等；存储部分1508，包括硬盘等等；和通信部分1509，包括网络接口卡比如LAN卡、调制解调器等等。通信部分1509经由网络比如因特网执行通信处理。根据需要，驱动器1510也连接到输入/输出接口 1505。可拆卸介质1511比如磁盘、光盘、磁光盘、半导体映射数据等等根据需要被安装在驱动器1510上，使得从中读出的计算机程序根据需要被安装到存储部分1508中。在通过软件实现上述步骤和处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1511安装构成软件的程序。本领域的技术人员应当理解，这种存储介质不局限于图15所示的其中存储有程序、与方法相分离地分发以向用户提供程序的可拆卸介质1511。可拆卸介质1511的例子包含磁盘、光盘(包含光盘只读映射数据(⑶-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)和半导体映射数据。或者，存储介质可以是ROM 1502、存储部分1508中包含的硬盘等等，其中存有程序，并且与包含它们的方法一起被分发给用户。在前面的说明书中参照特定实施例描述了本发明。然而本领域的普通技术人员理解，在不偏离如权利要求书限定的本发明的范围的前提下可以进行各种修改和改变。
权利要求
1.一种对图像进行分类的方法，包括从所述图像中提取特征向量，其中所述特征向量包括多个第一特征，每个所述第一特征与沿第一轴的方向布置的多个第一区域、和沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的组合相对应，每个所述第一特征的提取包括获得相应组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和相应组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在相应组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和，以作为所述第一特征；以及根据所述提取的特征向量，对所述图像进行分类。
2.如权利要求1所述的方法，其中所述特征向量还包括至少一个第二特征，其中每个所述第二特征与沿第一轴的方向布置的多个第一区域、沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的至少两个组合相对应，每个所述第二特征的提取包括针对与所述第二特征相对应的至少两个组合中的每个组合，获得所述组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和所述组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在所述组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和；以及获得与所述至少两个组合对应的和的均值或总和，以作为所述第二特征。
3.如权利要求1或2所述的方法，其中所述区域为矩形区域，所述第一区域是相接的， 并且所述第二区域是相接的。
4.如权利要求1或2所述的方法，其中，在所述第一区域的数目和所述第二区域的数目均为二，所述第一区域是相接的并且所述第二区域是相接的情况下，所述第一轴和第二轴的交点在所述第一区域的连接线上或连接点的预定范围内，并且在所述第二区域的连接线上或连接点的预定范围内；在所述第一区域的数目和所述第二区域的数目均为二，所述第一区域是间隔开的并且所述第二区域是间隔开的情况下，所述第一轴和第二轴的交点在所述第一区域的位置中心之间的中点和所述第二区域的位置中心之间的中点的预定范围内；在所述第一区域的数目和所述第二区域的数目均为三的情况下，所述第一轴和第二轴的交点分别在所述第一区域中居于中间的第一区域内和所述第二区域中居于中间的第二区域内。
5.如权利要求1或2所述的方法，其中至少两个所述组合之间的差别包括下述中的一个或多个区域的相对位置关系、区域的数目、区域的形状、区域的大小、区域的纵横比。
6.如权利要求2所述的方法，其中与每个所述第二特征相对应的至少两个组合能够形成一个序列，该序列中相邻组合的预定取向的偏差在预定范围内，其各个区域的覆盖范围彼此接近并且所述至少两个组合所覆盖的像素彼此不完全相同。
7.如权利要求1所述的方法，其中所述多个预定取向相对于所述第一轴或第二轴旋转的角度范围为0度到180度或0度到360度。
8.如权利要求1或7所述的方法，其中所述多个预定取向中的相邻预定取向间的角度相同。
9.一种对图像进行分类的设备，所述设备从所述图像中提取特征向量，其中所述特征向量包括多个第一特征，每个所述第一特征与沿第一轴的方向布置的多个第一区域、和沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的组合相对应，并且所述设备包括差计算单元，其针对每个所述第一特征，获得相应组合的所述多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和相应组合的所述多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量，并且获得所述第一差向量和第二差向量在相应组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及特征计算单元，其获得所述第一投影差向量和第二投影差向量的大小的和，以作为所述第一特征；以及分类单元，其根据所述提取的特征向量，对所述图像进行分类。
10.如权利要求9所述的设备，其中所述特征向量还包括至少一个第二特征，每个所述第二特征与沿第一轴的方向布置的多个第一区域、沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的至少两个组合相对应，其中，所述差计算单元进一步被配置为针对与每个所述第二特征相对应的至少两个组合中的每个组合，获得所述组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和所述组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量，并且获得所述第一差向量和第二差向量在所述组合的预定取向的直线上的第一投影差向量和第二投影差向量，其中，所述特征计算单元进一步被配置为计算与每个所述第二特征的相对应的至少两个组合的相应第一投影差向量和第二投影差向量的大小的和的均值或总和，以作为所述第二特征。
11.如权利要求9或10所述的设备，其中所述区域为矩形区域，所述第一区域是相接的，并且所述第二区域是相接的。
12.如权利要求9或10所述的设备，其中，在所述第一区域的数目和所述第二区域的数目均为二，所述第一区域是相接的并且所述第二区域是相接的情况下，所述第一轴和第二轴的交点在所述第一区域的连接线上或连接点的预定范围内，并且在所述第二区域的连接线上或连接点的预定范围内；在所述第一区域的数目和所述第二区域的数目均为二，所述第一区域是间隔开的并且所述第二区域是间隔开的情况下，所述第一轴和第二轴的交点在所述第一区域的位置中心之间的中点和所述第二区域的位置中心之间的中点的预定范围内；在所述第一区域的数目和所述第二区域的数目均为三的情况下，所述第一轴和第二轴的交点分别在所述第一区域中居于中间的第一区域内和所述第二区域中居于中间的第二区域内。
13.如权利要求9或10所述的设备，其中至少两个所述组合之间的差别包括下述中的一个或多个区域的相对位置关系、区域的数目、区域的形状、区域的大小、区域的纵横比。
14.如权利要求10所述的设备，其中与每个所述第二特征相对应的至少两个组合能够形成一个序列，该序列中相邻组合的预定取向的偏差在预定范围内，其各个区域的覆盖范围彼此接近并且所述至少两个组合所覆盖的像素彼此不完全相同。
15.如权利要求9所述的设备，其中所述多个预定取向相对于所述第一轴或第二轴旋转的角度范围为0度到180度或0度到360度。
16.如权利要求9或15所述的设备，其中所述多个预定取向中的相邻预定取向间的角度相同。
17.—种生成用于区分对象图像和非对象图像的分类器的方法，包括从输入图像中提取特征向量，其中所述特征向量包括多个第一候选特征，每个所述第一候选特征与沿第一轴的方向布置的多个第一区域、和沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的候选组合相对应，每个所述第一候选特征的提取包括获得相应候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和相应候选组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在相应候选组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和，以作为所述第一候选特征；以及根据所述提取的特征向量训练出所述分类器。
18.如权利要求17所述的方法，其中所述特征向量还包括至少一个第二候选特征，其中每个所述第二候选特征与沿第一轴的方向布置的多个第一区域、沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的至少两个候选组合相对应， 每个所述第二候选特征的提取包括针对与所述第二候选特征相对应的至少两个候选组合中的每个候选组合，获得所述候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和所述候选组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在所述候选组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和；以及获得与所述至少两个候选组合对应的和的均值或总和，以作为所述第二候选特征。
19.如权利要求18所述的方法，还包括从与第一候选特征对应的候选组合中搜索至少一个集合，其中每个所述集合包含满足下述条件的至少两个所述候选组合所述候选组合能够形成一个序列，该序列中相邻候选组合的预定取向的偏差在预定范围内并且其各个区域的覆盖范围彼此接近，以及不同的所述候选组合所覆盖的像素彼此不完全相同；以及将每个所述集合的各个候选组合作为所述第二候选特征之一的对应候选组合。
20.如权利要求19所述的方法，其中在将每个所述集合的各个候选组合作为所述第二候选特征之一的对应候选组合之前还包括通过以下述方式获得对应于每个所述集合的第二候选特征，来评估所述第二候选特征的鉴别能力针对所述集合的每个候选组合，获得所述候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和所述候选组合的所述多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在所述候选组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和；以及获得所述集合的各个候选组合的相应和的均值或总和，以作为所述第二候选特征， 其中，在所述第二候选特征的鉴别能力不满足预定要求的情况下，从搜索到的集合中排除所述集合。
21.如权利要求17或18所述的方法，其中所述区域为矩形区域，所述第一区域是相接的，并且所述第二区域是相接的。
22.如权利要求17或18所述的方法，其中，在所述第一区域的数目和所述第二区域的数目均为二，所述第一区域是相接的并且所述第二区域是相接的情况下，所述第一轴和第二轴的交点在所述第一区域的连接线上或连接点的预定范围内，并且在所述第二区域的连接线上或连接点的预定范围内；在所述第一区域的数目和所述第二区域的数目均为二，所述第一区域是间隔开的并且所述第二区域是间隔开的情况下，所述第一轴和第二轴的交点在所述第一区域的位置中心之间的中点和所述第二区域的位置中心之间的中点的预定范围内；在所述第一区域的数目和所述第二区域的数目均为三的情况下，所述第一轴和第二轴的交点分别在所述第一区域中居于中间的第一区域内和所述第二区域中居于中间的第二区域内。
23.如权利要求17或18所述的方法，其中至少两个所述候选组合之间的差别包括下述中的一个或多个区域的相对位置关系、区域的数目、区域的形状、区域的大小、区域的纵横比。
24.如权利要求17所述的方法，其中所述多个预定取向相对于所述第一轴或第二轴旋转的角度范围为0度到180度或0度到360度。
25.如权利要求17或对所述的方法，其中所述多个预定取向中的相邻预定取向间的角度相同。
26.如权利要求18所述的方法，还包括根据与第一候选特征对应的候选组合生成至少一个集合，其中每个所述集合包含至少两个所述候选组合；通过以下述方式获得对应于每个所述集合的第二候选特征，来评估所述第二候选特征的鉴别能力针对所述集合的每个候选组合，获得所述候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和所述候选组合的所述多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在所述候选组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和；以及获得所述集合的各个候选组合的相应和的均值或总和，以作为所述第二候选特征，以及在所述第二候选特征的鉴别能力不满足预定要求的情况下，从生成的集合中排除所述集合；以及将每个所述集合的各个候选组合作为所述第二候选特征之一的对应候选组合。
27.一种生成用于区分对象图像和非对象图像的分类器的设备，所述设备从输入图像中提取特征向量，其中所述特征向量包括多个第一候选特征，每个所述第一候选特征与沿第一轴的方向布置的多个第一区域、和沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的候选组合相对应，并且所述设备包括差计算单元，其针对每个所述第一候选特征，获得相应候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和相应候选组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量，并且获得所述第一差向量和第二差向量在相应候选组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及特征计算单元，其获得所述第一投影差向量和第二投影差向量的大小的和，以作为所述第一候选特征；以及训练单元，根据所述提取的特征向量训练出所述分类器。
28.如权利要求27所述的设备，其中所述特征向量还包括至少一个第二候选特征，其中每个所述第二候选特征与沿第一轴的方向布置的多个第一区域、沿与所述第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的至少两个候选组合相对应，所述差计算单元进一步被配置为针对每个所述第二候选特征，获得与所述第二候选特征相对应的至少两个候选组合中的每个候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和所述候选组合的多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量，并且获得所述第一差向量和第二差向量在所述候选组合的预定取向的直线上的第一投影差向量和第二投影差向量，并且所述特征计算单元进一步被配置为获得所述第一投影差向量和第二投影差向量的大小的和，并且获得与所述至少两个候选组合对应的和的均值或总和，以作为所述第二候选特征。
29.如权利要求28所述的设备，还包括搜索单元，其从与第一候选特征对应的候选组合中搜索至少一个集合，其中每个所述集合包含满足下述条件的至少两个所述候选组合所述候选组合能够形成一个序列，该序列中相邻候选组合的预定取向的偏差在预定范围内并且其各个区域的覆盖范围彼此接近， 以及不同的所述候选组合所覆盖的像素彼此不完全相同；和过滤单元，其将每个所述集合的各个候选组合作为所述第二候选特征之一的对应候选组合。
30.如权利要求四所述的设备，还包括评估单元，其通过以下述方式获得对应于每个所述集合的第二候选特征，来评估所述第二候选特征的鉴别能力针对所述集合的每个候选组合，获得所述候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和所述候选组合的所述多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在所述候选组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和；以及获得所述集合的各个候选组合的相应和的均值或总和，以作为所述第二候选特征， 其中，所述过滤单元进一步被配置为在所述第二候选特征的鉴别能力不满足预定要求的情况下，从搜索到的集合中排除所述集合。
31.如权利要求27或观所述的设备，其中所述区域为矩形区域，所述第一区域是相接的，并且所述第二区域是相接的。
32.如权利要求27或观所述的设备，其中，在所述第一区域的数目和所述第二区域的数目均为二，所述第一区域是相接的并且所述第二区域是相接的情况下，所述第一轴和第二轴的交点在所述第一区域的连接线上或连接点的预定范围内，并且在所述第二区域的连接线上或连接点的预定范围内；在所述第一区域的数目和所述第二区域的数目均为二，所述第一区域是间隔开的并且所述第二区域是间隔开的情况下，所述第一轴和第二轴的交点在所述第一区域的位置中心之间的中点和所述第二区域的位置中心之间的中点的预定范围内；在所述第一区域的数目和所述第二区域的数目均为三的情况下，所述第一轴和第二轴的交点分别在所述第一区域中居于中间的第一区域内和所述第二区域中居于中间的第二区域内。
33.如权利要求27或观所述的设备，其中至少两个所述候选组合之间的差别包括下述中的一个或多个区域的相对位置关系、区域的数目、区域的形状、区域的大小、区域的纵横比。
34.如权利要求27所述的设备，其中所述多个预定取向相对于所述第一轴或第二轴旋转的角度范围为0度到180度或0度到360度。
35.如权利要求27或34所述的设备，其中所述多个预定取向中的相邻预定取向间的角度相同。
36.如权利要求28所述的设备，还包括搜索单元，其根据与第一候选特征对应的候选组合生成至少一个集合，其中每个所述集合包含至少两个所述候选组合；评估单元，其通过以下述方式获得对应于每个所述集合的第二候选特征，来评估所述第二候选特征的鉴别能力针对所述集合的每个候选组合，获得所述候选组合的多个第一区域的像素和或均值之间的差值，以得到所述第一轴方向上的第一差向量，和所述候选组合的所述多个第二区域的像素和或均值之间的差值，以得到所述第二轴方向上的第二差向量；获得所述第一差向量和第二差向量在所述候选组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得所述第一投影差向量和第二投影差向量的大小的和；以及获得所述集合的各个候选组合的相应和的均值或总和，以作为所述第二候选特征；和过滤单元，其在所述第二候选特征的鉴别能力不满足预定要求的情况下，从生成的集合中排除所述集合，并且将每个所述集合的各个候选组合作为所述第二候选特征之一的对应候选组合。
全文摘要
对图像进行分类的方法和设备。方法包含从图像中提取特征向量，特征向量包括多个第一特征，每个第一特征与沿第一轴的方向布置的多个第一区域、和沿与第一轴方向相交的第二轴的方向布置的多个第二区域和多个预定取向之一的组合相对应，每个第一特征的提取包括获得相应组合的多个第一区域的像素和或均值之间的差值，以得到第一轴方向上的第一差向量，和相应组合的多个第二区域的像素和或均值之间的差值，以得到第二轴方向上的第二差向量；获得第一差向量和第二差向量在相应组合的预定取向的直线上的第一投影差向量和第二投影差向量；以及获得第一投影差向量和第二投影差向量的大小的和，以作为第一特征；以及根据提取的特征向量，对图像进行分类。
文档编号G06K9/46GK102194122SQ20101012000
公开日2011年9月21日 申请日期2010年3月5日 优先权日2010年3月5日
发明者吴伟国, 张伦 申请人:索尼公司