专利名称：生成用于检测图像中的特定对象的分类器的装置和方法
技术领域：
本发明涉及图像处理和模式识别，尤其涉及一种生成用于检测图像中的特定对象的分类器的装置和方法。
背景技术：
目前，图像处理和模式识别技术得到了越来越广泛的应用。在某些应用中，需要对这样的图像检测对象进行识别该类图像检测对象相互之间长宽比差距较大，图像组成元素(图形、符号、字符等)各异。目前，通常使用诸如检测人脸或行人等检测长宽比相差不大的物体的技术进行识别。对于这种图像检测对象，目前使用的分类器训练算法中，训练图像通常被缩放到一个标准尺寸的矩形中，如MXM像素。该矩形对应于物体检测中使用的检测框(扫描框)。以特定商业标志作为图像检测对象为例，图1示出具有不同长宽比的标志缩放到具有标准尺寸的矩形中的示意图。然而，对于长宽比的变化区间较大的图像检测对象，将它们强行缩放到标准尺寸的矩形中，对于长条形对象，矩形的上下或两侧会出现较大的空白区域，如图1的第一幅和最后一幅图以及图2的(a)所示。图2是示出使用不同特征提取区域(感兴趣区域)对同一图像检测对象进行特征提取的示意图。这样，实际可供提取特征的有效区域将减小。另外，当前，对于这种长宽比变化区间较大的图像检测对象，也普遍使用基于内容的图像检索(CBIR，Content Based Image Retrieval)技术。这种技术需要预先提供精确的图像检测对象的检测定位和分割结果。然而，上述具有变化的长宽比的图像检测对象可能出现在各种复杂背景中，诸如自然场景中。基于内容的图像检索技术依赖于准确的定位和分割，无法在要求快速高效识别的复杂背景中使用。
发明内容
鉴于现有技术的以上不足，本发明旨在提供一种生成用于检测图像中的特定对象的分类器的装置和方法，其更充分地利用具有变化的长宽比的待识别图像检测对象的可识别区域，以提高在复杂背景下的识别准确度。本发明的一个实施例是一种生成用于检测图像中的特定对象的分类器的装置。该装置包括区域划分部分，用于从样本图像中划分至少一个正方形区域，该正方形区域的边长等于或小于样本图像的较短边的长度；特征提取部分，对由区域划分部分划分出的正方形区域中的至少一部分正方形区域进行图像特征提取；训练部分，根据所提取的图像特征进行训练，以生成分类器。进一步地，特征提取部分使用局部二值模式算法来对正方形区域进行图像特征提取，局部二值模式算法的中心子窗口的尺寸、长宽比和位置中的至少之一是变化的。进一步地，该生成用于检测图像中的特定对象的分类器的装置还包括区域选择部分，用于在由区域划分部分获得的所有正方形区域中选择满足预定准则的正方形区域，作为由特征提取部分进行图像特征提取的至少一部分正方形区域。进一步地，预定准则包括所选中的正方形区域的纹理较丰富，以及各选中正方形区域之间的相关度较小。进一步地，正方形区域的纹理丰富程度通过局部图像描述子的熵来度量。进一步地，局部图像描述子是图像的局部边缘方向直方图。进一步地，预定准则还包括所选中正方形区域的类条件熵较大，类条件熵是待选择的正方形区域关于已选中的正方形区域的集合的条件熵。本发明的另一个实施例是一种生成用于检测图像中的特定对象的分类器的方法。 该方法包括从样本图像中划分至少一个正方形区域，正方形区域的边长等于或小于样本图像的较短边的长度；对所划分出的正方形区域中的至少一部分正方形区域进行图像特征提取；根据所提取的图像特征进行训练，以生成分类器。利用本发明，通过将样本图像划分为边长等于或小于样本图像较短边长度的多个正方形区域，并通过使用所划分的正方形区域的特征进行训练以获得分类器，充分利用了具有不同长宽比的图像检测对象的可识别区域。并且，使用该分类器进行对象识别能够提高对象在复杂背景下的识别速度和准确度。
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出单元的尺寸和相对位置。图1示出具有不同长宽比的标志缩放到具有标准尺寸的矩形中的示意图。图2是示出使用不同特征提取区域对同一图像检测对象进行特征提取的示意图。图3是示出根据本发明实施例的分类器生成装置的结构的框图。图4是示出使用局部二值模式特征进行特征提取的原理的示意图。图5是示出根据本发明实施例的分类器生成方法的流程图。图6是示出根据本发明另一个实施例的分类器生成装置的结构的框图。图7是示出根据实施例的对所划分的正方形区域计算边缘方向直方图的示意图。图8是示出根据本发明另一个实施例的生成图像分类器的方法的流程图。图9是示出根据本发明实施例的图像检测装置的结构的框图。图10是示出根据本发明实施例的图像检测方法的流程图。图11是示出实现本发明的计算机的示例性结构的框图。
具体实施例方式下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域技术人员已知的部件和处理的表示和描述。图3是示出根据本发明实施例的分类器生成装置300的结构的框图。分类器生成装置300包括区域划分部分301、特征提取部分302以及训练部分303。区域划分部分301用于从样本图像中划分至少一个正方形区域，正方形区域的边长等于或小于样本图像的较短边的长度。特征提取部分302用于对由区域划分部分301划分出的正方形区域中的至少一部分正方形区域进行图像特征提取。训练部分303根据所提取的图像特征进行训练，以生成分类器。样本图像包括含有图像检测对象的用于训练分类器的图像。图像检测对象即从各种背景中分割出的、检测处理中要检测的目标图像。在准备样本图像时，可以根据准备采用的特征提取区域的尺寸来对样本图像进行缩放，以使样本图像成为适合于特征提取的样本图像。在本实施例中，将样本图像输入到分类器生成装置300，以进行分类器的训练和生成。在接收到样本图像后，区域划分部分301对输入的样本图像进行划分。为了充分利用样本图像的可进行识别的区域来进行分类器的训练，区域划分部分 301从样本图像中划分至少一个正方形区域，以作为局部特征提取的单位。并且，该正方形区域的边长等于或小于样本图像的较短边的长度。需要注意的是这里所说的正方形区域的边长“等于”样本图像的较短边的长度不一定是严格意义上的“等于”，而是“基本”或“大致”等于。例如，如果一个长度和边长的差在边长中所占的比例低于预定阈值，则认为该长度基本或大致等于该边长。预定阈值的取值取决于具体应用中的设定。设置为正方形区域的边长“等于”样本图像的较短边的长度的优点在于正方形特征提取区域中尽可能多地包含了样本图像的纹理特征。在实践中，即使正方形区域的边长小于样本图像的较短边的长度，只要满足正方形区域中所包含的纹理特征足以表示该待检测图像检测对象，就可以被接受。在不同的实施例中，根据需要和样本图像的特点，正方形区域在样本图像上的排布方式可以不同。如图2的(C)中所示，在本实施例中，多个正方形区域不交迭地沿该样本图像的较长边相邻地排布。这样设置的进一步的优点在于正方形特征提取区域不仅最大可能地容纳了图像检测对象的图像的纹理特征，而且没有包含或很少(最后排布的正方形区域超出样本图像的边缘部分)地包含不属于图像检测对象的空白区域。可选择地，在其它实施例中，正方形区域也可以以一定间隔排布。另外，多个正方形区域也可以以交迭的方式在样本图像上排布。一个典型的例子是以扫描的方式，每固定步长划分正方形区域。即，所划分的多个正方形区域以固定边长比例相互交迭。或者，可以这样理解在一些实施例中，相隔固定步长划分正方形区域。当步长小于正方形区域边长时，所划分的正方形区域相互交迭；当步长等于正方形区域边长时，所划分的正方形区域相邻排布；当步长大于正方形区域边长时，正方形区域两两相隔固定距离。 当然，在另外一些实施例中，也可以以变化的步长或交错地来划分正方形区域。在一个实施例中，当样本图像的较长边的长度小于其较短边的2倍时，区域划分部分301可以只从样本图像中划分一个正方形区域，作为局部特征提取的单位。特征提取部分302对由区域划分部分301划分出的正方形区域中的至少一部分正方形区域进行图像特征提取。当然，在只划分了一个正方形区域的情况下，就对该正方形区域进行图像特征提取。特征提取部分302可以采用当前普遍采用的各种局部纹理特征描述子来对所划分的正方形区域进行特征表示。在本实施例中，使用局部二值模式特征(LBP，LocalBinary Patterns)进行特征提取。图4是示出使用局部二值模式特征进行特征提取的原理的示意图。LBP算法一般定义3X3的窗口，如图4所示。以中心子窗口的灰度值为阈值，对窗口内其它像素做二值化处理，即，窗口内其它子窗口的像素灰度值分别与窗口的中心子窗口的灰度值进行比较。当大于等于中心像素的灰度值时，其对应位置赋值为1，否则赋值为 O。于是，得到了与中心子窗口相关的一组8位(一个字节)二进制代码，如图4所示。进一步地，还可以根据其它子窗口的不同位置对该组二进制代码进行加权求和，得到该窗口的LBP值。图像中某区域的纹理结构可以使用该区域LBP码的直方图来描述。当前普遍使用的LBP算法，其中心子窗口覆盖单个目标像素。相应地，中心子窗口的周围子窗口也覆盖单个像素。在本发明的实施例中，使用扩展的方式来构造LBP特征允许中心子窗口的尺寸、长宽比、位置发生变化。具体来说，在本实施例中，中心子窗口不是覆盖单一的像素，而是覆盖一个区域。在该区域中，可以包括多个像素，即，可以包括一个行、 列数可变的像素矩阵。且该像素矩阵的长宽比和位置可以发生变化。在这种情况下，该中心子窗口的相邻子窗口的尺寸、长宽比、位置也会随之发生变化。而LBP特征值的计算准则不变。例如，可以采用中心子窗口的各像素灰度的平均值作为阈值。这样，对于固定尺寸的特征提取区域，例如MXM，可能包含的LBP的特征数量(即各种尺寸、长宽比、位置的组合)将远远大于正方形区域中的像素数。这种处理使得由LBP特征构建的海量特征库的特征数目大大增加。从而，使用各种训练算法时可以选择利用的特征量大大增加。虽然这里以 LBP为例来说明图像特征提取，然而应当明白，其它用于对象识别的特征提取方法也适用于本发明的实施例。训练部分303根据所提取的图像特征进行训练，以生成分类器。训练部分303可以采用各种当前普遍使用的分类器训练方法。在本实施例中，使用Joint-Boost联合增强分类器训练方法进行训练。关于Joint-Boost算法的具体介绍，可以参考=Torralba, Α.， Murphy, K. P. , and Freeman, W. Τ. ,"Sharing features -efficient boosting procedures for multiclass objectdetection”， [IEEE CVPR]，762-769U004)。图5是示出根据本发明实施例的分类器生成方法的流程图。在步骤S501，从样本图像中划分至少一个正方形区域，正方形区域的边长等于或小于样本图像的较短边的长度。例如，所划分的正方形区域之一的一边与样本图像的短边重合，并且其它正方形区域以类似扫描的方式以一定步长沿样本图像的长边(如果样本图像长宽比大于1)排布。当步长小于正方形区域边长时，正方形区域交迭排布；当步长等于或大于正方形区域边长时，正方形区域相邻或间隔一定距离排布。在具体操作中，也可以预先设定正方形特征提取区域的边长，如MXM。然后，根据已设定的边长对采集的样本图像进行缩放处理，使得样本图像的短边等于设定的正方形特征提取区域的边长。在其它实例中，也可以使正方形区域的边长小于样本图像的较短边的长度，只要正方形区域中所包含的纹理特征足以表示该待检测图像检测对象即可。在步骤S502中，对所划分出的正方形区域中的至少一部分正方形区域进行图像特征提取。图像特征提取可以采用已知的各种方法和局部特征描述子。在本实施例中，使用局部二值模式特征对所划分的正方形区域进行特征表示。其中，该局部二值模式特征的中心子窗口所覆盖的区域的尺寸是可变的，而不限于单一的目标像素。同时，该中心子窗口所覆盖的区域的长宽比以及位置也是可变的。其优点在于，显著扩大了用于进行分类器训练的特征库的特征数量。在步骤S503中，根据所提取的图像特征进行训练，以生成分类器。例如，可以使用联合增强(Joint-Boost)算法来训练分类器。图6是示出根据本发明另一个实施例的分类器生成装置600的结构的框图。分类器生成装置600包括区域划分部分601、区域选择部分604、特征提取部分602以及训练部分 603。与结合图3说明的区域划分部分301相似，区域划分部分601从输入到分类器生成装置600中的样本图像中划分至少一个正方形区域，且使得该正方形区域的边长等于或小于样本图像的较短边的长度。区域选择部分604在由区域划分部分601获得的所有正方形区域中选择满足预定准则的正方形区域，作为由特征提取部分602进行图像特征提取的正方形区域。下面对区域选择部分604所采用的准则进行讨论。根据不同的需求，可以采用各种准则来对特征提取区域进行选择(可以将划分出的未经选择的特征提取区域称为候选感兴趣区域)。在一般的分类器训练中，为了提高图像检测对象的检测效率，优先选择具有视觉显著性的正方形区域来训练分类器。一般情况下， 正方形区域的纹理越丰富，其视觉显著性就越强。而正方形区域的纹理丰富程度可以通过局部图像描述子的熵来度量。在一些实施例中，局部图像描述子例如是局部边缘方向直方图(EOH, edge orientation histogram)。图7是示出根据实施例的对划分的正方形区域计算边缘方向直方图的示意图。使用经典的边缘检测来检测图像的纹理特征。在给定的图像内，各个像素点的梯度幅值在某种程度上反映了区域的边缘锐度，而梯度方向反映了各个点处的边缘方向。而此二者的结合表征完整的图像纹理信息。如图7所示，在本实施例中，首先利用Sobel算子检测图像边缘梯度。滤除梯度强度较低的边缘(图7中的(b)到(d))。该强度较低的边缘通常对应于噪声。然后将正方形区域等分为4X4的单元(图7中的(e))，在每个单元中计算归一化的局部梯度方向直方图。在本实施例中，直方图的量化等级为9，S卩，将0° -180° 等分为9个区间。Sobel算子是图像处理中使用的算子之一，主要用作边缘检测。它是一种离散性差分算子，用来运算图像亮度函数的梯度近似值。可选择地，可以使用其它图像处理算子来对图像边缘进行检测。对于以位置χ为中心的正方形区域Rx，一个联合直方图Pkx有虹4个局部直方图 PA(k= 1...16)。假定每个局部直方图是相互独立的，则联合直方图的熵H(Rx)可用公式 ⑴计算。
权利要求
1.一种生成用于检测图像中的特定对象的分类器的装置，包括区域划分部分，用于从样本图像中划分至少一个正方形区域，所述正方形区域的边长等于或小于样本图像的较短边的长度；特征提取部分，对由所述区域划分部分划分出的正方形区域中的至少一部分正方形区域进行图像特征提取；训练部分，根据所提取的图像特征进行训练，以生成分类器。
2.根据权利要求1所述的装置，其中，所述特征提取部分使用局部二值模式算法来对所述正方形区域进行图像特征提取，所述局部二值模式算法的中心子窗口的尺寸、长宽比和位置中的至少之一是变化的。
3.根据权利要求1所述的装置，还包括区域选择部分，用于在由所述区域划分部分获得的所有正方形区域中选择满足预定准则的正方形区域，作为所述至少一部分正方形区域。
4.根据权利要求3所述的装置，其中，所述预定准则包括所选中的正方形区域的纹理较丰富，以及各选中正方形区域之间的相关度较小。
5.根据权利要求4所述的装置，其中，所述正方形区域的纹理丰富程度通过局部图像描述子的熵来度量，所述预定准则还包括所选中正方形区域的类条件熵较大，所述类条件熵是待选择的正方形区域关于已选中的正方形区域的集合的条件熵。
6.一种生成用于检测图像中的特定对象的分类器的方法，包括从样本图像中划分至少一个正方形区域，所述正方形区域的边长等于或小于样本图像的较短边的长度；对所划分出的正方形区域中的至少一部分正方形区域进行图像特征提取；根据所提取的图像特征进行训练，以生成分类器。
7.根据权利要求6所述的方法，其中，使用局部二值模式算法来对所述正方形区域进行图像特征提取，所述局部二值模式算法的中心子窗口的尺寸、长宽比和位置中的至少之一是变化的。
8.根据权利要求6所述的方法，还包括在所划分出的所有正方形区域中选择满足预定准则的正方形区域，作为所述至少一部分正方形区域。
9.根据权利要求8所述的方法，其中，所述预定准则包括所选中的正方形区域的纹理较丰富，以及各选中正方形区域之间的相关度较小。
10.根据权利要求9所述的方法，其中，所述正方形区域的纹理丰富程度通过局部图像描述子的熵来度量，所述预定准则还包括所选中正方形区域的类条件熵较大，所述类条件熵是待选择的正方形区域关于已选中的正方形区域的集合的条件熵。
全文摘要
提供一种生成用于检测图像中的特定对象的分类器的装置和方法。该生成用于检测图像中的特定对象的分类器的装置包括区域划分部分，用于从样本图像中划分至少一个正方形区域，正方形区域的边长等于或小于样本图像的较短边的长度；特征提取部分，对由区域划分部分划分出的正方形区域中的至少一部分正方形区域进行图像特征提取；训练部分，根据所提取的图像特征进行训练，以生成分类器。使用该生成用于检测图像中的特定对象的分类器的装置和方法能够充分利用具有变化的长宽比的待识别对象的可识别区域，并提高在复杂背景下的识别速度和准确度。
文档编号G06K9/66GK102542303SQ201010614810
公开日2012年7月4日 申请日期2010年12月24日 优先权日2010年12月24日
发明者堀田悦伸, 孙俊, 皆川明洋, 直井聪, 范伟 申请人:富士通株式会社