构建装置和方法、图像分类装置和方法以及电子设备的制作方法
【专利摘要】本发明提供了构建装置和方法、图像分类装置和方法以及电子设备，以克服传统的图像分类技术由于未考虑图像的图像级特征和区域级特征之间的联系而导致分类结果不准确的问题。上述构建装置包括：将训练图像分割为多个区域的训练图像分割单元；提取训练图像的图像级特征和区域的区域级特征的第一提取单元；及构建包括图像级支持向量机分类器和区域级支持向量机分类器的图像分类器的构建单元，其在训练过程中考虑了第一约束：针对训练图像集全集或子集中的每个训练图像，令区域级支持向量机分类器对该训练图像的多个区域的分类结果中的最大值和图像级支持向量机分类器对该训练图像的分类结果尽量接近。本发明的上述技术能够应用于图像处理领域。
【专利说明】构建装置和方法、图像分类装置和方法以及电子设备
【技术领域】
[0001] 本发明涉及图像处理领域，尤其涉及构建装置和方法、图像分类装置和方法以及 电子设备。
【背景技术】
[0002] 随着数字图像数目的急剧增长，需要研究开发有效的自动图像分类技术。一般而 言，为了对待测图像进行分类，先要基于给定的训练图像(包括正例和负例图像）构建有效 的分类器，然后根据分类器的输出确定待测图像所属的类别。图像分类技术可以应用于人 们生活的很多方面，比如个人照片管理、图像图书馆、在线购物等等。
[0003] -般而言，描述图像的特征可以分为图像级特征和区域级特征。图像级特征表现 的是图像的整体特性，而在图像分割的基础上抽取的区域级特征更加关注图像的局部特 性。为了综合考虑两方面的信息，传统的方法通常首先分别基于两种特征独立地构建两个 基本分类器，然后将两个基本分类器的输出进行组合。可以看到，传统的方法在构建基本 分类器的过程中，对两种特征分别进行处理。也就是说，当基于图像级特征构建分类器的时 候，没有利用基于区域级特征构建的分类器提供的任何信息；同样的，当基于区域级特征构 建分类器的时候，也没有利用基于图像级特征构建的分类器提供的任何信息。实际上，两种 特征从不同角度对同一图像进行描述，往往可以互相提供更多的信息。显然，传统的图像分 类方法由于在构建基本分类器的过程中没有利用上述有用的信息，从而影响了最终的分类 性能。
【发明内容】
[0004] 在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本 理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的 关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概 念，以此作为稍后论述的更详细描述的前序。
[0005] 鉴于此，本发明提供了构建装置和方法、图像分类装置和方法以及电子设备，以至 少解决传统的图像分类技术由于没有考虑图像的图像级特征和区域级特征之间的联系而 导致分类结果不准确的问题。
[0006] 根据本发明的一个方面，提供了一种图像分类器的构建装置，该构建装置包括：训 练图像分割单元，其被配置用于将训练图像集中的每个训练图像分割为多个区域；第一提 取单元，其被配置用于提取训练图像集中每个训练图像的图像级特征，以及提取每个训练 图像的多个区域中的每一个的区域级特征；以及构建单元，其被配置用于基于训练图像集 中每个训练图像的图像级特征和每个训练图像中的多个区域的区域级特征对图像级支持 向量机分类器和区域级支持向量机分类器进行训练，以构建包括图像级支持向量机分类器 和区域级支持向量机分类器的图像分类器；其中，构建单元在进行训练的过程中考虑了如 下的第一约束：针对训练图像集的全集或子集中的每个训练图像，令区域级支持向量机分 类器对该训练图像的多个区域的分类结果中的最大值和图像级支持向量机分类器对该训 练图像的分类结果尽量接近。
[0007] 根据本发明的另一个方面，还提供了一种图像分类装置，该图像分类装置包括：待 测图像分割单元，其被配置用于将待测图像分割为多个区域；第二提取单元，其被配置用于 提取待测图像的图像级特征和待测图像的多个区域中的每一个的区域级特征；分类单元， 其被配置用于基于待测图像的图像级特征获得图像级支持向量机分类器对待测图像的分 类结果，以及基于待测图像的多个区域的区域级特征获得区域级支持向量机分类器对待测 图像中多个区域中的每一个的分类结果；以及结果确定单元，其被配置用于根据区域级支 持向量机分类器对待测图像中多个区域的分类结果中的最大值和图像级支持向量机分类 器对待测图像的分类结果，确定待测图像的最终分类结果；其中，图像级支持向量机分类器 和区域级支持向量机分类器通过如上所述的构建装置构建而得。
[0008] 根据本发明的另一个方面，还提供了一种图像分类器的构建方法，该构建方法包 括：将训练图像集中的每个训练图像分割为多个区域；提取训练图像集中每个训练图像的 图像级特征，以及提取每个训练图像的多个区域中的每一个的区域级特征；以及基于训练 图像集中每个训练图像的图像级特征和每个训练图像中的多个区域的区域级特征对图像 级支持向量机分类器和区域级支持向量机分类器进行训练，以构建包括图像级支持向量机 分类器和区域级支持向量机分类器的图像分类器；其中，在训练的过程中考虑了如下的第 一约束：针对训练图像集的全集或子集中的每个训练图像，令区域级支持向量机分类器对 该训练图像的多个区域的分类结果中的最大值和图像级支持向量机分类器对该训练图像 的分类结果尽量接近。
[0009] 根据本发明的另一个方面，还提供了一种图像分类方法，该图像分类方法包括：将 待测图像分割为多个区域；提取待测图像的图像级特征和待测图像的多个区域中的每一个 的区域级特征；基于待测图像的图像级特征获得图像级支持向量机分类器对待测图像的分 类结果，以及基于待测图像的多个区域的区域级特征获得区域级支持向量机分类器对待测 图像中多个区域中的每一个的分类结果；以及根据区域级支持向量机分类器对待测图像中 多个区域的分类结果中的最大值和图像级支持向量机分类器对待测图像的分类结果，确定 待测图像的最终分类结果；其中，图像级支持向量机分类器和区域级支持向量机分类器通 过如上所述的构建方法构建而得。
[0010] 根据本发明的另一个方面，还提供了一种电子设备，该电子设备包括如上所述的 构建装置或如上所述的图像分类装置。
[0011] 根据本发明的又一个方面，还提供了一种存储有机器可读取的指令代码的程序产 品，上述程序产品在执行时能够使上述机器执行如上所述的构建方法或如上所述的图像分 类方法。
[0012] 此外，根据本发明的其他方面，还提供了 一种计算机可读存储介质，其上存储有如 上所述的程序产品。
[0013] 上述根据本发明实施例的构建装置、图像分类装置、构建方法、图像分类方法以及 电子设备，其在构建图像分类器的过程中或者在利用上述图像分类器进行分类的过程中， 由于考虑了图像的图像级特征和区域级特征之间的联系，能够有效地克服传统方法的不 足，使得利用该构建装置所构建的图像分类器进行图像分类的结果较为准确、精度较高。
[0014] 通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优 点将更加明显。
【专利附图】
【附图说明】
[0015] 本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所 有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的 详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本 发明的优选实施例和解释本发明的原理和优点。在附图中：
[0016] 图IA是示意性地示出根据本发明的实施例的构建装置的一种示例结构的框图；
[0017] 图IB是示出传统的标准SVM分类器的原理的示意图；
[0018] 图IC是示出根据本发明的实施例的图像级SVM分类器的原理的示意图；
[0019] 图ID是示出根据本发明的实施例的区域级SVM分类器的原理的示意图；
[0020] 图2是示意性地示出根据本发明的实施例的图像分类装置的一种示例结构的框 图；
[0021] 图3是示意性地示出根据本发明的实施例的构建方法的一种示例性处理的流程 图；
[0022] 图4是示意性地示出如图3所示的步骤S340的一种可能的示例性处理的流程图；
[0023] 图5是示意性地示出根据本发明的实施例的图像分类方法的一种示例性处理的 流程图；以及
[0024] 图6是示出了可用来实现根据本发明的实施例的构建装置和构建方法、或者根据 本发明的实施例的图像分类装置和图像分类方法的一种可能的信息处理设备的硬件配置 的结构简图。
[0025] 本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的， 而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以 便有助于提高对本发明实施例的理解。
【具体实施方式】
[0026] 在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见， 在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施 例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符 合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有 所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开 内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
[0027] 在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中 仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明 关系不大的其他细节。
[0028] 本发明的实施例提供了一种图像分类器的构建装置，该构建装置包括：训练图像 分割单元，其被配置用于将训练图像集中的每个训练图像分割为多个区域；第一提取单元， 其被配置用于提取训练图像集中每个训练图像的图像级特征，以及提取每个训练图像的多 个区域中的每一个的区域级特征；以及构建单元，其被配置用于基于训练图像集中每个训 练图像的图像级特征和每个训练图像中的多个区域的区域级特征对图像级SVM (support vector machine,支持向量机)分类器和区域级SVM分类器进行训练，以构建包括图像级SVM 分类器和区域级SVM分类器的图像分类器；其中，构建单元在进行训练的过程中考虑了如 下的第一约束：针对训练图像集的全集或子集中的每个训练图像，令区域级SVM分类器对 该训练图像的多个区域的分类结果中的最大值和图像级SVM分类器对该训练图像的分类 结果尽量接近。
[0029] 下面结合图IA来详细描述根据本发明的实施例的图像分类器的构建装置的一个 示例。
[0030] 如图IA所示，根据本发明的实施例的构建装置100包括训练图像分割单元110、第 一提取单元120以及构建单元130。
[0031] 训练图像分割单元110用于将训练图像集中的每个训练图像分割为多个区域。
[0032] 其中，训练图像集中的各个训练图像是带类别标签的图像。也就是说，训练图像集 中可以包括正例图像和负例图像，其中，正例图像是类别标签的值为正数的训练图像，而负 例图像则是类别标签的值为负数的训练图像。
[0033] 在一个例子中，假设训练图像集为U1, I2，…，IJ，其中N为训练图像集中所包括 的训练图像总数，每个训练图像Ii (i = 1，2, "·，Ν)对应的类别标签为yi，其中，N为正整数。 训练图像集中的每个训练图像Ii的类别标签Y i可以为1或者-1，即yie {-1，1}。也就是 说，当训练图像Ii的类别标签Yi = 1时，表示该训练图像Ii是正例图像；而当训练图像Ii 的类别标签Yi = -1时，表示该训练图像Ii是负例图像。
[0034] 其中，对于训练图像集中的每个训练图像，训练图像分割单元110将该训练图像 分割为多个区域，并且每个训练图像经过图像分割后所得到的区域数量可以是相同的，也 可以是不同的。在一个例子中，对于训练图像集U 1,12，…，IJ中的每个训练图像Ii，训练图 像分割单元110可以分别将每个训练图像I i都分割为Ctl个区域，其中，Ctl为正整数，分割的 具体处理过程可以通过本领域公知常识和/或结合公开资料来获得，这里不再赘述。此外， 在另一个例子中，训练图像分割单元110也可以根据一些现有的图像分割技术将每个训练 图像I i进行分割，但各个训练图像I1, I2，…，In所被分割成的区域数量并不全部相同。
[0035] 这样，通过训练图像分割单元110的分割处理，可以得到训练图像集中的每个训 练图像的多个区域。然后，第一提取单元120提取训练图像集中每个训练图像的图像级特 征，以及提取每个训练图像的多个区域中的每一个区域的区域级特征。
[0036] 其中，图像级特征例如可以是颜色特征、纹理特征等视觉特征的任一种特征(或任 几种特征组合)，而区域级特征也可以是颜色特征、纹理特征等视觉特征的任一种特征(或 任几种特征组合)。
[0037] 在一个例子中，假设各个训练图像I1, I2，…，In所被分割成的区域数量可以不全部 相同，并设所有训练图像I1, I2，…，In所包括的所有区域的总数量为M，且M为正整数，这M 个区域组成的集合可以表示成（R1, R2，…，RmK为了描述训练图像Ii与其多个区域之间的 关系，可以采用Rj e Ii表示Rj是Ii中的区域。
[0038] 例如，假设所有训练图像I1, I2，…，。所包括的所有区域的总数量为100 (即 M=100)，这100个区域所组成的集合可以表示成（R1, R2，…，RltlJ。其中，假设集合（R1, R2，… ，RltlJ中的R1, R2，…，Rltl属于训练图像I1, R11, R12，…，R17属于训练图像12，……，以及 R93, R94, ···，'〇属于训练图像In。于是，对于训练图像I1来说，Rje I1包括R1, R2，…，Riq共 10个区域；对于训练图像I2来说，R j e I2包括R11, R12，…，R17共7个区域；……；以及对于 训练图像In来说，R j e In包括R93, R94，…，Riqq共8个区域。
[0039] 对于各个训练图像I1,12，…，In，令抽取出的图像级特征表示为{<，4，一，*；^，其 中，<是表示训练图像I i的图像级特征的特征向量。
[0040] 对于各个训练图像I1, I2,…，In中的每个训练图像Ii (i = 1，2,…，Ν)，令xf表示 训练图像Ii的区域& e Ii的区域级特征的特征向量。因此，对于训练图像Ii来说，其区域 级特征可以用特征向量集合e ^来表示。
[0041] 这样，通过第一提取单元120的处理，可以得到训练图像集中每个训练图像的图 像级特征和每个训练图像的多个区域的区域级特征。然后，构建单元130基于上述训练图 像集中每个训练图像的图像级特征和每个训练图像中的多个区域的区域级特征来对图像 级SVM分类器和区域级SVM分类器进行训练，以构建包括上述图像级SVM分类器和上述区 域级SVM分类器的图像分类器。
[0042] 其中，构建单元130在对图像级SVM分类器和区域级SVM分类器进行训练的过程 中，考虑了如下的第一约束：针对训练图像集的全集或子集中的每个训练图像，令区域级 SVM分类器对该训练图像的多个区域的分类结果中的最大值和图像级SVM分类器对该训练 图像的分类结果尽量接近。
[0043] 需要注意的是，在下文中，"区域级SVM分类器对该训练图像的多个区域的分类结 果中的最大值"也称作"区域级SVM分类器对该训练图像的分类结果"。
[0044] 为清楚起见，下面结合图IB来介绍标准SVM分类器的相关概念。图IB示意性地 示出了传统的标准SVM分类器的原理图。如图IB所示，图中的方形样本和圆形样本可以是 待区分的两个类别（例如，方形样本和圆形样本中的一种可以是上文所述的正例图像，而另 一种是负例图像)，H为表示SVM分类器的超平面，可以用分类函数f(x) = w · x+b表示上 述SVM分类器，并可以用w *x+b = 0来表示上述超平面Η。其中，w和b为待求解的SVM参 数，而X则为待分类的样本(训练样本或下文中所说的待测样本）的特征向量。w和X之间 的"· "表示w和X这两个向量的内积。以图IB中的圆形样本P1为例，P1到超平面H的函 数间隔如图IB中的I 1所示（即P1在图中纵向上到H的距离)，而P1到超平面H的几何间隔 如图IB中的Cl 1所示（即P1到H的最短距离，相当于P1到P1在H上的投影之间的距离)。这 样，在数学上，可以用λ =>，,(wi + Z〇.表示X对应的待分类的样本到超平面H的函数间隔， 以及可以用表示X对应的待分类的样本到超平面H的几何间 隔。
【权利要求】
1. 一种图像分类器的构建装置，包括： 训练图像分割单元，其被配置用于将训练图像集中的每个训练图像分割为多个区域； 第一提取单元，其被配置用于提取所述训练图像集中每个所述训练图像的图像级特 征，以及提取每个所述训练图像的所述多个区域中的每一个的区域级特征；以及 构建单元，其被配置用于基于所述训练图像集中每个所述训练图像的图像级特征和每 个所述训练图像中的所述多个区域的区域级特征对图像级支持向量机分类器和区域级支 持向量机分类器进行训练，以构建包括所述图像级支持向量机分类器和所述区域级支持向 量机分类器的图像分类器；其中，所述构建单元在进行所述训练的过程中考虑了如下的第 一约束：针对所述训练图像集的全集或子集中的每个训练图像，令所述区域级支持向量机 分类器对该训练图像的多个区域的分类结果中的最大值和所述图像级支持向量机分类器 对该训练图像的分类结果尽量接近。
2. 根据权利要求1所述的构建装置，其中，所述第一约束包括： 针对所述训练图像集的全集或子集中的每个训练图像，令该训练图像到表示所述图像 级支持向量机分类器的第一超平面的函数间隔与该训练图像到表示所述区域级支持向量 机分类器的第二超平面的函数间隔尽量接近，其中，该训练图像到所述第二超平面的函数 间隔是所述区域级支持向量机分类器对该训练图像的多个区域的分类结果中的最大值所 对应的区域到所述第二超平面的函数间隔。
3. 根据权利要求2所述的构建装置，其中，所述子集不包括所述训练图像集中的离群 样本，所述离群样本是满足以下条件的训练图像： 其到所述第一超平面的函数间隔小于第一预定阈值，和/或 其到所述第二超平面的函数间隔小于第二预定阈值； 其中，所述第一预定阈值和所述第二预定阈值均为正数。
4. 根据权利要求3所述的构建装置，其中，所述构建单元被配置用于： 在考虑所述第一约束和第二约束的情况下构建以所述图像级支持向量机分类器和所 述区域级支持向量机分类器的支持向量机参数为未知量的代价函数；以及 通过求解所述代价函数的最优问题来获得所述图像级支持向量机分类器和所述区域 级支持向量机分类器的支持向量机参数的最优值； 其中，所述第二约束包括： 使得到所述第一超平面的函数间隔为所述第一预定阈值的训练图像到所述第一超平 面的几何间隔尽量大，以及 使得到所述第二超平面的函数间隔为所述第二预定阈值的训练图像到所述第二超平 面的几何间隔尽量大。
5. 根据权利要求4所述的构建装置，其中，所述构建单元被配置用于在所述训练的过 程中还考虑如下的第三约束： 针对所述图像级支持向量机分类器，使得所述训练图像集中的、到所述第一超平面的 函数间隔小于所述第一预定阈值的训练图像所对应的第一松弛变量的加权和尽量小；以及 针对所述区域级支持向量机分类器，使得所述训练图像集中的、到所述第二超平面的 函数间隔小于所述第二预定阈值的训练图像所对应的第二松弛变量的加权和尽量小。
6. -种图像分类装置，包括： 待测图像分割单元，其被配置用于将待测图像分割为多个区域； 第二提取单元，其被配置用于提取所述待测图像的图像级特征和所述待测图像的所述 多个区域中的每一个的区域级特征； 分类单元，其被配置用于基于所述待测图像的图像级特征获得图像级支持向量机分类 器对所述待测图像的分类结果，以及基于所述待测图像的多个区域的区域级特征获得区域 级支持向量机分类器对所述待测图像中所述多个区域中的每一个的分类结果；以及 结果确定单元，其被配置用于根据所述区域级支持向量机分类器对所述待测图像中所 述多个区域的分类结果中的最大值和所述图像级支持向量机分类器对所述待测图像的分 类结果，确定所述待测图像的最终分类结果； 其中，所述图像级支持向量机分类器和所述区域级支持向量机分类器通过如权利要求 1-5中任一项所述的构建装置构建而得。
7. 根据权利要求6所述的图像分类装置，其中，所述结果确定单元将所述区域级支持 向量机分类器对所述待测图像中所述多个区域的分类结果中的最大值和所述图像级支持 向量机分类器对所述待测图像的分类结果的加权和确定为所述待测图像的最终分类结果。
8. -种图像分类器的构建方法，包括： 将训练图像集中的每个训练图像分割为多个区域； 提取所述训练图像集中每个所述训练图像的图像级特征，以及提取每个所述训练图像 的所述多个区域中的每一个的区域级特征；以及 基于所述训练图像集中每个所述训练图像的图像级特征和每个所述训练图像中的所 述多个区域的区域级特征对图像级支持向量机分类器和区域级支持向量机分类器进行训 练，以构建包括所述图像级支持向量机分类器和所述区域级支持向量机分类器的图像分类 器；其中，在所述训练的过程中考虑了如下的第一约束：针对所述训练图像集的全集或子 集中的每个训练图像，令所述区域级支持向量机分类器对该训练图像的多个区域的分类结 果中的最大值和所述图像级支持向量机分类器对该训练图像的分类结果尽量接近。
9. 一种图像分类方法，包括： 将待测图像分割为多个区域； 提取所述待测图像的图像级特征和所述待测图像的所述多个区域中的每一个的区域 级特征； 基于所述待测图像的图像级特征获得图像级支持向量机分类器对所述待测图像的分 类结果，以及基于所述待测图像的多个区域的区域级特征获得区域级支持向量机分类器对 所述待测图像中所述多个区域中的每一个的分类结果；以及 根据所述区域级支持向量机分类器对所述待测图像中所述多个区域的分类结果中的 最大值和所述图像级支持向量机分类器对所述待测图像的分类结果，确定所述待测图像的 最终分类结果； 其中，所述图像级支持向量机分类器和所述区域级支持向量机分类器通过如权利要求 8所述的构建方法构建而得。
10. -种电子设备，包括如权利要求1-5中任一项所述的构建装置或如权利要求6或7 所述的图像分类装置。
【文档编号】G06K9/66GK104239906SQ201310253005
【公开日】2014年12月24日 申请日期:2013年6月24日 优先权日:2013年6月24日
【发明者】李斐, 刘汝杰 申请人:富士通株式会社