基于多层次模式子块划分的图像分类方法
【专利摘要】本发明提出一种基于多层次模式子块划分的图像分类方法，该方法包括以下步骤：提取图像多尺度下的显著性区域分布图，并根据显著性区域分布采样不同位置和大小的窗口；对图像实施超像素分割，通过分析每个窗口与其内外邻近超像素的位置和分布关系确定每个窗口出现目标的概率，构造多层次模式子块；对每一个子块做多字典特征描述，然后将其组织为张量模式用做图像的特征描述；对图像的张量描述做典范相关分析，提取图像特征向量，最后通过分类器进行分类。多层次模式子块划分，充分考虑了复杂图像中目标的整体性和层次性，一方面实现同一目标模式信息的集中描述，另一方面实现了不同目标模式信息的显著性描述。在公测图像库上的实验结果，证实了我们的方法的有效性。
【专利说明】基于多层次模式子块划分的图像分类方法
【技术领域】
[0001]本发明属于图像处理领域，具体涉及一种基于多层次模式子块划分的图像分类方法。
【背景技术】
[0002]随着多媒体技术的发展，图像、视频等多媒体数据急剧增长，如何快速、有效的将图像分门别类，是当前多媒体技术研究热点之一。就图像分类而言，虽然不同的应用背景有着不同的分类目标与评价标准，然而所有的图像分类应用都需要首先进行图像的描述，并且针对不同的应用通常要选择不同的图像描述方法。图像描述通俗讲就是利用一组数据来表示一幅图像，这组数据可以是向量的形式，也可以是矩阵的形式，它是图像信息的一种抽象表达，是做图像分析的重要模块之一。自然场景图像中的图像内容复杂多变，图像中通常会出现多个目标信息，因此准确刻画图像中出现的模式信息，是实现图像准确分类的前提。
[0003]传统方法中通常是将图像分为不同尺度下的方块，然后通过描述图像中各个子块的信息来表达图像中的纹理信息和位置分布信息。这种图像描述方法没有表达出图像中的模式信息和目标显著性信息，从而导致对图像描述不够准确。此外，这种方法还存在图像中同一目标物被拆分开来的问题，使得同一目标物在场景中不同位置出现会形成完全不同的特征描述，因此，缺乏对图像中目标整体信息的描述。
【发明内容】
[0004]为了克服已有技术的不足，本发明的目的在于设计一种带有图像模式子块分布信息的图像分类方法，提出一个图像信息更加丰富的图像描述方法，适合于多目标图像场景的分类。为此，本发明提供一种基于多层次模式子块划分的图像分类方法。
[0005]为达到所述目的，本发明提供一种基于多层次模式子块划分的图像分类方法，该方法的图像分类步骤如下:
[0006]步骤S1:提取图像多尺度下的显著性区域分布图，并根据显著性区域分布采样不同位置和大小的窗口；
[0007]步骤S2:对图像实施超像素分割，通过分析每个窗口与其内外邻近超像素的位置和分布关系确定每个窗口出现目标的概率，构造多层次模式子块；
[0008]步骤S3:对每一个子块做多字典特征描述，然后将其组织为张量模式用做图像的特征描述；
[0009]步骤S4:对图像的张量描述作典范相关分析，提取图像特征向量，最后通过分类器进行分类。
[0010]本发明针对图像分类问题，通过显著图和超像素分割将图像划分为对应不同显著度的多层次模式子块。对每一个子块做多特征字典描述，将图像构造为一个三阶张量描述，利用张量典范相关分析提取图像的特征向量，最后通过分类器进行分类。在公测数据库上的实验结果表明，本发明的基于多层次模式子块划分的图像分类方法，有效提高了图像分类的准确率。
[0011]【专利附图】
【附图说明】
[0012]图1是本发明所述图像分类方法的分类框图；
[0013]图2是多层显著图提取结果；
[0014]图3是图像超像素划分结果；
[0015]图4是显著图窗口与超像素跨越关系图；
[0016]图5是多层次模式子块划分结果图；
[0017]图6是图像张量描述结构图；
[0018]图7是基于多层次模式子块划分图像分类方法在Pascal Voc2007图像库中前10类的分类准效果；
[0019]图8是基于多层次模式子块划分图像分类方法在Pascal Voc2007图像库中后10类的分类准效果。
【具体实施方式】
[0020]为了更清楚的表述本发明的目的、技术方案和优势，下面结合具体例子，对本发明【具体实施方式】做进一步的说明。
[0021]本发明利用显著图和超像素分割结果构造多层次模式子块划分，提出了一个有效的图像分类方法。图1所示为本发明基于多层次模式子块划分图像分类方法的分类框架，主要包括图像多层次模式子块划分、图像张量描述、张量描述下图像特征提取以及利用分类器分类等几个模块。参照图1，具体实施步骤如下:
[0022](一)多层次模式子块划分
[0023]首先，计算图像多尺度下的显著性区域分布，图2示出了三个尺度下的显著图，并根据显著性区域分布采样不同位置和大小的T个窗口 ；然后我们采用均值漂移方法对图像的Lab特征及位置特征进行分析和聚类来实现超像素分割，图3示出了超像素划分的结果。最后通过分析每个窗口与其内外邻近超像素的位置和分布关系确定每个窗口出现目标的概率，进而实现模式子块的提取，即定位图像中的多个目标物以及对应的外接窗口。为实现准确定位，对窗口与超像素的关系分析如下:
[0024]所有潜在目标窗口由显著性区域的分布生成，反映了图像中的潜在目标区域，因此显著图中每一个窗口w中含有度量窗口内出现显著目标程度的信息。我们利用超像素将图像分割为颜色、纹理相似的多个小区域，超像素划分需满足每一个超像素块中的像素属于同一个目标物，但一个目标物中可包含多个超像素。强边界目标下超像素不会跨越目标的边界，因此超像素具有保持目标边界的作用。由于显著图生成的窗口与超像素间的位置分布各异，为了保证窗口中目标物的完整性并使得窗口最大程度的贴合目标物，设计公式
(I)所示的度量方式来计算窗口与窗内目标物的紧贴程度，窗口越贴近目标物，SW值越大。
【权利要求】
1.一种基于多层次模式子块划分的图像分类方法，其特征在于，该图像分类方法的步骤如下:步骤S1:提取图像多尺度下的显著性区域分布图，并根据显著性区域分布采样不同位置和大小的窗口； 步骤S2:对图像实施超像素分割，通过分析每个窗口与其内外邻近超像素的位置和分布关系确定每个窗口出现目标的概率，构造多层次模式子块； 步骤S3:对每一个子块做多字典特征描述，然后将其组织为张量模式用做图像的特征描述；步骤S4:对图像的张量描述做典范相关分析，提取图像特征向量，最后通过分类器进行分类。
2.根据权利I所述的基于多层次模式子块划分的图像分类方法，其特征在于，通过计算多尺度显著图分布和超像素的跨越关系，提取图像不同层次下的潜在目标区域。
3.根据权利I所述的基于多层次模式子块划分的图像分类方法，其特征在于，多层次模式子块划分是指:假设将图像分三个层次来分别提取模式子块，第一个层次中将原图视作一个整体子块；第二个层次中将图像粗划分为两个模式块，其中一块为图像中最显著区域所在的子块，另一块为图像中剩余区域；第三个层次中将图像划分为三个模式块，其中两块分别代表最显著子块与次显著子块，剩余区域为第三块。
4.根据权利I所述的基于多层次模式子块划分的图像分类方法，其特征在于，对每一个子块做多字典特征描述，然后将其组织为三阶张量模式用做图像的特征描述。
5.根据权利I所述的基于多层次模式子块划分的图像分类方法，其特征在于，对图像的张量描述做典范相关分析，提取图像特征向量，最后通过分类器进行分类。
【文档编号】G06T7/00GK103824079SQ201410045527
【公开日】2014年5月28日 申请日期:2014年2月8日 优先权日:2014年2月8日
【发明者】丁洪富, 吕煊, 李爱迪, 杨凯, 刘俸才, 许汀汀 申请人:重庆市国土资源和房屋勘测规划院, 重庆欣荣土地房屋勘测技术研究所