基于显著性无监督部件划分的弱结构物体细粒度分类方法与流程

本发明涉及医学图像处理技术领域，具体是基于显著性无监督部件划分的弱结构物体细粒度分类方法。

背景技术：

同一基本类别的物体一般都具有相似的身体部件，使得精细化的部件检测和局部特征提取成为可能。但是，也有一部分细粒度分类中的对象物体,因为其不同类别样本的对应部件具有显著的形状差异，导致无法训练统一的部件检测子，极大地增加了部件检测和局部特征提取的困难，我们称这类物体为弱结构物体，比如花朵。一般的弱结构物体分类方法都是通过提取全局的视觉特征进行分类，这难免会忽略一些重要的局部特征，降低特征的判别能力。因此使用基于显著性的无监督部件划分策略来提升特征的判别能力，提出一种弱结构物体细粒度分类方法。

得益于对部件的分析，一般的细粒度分类方法在分类鸟类，狗类，车辆等物体上取得了不错的效果。这些方法的成功依赖于这些物体的部件所具有相似的外观，使得这些部件能够被对齐到一个同一的特征空间。然而也是由于这个原因，这类方法在分类植物等一些弱结构物体方面的性能并不是非常理想。具体来说，除了细粒度分类领域面临的传统困难，比如光照、姿态变化以及高度局部化的特征，弱结构物体极大的形状变化更进一步加重了图像分析的困难。比如一些花朵的花蕊非常细小，还会因为姿态变化表现出极大的类内变化，还有一些花朵具有5片较宽大的花瓣，而一些花朵具有成簇的细碎花瓣，要将对齐这些部件是极其困难的。由于这些原因，一些非常先进的细粒度分类方法也无法直接应用在弱结构物体的分类上。

大多数的弱结构物体类方法遵循一个相同的分类流程：首先对前景进行分割，然后提取前景的底层视觉特征，接着使用视觉词袋编码技术(bow)对提取的全局特征进行特征编码得到最终的分类向量。已有的工作大多聚焦于怎样检测和提取前景分割，提取具有判别力的特征等方面。angelova等通提出了一种结合了区域分割和前景分割的细粒度花朵分类方法。类似地，chai等提出了一种二层次的分割方法用于分割并分类花朵。nilsback等不仅仅使用了颜色模型来分割花朵的前景，还使用了一种基于形状的模型来描述花的各部分结构。还有部分工作集中于如何设计和评估特征比如形状描述子和角度描述子,纹理描述子。一部分方法还研究了如何融合多种特征并评估它们在花朵分类中的效果。但是所有上述方法都是在前景的全局提取特征后进行全局的特征编码池化，通过bow得到最终的分类向量。这些方案都没有对弱结构物体的结构进行进一步的探索，限制了其性能的进一步提升。因为一些用于描述细小的花朵部件的视觉单词会因此被其他分布广泛的视觉单词所淹没，影响了这些视觉单词在最终分类向量中的特征表达效果，降低了特征的判别能力。所以提出使用图像显著度特性来自动地发现和划分弱结构物体的部件。在该方法中，模拟了人类观察物体的过程，并设计了局部特征提取和局部编码池化策略，能够一定程度上解决上述问题，并提高弱结构物体的分类准确率。

技术实现要素：

本发明的目的在于克服现有技术的不足，而提供一种基于显著性无监督部件划分的弱结构物体细粒度分类方法，该方法模拟了人类观察物体的过程，有效提高最终的特征编码的判别能力，在弱结构物体分类中，不用引入新类型的特征，就可以和全局类的方法形成互补，方便地扩展到应用了任何全局特征的分类方法中。

实现本发明目的的技术方案是：

基于显著性无监督部件划分的弱结构物体细粒度分类方法，包括如下步骤：

s1、获取数据集训练样本d；

s2、对步骤s1获得的数据集训练样本进行前景分割处理，使用弱结构图像的结构先验指导分割过程，通过加入结构先验和融合多种分割方法，改进了一种基于显著性检测的分割方法，使用该方法对数据集进行前景分割，可得到处理后数据集d1；

s3、基于显著性无监督部件划分方法，对步骤s2的经过前景分割后的数据集d1，使用显著性信息对花朵图像前景进行无监督的部件结构的划分，以及对局部特征提取和编码池化，产生特征数据集d2；

s4、根据步骤s3得到的特征数据集d2，再结合多种特征sift，densesift和labcolor，进一步计算融合多特征的中层特征表示，使用全局提取并池化的特征，再对图像数据集进行分类，得到物体细粒度的分类结果。

步骤s1中，所述的数据集训练样本，是使用oxfordflower102数据集，采用该数据集测试一种弱结构物体细粒度分类方法，该数据集收集了102种花朵的共8189幅图像，还提供了真实分割掩码，训练测试集合划分等信息。

步骤s2中，所述的一种基于显著性检测的分割方法，虽然saliencycut方法简单，高效并且本身具有多尺度特性，其仍然容易出现问题；因此将saliencycut方法进行改进，使用超像素分割算法在正确分割的图像中的前景和背景区域采集大量的局部图像块，这些图像块的标签即指示了它们属于前景还是背景，然后采用这些图像块训练svm分类器去判断一个查询图像块是属于前景还是背景，当给定一个经由saliencycut分割完成的图像，在该图像背景区域采样一些局部图像块，用上述svm分类器进行判断；若这些图像块大部分都属于前景，则说明saliencycut的分割结果不准确，该方法可能会丢弃了本应该属于物体的前景区域，因此将这些区域加入前景区域集合中，得到处理后数据集d1。

步骤s3中，所述的基于显著性无监督部件划分方法，是对步骤s2的经过前景分割后的数据集d1，以及对局部特征提取和编码池化；该方法按照每个部件区域包含像素的多少对它们的显著度排序进行重新组织，使得具有较少像素的区域具有更高的显著程度，在特征提取和池化阶段，标记某一种特征(比如sift，hog特征)，并且在显著性图标记的每一个部件区域内分别提取这些特征，并从所有样本图像中每个区域提取的特征将被用于学习属于各自区域的独有的一套视觉单词字典，产生特征数据集d2。

步骤s4中，根据步骤s3得到的特征数据集d2，再结合多种特征sift，densesift和labcolor，进一步计算融合多特征的中层特征表示，具体是考虑有多个一对多的支持向量机分类器svms，对于每一个样本，通过收集所有这些分类器的预测分数而获得一个高维的向量，将这些高维向量融合多特征的中层特征，在分类阶段，使用全局提取并池化的特征，并使用基于无监督部件划分和局部特征提取池化策略，得到物体细粒度的分类结果。

有益效果：本发明提供的基于显著性无监督部件划分的弱结构物体细粒度分类方法，该方法有如下优点：

(1)本发明利用基于全局对比度的显著性区域检测算法，并迭代地更新获得的部件检测假设和分割前景假设，进而最大限度地保留尽可能多的对细粒度视觉分析有用的部件；

(2)本发明提出了一种基于显著性图的特征提取方法。该方法能够在区域内学习的局部的视觉单词能够更好地凸显局部的具有判别力的特征，从而提高局部特征在整个特征编码中的表达能力；

(3)本发明多特征的中层特征表示方法，其全局特征和局部特征分别描述了物体的不同方面，它们具有一定的互补性。本发明用现有的特征重新组织并获得一种互补的特征用于弱结构物体分类，而不是像其他方法一样通过引入新的类型的特征来获得性能上的提高；

(4)本发明基于无监督部件划分方法，其对图像中的物体进行检测和分割。然后分割前景会被根据像素的显著度值进行进一步的划分，得到若干个区域。最后，可以在每一个区域中提取底层视觉特征，在每个区域中分别学习各自的视觉单词并编码池化特征。

附图说明

图1为本发明的基于显著性无监督部件划分的弱结构物体细粒度分类方法的流程图；

图2为实施例中局部视觉单词学习算法示意图；

图3为实施例中局部特征提取和池化算法示意图；

图4为实施例中无监督部件划分和特征提取池化示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步阐述，但不是对本发明的限定。

实施例：

如图1所示，基于显著性无监督部件划分的弱结构物体细粒度分类方法，包括如下步骤：

s1、获取数据集训练样本d；

s2、对步骤s1获得的数据集训练样本进行前景分割处理，使用弱结构图像的结构先验指导分割过程，通过加入结构先验和融合多种分割方法，改进了一种基于显著性检测的分割方法，使用该方法对数据集进行前景分割，可得到处理后数据集d1；

s3、基于显著性无监督部件划分方法，对步骤s2的经过前景分割后的数据集d1，使用显著性信息对花朵图像前景进行无监督的部件结构的划分，以及对局部特征提取和编码池化，产生特征数据集d2；

s4、根据步骤s3得到的特征数据集d2，再结合多种特征sift，densesift和labcolor，进一步计算一种融合了多特征的中层特征表示，使用全局提取并池化的特征，再对图像数据集进行分类，得到物体细粒度的分类结果。

步骤s1中，所述的数据集训练样本，是使用oxfordflower102数据集，采用该数据集测试一种弱结构物体细粒度分类方法，该数据集收集了102种花朵的共8189幅图像，还提供了真实分割掩码，训练测试集合划分等信息。

步骤s2中，所述的一种基于显著性检测的分割方法，为了检测并分割弱结构物体的前景，先考察数据集中的图像，得到一般物体的颜色和纹理都显著地区别于背景的颜色和纹理，所以物体在整个图像中一般会处于最显著的地位，因此，saliencycut首先通过计算显著性图，在全图范围内估计显著性区域，然后这些显著性图被用于初始化一个改进的grabcut自动分割算法，saliencycut引入了区域对比度的概念，以此将空间关系和计算区域对比度结合起来；首先，利用graphcut分割方法将图像分成若干区域，然后统计每个区域的颜色直方图，对任一区域rq，通过计算其与其他区域ri的对比度来获得它的显著度值，显著度值表达式如下：

上述公式(1)中，w(ri)为区域ri的权重，dr(×,×)返回两个区域的颜色距离，ri中的像素数w(ri)突出了大区域的颜色对比度，任意两个区域r1和r2的颜色距离可以表示为：

上述公式(2)中，nq是代表区域内颜色种类，p(vq,i)为第i个颜色vq,i在第q个区域所有nq个颜色中出现的概率，其中q＝1,2，使用了区域概率密度函数中颜色出现的概率作为权重，所以突出了主要颜色之间的差别，生物视觉研究发现，视觉系统对信号的对比度是较为敏感的，所以该方法的计算过程一定程度上反应了人类观察物体的习惯特点，其结果也符合人的主观预期。

尽管saliencycut方法简单，高效并且本身具有多尺度特性，其仍然容易在以下两种情况下出现问题：

(1)当一个物体的前景在整个图像中占据了大部分面积的时候，该算法倾向于将背景区域分割为显著区域；

(2)如果一些物体的部件(如花蕊)比其余部件区域或者背景区域的显著程度高出许多，那么saliencycut倾向于丢弃其余这些区域而仅仅将最显著的部分分割为前景从而造成一些部件的丢失。

为了解决上述第二种情况中，小尺寸物体被误分割的问题，使用那些被认为已经正确分割的物体(算法检测到的显著区域占图像的面积的比例r值大于t2)训练一个svm分类器，使用超像素分割算法在正确分割的图像中的前景和背景区域采集大量的局部图像块,这些图像块的标签即指示了它们属于前景还是背景，然后用这些图像块训练分类器用于判断一个查询图像块是属于前景还是背景；当给定一个经由saliencycut分割完成的图像，在图像的背景区域采样一些局部图像块，用上述svm分类器进行判断；若这些图像块大部分都属于前景，这就说明saliencycut的分割结果并不准确，这些图像丢弃了本应该属于物体的前景区域，则将这些区域加入前景区域集合中；反之则说明分割结果是准确的。通过下面三步来优化saliencycut检测和分割前景的结果：

1)计算所有图像的saliencycut分割结果的前景占图像面积的比例r，使用阈值t2将得到分割结果的图像分为合理的分割和需要优化的分割两部分，使用合理分割的结果训练前背景svm分类器；

2)使用grabcut优化上一步得到的r值小于t1的分割结果；

3)将svm应用在第一步得到的r值处于t1和t2之间的分割结果。

使用本步骤改进的saliencycut算法对数据集进行前景分割，可得到处理后数据集d1。

步骤s3中，对步骤s2的经过前景分割后的数据集d1，使用显著性信息对花朵图像前景进行无监督的部件结构的划分，以及对局部特征提取和编码池化；无监督部件划分步骤：首先为每个图像的前景计算一个显著性图，其将前景分为若干个可以被认为是不同部件的区域。然后，在每个区域中，通过掩盖掉其他区域，为每个区域提取底层视觉特征以描述这个区域(部件)，这些底层特征被分别用来学习描述每个区域的视觉单词，这些视觉单词最终被用于编码和池化其所在区域内的局部特征，整个局部特征提取和池化的过程分别如图2和图3所示。

基于全局对比度的显著性区域检测算法被用于计算弱结构物体图像中前景的显著度图，该算法迭代地估计全局对比度差分和它们的空间关联性，比现有显著度检测方法具有更高的效率和检测准确性，然后模拟人类注视点的移动过程，计算出前景图像的显著度图，虽然也有一些方法计算了类似的显著度图，显著度图有个三方面的不同：

1、一般的显著度图指出的是整幅图像中最显著的区域，而本发明方法是聚焦于图像前景上的显著度图，给出的是花朵各个区域(部件)的显著性区别；

2、显著度图的计算并不仅仅限于使用每个像素的显著度数值，而是增加了适用于弱结构物体的结构性约束，使用像素的显著性值划分区域，然后按照每个区域所拥有像素的多少对区域的显著程度进行重新排序，令更小的区域具有更强的显著性，为后续的局部特征编码池化做准备；

3)显著图中的每个区域都具有其特有的视觉单词字典，这些字典是通过在每个区域单独地提取底层视觉特征后进行学习的。

而现有方法一般是在全局的区域提取特征并学习一个同一的市局单词字典，这样往往会损害一些细小区域特征在特征编码中的表达，因为一些较大的区域或者部件在学习视觉单词的特征采样中能够提供更多的特征，那么其在最终学习到的视觉单词中所占的比例也可能很大，这就等于稀释了来自细小部件的视觉单词的作用。

假设一个人观察物体的过程分为k个步骤：首先被观察到的是最显著的部分，之后才会观察到不那么显著的部分(该顺序可能会根据物体的种类发生一些变化，比如因为花朵不同类别之间会出现极大的外形差异，一些花朵的某些部分经常被其他部分遮挡而变得不可见)；这种现象暗示了部件的显著程度会影响观察的顺序，因此将所有前景像素按照其显著度数值进行聚类，划分到总共k个类别，这些像素的类别是按照显著度值排序的；然后按照每个部件区域包含像素的多少对他们的显著度排序进行重新组织，使得具有较少像素的区域具有更高的显著程度，比如，区域1是显著度最高的部件区域，并且它具有最少的像素，至此，获得了物体前景的显著性图，其将物体划分为k个部件。

在特征提取和池化阶段，用f标记某一种特征(比如sift，hog等)，并且在显著性图标记的每一个部件区域内分别提取这些特征，从所有样本图像中每个区域提取的特征将被用于学习属于各自区域的独有的一套视觉单词字典，经过特征池化之后，得到k个特征直方图，而不是像传统的全局特征池化那样仅仅得到一个特征直方图，按照上述的方法为每一种特征计算一个直方图向量h^(f)，其可以通过拼接该特征的k个直方图得到：

h^(f)＝[h1,h2,...,hk](3)

上述公式(3)中，hk表示在第k个区域中得到的直方图，如果算法应用了多于一种特征，仅仅需要为每一种特征f计算对应的h^(f)，其中f∈{1,2,...,m}，最后这些不同特征的特征向量被融合到最终的分类向量中，对于某些细小的部件比如花蕊，一般学习到的视觉单词很可能远远少于从其他大尺寸部件中学到的视觉单词，这就造成在池化后的特征编码中，来自小尺寸部件的视觉单词对于整个特征向量的贡献小于那些来自大尺寸部件的视觉单词，而基于显著性信息的特征提取和池化策略实际上包含了物体的结构性信息，并且平衡了不同部件中的特征在池化后的特征编码中的表达效果，如图4所示，特征在一个更高维的空间能够区分原来不可分的一些信息，带来其判别力的提升，经过本步骤可产生特征数据集d2。

步骤s4中，根据步骤s3得到的特征数据集d2，再结合多种特征sift，densesift和labcolor，进一步计算一种融合了多特征的中层特征表示，使用的多种特征包括sift，densesift和labcolor，考虑有m个一对多的支持向量机分类器svms^(f)，其是为m个类别的物体训练的使用特征f的分类器，f∈{1,2,...,m}，然后这些分类器被用于预测训练样本和测试样本的类别，对于每一个样本，通过收集所有这些分类器的预测分数而获得一个m维的向量sf，将融合多特征的中层特征表示为：

s＝[s1,s2,...,sn](4)

在分类阶段，既使用全局提取并池化的特征，也使用基于无监督部件划分和局部特征提取池化策略，以结合这两者的优势；首先，来自两种方法的向量都按照上面所述的方法转换为中层特征表示并且拼接在一起；然后来自训练样本的中层特征表示被用于训练一个回归函数；最终使用这个训练好的softmax函数预测测试样本的类别；结合全局方法和基于显著性检测的分割方法的优势，因为全局特征和局部特征分别描述了物体的不同方面，在所得的实验结果证明它们具有一定的互补性，首次用现有的特征重新组织并获得一种互补的特征用于弱结构物体分类，而不是像其他方法一样通过引入新的类型的特征来获得性能上的提高。