一种基于尺度感知的图像分割层次选择方法与流程

本发明涉及计算机视觉、图像处理技术领域，尤指多层次图像分割技术。

背景技术：

图像分割是图像处理和计算机视觉的一个关键问题，通常指按照一定的标准将图像划分成若干互不相交的区域，使同一区域内的图像灰度、彩色、纹理等特征表现出一致性或相似性，而在不同区域之间这些特征表现出明显的差异。图像分割体现了对图像内容的理解，但由于缺乏统一标准，图像中有意义的目标往往具有多层次(尺度)的特点。因此可按不同粒度和语义提取图像目标，用不同数量的区域来描述同一目标。基于该思想，人们提出了多层次图像分割方法，它可以产生具备树形结构的图像分割结果，形成上下层次关系的图像内容描述。其优点在于能为不同分割任务提供较全面、准确的分割结果，从而适应不同目的的计算机视觉任务，提高处理精度和效率，是充分挖掘高分辨率和复杂场景图像应用潜力的有效途径。多层次图像分割方法已成为极具潜力和引人关注的图像分割技术，是近年来图像分割技术的主流研究方向。

然而，多层次图像分割结果的树形表示不能直接作为实际问题的解，需要确定目标区域的尺度才能到最终的图像分割结果。通常的办法是选择某个阈值，在已有的树形分割结果中提取某一层次作为最终的图像分割结果。该方法存在诸多问题：首先，图像可能包含多个目标，它们的最优尺度可能各自出现在不同的分割层次，因此无法利用单一阈值找到所有最优的目标区域；其次，阈值选择依赖于专家设定或者已有的参考分割结果，不仅繁琐且存在主观差异，或者依赖已有的标记数据，无法实现在线图像分割。研究图像分割的层次选择问题，是完善分多层次图像割技术的必要手段，能有效提高图像语义分割、图像显著性目标检测、视频目标检测、目标识别等相关领域的技术水平。

图像分割层次选择应该以目标区域的分割质量为基础。目前有大量针对图像分割质量评价的方法，但很少直接应用在分割结果尺度选择上。这些评价方法中，常见的是对图像分割的区域或边界特征进行描述，包括：区域内部性质的一致性、相邻区域性质的差异性、区域大小、形状特征、周长特征等。然后利用经验评价准则，对各种特征的好坏定量描述：例如设计特征质量评价函数，对单一或多个特征进行量化，函数值的大小直接反映分割质量的好坏程度。另外有方法利用机器学习技术，用训练好的分类器对分割特征好坏进行分类。其中，评价函数方法的质量评价准确度较低，对分割质量的综合描述能力较差；机器学习方法需要较多特征数量，训练过程产生的计算复杂度和计算量很大，一般仅能对分割质量的好坏进行粗略分类，不能进一步刻画好坏的程度。

图像分割层次的选择还依赖于目标区域的尺度选择。如果以整体分割来选择层次，就等价于专家阈值设定，但不一定满足每个目标区域的尺度最优。为进一步提高图像分割结果的准确度，需要从不同的分割层次选择最优的目标区域。专利(申请号201710929464.4)提出了一种多层次分割区域的合成方法，由于算法优化结果不能保证相邻区域维持层次选择的一致性条件，因此采用低层选择优先的策略进一步调整合成结果。其计算过程需对模型进行两轮优化，每一轮均需要全部叶节点参与。本发明采用了基于图模型的迭代优化算法，通过选择适当的模型节点，迭代过程始终满足层次选择的一致性，具有更好的理论性质。且迭代过程仅利用较少的叶节点和目标区域特征，提高了计算效率，能获得高质量的图像分割结果，具有很大的实用价值。

技术实现要素：

鉴于现有多层次图像分割层次选择算法存在的局限性，本发明的目的是提供一种具有尺度感知特性的最优目标尺度选择方法，从而提高多层次图像分割结果的质量。

具体实施步骤如下所示：

在图像多层次分割结果中由低到高层次选择一定数量的分割结果，计算每幅图像的区域特征，并度量不同层次分割区域的质量。以分割粒度最细的层次区域为节点集，建立优化组合图模型，通过迭代优化得到每个节点的最优尺度标签，最后合成新的分割结果，包括如下步骤。

步骤1：将多层次图像分割结果表示成超度量轮廓图，其中包括n个层次分割结果。以层次为起点，l为固定步长，由低到高取k个层次的图像分割结果其中每幅分割图像包含的区域个数满足关系

步骤2：计算s中每幅分割图像的区域特征，以此得到区域的分割质量。区域特征包括：每个区域的rgb颜色直方图、纹理直方图和分割区域几何尺寸特征。同时计算图像边缘梯度值。根据区域特征计算区域的分割质量，即区域内部直方图特征的一致性、相邻区域之间特征直方图的卡方距离，计算图像边缘梯度平均值，作为边缘的分割质量。将所有分割质量分数相加，得到每个区域的分割质量总评价分数。

步骤3：建立s的区域层次关系模型。以中的每个区域为叶节点，分别找到它们在中对应的父节点，且满足每个叶节点在每个层次中有且仅有一个父节点。如果某相邻两个分割层次的对应区域完全重合，则记为同一个父节点。以此构成至下而上k个层次的树形结构t。设置变量m＝1，叶节点层次标签集合初始值为

步骤4：构建多标签图模型。

步骤4.1：按照父节点所在的层次，选择父节点在第m层的叶节点，构成集合vm。构建图模型g＝＜vm,em＞，其中vm，em表示图g中节点和连接节点的边，分别对应中部分叶节点区域以及这些区域之间的相邻连接。

步骤4.2：设置图模型g的n-links值。即设定相邻叶节点之间连接边的权重，对于ei∈em，ei的权值为其中

步骤4.3：设置图模型g的t-links值。即vm中每个叶节点对应在l^*,...,m层中父节点的分割质量分数。因此每个叶节点有|m-l^*+1|个t-links值。计算方法：找到vm中每个叶节点在t中第l^*至m层的父节点，利用步骤2的计算结果将每个叶节点的t-links设为父节点在中对应区域的分割质量分数。

步骤5：利用α-expansion算法求解步骤4中所构建的多标签图模型的最优解，更新l^*中vm叶节点的最优层次类别标签。令m＝m+1，如果m≤k，返回步骤4；

步骤6：根据标签集合l^*找到对应分割层次，从而找到叶节点对应的分割区域。将所有区域按空间位置排列，得到最终的分割结果。

进一步地，步骤1中k值选择不宜超过10，即固定步长l不宜小于较大k值使不同层次包含区域的相似度增大，造成重复选择相同的区域，降低计算效率。

与现有技术相比，本发明的积极效果是：

一、区别于以往基于最优阈值的单一层次选择方法，本发明从多个分割层次中选择目标分割质量高的区域，实现了基于目标分割层次的自适应选择。

目前多层次图像分割方法的分割结果大多依赖阈值设定选择层次，以单一分割层次作为图像分割结果，无法充分发挥多层次分割算法对图像目标描述的优势，且选择过程需要利用参考分割图像，因此不能用于在线图像分割任务。本发明采用基于尺度选择的多层次分割区域选择，对区域质量的评价不需要参考分割图像，因此克服了繁琐的人工阈值操作和单一目标层次描述的局限性。

二、区别于现有多层次分割的层次选择方法，本发明使用较少的区域特征计算分割质量，减少参与计算的区域节点数量，使用迭代优化组合模型更先进，优化效果更好。

现有多层次分割层次选择方法依赖于分类器的训练，依赖大量图像区域特征，且区域尺度选择大量树形节点参与，对区域特征向量采用局部优化方法进行选择，计算量大，优化效率不高。本发明采用多标签图模型，使用的树形节点和特征数量均较少，通过迭代优化可迅速计算出结果，且模型优化能力更强、效率更高。

附图说明

图1是本发明方法的工作框图。

图2是bsds500数据库上用最优阈值层次选择和本发明方法进行层次选择的定性比较结果。其中图像分割算法分别采用了ucm、mcg、scg和pmi算法产生多层次分割结果。

图3是pascalvoc2012数据库上分别用单一阈值选择和用本发明方法得到图像分割结果的比较。其中每幅图用两种方法产生的分割区域个数相同。

具体实施方式

具体实施步骤如下所示：

步骤1：将多层次图像分割结果表示成超度量轮廓图，其中包括n个层次分割结果。以层次为起点，l为固定步长，由低到高取k个层次的图像分割结果其中每幅分割图像包含的区域个数满足关系

步骤2：计算s中每幅分割图像的区域特征，以此得到区域的分割质量。区域特征包括：每个区域的rgb颜色直方图、纹理直方图和分割区域几何尺寸特征。同时计算图像边缘梯度值。根据区域特征计算区域的分割质量，即区域内部直方图特征的一致性、相邻区域之间特征直方图的卡方距离。计算图像边缘梯度平均值，作为边缘的分割质量。将所有分割质量分数相加，得到每个区域的分割质量总评价分数；

(i)区域内部颜色一致性特征fintra_lab，反映图像区域在rgb颜色空间下的直方图分布情况，定义如下：

其中，r,g,b三个通道分别划分为20个bins，是每个bin对应的颜色直方图值。fintra_lab越小，说明区域内部颜色一致性越高，即分割质量越高。

(ii)区域内部纹理一致性特征fintra_texture。使用高斯和拉普拉斯滤波器(σ＝10)，和具有6个方向3个尺度(σx,σy)＝{(1,3),(2,6),(4,12)}的高斯一阶、二阶微分滤波器，得到区域纹理特征的描述。定义：

其中，38个纹理直方图划分别划分为20个bins，是每个bin对应的纹理直方图值。fintera_texture越小，说明区域内部纹理一致性越高，即分割质量越高。

(iii)区域间颜色差异性特征finter_lab，定义为图像分割在rgb颜色空间的直方图卡方距离：

其中分别是目标区域x及其相邻区域y的rgb颜色直方图，3个颜色通道共3个直方图，分别包含20个bins。finter_lab越大，说明区域内外颜色差异性大，即分割质量越高。

(iv)区域间纹理差异性特征finter_texture，定义为分割区域之间的纹理直方图卡方距离：

其中分别是目标区域x及其相邻区域y的纹理直方图，共38个直方图，分别包含20个bins。finter_texture越大，说明区域内外纹理差异性大，即分割质量越高。

(v)分割区域的几何尺寸特征fgeo，定义如下：

其中是基准分割层次包含的目标区域个数，是当前层次包含的目标区域个数，r是图像面积，rx是目标区域面积。目标区域面积越大且所在分割图像包含的区域个数越少时，该特征值越大，说明越容易产生欠分割。

(vi)分割边缘的梯度特征计算方法如下：

其中b是当前区域分割边界两侧属于不同区域的相邻像素对集合，是像素点取灰度值的梯度。该特征值越小，边缘梯度一致性越高，说明分割质量越高。

将以上6种特征值相加，得到区域的分割质量综合评价分数；

步骤3：建立s的区域层次关系模型。以中的每个区域为叶节点，分别找到它们在中对应的父节点，且满足每个叶节点区域的像素都包含在其父节点区域中，且它在每个层次中有且仅有一个父节点。如果某相邻两个分割层次的对应区域完全重合，则记为同一个父节点。以此构成至下而上k个层次的树形结构t。设置变量m＝1，叶节点层次标签集合初始值为

步骤4：构建多标签图模型

步骤4.1：按照父节点所在的层次，选择父节点在第m层的叶节点，构成集合vm。构建图模型g＝＜vm,em＞，其中vm，em表示图g中节点和连接节点的边，分别对应中部分叶节点区域以及这些区域之间的相邻连接。

步骤4.2：设置图模型g的n-links值。即设定相邻叶节点之间连接边的权重，对于ei∈em，ei的权值为其中

步骤4.3：设置图模型g的t-links值。即vm中每个叶节点对应在1,…,m层中父节点的分割质量分数，其中1,…,m-1层(m≥3)的对应节点区域应替换为l^*层的区域。因此每个叶节点有|m-l^*+1|个t-links值。计算方法：找到vm中每个叶节点在t中第l^*到m层的父节点，利用步骤2的计算结果将每个叶节点的t-links设为父节点在中对应区域的分割质量分数。

步骤5：利用α-expansion算法求解步骤4中所构建的多标签图模型的最优解，能量方程定义如下：

其中i是vm中的叶节点编号，l是节点的标签，m是叶节点区域邻域。d(li)是每个叶节点区域在l^*,m层次中取对应父节点区域的分割质量，即t-links值。u{j,j'}·t(lj≠lj')表示叶节点和它相邻区域的n-links值。λ是调节前后两项权重的常数，设为0.5。更新叶节点标签的优化结果，将l^*中vm的标签设置为最优层次的标签。令m＝m+1，如果m≤k，返回步骤4；

步骤6：根据标签集合l^*找到所有叶节点对应分割层次，从而找到对应的分割区域。将所有区域按空间位置排列，得到最终的分割结果。

有益结果

为验证本发明的有效性，本发明利用3种国际公开的权威图像分割数据库进行验证，见表1。

表1相关图像分割数据库描述

使用了目前最流行、性能最好且开源的4种多层次图像分割算法，对其产生的树形分割结果进行优化组合得到最终的分割结果。算法包括：gpb-owt-ucm、mcg、scg和pmi。

首先采用segmentationcovering(sc)、probabilisticrandindex(pri)、variationofinformation(vi)3种图像分割质量评价指标。在bsds500上运行4种多层次分割算法，每种算法设定为公开代码的默认参数值，并用效果最好的阈值分别获得层次分割结果。利用本发明提出的方法和现有基于特征分类的算法sah进行层次选择，其结果均与阈值方法比较，结果如表2所示。该表反映了各种分割算法对图像中低层语义目标分割的效果，其中sc、pri值越大，对应分割结果的质量越高，vi值越小，分割质量越高。

由表2可见，所有评价指标得到的结果中，本发明的方法在ods(optimaldatasetscale)指标下均等于或优于其它方法。虽然ois(optimalimagescale)指标下算法的性能优势不明显，但由于ods比ois更具实际操作性和应用价值，所以能证明本发明方法的优势。其中对pmi算法结果的改进效果最明显。由于pri指标对图像分割质量的变化不太敏感，分数变化小，所以反映出来层次选择的效果不明显，但与现有方法的结果相当。

表2不同算法在bsds的分割质量对比

为了验证本发明的方法对高层语义目标的分割效果，利用gpb-owt-ucm算法(scg算法和mcg算法是基于gpb-owt-ucm的改进，因此可看做是同类方法)和pmi算法，采用同样本发明方法在pascalvoc2012，sbd上分别计算ods指标下的分割质量评价指标，结果如表3。实验结果同样验证了本发明方法能提高多层次分割算法的输出质量。

表3.不同算法在pascalvoc2012，sbd的分割结果

为了定性展示本发明方法与单一最优阈值方法的对比，在图2中给出了ucm、mcg、scg和pmi算法产生结果比较。由图可见，本发明方法对图像中有意义目标的分割质量有明显改进。利用单一阈值方法仅能保证评价质量在整幅图最优，但无法保证局部目标的分割质量，而通过迭代优化选择分割层次可提高目标个体的分割质量，且与人的主观感知更接近。

最后，为了直观比较本发明方法在多层次分割区域尺度选择上的优势，图3列举了在分割区域个数相同的条件下，利用本发明方法进行局部最优尺度选择得到的分割结果以及用单一阈值方法得到的分割结果。在这些结果中，本发明方法能将分布在不同分割层次的局部目标整合到同一幅分割结果中，更符合图像分割的输出要求。因此验证了用单一阈值选择层次无法很好地实现多个图像目标的分割，而本发明方法可较好地弥补这一缺点。