一种基于超像素以及多超图融合的图像分割方法与流程

本发明属于图像分割领域，特别涉及一种基于超像素以及多超图融合的图像分割方法。

背景技术

计算机视觉自诞生之日起，一直就是计算机科学领域中的研究热点之一。同时，计算机视觉又是一个多领域交汇的学科，它与光信息技术、自动化技术、计算机技术、集成电路技术、生物学、心理学等诸多方向都有关系。从20世纪60年代初开始，各国科学家就开始了对计算机视觉的研究，但开始的很长一段时间内总体进展并不是很大；直到20世纪80年代，计算机视觉研究才出现了转折点，取得了大量的重要研究成果。计算机视觉发展到现在，在算法、视觉系统、模式识别、以及特征检测与描述方面都获得了显著的成绩。

图像分割是计算机视觉中一个非常基础，但是又非常关键的工作，图像分割结果的好坏会直接影响到后续的视觉处理效果，包括跟踪、识别、分析等。计算机视觉发展至今，图像分割仍然是一个没有完善解决方案的基础性问题。图像工程主要由图像处理、图像分析和图像理解三部分组成，而从图像处理到图像分析必须先经过分割。在图像分析中，只有在分割得正确的前提下，所提取出的图像特征对图像结构进行分析等才是有意义的。图像分割也是理解的前提。图像分割几乎涉及了各种图像，比如医学图像、遥感图像、视频交通监控中的图像，因此它的应用面非常广泛，这也是本文研究图像分割的初衷。

目前而言图像分割中必须关注待分割图像中像素点之间的相关关系，在目前的一些图像分割方法中仅仅关注了二阶关系，而在很多场景下像素点之间存在着高阶关系，如何有效的刻画高阶关系是影响图像分割结果的关键因素，需要考虑使用超图这一结构来高效的刻画像素点之间的高阶关系。基于传统的特征提取方法，单一特征很难取得好的效果，需要考虑多个特征相融合的方法以提升分割的精度。基于像素级的高阶关系刻画势必会导致方法的复杂度过高，难以实现，需要考虑采用超像素预分割，将原始图像先分割成若干超像素块，再对超像素块之间的高阶关系进行刻画。基于以上三点，本发明提出了一种基于超像素和多超图融合的图像分割方法。本发明采用超像素分割技术先生成超像素块，有效降低了计算的复杂度。利用多超图融合，在有效刻画了超像素高阶关系的基础之上大大降低了信息的损失。该方法无论在主观视觉上还是在客观评价指标上，都做到了分类精度的显著提升，具有较高的使用价值。

技术实现要素：

本发明的目的，在于提供一种基于超像素以及多超图融合的图像分割方法,其可解决图像分割中像素点高阶关系刻画的问题，有效提高了图像分割的精度。

为了达成上述目的，本发明的解决方案是：

一种基于超像素以及多超图融合的图像分割方法，包括如下步骤：

步骤1，对待分割进行超像素分割；

步骤2，对各超像素块进行多种特征提取；

步骤3，对多特征中的每一个特征进行基于超像素块的超图构建：

步骤4，从随机游走的角度融合多个超图的信息构建多超图拉普拉斯矩阵；

步骤5，构建基于多超图拉普拉斯矩阵的谱聚类模型并求解：基于得到的多超图拉普拉斯矩阵构造谱聚类模型，使用交叉迭代法进行求解。

上述步骤1中，运用slic模型对待分割进行超像素分割。

上述步骤2中，提取的特征包含颜色、梯度和纹理。

上述步骤3中，采用inh模型进行超图构建，将每一个超像素块看成是图的顶点，用超像素块之间的相似性作为顶点之间边的权重。

上述步骤4中，超图构建部分包括以下步骤：

步骤41，以p表示超图随机游走的转移概率矩阵，p的每一个元素表达如下：

其中，ω(e)为超边e的权重，h(u,e)＝1表示顶点u在超边e上，h(u,e)＝0表示顶点u不在超边e上，h(v,e)＝1表示顶点v在超边e上，h(v,e)＝0表示顶点v不在超边e上，d(u)为顶点u的度，δ(e)为超边e的度；

顶点u和顶点v随机游走的稳态分布分别表达如下：

其中，d(u)为顶点u的度，d(v)为顶点v的度，vol(v)为v中包含的顶点的度，v为超图中的顶点集合；

从随机游走的角度解释多超图分割，βi(u)为第i个超图的权重系数，α用来平衡各超图之间的权重：

其中，π1(u)、π2(u)分别表示第1、2个超图中顶点u随机游走的稳态分布；

各超像素之间的转移概率矩阵表达为：

p(u,v)＝β1(u)p1(u,v)+β2(u)p2(u,v)

其中，p1(u,v)、p2(u,v)分别表示第1、2个超图的元素；

顶点v的稳态分布表达为：

π(v)＝απ1(v)+(1-α)π2(v)

步骤42，将上述方法推广到多个超图上：

其中，πi表示第i个超图稳态分布的矩阵格式，αi表示第i个超图的权重，pi表示第i个超图随机游走的转移概率矩阵，n表示超图的个数；

得到多超图融合之后的拉普拉斯矩阵：

其中，上标t表示转置矩阵。

上述步骤5的具体内容是：

步骤51，谱聚类的基本模型表达如下：

s.t.x^tx＝i

其中，tr表示矩阵的迹，x表示超像素集合，d表示对角阵，l表示拉普拉斯矩阵；

基于多超图拉普拉斯矩阵的谱聚类模型表达如下：

x^tx＝i

其中，tr表示矩阵的迹，n表示超图的个数，αi表示第i个超图的权重，π表示稳态分布的矩阵格式，pi表示第i个超图随机游走的转移概率矩阵，λ表示平衡因子；

步骤52，运用交叉迭代的方法求解，首先固定α，更新x：

s.t.x^tx＝i

步骤53，固定x，更新α：

这里mi＝x^t(πipi)x.，该优化模型求解得到：

得到x∈r^n×k，x是由k个列向量组成的矩阵，将n个行向量看作n个不同的样本，也代表着n个超像素块，对这些样本进行k-means聚类，最终对超像素块进行划分，得到最终的分割结果。

采用上述方案后，本发明采用超像素分割技术先生成超像素块，有效降低了计算的复杂度。利用多超图融合，在有效刻画了超像素高阶关系的基础之上大大降低了信息的损失。该方法无论在主观视觉上还是在客观评价指标上，都做到了分类精度的显著提升，具有较高的使用价值。

附图说明

图1是本发明的流程图。

具体实施方式

以下将结合附图，对本发明的技术方案及有益效果进行详细说明。

如图1所示，本发明提供一种基于超像素以及多超图融合的图像分割方法，包括如下步骤：

步骤1，运用目前较为成熟的slic模型对待分割进行超像素分割：slic模型能够有效地对原始图像进行超像素分割，生成均匀有序的超像素块，超像素块内的超像素点具有较强的一致性，使得这样的超像素块在一定程度上带有语义特征。

步骤2，对各超像素块进行多种特征提取：这里采用传统方法对每一个超像素块进行特征提取，提取的特征包含颜色，梯度，纹理等等，多种特征的提取可以保证对各超像素块更好的描述与表达。

步骤3，采用较为成熟的inh模型对多特征中的每一个特征进行基于超像素块的超图构建：这里将每一个超像素块看成是图的顶点，用超像素块之间的相似性作为顶点之间边的权重。inh是较为成熟的超图构造模型，具备较强的高阶关系表达能力，能有有效的刻画超像素块之间的内部结构。

步骤4，从随机游走的角度融合多个超图的信息构建多超图拉普拉斯矩阵：对超像素块提取多种特征之后需要将提取出的特征融合在一起，这里从随机游走的角度出发，综合多种特征的转移概率和稳态分布，构造多超图拉普拉斯矩阵，不同特征的权重体现在矩阵参数之中，可在后续步骤中学习得到。

步骤5，构建基于多超图拉普拉斯矩阵的谱聚类模型并求解：基于得到的多超图拉普拉斯矩阵构造谱聚类模型，使用交叉迭代法进行求解。

需要说明的是，本发明的核心步骤在于构造多超图拉普拉斯矩阵以及基于多超图拉普拉斯矩阵的谱聚类模型，具体实施方式的描述主要侧重于步骤4,5，步骤1、2以及步骤3可采用现有技术实现。

记图像对应的超图邻接矩阵为h＝(x,e)，x为超像素集合，v为超图中的顶点集合，e为超边集合，l为对应的拉普拉斯矩阵，d为对角阵，n代表超图的个数。e为超图上的一条超边，u和v代表超图上两个不同的顶点，d(u)为顶点u的度，δ(e)为超边e的度，ω(e)代表超边e的权重，vol(v)为v中包含的顶点的度，π(v)为随机游走的稳态分布，h(u,e)＝1代表顶点u在超边e上，h(u,e)＝0代表顶点u不在超边e上。

所述步骤4中，超图构建部分包括以下步骤：

(1)以p表示超图随机游走的转移概率矩阵，p的每一个元素可表达如下：

随机游走的稳态分布表达如下：

从随机游走的角度解释多超图分割，βi(u)为第i个超图的权重系数，α用来平衡两个超图之间的权重：

各超像素之间的转移概率矩阵可表达为：

p(u,v)＝β1(u)p1(u,v)+β2(u)p2(u,v)

稳态分布可表达为：

π(v)＝απ1(v)+(1-α)π2(v)

(2)上述的多超图融合方法只能用于两个超图之间，但此方法中需将多个超图进行融合，需要将上述方法推广到多个超图上，πi代表第i个超图稳态分布的矩阵格式、αi代表第i个超图的权重、pi代表第i个超图随机游走的转移概率矩阵：

这里可以得到多超图融合之后的拉普拉斯矩阵：

所述步骤5中，超图谱聚类模型构建并求解包括以下步骤：

(1)谱聚类的基本模型表达如下：

s.t.x^tx＝i

基于多超图拉普拉斯矩阵的谱聚类模型可表达如下(λ为平衡因子)：

x^tx＝i

(2)这里运用交叉迭代的方法求解，首先固定α，更新x：

s.t.x^tx＝i

这里可以转化为特征分解问题进而求解。

(3)固定x，更新α：

这里mi＝x^t(πipi)x.，该优化模型可以求解得到：

这里我们得到x∈r^n×k，x是由k个列向量组成的矩阵，将n个行向量看作n个不同的样本，也代表着n个超像素块，对这些样本进行k-means聚类，最终可以对超像素块进行划分。经过一定的后处理步骤，可以得到最终的分割结果。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。