一种保持边缘的图像超像素分割方法与流程

本发明涉及图像分析技术领域，尤其涉及一种保持边缘的图像超像素分割方法。

背景技术：

计算机和互联网的兴起带来的数据膨胀不可避免，照相机等设备的更新换代使得图片的尺寸越来越大，处理起来也越来越困难。假如逐像素点的去分析，会造成的信息的冗余和计算的浪费。如果存在一种方法，提前把颜色相似且位置相近的像素分类到一起，作为一个整体，作为后续图像分析中的一个基本单元，这将会极大的减少图像分析的计算量和运行时间。

超像素分割，就是这样一种预处理方法，其目的是提前将图像分成颜色相似的若干个区域，减少像素之间的冗余。在对图像做超像素分割之后，我们可以把分割后的每一块分割区域当做一个整体去处理，用逐块的分析来代替以前逐像素的分析，从而极大减少了特征的数量，节约了计算的时间；如图1所示，左侧为输入图像，中间为传统的超像素分割方式对输入图像进行分割，右侧为分割结果。然而，传统的超像素分割方式并不能完全保持图像的信息，当超像素分割数量减少时，图像信息或多或少的会被丢失。所以，该研究目的在于用尽量小的分割数量，尽可能好的保持原图的细节信息。

超像素方法主要分成两种：基于图分割的算法和基于梯度的算法。对于基于图分割的算法，它们往往先从图像中获取一个无向图结构，再通过优化基本图分割能量方程，不断的对无向图进行分割，直到生成最后的超像素分割结果为止。不同的算法有不同的图分割能量方程定义，以及不同的优化方法。然而，即使是最简单的能量方程，在求解过程中也是一个NP-hard的问题，并且是在整个全局图像去求解的，需要占用很高的时间复杂度。对于基于梯度的方法，一般先选取一定数量的像素点作为种子点，然后利用其它像素到种子点的距离(差异性)对其它的像素点进行聚类。然而，不管是使用基于颜色和坐标的欧式距离，还是基于路径的测地距离，它们对图像中边缘信息的保护并不理想。而且，往往需要多次相同的迭代计算，才能将超像素分割结果在保护图像边缘上收敛到好的效果，这导致了基于梯度的算法运行效率十分低下。

技术实现要素：

本发明的目的是提供一种保持边缘的图像超像素分割方法，能够保护图像边缘，同时，还提高了处理效率。

本发明的目的是通过以下技术方案实现的：

一种保持边缘的图像超像素分割方法，包括：

将输入的图像转换为无向图结构，再利用线性复杂度的方法从无向图结构中提取出图像的最小生成树MST，并定义MST中用于衡量图像空间信息的基本树距离和用于衡量图像颜色信息的加权树距离；

对图像进行单层超像素分割，其步骤包括：以基本树距离为均匀性衡量标准，在MST上均匀采取种子点，作为类中心点；以加权树距离作为差异性衡量标准，用最近邻的策略对MST中除去类中心点之外的剩余的结点做聚类；

对图像进行高层超像素分割：从单层超像素分割的结果中提取出一个新的MST，作为下一层超像素分割的输入，并重复单层超像素分割的步骤；同时，随着层数的增加逐渐的减少分割数量，从而在最后一层超像素分割后生成期望的超像素分割数量。

所述将输入的图像转换为无向图结构包括：

以输入图像的像素为无向图结构的结点，以像素之间的四邻域关系为无向图结构的边，则无向图结构表示为G＝(V,E)；其中的V为结点集合，E为边集合；

每一条边的权重为四邻域相邻两结点的RGB通道最大颜色差，表示为：e(p_i,p_i+1)＝max_e∈{R,G,B}||I_c(p_i)-I_c(p_i+1)||；其中，e(p_i,p_i+1)为邻接结点p_i与p_i+1的颜色差，I_c为颜色值。

所述基本树距离记为D_S(p,q)，表示结点p和结点q在MST上路径的长度；如果结点p和结点q是相邻的结点则D_S(p,q)＝1；

所述加权树距离记为D_C(p,q)，表示结点p和结点q在MST的路径上所有边权重的求和；如果p和q是相邻的结点则D_S(p,q)＝e(p,q)；其中，e(p,q)为结点p和结点q的颜色差。

所述以基本树距离为均匀性衡量标准，在MST上均匀采取种子点的步骤为：

初始化：预设采点距离D_Seed，创建两个空的队列L_Seed和L_Candidate分别存储已采的种子点和未确定的备选种子点，并将MST的根结点放入L_Candidate中；

确定已采种子点和新增备选种子点：从L_Candidate中取出一个结点p，如果L_Seed非空，则检查结点p是否满足和L_Seed中已存在的种子点距离小于一个设定值L_Seed的条件；如果满足，则将结点p作为种子点插入L_Seed队列中，并以结点p为起点做固定深度的深度优先遍历，在MST中去寻找新的备选种子点；

在深度优先遍历过程中，任何遍历结点q到起始结点p的基本树距离D_S(p,q)是随着深度的增加而逐步累加计算的；一旦满足D_S(p,q)＞D_Seed，则把结点q放入到备选种子点队列L_Candidate中，并停止在结点q所在枝干的深度优先遍历；通过以上方式进行深度优先遍历之后，所有以结点p为起点找到的备选种子点均放入备选种子点队列L_Candidate中；

再从L_Candidate取出一个备选种子点重复上述确定已采种子点和新增备选种子点的步骤，直至L_Candidate为空集。

所述以加权树距离作为差异性衡量标准，用最近邻的策略对MST中除去类中心点之外的剩余的结点做聚类包括：

为每个类中心点赋予一个标签值，标签值等于类中心点在种子点队列L_Seed中的序列号值；

设定聚类距离D_Cluster(p,q)，该聚类距离D_Cluster(p,q)利用一对临接点对的加权树距离进行计算：

D_Cluster(p,q)＝Σmax(D_C(p_a，p_b),1)；

其中，p_a，p_b是连接节点p和q的路径上任意一对临接点对，D_C(p_a,p_b)为临接点对p_a与p_b的加权树距离；

以聚类距离D_Cluster(p,q)为像素之间颜色差异性衡量标准的最近邻原则；对于MST中每个尚未被分类的结点p，将其分类到离它最近的类中心结点，即把离结点p最近的类中心点的标签值赋予给结点p：

$L\left(p\right)=L\left({\arg \min }_{{q\∈L}_{\mathrm{Seed}}}{D}_{\mathrm{Cluster}}(p,q)\right);$

其中，L_Seed为设定值。

所述从单层超像素分割的结果中提取出一个新的MST，作为下一层超像素分割的输入包括：

假设图像I的宽和高分别为W和H，图像I被分割成K₀＝W·H个区域，每一个分割区域s包含的像素数量N₀(p)＝1；

则第r-1层超像素分割后图像被分割成K_r-1个区域，每一个分割区域s包含的像素数量为N_r-1(s)；

对于第r层超像素分割，将第r-1层超像素分割的结果中每一块分割区域s视为一个结点，在邻接的区域之间构建边来连接各个结点，从而构建出一个新的无向图结构，边的权重为相邻两个分割区域的平均颜色差：

$e_r(s,s^{\′})=\left|\right|{\stackrel{\‾}{I}}_{r-1}\left(s\right)-{\stackrel{\‾}{I}}_{r-1}\left(s^{\′}\right)\left|\right|$

其中，分别为r-1层超像素分割结果中区域s与s'的平均颜色；

再从新的无向图结构中提取出新的MST作为第r层超像素分割的输入。

所述随着层数的增加逐渐的减少分割数量，从而在最后一层超像素分割后生成期望的超像素分割数量包括：

超像素分割的数量随着采点距离D_Seed的增加而单调减少；对任意一层r，定义D_Seed＝kd^r-1，其中，d控制D_Seed的增长速度，即超像素分割的减少速度；k控制D_Seed的初始大小，即从原图中第一次分割后的分割数量；

假设期望的超像素分割数量为当层数增加时，D_Seed的值增加，则存在某一层l使得且

由上述本发明提供的技术方案可以看出，基于最小生成树的保边的超像素分割算法先确定了快速有效的单层分割方法，再通过多层分割提高最终的超像素分割效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明背景技术提供的传统图像超像素分割示意图；

图2为本发明实施例提供的一种保持边缘的图像超像素分割方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种保持边缘的图像超像素分割方法，如图2所示，其主要包括：

步骤21、将输入的图像转换为无向图结构，再利用线性复杂度的方法从无向图结构中提取出图像的最小生成树MST，并定义MST中用于衡量图像空间信息的基本树距离和用于衡量图像颜色信息的加权树距离。

本发明实施例中，将图像视为一个无向图结构，结点由像素组成，边由像素之间的四邻域关系组成，边的权重是邻接像素的颜色差。从无向图当中，可以提取一个MST(minimum spanning tree，最小生成树)，因为大权重的边(往往在边缘部分)在建树过程中会被去除，所以最小生成树结构可以突出图像中的边缘信息。树距离，是定义在MST中的距离，由MST上的两个结点之间相连接的路径决定。由于路径是通过一系列权重最小的边所连接的，所以可以避开权值大的边(已被去除的边)，使得定义在MST上的树距离能够更好的描述边缘两测(不同区域)像素之间的差异性，在保边性图像平滑，立体视觉匹配领域得到了广泛的应用。

步骤22、对图像进行单层超像素分割，其步骤包括：以基本树距离为均匀性衡量标准，在MST上均匀采取种子点，作为类中心点；以加权树距离作为差异性衡量标准，用最近邻的策略对MST中除去类中心点之外的剩余的结点做聚类。

本发明实施例中，单层超像素分割主要分为采点和聚类两个步骤，在采点步骤中，使用基本树距离作为衡量标准，用一种类似于泊松采点的方法，在MST中均匀采取种子点，作为类中心点。

在聚类步骤中，基于加权树距离用最近邻策略，根据已选择的类中心点对MST中剩余的树结点做聚类。在聚类过程中，计算每个类中心结点的附属结点时，都是局部的寻找，所以单层分割的时间复杂度和图像大小成线性关系。

步骤23、对图像进行高层超像素分割：从单层超像素分割的结果中提取出一个新的MST，作为下一层超像素分割的输入，并重复单层超像素分割的步骤；同时，随着层数的增加逐渐的减少分割数量，从而在最后一层超像素分割后生成期望的超像素分割数量。

由于通过单层分割生成的超像素分割，很容易受到图像纹理的影响。因为采点距离过大，使得加权树距离的会累加得很大，甚至超过真正边界的颜色差。所以，提出高层的分割的方法，改变了一步获取给定超像素分割数量的策略，而是逐层的去减少超像素分割的数量，并在分割数量减少的过程中逐渐平滑分割的每一块区域，到达抑制纹理噪声的目的。在每一层分割中，使用和单层分割类似的方法，对这一层的图结构进行分割。而当前层分割结果的每一块区域，都将作为下一层图结构的一个图结点。由于超像素分割的数量随着层数增加而并指数下降，所以，多层分割算法主要集中的前几层，因此，时间复杂度也是和图像的大小成线性关系的。

本发明实施例提出的多层超像素分割算法，在英特尔I7主频为4.0HZ的CPU上计算，运行时间大约为25FPS。远远快于其它现有的流行的超像素分割算法都要快的，并且还拥有更好的保护图像边缘的效果。

为了便于理解，下面针对上述各个步骤做详细说明。

1、提取MST(最小生成树)，并定义两种树距离。

本发明实施例中，将输入的图像转换为无向图结构；其中，以输入图像的像素为无向图结构的结点，以像素之间的四邻域关系为无向图结构的边，则无向图结构表示为G＝(V,E)；其中的V为结点集合，E为边集合；

每一条边的权重为邻接结点的颜色差，可以定义为四邻域相邻两像素的RGB通道最大颜色差，表示为：e(p_i,p_i+1)＝max_e∈{R,G,B}||I_c(p_i)-I_c(p_i+1)||；其中，e(p_i,p_i+1)为邻接结点p_i与p_i+1的颜色差，I_c为颜色值。

之后，我们可以用线性复杂度的方法从无向图结构中提取出图像的MST。

本发明实施例中，在MST中，本发明实施基于两种树距离：基本树距离(用于衡量图像空间信息)和加权树距离(用于衡量图像颜色信息)。

所述基本树距离记为D_S(p,q)，表示结点p和结点q在MST上路径的长度；如果结点p和结点q是相邻的结点则D_S(p,q)＝1；基本树距离一定程度上反映了两个结点在图像上的位置差异性。

所述加权树距离记为D_C(p,q)，表示结点p和结点q在MST的路径上所有边权重的求和；如果p和q是相邻的结点则D_S(p,q)＝e(p,q)；其中，e(p,q)为结点p和结点q的颜色差。加权树距离反映了两个结点在图像上的颜色差异性。

2、对图像进行单层超像素分割。

对图像进行单层超像素分割，分成采点和聚类。在采点中，以基本树距离为均匀性衡量标准，在MST上均匀采点；在聚类中，以加权树距离作为差异性衡量标准，用最近领的策略对MST上其它的结点进行聚类。具体过程如下：

1)采点：在单层超像素分割算法中，为了让种子点(即类中心点)均匀的分布在最小生成树上，本发明实施例使用一种类似于泊松采点的方法在树结构中均匀的采取种子点。由于基本树距离在图像中更能体现图像的空间信息，所以，我们以基本树距离为衡量均匀性的标准，在树结构中均匀的采取种子点。假设D_Seed为采点距离(类似于泊松采点过程中采点半径r的定义和作用)，通过一系列基于特定的采点距离D_Seed的迭代计算，可以通过以下方法从树结构中均匀的采取种子点：

初始化：预设采点距离D_Seed，创建两个空的队列L_Seed和L_Candidate分别存储已采的种子点和未确定的备选种子点，并将MST的根结点放入L_Candidate中；

确定已采种子点和新增备选种子点：从L_Candidate中取出一个结点p，如果L_Seed非空，则检查结点p是否满足和L_Seed中已存在的种子点距离小于一个设定值L_Seed的条件；如果满足，则将结点p作为种子点插入L_Seed队列中，并以结点p为起点做固定深度的深度优先遍历，在MST中去寻找新的备选种子点；

在深度优先遍历过程中，任何遍历结点q到起始结点p的基本树距离D_S(p,q)是随着深度的增加而逐步累加计算的；一旦满足D_S(p,q)＞D_Seed，则把结点q放入到备选种子点队列L_Candidate中，并停止在结点q所在枝干的深度优先遍历；通过以上方式进行深度优先遍历之后，所有以结点p为起点找到的备选种子点均放入备选种子点队列L_Candidate中；

再从L_Candidate取出一个备选种子点重复上述确定已采种子点和新增备选种子点的步骤，直至L_Candidate为空集。

2)聚类：为每个类中心点赋予一个标签值，标签值等于类中心点在种子点队列L_Seed中的序列号值；

设定聚类距离D_Cluster(p,q)，该聚类距离D_Cluster(p,q)利用一对临接点对的加权树距离进行计算：

D_Cluster(p,q)＝∑max(D_C(p_a，p_b),1)；

其中，p_a，p_b是连接节点p和q的路径上任意一对临接点对，D_C(p_a,p_b)为临接点对p_a与p_b的加权树距离；

上述聚类距离D_Cluster(p,q)可以克服加权树距离在图像平坦区域累加值为零而导致无法用最近邻分类的缺点。

以聚类距离D_Cluster(p,q)为像素之间颜色差异性衡量标准的最近邻原则；对于MST中每个尚未被分类的结点p，将其分类到离它最近的类中心结点，即把离结点p最近的类中心点的标签值赋予给结点p：

$L\left(p\right)=L\left({\arg \min }_{{q\∈L}_{\mathrm{Seed}}}{D}_{\mathrm{Cluster}}(p,q)\right);$

其中，L_Seed为设定值，L为相应的标签值。

此外，由于MST中两个结点的基本树距离和加权树距离是累加计算的并且基于相同的路径，所以可以在同一个固定深度的深度优先遍历同时计算D_S(p,q)(用于采点)和D_C(p,q)(用于聚类)。

3、对图像进行多层超像素分割。

如果采样点之间相距较远，加权树距离在图像纹理区域可能会累加过大，大于真正的边界颜色差而导致单层分割中错误的最近邻分类。所以本发明将单层分割的算法扩展到多层分割中，在每一层分割中用到我们单层的算法，并利用当前层的分割结果平滑图像，作为下一层的输入。在多层超像素分割结构中，本发明取代了直接一步计算出期望的分割数量，而是随着层数的增加逐渐的减少分割数量，并在最后一层生成期望的超像素分割数量。

因为每一层的分割都基于单层分割的方法，即利用采点和聚类对树结构进行分割。所以扩展到多层分割的重点在于如何连接层与层之间的关系，即如何从当前层的分割结果，提取出一个新的无向图结构，作为下一层的输入；具体过程如下：

a、假设图像I的宽和高分别为W和H，图像I被分割成K₀＝W·H个区域，每一个分割区域s包含的像素数量N₀(p)＝1；

b、则第r-1层超像素分割后图像被分割成K_r-1个区域，任意一个该层分割区域s包含的像素数量为N_r-1(s)；

c、对于第r层超像素分割，将第r-1层超像素分割的结果中每一块分割区域s视为一个结点，在邻接的区域之间构建边来连接各个结点，从而构建出一个新的无向图结构，边的权重为相邻两个分割区域的平均颜色差：

$e_r(s,s^{\′})=\left|\right|{\stackrel{\‾}{I}}_{r-1}\left(s\right)-{\stackrel{\‾}{I}}_{r-1}\left(s^{\′}\right)\left|\right|$

其中，分别为r-1层超像素分割结果中区域s与s'的平均颜色。

d、再从新的无向图结构中提取出新的MST作为第r层超像素分割的输入。

上述a～d过程可以理解为，根据第r-1层的分割结果，对每一块分割区域取单一颜色，颜色值为该区域的平均颜色。然后，以每一块区域为结点，在邻接的区域之间构建边来连接各个结点，得到新的无向图，再从新的无向图中提取出新的MST，作为第r层的输入。

在本发明实施例的多层分割结构中，超像素分割的数量随着采点距离D_Seed的增加而单调减少；对任意一层r，定义D_Seed＝kd^r-1，其中，d控制D_Seed的增长速度，即超像素分割的减少速度；k控制D_Seed的初始大小，即从原图中第一次分割后的分割数量；假设期望的超像素分割数量为当层数增加时，D_Seed的值增加，则存在某一层l使得且

此外，由于本发明多层分割中的每一层无向图中结点的数量是随着层数的增加而指数下降的。所以，多层分割的主要计算量集中在框架中的头几层，在复杂度上和图像像素数量是成线性关系的。

本发明实施例中提出的多层分割的框架，随层数增加逐渐减少超像素分割的数量，并在每层分割中对图像做平滑，减少纹理累计误差的影响。每层分割的复杂度随层数增加指数下降，故算法运行时间主要集中在多层分割的前几层中，和图像像素成线性关系。在伯克利图像分割数据库上的实验可以证明，相比现有的流行算法，本发明实施例提供的超像素分割具有更好的保边性，时间效率更高。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。