一种图像超像素分割方法及其装置与流程

本发明属于数字图像处理技术领域，具体涉及一种图像超像素分割方法及其装置。

背景技术：

超像素(superpixel)是近年来快速发展的一种图像预处理技术，能够将图像快速分割为一定数量的图像子区域(像素的集合)。相比于传统处理方法中的基本单元——像素，超像素更利于具备特征的提取与结构信息的表达，并且能够大幅度降低后续处理的计算复杂度，在计算机视觉领域，尤其是图像分割中得到了广泛应用。

在计算机视觉领域，将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)。其中，超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。图像分割的结果是图像上子区域的集合(这些子区域的全体覆盖了整个图像)，或是从图像中提取的轮廓线的集合(例如边缘检测)。一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。

超像素生成算法大致主要包括分水岭、均值偏移、图割、k-means等。其中，slic(simplelineariterativeclustering)算法，即简单的线性迭代聚类算法，是基于k-means的一种思想简单、实现方便的算法，将彩色图像转化为cielab颜色空间和xy坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类的过程。slic算法能生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价，比较符合人们期望的分割效果。

如图1所示，现有的图像超像素分割方法包括如下步骤：

步骤1：对输入的像素尺寸为w×h图像进行初始化，等间隔划分为m×n个超像素块，均匀分配相应的多个种子，将每个超像素块的几何中心坐标处的像素作为当前超像素块的初始种子。如果超像素块的边长像素数为s个像素，则超像素块个数num＝w/s×h/s。

根据初始化的m×n个超像素块对每一个超像素块中的像素进行编号，初始化成一张标签图像，对应于各超像素块中的像素的标签图像值全部置为该超像素块的编号值。

步骤2：对每个种子的某一个邻域范围内的像素计算该像素与种子的距离度量因子值，所述距离度量因子为距离邻近性和颜色相似性的加权，为一个五维向量(x,y,l,a,b)，(x,y)表示像素坐标，(l,a,b)表示lab颜色空间三通道颜色值。

距离度量因子计算公式如下：

其中：

(xj，yj，lj，aj，bj)表示当前处理像素的像素坐标以及像素值，(xi，yi，li，ai，bi)表示种子像素坐标以及像素值。dc表示颜色距离，ds代表空间距离，ns是类内最大空间距离，定义为ns＝s，最大的颜色距离nc既随图片不同而不同，也随聚类不同而不同，通常取一个固定常数m(取值范围[1,40],一般取10)代替。

例如超像素块尺寸为s×s，那么对于其中的种子的邻域设置为大于超像素块的尺寸，一般将邻域范围设定为2s×2s。这样，一个像素可以包括在多个种子的邻域内，判断当前处理像素与当前种子之间的距离度量因子，如果大于之前的相对于另一个种子的距离度量因子，则不改变像素的标签值；若小于之前另一个种子的距离度量因子，则将当前处理像素的标签值更新为当前种子的编号。

步骤3：根据更新的标签图像，重新计算各个超像素块中心坐标和像素均值，作为新的种子。

步骤4：重复迭代执行步骤2、3。

上述图像超像素分割方法生成的超像素一般紧凑整齐，邻域特征比较容易表达，不仅可以分割彩色图，也可以兼容分割灰度图。但是，现有方案做切片式优化，种子更新需要一个邻域的信息，每一次至少需要读入3sxw或者3sx3s的像素才能保障当前处理的种子对应的超像素块被准确的更新，需要更大的存储空间来做切片式优化。

技术实现要素：

为了解决所需的存储空间过大的技术问题，进一步提高图像分割速度并优化细粒度，本发明提出了一种图像超像素分割方法及其装置。所述图像超像素分割方法，包括以下步骤：

超像素块种子初始化步骤：在图像中划分多个超像素块，在每个超像素块中设置一个种子，对每个种子进行编号；

距离计算步骤：计算图像的每个像素关于该像素邻域内的各种子的距离度量因子值，每个像素的邻域尺寸大于该像素所在超像素块的尺寸；

像素标签设定步骤：对于每个像素，选择距离度量因子值最小的种子的编号作为该像素的标签；

种子更新步骤：根据每个像素的标签，在图像中重新形成多个超像素块，重新确定每个超像素块中的种子像素坐标及像素值(xk,yk,lk,ak,bk)；

迭代返回步骤：返回距离计算步骤，直到达到设定的迭代次数或者种子像素坐标及像素值不再发生变化。

进一步，在超像素块种子初始化步骤中，在图像中以步长s均匀划分多个超像素块。

进一步，在距离计算步骤中，距离度量因子计算公式如下：

dist＝dlab+k*dxy

其中：

dlab＝abs(li-lk)+abs(ai-ak)+abs(bi-bk)

dxy＝abs(xi-xk)+abs(yi-yk)

(xi,yi,li,ai,bi)表示当前处理像素的像素坐标以及像素值，dlab表示颜色距离，dxy代表空间距离；k为比例系数，在1/a～20/a的范围内取值，a为当前处理像素所在的超像素块尺寸。

进一步，在距离计算步骤中，计算图像的每个像素与其所在的超像素块中的种子以及其所在的超像素块相邻的各个超像素块中的种子之间的距离度量因子。

进一步，所述其所在的超像素块相邻的各个超像素块的数量是4个或9个。

进一步，在种子更新步骤中，将每个超像素块的几何中心坐标处的像素确定为该超像素块的种子。

进一步，迭代次数不少于5次。

进一步，每个初始超像素块尺寸为s×s，当前像素邻域尺寸至少是2s×2s。

进一步，在种子更新步骤中，将每个超像素块的几何中心坐标处的像素确定为该超像素块的种子。

本发明实施例还提供一种图像超像素分割装置，包括：

超像素块种子初始化模块：在图像中划分多个初始超像素块，在每个超像素块中设置一个种子，对每个种子进行编号；

距离计算模块：计算图像的每个像素关于该像素邻域内的各种子的距离度量因子值，每个像素的邻域尺寸大于该像素所在超像素块的尺寸；

像素标签设定模块：选择距离度量因子值最小的种子的编号作为该像素的标签；

种子更新模块：根据每个像素的标签，在图像中重新形成多个超像素块，确定每个超像素块中的种子像素坐标及像素值(xk,yk,lk,ak,bk)；

迭代返回模块：使得距离计算部件迭代进行多次计算。

本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本发明实施例还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

本发明的有益效果：本发明实施例提出的图像超像素分割方法及其装置，使用以像素为中心搜索邻域超像素种子的方式构建超像素块，代替以超像素块种子为中心搜索邻域像素构建超像素块的方式，每次只需要读入图像一行的像素或者一个像素就可以实现超像素的分割，并且切片式优化细粒度更高，在保障超像素分割效果的前提下，有益于工程实现。

附图说明

图1是现有技术的图像超像素分割示意图；

图2是本发明实施例的图像超像素分割示意图；

图3是本发明实施例的图像超像素分割方法流程图；

图4是本发明优选实施例的图像超像素分割方法流程图；

图5是本发明实施例的图像超像素分割装置的方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。

如图2、3所示，本发明实施例提出了一种图像超像素分割方法，使用以像素为中心搜索邻域超像素种子构建超像素块，代替现有技术中以超像素块种子为中心搜索邻域像素构建超像素块，包括以下步骤：

超像素块种子初始化步骤：在图像中划分多个初始超像素块，在每个超像素块中设置一个种子，对每个种子进行编号。

根据图像尺寸，设定超像素块的个数，在图像内均匀分配种子，并对每个种子进行编号。通过此步骤，在图像中均匀形成多个初始超像素块。

例如，图像包括有n个像素点，预分割为k个相同尺寸的初始超像素块，每个像素块中设置有一个种子，对k个种子从1到k进行编号。每个初始超像素块的尺寸为n/k，则相邻种子的距离(步长s)为s＝sqrt(n/k)，即，每个初始超像素块的尺寸为s×s。

距离计算步骤：计算图像的每个像素关于该像素邻域内的各种子的距离度量因子值，每个像素的邻域尺寸大于该像素所在超像素块的尺寸。

具体的，所述距离度量因子为距离邻近性和颜色相似性的加权，为一个五维向量(x,y,l,a,b)，(x,y)表示像素坐标，(l,a,b)表示lab颜色空间三通道颜色值。

距离度量因子计算公式如下：

dist＝dlab+k*dxy

其中：

dlab＝abs(li-lk)+abs(ai-ak)+abs(bi-bk)

dxy＝abs(xi-xk)+abs(yi-yk)

(xi,yi,li,ai,bi)表示当前处理像素的像素坐标以及像素值，(xk,yk,lk,ak,bk)表示种子像素坐标以及像素值。dlab表示颜色距离，dxy代表空间距离，k为比例系数，在1/a～20/a的范围内取值，a为当前处理像素所在的超像素块尺寸。

每个初始超像素块尺寸为s×s，那么对于其中的像素的邻域设置为大于该像素所在超像素块的尺寸，可将邻域范围设定为至少是2s×2s。这样，一个像素的邻域可以包括多个种子，在此步骤中，可以针对每个像素计算出该像素关于其邻域内的多个种子的距离度量因子值。

但是上述邻域选择方法可能导致后续重新确定的种子点发生漂移，为了解决这个问题，本发明实施例优选方案为，计算图像的每个像素与其所在的超像素块的种子以及其所在的超像素块相邻的多个超像素块中的各种子之间的距离度量因子，其中所述其所在的超像素块相邻的多个超像素块的数量可以是4个或9个，并且对相邻的多个超像素块的选择是任意的，没有强制性的要求。

像素标签设定步骤：在每个像素关于该像素邻域内的各种子的距离度量因子值的计算结果中，选择距离度量因子值最小的种子的编号作为该像素的标签。

如果某个像素的邻域内存在四个种子1、2、3、5，该像素关于四个种子的距离度量因子值为dist1、dist2、dist3和dist5，其中的最小值为dist3，那么该像素的标签为dist3对应的种子3的编号3。

种子更新步骤：根据图像中每个像素的标签，重新形成多个超像素块，确定每个超像素块中的种子像素坐标及像素值(xk,yk,lk,ak,bk)。

具体的，计算每个超像素块中的所有像素点的梯度值，将种子移到该超像素块中梯度最小的像素。这样做的目的是为了避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果。

为了进一步防止种子漂移，本实施例优选的采用将每个超像素块的几何中心坐标处的像素为该超像素块的种子，即，计算该超像素块中的所有像素的横坐标的平均值以及所有像素的纵坐标的平均值，作为所确定的种子的像素坐标。这种方法简单易行，结合本发明实施例的邻域选择方法及距离度量因子值算法，能够得到很好的显示效果。

迭代返回步骤：返回距离计算步骤，迭代次数一般不小于5次。

返回距离计算步骤不断迭代使得误差收敛，即，种子不再发生变化为止，优选的，经过10次迭代，对绝大部分图片都可以得到较理想效果。

在上述描述中，整体说明了本发明实施例的图像超像素分割方法，即使用以像素为中心搜索邻域超像素种子的方式构建超像素块，代替现有技术中以超像素块种子为中心搜索邻域像素构建超像素块的方式。但是，对于其中各步骤所采用的具体手段有多种选择，采用不同的邻域选择方法和距离度量因子值算法等会有不同的分割效果。以下，参照图4对本发明优选实施例的图像超像素分割方法进行说明，包括以下步骤：

超像素块种子初始化步骤：在图像中以步长均匀划分多个初始超像素块，在每个超像素块中设置一个种子，对每个种子进行编号，使得图像中均匀形成网格状的多个初始超像素块。

具体的，图像包括有n个像素点，预分割为k个相同尺寸的初始超像素块，每个像素块中设置有一个种子，对k个种子从1到k进行编号。每个初始超像素块的尺寸为n/k，则相邻种子的距离(步长)为s＝sqrt(n/k)，即，每个初始超像素块的尺寸为s×s。

距离计算步骤：计算图像的每个像素与其所在的超像素块的种子以及其所在的超像素块相邻的多个超像素块中的各种子之间的距离度量因子，其中所述其所在的超像素块相邻的多个超像素块的数量可以是4个或9个。

具体的，所述距离度量因子为距离邻近性和颜色相似性的加权，为一个五维向量(x,y,l,a,b)，(x,y)表示像素坐标，(l,a,b)表示lab颜色空间三通道颜色值。

距离度量因子计算公式如下：

dist＝dlab+k*dxy

其中：

dlab＝abs(li-lk)+abs(ai-ak)+abs(bi-bk)

dxy＝abs(xi-xk)+abs(yi-yk)

(xi,yi,li,ai,bi)表示当前处理像素的像素坐标以及像素值，(xk,yk,lk,ak,bk)表示种子像素坐标以及像素值。dlab表示颜色距离，dxy代表空间距离，k为比例系数，在1/a～20/a的范围内取值，a为当前处理像素所在的超像素块尺寸。

像素标签设定步骤：在每个像素关于该像素邻域内的各种子的距离度量因子值的计算结果中，选择距离度量因子值最小的种子的编号作为该像素的标签。

如果某个像素的邻域内存在五个种子1、2、3、5、7，其中种子1为当前像素所在的超像素块中的种子，种子2、3、5、7为当前像素所在的超像素块相邻的超像素块中的种子，该像素关于五个种子的距离度量因子值为dist1、dist2、dist3、dist5和dist7，其中的最小值为dist3，那么该像素的标签为dist3对应的种子3的编号3。

种子更新步骤：根据图像中每个像素的标签，重新形成多个超像素块，确定每个超像素块的几何中心坐标处的像素为该超像素块的种子，得到种子像素坐标及像素值(xk,yk,lk,ak,bk)。

迭代返回步骤：返回距离计算步骤，经过10次迭代，对绝大部分图片都可以得到较理想效果。

本发明优选实施例中的图像超像素分割方法计算简单，单次计算所需图像数据少，系统资源占用少，每次只需要读入图像一行的像素或者一个像素就可以实现超像素的分割，并且切片式优化细粒度更高，在保障超像素分割效果的前提下，有益于工程实现。

本发明还提供一种图像超像素分割装置，使用以像素为中心搜索邻域超像素种子构建超像素块，代替现有技术中以超像素块种子为中心搜索邻域像素构建超像素块，参见图5，包括：

超像素块种子初始化部件：在图像中划分多个初始超像素块，在每个超像素块中设置一个种子，对每个种子进行编号。

根据图像尺寸，设定超像素块的个数，在图像内均匀分配种子，并对每个种子进行编号。由此，在图像中均匀形成多个初始超像素块。

例如，图像包括有n个像素点，预分割为k个相同尺寸的初始超像素块，每个像素块中设置有一个种子，对k个种子从1到k进行编号。每个初始超像素块的尺寸为n/k，则相邻种子的距离(步长)为s＝sqrt(n/k)，即，每个初始超像素块的尺寸为s×s。

距离计算部件：计算图像的每个像素关于该像素邻域内的各种子的距离度量因子值，每个像素的邻域尺寸大于该像素所在超像素块的尺寸。

具体的，所述距离度量因子为距离邻近性和颜色相似性的加权，为一个五维向量(x,y,l,a,b)，(x,y)表示像素坐标，(l,a,b)表示lab颜色空间三通道颜色值。

距离度量因子计算公式如下：

dist＝dlab+k*dxy

其中：

dlab＝abs(li-lk)+abs(ai-ak)+abs(bi-bk)

dxy＝abs(xi-xk)+abs(yi-yk)

(xi,yi,li,ai,bi)表示当前处理像素的像素坐标以及像素值，(xk,yk,lk,ak,bk)表示种子像素坐标以及像素值。dlab表示颜色距离，dxy代表空间距离，k为比例系数，在1/a～20/a的范围内取值，a为当前处理像素所在的超像素块尺寸。

每个初始超像素块尺寸为s×s，那么对于其中的像素的邻域设置为大于该像素所在超像素块的尺寸，可将邻域范围设定为至少是2s×2s。这样，一个像素的邻域可以包括多个种子，从而可以针对每个像素计算出该像素关于其邻域内的多个种子的距离度量因子值。

但是上述邻域选择方法可能导致后续重新确定的种子点发生漂移，为了解决这个问题，本发明实施例优选方案为，计算图像的每个像素与其所在的超像素块的种子以及其所在的超像素块相邻的多个超像素块中的各种子之间的距离度量因子，其中所述其所在的超像素块相邻的多个超像素块的数量可以是4个或9个，并且对相邻的多个超像素块的选择是任意的，没有强制性的要求。

像素标签设定部件：在每个像素关于该像素邻域内的各种子的距离度量因子值的计算结果中，选择距离度量因子值最小的种子的编号作为该像素的标签。

如果某个像素的邻域内存在四个种子1、2、3、5，该像素关于四个种子的距离度量因子值为dist1、dist2、dist3和dist5，其中的最小值为dist3，那么该像素的标签为dist3对应的种子3的编号3。

种子更新部件：根据图像中每个像素的标签，重新形成多个超像素块，确定每个超像素块中的种子像素坐标及像素值(xk,yk,lk,ak,bk)。

具体的，计算每个超像素块中的所有像素点的梯度值，将种子移到该超像素块中梯度最小的像素。这样做的目的是为了避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果。

为了进一步防止种子漂移，本实施例优选的采用将每个超像素块的几何中心坐标处的像素为该超像素块的种子，即，计算该超像素块中的所有像素的横坐标的平均值以及所有像素的纵坐标的平均值，作为所确定的种子的像素坐标。这种方法简单易行，结合本发明实施例的邻域选择方法及距离度量因子值算法，能够得到很好的显示效果。

迭代返回部件：使得距离计算部件迭代进行计算，迭代次数一般不小于5次。

距离计算部件不断迭代使得误差收敛，即，种子不再发生变化为止，优选的，经过10次迭代，对绝大部分图片都可以得到较理想效果。

在上述描述中，整体说明了本发明实施例的图像超像素分割装置，即使用以像素为中心搜索邻域超像素种子构建超像素块，代替现有技术中以超像素块种子为中心搜索邻域像素构建超像素块。但是，对于其中各部件所采用的具体手段有多种选择，采用不同的邻域选择方法和距离度量因子值算法等会有不同的分割效果。以下，对本发明优选实施例的图像超像素分割装置进行说明，所述装置包括：

超像素块种子初始化部件：在图像中以步长均匀划分多个初始超像素块，在每个超像素块中设置一个种子，对每个种子进行编号。使得图像中均匀形成网格状的多个初始超像素块。

具体的，图像包括有n个像素点，预分割为k个相同尺寸的初始超像素块，每个像素块中设置有一个种子，对k个种子从1到k进行编号。每个初始超像素块的尺寸为n/k，则相邻种子的距离(步长)为s＝sqrt(n/k)，即，每个初始超像素块的尺寸为s×s。

距离计算部件：计算图像的每个像素与其所在的超像素块的种子以及其所在的超像素块相邻的多个超像素块中的各种子之间的距离度量因子，其中所述其所在的超像素块相邻的多个超像素块的数量可以是4个或9个。

具体的，所述距离度量因子为距离邻近性和颜色相似性的加权，为一个五维向量(x,y,l,a,b)，(x,y)表示像素坐标，(l,a,b)表示lab颜色空间三通道颜色值。

距离度量因子计算公式如下：

dist＝dlab+k*dxy

其中：

dlab＝abs(li-lk)+abs(ai-ak)+abs(bi-bk)

dxy＝abs(xi-xk)+abs(yi-yk)

(xi,yi,li,ai,bi)表示当前处理像素的像素坐标以及像素值，(xk,yk,lk,ak,bk)表示种子像素坐标以及像素值。dlab表示颜色距离，dxy代表空间距离，k为比例系数，在1/a～20/a的范围内取值，a为当前处理像素所在的超像素块尺寸。

像素标签设定部件：在每个像素关于该像素邻域内的各种子的距离度量因子值的计算结果中，选择距离度量因子值最小的种子的编号作为该像素的标签。

如果某个像素的邻域内存在五个种子1、2、3、5、7，其中种子1为当前像素所在的超像素块中的种子，种子2、3、5、7为当前像素所在的超像素块相邻的超像素块中的种子，该像素关于五个种子的距离度量因子值为dist1、dist2、dist3、dist5和dist7，其中的最小值为dist3，那么该像素的标签为dist3对应的种子3的编号3。

种子更新部件：根据图像中每个像素的标签，重新形成多个超像素块，确定每个超像素块的几何中心坐标处的像素为该超像素块的种子，得到种子像素坐标及像素值(xk,yk,lk,ak,bk)。

迭代返回部件：使得距离计算部件迭代进行计算，经过10次迭代，对绝大部分图片都可以得到较理想效果。

本发明优选实施例中的图像超像素分割装置计算简单，单次计算所需图像数据少，系统资源占用少，每次只需要读入图像一行的像素或者一个像素就可以实现超像素的分割，并且切片式优化细粒度更高，在保障超像素分割效果的前提下，有益于工程实现。

本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本发明实施例还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。