专利名称：将图像分割成超像素的方法
技术领域：
本发明总体上涉及像素分割，更具体地，涉及使用超像素来分割图像的方法。
背景技术：
总体上，在本领域中，超像素(superpixel)是数字图像中的多边形像素簇，其大于单个像素，并且可以按照相同的顔色和亮度呈现，參见美国专利7，744，185。超像素分割用于对象识别、图像分割和3D重建的应用。使用超像素的ー个主要优点在于计算效率。当与像素表示相比较时，超像素表示极大地减少了所需要的图像元的数 量。例如，在L-标签(L-Iabel)标签问题中，像素表不的解空间是Ln,其中η是像素的数量，通常为106。然而，超像素表示的解空间是Lm，其中m是超像素的数量，通常为102。通常假定超像素是来自单个对象的ー组像素。这导致了对超像素分割的实际定义，将像素分割为在感觉上一致的簇。感觉一致的属性意味着超像素边界保留对象边界。大多数的聚类处理的特征在于超像素分割。然而，大多数现有处理针对簇的总体方面建摸，并且不针对超像素分割来优化。另外，很多处理要求密集计算，并且不适用于分割。—种方法使用基于图的超像素分割。图像被映射到相邻的图。该方法使用边界判定(boundary predicate)来顺序地切割边以构建超像素。尽管该方法速度很快，但是产生具有不规则的形状和大小的超像素。均值漂移(mean-shift)法对于局部变化是精确的，但是也受到不规则超像素问题的困扰，參见美国专利公开20100284607。超像素分割的另ー种方法是NCut，參见美国专利公开20110013837。NCut产生具有类似大小和紧凑形状的超像素。然而，计算上也很昂贵，即使针对例如481X321个像素这样的中等大小的图像都需要数分钟。TurboPixel是实现类似规则性的有效替代方式。TurboPixel基于从均匀布置在图像中的种子的演化曲线。该方法在曲线演化期间使用多种约束，以增强超像素规则性。可以使用图切割(graph cut)通过密集补片分配(dense patch assignment)技术来实现规则的超像素。在另ー种方法中，使用用于限定切割成本的概率边界映射图，超像素遵循规则的网格。该处使用的目标允许图像之间的同质。
发明内容
本发明的实施方式提供ー种使用聚类目标函数将图像分割为超像素的方法。目标函数包括两个成分随机游走的熵率；以及平衡函数。所述熵率形成紧凑和同质的簇，而平衡函数产生具有相似大小的簇。为了进行聚类，构建了数据点和两两相似性分别对应于顶点和边的权值。通过最大化受到拟阵约束的目标函数来分割图。
我们用贪心处理来解目标函数，并且利用目标函数的子模性和单调性来证实恒定的近似界(approximation bound)。
图I是根据本发明的一个实施方式的在簇形成过程中没有选择边的情况的权值的示例的示意图；图2是根据本发明的一个实施方式的随机游走的熵率的(A)-(D)的示意图；图3是根据本发明的一个实施方式的在获得相似大小的簇的过程中平衡函数的示例(A)-(B)的示意图；图4是示出根据本发明的一个实施方式的针对解的算法的示意图； 图5是示出根据本发明的一个实施方式的在分割过程中产生超像素层级的聚集本质的不意图；以及图6是示出根据本发明的一个实施方式的基本步骤的示意图。
具体实施例方式图表示针对表示图像中的像素的无向图，使用常规的记法G = (V，E)，其中V是与像素相对应的顶点的集合，E是边的集合。V的第i个顶点表示为Vi,并且连接定点Vi和 ' 的边表示为eM。加权函数w给出由一边连接起来的两个顶点之间的相似性。在无向图中，边的下标是可交换的，e^j = ej」，并且边的权是对称的，Wi, j = wJjit)图分割图分割S是指将集合V分割为不相交的子集S={S1; S2,...，sK}，使得& η易=0αデj)，并且U A = V。图分割是子集选择问题。我们的目的是选择集合E中的边A的子集，使得得到的图(V，Α)具有K个连接的子图(连接部分)。每个得到的子图对应于超像素。熵熵H測量随机变量的不确定性。具有条件概率质量函数Px的离散随机变量X的熵可以被确定为
*-"V
H I Λ :( = — > μX ::. J' I Ii .ビ / \; (.-*·)I I I
,Vf其中X是随机变量X的支撑集。只要相关的随机变量Y的值已知，条件熵H(X I Y)就量化随机变量X的剰余不确定性。其被定义为 I,し' )/ —〉/*)-丨//j i,丨 Λ I ニ n !—⑵
-^ PVi//i > Px Y Lr |/)lou/>v V
其中Y是Y的支撑集，并且ρχ|γ是条件概率质量函数。熵率熵率量化了随机过程X = {Xt，t e T}的不确定性，其中T是指标集。针对离散随
机过程，熵率被定义为渐进测量值。
权利要求
1.一种将图像分割成超像素的方法，该方法包括以下步骤构建具有被边连接起来的顶点的图，其中各个顶点与图像中的像素相对应，并且各个边关联有指示对应的像素之间的相似度的权值；选择所述图中的边的子集以将所述图分割为子图，其中所述选择步骤将目标函数最大化，其中所述目标函数是子摸；以及将具有最大増益的所述边添加到所述图，直至子图的数量等于某个阈值为止，否则重复所述选择步骤和所述添加步骤，其中所述步骤在处理器中执行。
2.根据权利要求I所述的方法，其中，每个子图包括同质和相似大小的超像素。
3.根据权利要求2所述的方法，其中，所述目标函数包含熵率以产生同质的超像素。
4.根据权利要求2所述的方法，其中，所述目标函数包含平衡项以产生相似大小的分割块。
5.根据权利要求3所述的方法，其中，所述熵率是子模的并且单调递増。
6.根据权利要求4所述的方法，其中，所述平衡项是子模的并且单调递增。
7.根据权利要求I所述的方法，其中，无回路图中的子图的数量的约束是拟阵。
8.根据权利要求I所述的方法，其中，使用受到所述约束的贪心处理将所述目标函数最大化。
9.根据权利要求I所述的方法，其中，将最优性保证为所述目标函数的全局最小值的V20
10.根据权利要求8所述的方法，其中，使用堆结构实现所述贪心处理。
11.根据权利要求I所述的方法，其中，以层级的方式实现所述分割。
12.根据权利要求11所述的方法，其中，所述层级同时形成所述图像的多个分割。
13.根据权利要求I所述的方法，其中，所述平衡项被自动调节。
14.根据权利要求I所述的方法，其中，所述平衡參数被用户修改以定制分割。
15.根据权利要求I所述的方法，其中，所述分割在用户监瞀下交互地进行。
16.根据权利要求I所述的方法，其中，解决了非图像域中的通用聚类问题。
全文摘要
本发明涉及将图像分割为超像素的方法。该方法通过下述将图像分割为超像素构建具有被边连接的顶点的图，其中每个顶点对应于图像中的像素，并且每个边与指示对应的像素之间的类似度的加权相关联；选择图中的边的子集以将图分割为子图，其中所述选择基于熵率和平衡项使目标函数最大化。将具有最大增益的边添加到所述图直至子图的数量等于一些阈值为止。
文档编号G06T7/00GK102831594SQ20121012911
公开日2012年12月19日 申请日期2012年4月27日 优先权日2011年4月29日
发明者C·O·图兹尔, S·拉姆阿里加姆, 刘洺堉 申请人:三菱电机株式会社