专利名称：图像分割的制作方法
技术领域：
本发明涉及图像和/或视频处理，特别是涉及使用图论技术的图像数据的分割。
分割在包括降噪和图像及视频数据压缩的许多应用中很有用，并且先前已经提出了多种图像分割方法。这些方法包括阈值、分水岭算法、形态学尺度空间变换或筛选、区域分割及合并、聚类、频域技术、以及包括运动估计的技术。然而，这些方法中很少(如果有的话)能够使用低到中等的处理资源生成多分量图像的高质量等级分割。
本发明使用来自数学分支(即通常所说的图论)的一些概念。以下是图论中所用术语的简要描述。
图由可通过线(称为边)连接起来的点(称为顶点)组成。
图1中示出了图的实例。
顶点的度是与其连接的边的数量。在图1中，顶点度的范围为0到3。如果顶点具有度1，则其被称为树叶；图1的图具有三片树叶。
边和顶点都可具有与它们相联系的数字或权重。这些权重可具有一些物理意义；例如，在顶点表示城镇以及边表示道路的图中，边权(edge weight)可表示道路长度。
图G的子图是其顶点为G的顶点的子集且其边为G的边的子集的图。如果子图具有G的所有顶点，则其生成(span)G。G中的路径是每一边均与前一边共享顶点的不同边的集合。对于更精确的定义，可参看Bollobás，Béla.Graph theory-an introductory course.Springer-Verlag，New York，1979。
树是其中从任意给定的顶点到任何其它顶点正好有一条路径的图。森林是分离的一组树。图G的生成树或生成森林是作为G的生成子图的树或森林。在边加权的图中，图的最小生成树(MST)(也被称作最短或经济生成树)是使该树中边权总和最小的生成树。
存在用于查找边加权图的最小生成树的已知算法。一种是Kruskal算法，其维持一组局部最小生成树并重复添加其顶点在不同的生成树中的最小权重(或最轻)边。另一种是Prim算法，其从单个顶点开始，并且通过重复将连接该树的最轻边添加到该树中还不存在的顶点，然后将该顶点添加到该树中来建立树。在下面更详细描述的图4和图5中，图5示出了图4的最小生成树。
现在考虑将图论应用到图像中。图的顶点可用于表示像素，而边可用于表示像素的邻接。在本文中，如果一个像素正好在另一个像素的上方、下方、左侧、或右侧，则两个像素邻接，因此具有连接它们的边。这是邻接的4连接定义；还可以使用6连接或8连接定义。通过4连接定义，可通过如图2所示的图表示图像。不表示图像边界上的像素的每个顶点的度为4。注意，图论中使用的词“边”与图像中或图像边界上的边的概念关系很小。
这种图中的边权可用于表示相邻像素之间差的一些度量(measure)。例如，在亮度图像中，边权可被定义为两个亮度值之间的绝对差。
图3示出了具有如图所示的像素值的示例性5×4亮度图像，以及图4示出了表示该图像的图，其中，分配了等于相邻像素值之间的绝对差的边权。
MST可用作图像分割算法的基础。可以看出，如果从树中去除一条边，则将形成两棵树，该图像范围内的每棵树将描述连接的顶点子集，即，图像的部分。因此，为了将图像分成N个部分，需要从MST中去除N-1条边。先前已经提出选择去除的边仅是MST中的N-1条最大权重(或最重)边。例如，为了将由图5表示的图像分成2个部分，需要去除加权4的边，生成图6所示的分割。
如果需要3个部分，则还要去除第二重的边(权重为3)；生成图7所示的分割。
然而，发现该方法具有许多缺点。
本发明的目的在于提供一种图像分割的改进方法。
根据本发明的第一方面，提供了一种图像分割的方法，其中，图像的像素由图的顶点表示，像素的邻接由图的边表示，边被分配表示相邻像素之间不相似性的度量的权重，生成该图的最小生成树(或与其近似)，并相继从最小生成树去除边以创建其树与图像部分对应的生成森林，其中，要从生成森林中去除的边的选择依赖于该森林的顶点或边的形态学特性。
本发明人指出的具体缺点是通过使用上述现有技术标准选择边所创建的部分的大小具有较大的不平衡。已经发现在查找MST的现有技术过程中，来自原始图的许多最重边被去除，但经常在树的树叶附近发现最重的残留边。这意味着重边的去除经常导致只具有一个像素的新的部分。
本发明通过使用在每个阶段选择从MST中去除哪条边的新方法克服了现有技术的局限性。本发明的思想是使用边的去除将生成合理大小的部分的可能性的度量。
优选地，用于选择边的标准依赖于从边到该边所在树的树叶的距离的度量。可选地，该标准可依赖于通过去除该边所创建的两棵树。在一个实施例中，该标准可依赖于大小的度量，例如，使用顶点数来度量大小。在另一个实施例中，该标准可依赖于包含该边的树中的像素的函数与通过去除边所创建的两棵树中像素函数值的总和之间的差。
这种新算法具有一些非常吸引人的特征。查找MST只需要中等的计算复杂度，并且执行随后的分割非常容易。不同于基于阈值的一些算法，可以精确地指定部分的数量。首先，该算法是完美分级的分成给定数目部分的分割总是包含在分成更多部分的分割中。该方法还用于多分量图像数据(例如，由R、G、B值描述的图像)。在通过多于一个分量描述的图像(例如，RGB图像)中，边权可以是这些分量之间的绝对或平方差的和、最大绝对差、或任何其它适当的度量。
本发明还提供了适于执行本文充分描述的方法的装置，其在一个实施例中可包括数字电路。本发明可在数据压缩方法和装置以及其它图像或视频处理应用中实施。
现在，参照附图仅通过实例描述本发明，其中图1是图的实例；图2是作为图的5×4图像的表示；
图3是示例性小亮度图像；图4是图3的边加权的图表示；图5是图4的最小生成树；图6是图5的分成两部分的MST分割；图7是图5的分成三部分的MST分割；图8示出了计算隔离中的连续阶段；图9是图5的隔离图；图10示出了隔离和边权的乘积；图11是使用隔离处理将图5分割为两部分的分割；图12示出了顶点隔离图；图13示出了边隔离图；图14示出了修改的隔离值和边权的乘积；图15是使用隔离处理将图5分割成三部分的分割；图16是示例性测试图像；图17示出了使用所述现有技术的算法将图16分割成64部分的尝试性分割的结果；
图18示出了使用所述现有技术的算法将图16分割成4000部分的分割的结果；图19示出了使用本发明的实施例将图16分割成64部分的分割的结果；图20示出了简化隔离计算；图21示出了使用本发明的可选实施例将图16分割成64部分的分割结果；图22示出了基于能量计算的示例性方法中的第一阶段；图23示出了基于能量计算的方法中的第二阶段；图24示出了基于能量计算的方法中的第三阶段；以及图25示出了基于能量计算的方法中的第四阶段。
可以在分割的每个阶段计算图像中每个像素的新特性(此处称为“隔离(seclusion)”)。考虑到树的树叶被“暴露”，我们断定在某种意义上“远”离树叶的顶点是“隔离的”。从而隔离是顶点隔离的程度。
可以通过以下算法计算树或森林的隔离·将当前隔离值S设为0·当存在剩余在森林中的边时○增加S
○将所有树叶顶点的隔离设为S○去除所有树叶顶点和与它们连接的边·如果剩余一个顶点，则将其隔离设为S+1图8示出了怎样为图5的图中的每个像素计算隔离。在每个阶段，已经被去除的树叶被涂成白色。
我们已经描述了怎样计算树或森林中所有顶点的隔离。可以根据其两个顶点的隔离(例如，两个隔离值的最小值)定义边的隔离。在图9中示出了图5的边的隔离图。
可选地，可以使用上述隔离算法的修正版本直接计算边的隔离值。
为了选择要去除的边，例如通过乘法结合原始边权和边隔离值。图10示出了原始边权和隔离图的乘积。
为了将图像分割成2个部分，可选择具有结合值18的边，生成图11所示的分割。为了继续该分割过程，重新计算图11中示出的森林的隔离图。图12中示出了生成的顶点隔离图，图13中示出了边隔离图。图14示出了新隔离值和边权的乘积。
经常出现当使用整数处理时存在关于下一个最高边值的选择不确定的情况。如果我们权衡有利于更高的隔离的并列的边值，我们将选择两个值为8的边的左侧，并且得到图15中所示的分割。
以上实例说明了如何使用隔离图帮助确保MST分割避免在过程的早期阶段生成非常小的部分。当然在附加到隔离上的重要性和削减重边处的森林的重要性之间存在折衷。这种折衷可以反映在结合隔离和边权的函数的选择中。
可将隔离看作“一维”的度量，因为其估计从边或顶点到树的树叶的距离。隔离过程的简单修改可用于度量顶点的数目，即，通过去除边产生的两棵树的“面积”。在这种修改中，通过将与正被去除的树叶相联系的量与连接这些树叶的顶点相加来累加度量的量。
在上述的隔离度量或修改度量中，递归过程还可包括累加边权自身，使得可以直接计算加权隔离值。因而不需要将隔离值乘以边权以用于选择要去除的边，而仅仅最大化加权的度量。
现在将给出在分割实际图像中的隔离处理的优点的说明。图16示出了来自下变频为360×288像素的测试幻灯片的EBU标准集的“形式池(formal pond)”图像的亮度分量。图17和图18示出了分别使用上述现有技术MST方法试图将该图像分割成64和4,000部分所得到的部分边界，而图19示出了使用具有上述隔离处理的MST方法分割成64部分的结果。
不需要精确计算隔离图。例如，因为该处理遵循光栅扫描模式(pattern)，所以可以通过“原地”从森林中去除树叶获得隔离图的良好近似。在图20中示出了该缩短的过程。
这种简化是非对称且必然是不完美的，但是在特定实施例中对算法的整体性能影响很小。例如，图21示出了与用在图19中的“正确”隔离处理相比的这种简化对将“形式池”分隔成64区域的影响。
类似的简化可用于前面描述的隔离度量的修改版本。
还可以通过查找MST的近似来减少处理时间。例如，在Prim算法操作期间，如果根据一些标准(例如，基于预先计算的边权的分布)，认为其权重“足够小”，则可以添加边，因此不需要在每个阶段搜索整棵树以查找邻接边的最小权重。
现在将描述本发明进一步的改进。在分割过程的给定阶段，隔离值和边权的组合使用已被用于确定从森林中去除哪条边。这个决定可认为包括两部分确定从森林中的哪棵树中去除边，以及确定从树中去除哪条边。在本发明的优选实施例中，该树的其它容易地可度量特性可用于构成决定的第一部分，然后本发明本身的方法可用于构成决定的第二部分。例如，可以选择具有最高的总的或平均边权的树，或采用具有最多顶点的树、或者一些其它度量或度量的组合。这种实施例具有两个优点。第一个优点是当决定分离哪棵树时可以考虑附加信息。第二个优点是只需要为选定的树计算隔离值。
可以看出，通常部分地通过上述计算隔离过程，获得只具有两片树叶的简单树。上述过程的剩余过程仅仅相继去除这两片树叶并增加当前的隔离值。相反，在一个实施例中，当获得具有两片树叶的简单树时停止该过程，并将当前的隔离值分配给树的其余部分。这种修改可以加速隔离计算，或者至少避免必须回到用于处理两叶树的第二方法。在一些情况下，这种可选方法可引起主观性能的改善，因为其限制了与树中心区域中的边权相比似乎对隔离过份的强调。
在又一实施例中，可在树边的去除期间计算第二或可选量或度量。该第二或可选量或度量是边的去除减小的树的一些函数的量。
如果树T的函数被定义为f(T)，并且边e的去除将树T分割成两棵树U和V，则边的去除减小的函数的量可由以下表达式给出
f(T)-f(U)-f(V)适当的函数可表示树的“能量”。这种能量函数的实例为ET=Σi∈T(xi-x‾)2]]>其中xi为像素I处的亮度值；T为所考虑的树；以及x为树中亮度的平均值。
使用以上定义，根据以上公式的能量减少(其可以看作“边e的能量”)可以写为Ee=f(T)-f(U)-f(V)=ET-EU-EV]]>=Σi∈T(xi-x‾T)2-Σi∈U(xi-x‾U)2-Σi∈V(xi-x‾V)2]]>=Σi∈U(xi-x‾T)2+Σi∈V(xi-x‾T)2-Σi∈U(xi-x‾U)2-Σi∈V(xi-x‾V)2]]>=Σi∈U(xi-x‾U+x‾U-x‾T)2+Σi∈V(xi-x‾V+x‾V-x‾T)2-Σi∈U(xi-x‾U)2-Σi∈V(xi-x‾V)2]]>=NU(x‾U-x‾T)2+NV(x‾V--x‾T)2]]>=NU(x‾U-x‾T)2(1+NUNT-NU)]]>其中，N是指所示树中的顶点的数量。
计算隔离的方法可容易地适于计算树上的该量。这可以通过在从树叶开始向内处理时对遇到的顶点数量进行计数以及确定遇到的像素值的总和来完成。可参考图22至图25更详细地解释该方法。图22至图25基于先前描述中所用的相同输入数据。
在这些图中，像素值(在该情况下为亮度值)示出在对应于每个像素或图的顶点的圆圈中。最小生成树的边示为连接顶点的线。
在该示例性实施例中，在图的从左到右的行中以及从上到下，以扫描光栅顺序考虑像素。因此，以光栅顺序扫描，识别和处理了树的树叶(只连接到一边的顶点)。在每一阶段，记录遇到的顶点数n和这些顶点的亮度值的累加和s。在树的树叶处，n＝1且s为像素值。已经被处理的顶点在图22中由方框包围的方式示出。
一旦顶点被处理，就从树中去除相应的边。因此，在扫描光栅的过程期间新生成的树叶可稍后在相同的扫描光栅过程中遇到，并且也可以如在图的左上处的情况一样被处理。因此，该第一阶段扫描光栅过程生成如图22所示累加的顶点数和图的20个顶点中的8个的总和的计算。
在图23中，在第一阶段期间去除的边现在以虚线示出。显示了新树叶，并且由于光栅扫描模式，可以在一个过程中再次处理几个顶点。
在图24中，只剩余树的两片树叶并且这些都被去除。剩余一个单独隔离的像素(具有值8)，并且由于从图中已去除了所有边，所以不需要处理该像素。注意，不保证三次过程足以去除这种大小的图中的所有边。
最后的阶段是基于负责该边去除的处理的像素的累加值，返回经过所有边并应用上边导出的公式来获得每条边的能量值。在给定树的亮度平均值xT为4.65的情况下，示例性图像中的所有20个像素的像素值的累加总和是93。因此，例如，如下计算从图24的底行的左侧开始的第三条边的边能量NU＝10xU＝s/NU＝30/10＝3xT＝4.65根据以上公式给出54.5的边能量。
图25示出了所有边的各个能量值。
当使用该方法选择要去除的边时，选择能量被最大化的边。在该实例中，这是具有能量57.4的边，并且这条边将被去除。
能量度量也可与边权、隔离、或前面提到的其它量结合，以获得用于边选择的更为复杂的标准。
已经参照两维图像描述了根据本发明的分割算法。通过连续图像中的像素之间的连接性的适当定义，相同的方法可用于图像序列。
权利要求
1.一种图像分割方法，其中，用图的顶点表示所述图像的像素，用所述图的边表示像素的邻接，为所述边分配表示相邻像素之间的不相似性的度量的权重，生成所述图的最小生成树(或与其近似)，并且相继从所述最小生成树中去除边以创建生成森林，所述森林的树对应于所述图像的部分，其中，选择要从所述生成森林去除的边依赖于对所述森林的所述顶点或所述边计算的形态学特性。
2.根据权利要求1所述的方法，其中，用于选择边的度量依赖于从所述边到所述边所在的树的树叶的距离的度量。
3.根据权利要求1所述的方法，其中，用于选择边的度量依赖于通过去除所述边而创建的两棵树的度量。
4.根据权利要求3所述的方法，其中，边的所述度量是包含所述边的所述树中的所述像素的函数与通过去除所述边而创建的所述两棵树中的所述像素的所述函数的值的总和之间的差。
5.根据权利要求4所述的方法，其中，所述函数是能量函数。
6.根据权利要求5所述的方法，其中，树中像素的能量值与所述树中的像素的所述像素值和所述树的平均像素值之间的差的平方相关。
7.根据权利要求3所述的方法，其中，用于选择边的所述度量依赖于通过去除所述边而创建的所述两棵树的大小的度量。
8.根据权利要求7所述的方法，其中，大小被度量为形成树的顶点的数量。
9.根据前述权利要求中任一项所述的方法，其中，通过递归算法计算树中的每条边的所述度量。
10.根据权利要求9所述的方法，其中，所述度量被设置成连接所述树的树叶的第一组边的初始值，其中，对于连接所述第一组边的后续一组边增加或累加所述度量，以及其中，重复所述处理直至所有的边都被考虑到。
11.根据权利要求9或10所述的方法，其中，所述度量被设置成连接所述树的树叶的边的初始值，临时去除那些边，增加或累加所述度量并重复所述过程直至没有剩余边。
12.根据权利要求11所述的方法，其中，边权被包括在所述累加过程中。
13.根据权利要求11或12所述的方法，其中，当所述树中剩余两片树叶时，停止所述度量的所述累加，并将所述树的剩余部分的所述度量设置成常数。
14.根据权利要求2所述的方法，其中，使用给出与权利要求9至13中任一项的算法基本相似的结果的算法计算所述度量。
15.根据前述权利要求中任一项所述的方法，其中，用于选择边的所述度量依赖于所述图的所述像素值。
16.根据前述权利要求中任一项所述的方法，其中，以预定扫描次序对所述图中的所述顶点或所述边执行顶点或边去除的处理。
17.根据权利要求16所述的方法，其中，所述扫描次序是光栅模式。
18.根据前述权利要求中任一项所述的方法，其中，用于选择边的所述度量依赖于所述图的所述边权。
19.根据权利要求18所述的方法，其中，所述选择的边使所述边权与从权利要求2至15中任一项导出的所述度量的乘积最大。
20.根据前述权利要求中任一项所述的方法，其中，边的所述选择在从中去除所述边的树的选择之后。
21.根据权利要求20所述的方法，其中，用于选择树的所述度量依赖于以下特性的任意或所有的组合所述树的顶点数、所述树的平均边权、所述树的总边权、所述树的所述像素值和边权的函数。
22.一种图像分割方法，其中，用图的顶点表示所述图像的像素，用所述图的边表示像素的邻接，为所述边分配表示相邻像素之间的不相似性的度量的权重，生成所述图的最小生成树(或与其近似)，并且相继从所述最小生成树中去除边以创建生成森林，所述森林的树对应于所述图像的部分，其中，选择从所述生成森林去除的边依赖于通过去除边而创建的两棵树的度量。
全文摘要
一种使用图论技术的图像分割方法，其中，图像的像素用图的顶点表示。生成最小生成树并根据形态学特性相继去除树的边以留下生成森林，生成森林的树与图像的部分对应。选择要去除的边可依赖于树的能量函数和通过去除边而生成的树的能量函数。
文档编号G06K9/62GK101065774SQ200580040569
公开日2007年10月31日 申请日期2005年11月25日 优先权日2004年11月26日
发明者迈克尔·詹姆斯·尼, 马丁·韦斯顿 申请人:史诺伟思有限公司