图像分割方法
【专利摘要】本发明涉及照片及视频图像的处理。针对从较粗糙到较精细的N个图像细节级别搜索代价函数的最小值，并且在每个图像细节级别上将该图像划分为多个区域；通过η次连续迭代为每个区域指定一个单一分割值，此后对于不同类型的图像分割为这些区域边界处的接缝计算代价函数的值，并针对每个区域选择一个分割值，该分割值使得这些接缝和数据的代价函数之和为最小。此外，为了避免在作为图像中噪音的结果由围绕任何局部区域的接缝的高代价所造成的、在这些局部最小值之一中搜索全局最小值的过程中发生暂停（冻结），在这些代价函数之和中以接缝函数的一个减小的输入值在每个细节级别上执行若干次参比迭代。其技术结果就是极少使用一个移动装置的内存资源的图像分割，而同时既维持了对图像噪音的抵抗力也维持了运行速度。
【专利说明】图像分割方法
【技术领域】
[0001]本发明涉及照相和视频成像领域，具体地说，在带有集成照相和摄像机的移动装置的帮助下，可用于例如改进取自若干个输入帧的生成图像的质量。
[0002]发明背景
[0003]通常，由于在不同的时刻会发生若干个输入帧(快照)的曝光，因此在各个帧之间构建场景过程中会发生失真现象，这体现在移动(不稳定)对象的不同配置和场景照明条件的变化(例如由于云量发生变化)中，这将影响所得图像的质量，并体现在:
[0004]-不稳定对象出现双重轮廓，且在某些情况下，图像中出现双倍数量的移动对象
[0005]-不稳定对象出现半透明效果
[0006]-图像各区域出现明显的亮度或色彩平衡不规则
[0007]当前，通过移动装置的帮助来改进图片质量的方法之一在于，在一个短的时间期间内拍摄若干个帧，随后通过缝合若干个图像，将其合并成单一的所得相片(创建具备动态范围得到增强且图像噪声水平得到降低等特征的全景图像)。在此过程中，缝合应该以接缝通过相邻初始图像中差异最少的轨迹并绕过不稳定对象的方式进行。一种用于确定最优接缝轨迹的普遍的方法使用各种图像分割方法[Alexander Vezhnevets, Olga Barinova,“图像分割方法:自动分割”，《计算机图形与多媒体》，第4 (4)期/2006:http: //cgm.computergraphics.ru/content/view/147]。
[0008]图像分割与缝合最适用于在以下情况下从若干个初始图像创建一个图像:
[0009]-基于若干次拍摄创建全景图像，其中每次拍摄仅描绘全景图的一部分
[0010]-基于若干个动态范围较低的初始图片创建动态范围较高的图像
[0011]借助于分割，存在多种方法用于改进图像的质量。
[0012]集群技术方法使用被指定至某个特征空间的像点表示，且此特征空间引入了度量规格(对接近程度的度量)。
[0013]此方法的缺点在于，完全未考虑或间接考虑到点的空间安排(例如，将点坐标用作特征之一)。这也是在对像点进行集群之后通常要执行定义连接组件的过程的原因。同时，集群技术方法不能较好适用于有噪音的图像:通常会丢失单独的区域点、创建若干个小区域等。
[0014]区域生长方法[A.Tremeau与N.Borel，“颜色分割的区域生长和合并算法”，《模式识别》，1997 ；Y.Kanai，“使用强度和彩色信息进行图像分割”，《SPIE -可视通信与图像处理》98 ；B.Cramariuc> M.Gabbouj与J.Astola, “基于集群技术的彩色图像分割区域生长算法”，《数字信号处理国际会议》，1997 ;及Y.Deng、B.S.Manjunath与H.Shin, “彩色图像分割”，CVPR1999]直接考虑了点的空间安排。首先，根据一定的规则选择区域中心，同时满足特定标准的临近点在各个阶段将添加到这些区域中心。直到所有像点都已添加到这些区域中的任一个上，该区域生长过程停止。基于某个点是否添加到某个区域使用不同的标准:某个点距离某个区域中心的接近程度、距离在上一步已添加到某个区域的临近点的接近程度、根据某些区域统计得出的接近程度、从某个点到某个区域中心的最短路径的代价，等等。在大多数情况下，该区域生长过程用于覆盖单独的区域。然而，针对若干个区域逐步或同步执行此过程，可获得整个图像的分区。
[0015]此方法的缺点在于，其不适用于接缝缝合任务；仅适用于只存在一个参比图像的场合。另外，其需要消耗移动装置上的大量存储资源。并且，数据处理不够快速。
[0016]分割合并方法[A.Tremeau与N.Borel，“颜色分割的区域生长和合并算法”，《模式识别》，1997 ；B.Cramariuc>M.Gabbouj与J.Astola, “基于集群技术的彩色图像分割区域生长算法”，《数字信号处理国际会议》，1997 ；M.Celenk, “纹理图像分割的层级色彩集群”，《第29届系统理论东南讨论会会议录》，1997] ； [S.Ji与H.ff.Park, “基于区域相干性的彩色图像分割”，《ICIP会议录》98 ；L.Shafarenko、M.Petrov与J.Kittler, “随机纹理彩色图像的自动分水岭分割”，《图像处理IEEE交易》，1997 ;及M.Barn1、S.Rossi与A.Mecocci，“低层级图像分割的模糊专家系统”，EUSIPC0-96]包含两个主要的阶段:分割与合并。分割开始于对某个图像进行分区，但未必分成均匀的区域。在找到满足分割块均匀性要求的分区图像之前，区域分割过程将一直执行下去(过度划分)。当某个图像分区获得最大尺寸的均匀区域时，类似相邻分割块便实现统一。
[0017]这些方法的缺点在于，数据处理速度低下、对存储资源的需求增加，以及仅适用于单一参比图像。
[0018]马尔可夫场模型方法[G.R.Cross与A.K.Jain，“马尔可夫随机场纹理模型”，《模式分析与机器智能IEEE交易》，1983 ；S.German与D.German,“随机性松弛、吉布斯分布和图像贝氏恢复”，《模式分析与机器智能IEEE交易》，1984 ；R.Szelisk1、R.Zabih、D.Scharstein、0.Veksler、V.Kolmogorov>A.Agarwala>M.Tappen、C.Rother, “马尔可夫随机场与基于平滑度的先前技术的能量最小化方法对比研究”，《模式分析与机器智能IEEE交易》，卷30，第6期，2008年6月]基于以下假设:图像每个点的颜色取决于特定数量的临近点的颜色。对图像模型进行了汇总。也可以对纹理分割进行汇总[Y.Deng、B.S.Manjunath与H.Shin, “彩色图像分割”，CVPR1999]。
[0019]此方法的缺点在于其实施困难。
[0020]基于边缘检测运算符的方法[M.Jacob、M.Unser, “使用类Canny标准针对特征检测设计可操纵的筛选器”，《模式分析与机器智能IEEE交易》，卷26，第8期，第1007 - 1019页，Atilla Ozmen与Emir Tufan Akman, “使用可操纵的筛选器和CNN的边缘检测”,2002]采用的分割方法在于寻找区域边界，其对半色调图像表现良好。半色调图像被视为两个变量的函数，且假定区域边界对应于此函数梯度的最大值。为寻找这些最大值，使用了微分几何。为改进对噪声的抵抗力，在筛选之前通常对图像进行模糊化处理。鉴于拉普拉斯运算符和高斯筛选器的可交换性，可同步执行模糊化处理和边界寻找。
[0021]此方法的缺点在于欠缺对图像噪声的抵抗力。而且，由于边界的限定相对每个任务都不同，因此有必要在每次应用边界寻找方法时选择一种筛选结果修订方法。
[0022]优化方法[Y.Deng,B.S.Manjunath 与 H，Shin，“彩色图像分割”，CVPR1999]包含将一个图像分区成均匀的区域，将分区变成一次优化任务。针对此方法，分割任务被描述为搜索具备某些质量的图像的分区，然后引入一个函数，该函数反映满足所提出要求的结果分割的均匀度。例如，引入一个分割质量函数，该函数使用一个图像上的色彩分布。
[0023]这些方法的缺点在于费力，并且对移动装置的资源要求高。[0024]所有这些方法的共同缺点在于:
[0025]-鉴于这些方法(区域生长法、分割-混合、边缘检测)仅可作用于一个参比图像的事实，所获得的分割不适于缝合任务
[0026]-对系统资源的要求不适于移动装置，即计算单元的存储和运行速度(集群技术方法、区域生长、分割-混合、马尔可夫随机场、图论方法、优化方法)
[0027]-对噪声图像的处理效果不好(集群技术方法、边缘检测)
[0028]-未考虑点的空间安排(集群技术)。 [0029]图割最小化方法最接近于本发明的解决方案[美国专利6，744，923，“通过图割实现快速近似能量最小化的系统及方法”；及R- Szelisk1、R.Zabih、D.Scharstein、0.Veksler> V.Kolmogorov、A.Agarwala>M.Tappen、C.Rother “马尔可夫随机场与基于平滑度的先前技术的能量最小化方法对比研究”，《模式分析与机器智能IEEE交易》，卷30，第6期，2008年6月]。以加权图的形式展示了一个图像，其中节点位于像点中。图形链接的权重反映了各点之间的相似度(例如，以某种度量来衡量的这些点之间的距离)。通过图割来对图像分区进行建模。图论方法引入了害!]“代价”的函数，该函数反映了所获分割的质量。因此，将图像分区成多个均匀的区域的任务减轻成了寻找代价最小的图割的优化任务。除色彩均匀与分割块纹理外，此方法可以控制分割块的形式、尺寸、边界复杂度等。可以有各种方法来寻找代价最低的分割:贪心算法(在每个阶段，选择使得总体分割代价最小的链接)、动态编程方法(保证在每个阶段选择一个能得到一条最优路径的最优链接)，等等。
[0030]此方法的一个缺点是，为了获得一个降低运行速度的解决方案所需的计算量很大，并且在寻找最优分割过程中需要提供大量的额外存储资源。
[0031]发明概述
[0032]作者执行了设计一种图像分割方法的任务，该方法满足以下要求:
[0033]-运行速度
[0034]-最优图像分割，即有助于获得接缝代价函数与图像数据(基于颜色、亮度和其他参数)的代价函数之和的全局最小值，以及所获分割与绝对最优分割的邻近度(类似于已知的最佳方法)
[0035]-无需移动装置更多的存储资源
[0036]-对图像噪声的抵抗力。
[0037]本发明的技术方案的本质在于以下事实:在已知的搜索代价函数最小值的图像分割方法中，这种搜索是针对从较粗糙到较精细的N个图像细节级别进行的，并且在每个图像细节级别上将该图像划分为多个区域；通过η次连续迭代为每个区域指定一个单一分割值。此后，对于不同类型的图像分割为这些区域边界的接缝计算代价函数的值，并针对每个区域选择一个分割值，该分割值使得这些接缝和数据的代价函数之和为最小。如果需要排除接缝对分割结果的影响(例如，当需要对图像进行独立于方位的分割时)，那么需要通过处理不具备共同边界的图像区域来在每次后续迭代中搜索一个最小值，并在每次后续迭代中更新对用于处理的区域的选择。此外，为了避免由围绕任何局部区域的接缝的高代价所造成的、在这些局部最小值之一中搜索全局最小值的过程中出现陷阱，在这些代价函数之和中以接缝函数的一个减小的输入值在每个细节级别上执行若干次初始迭代。这便于接缝越过(漏过)代价的峰值。[0038]附图简述
[0039]图1给出了一个参比图像的示例，该图像的色彩空间将被最优地分割成12种颜色。
[0040]图2给出了仅基于数据的代价函数在最粗糙的细节级别进行的参比分割的示例。接缝的代价函数假定为零。
[0041]图3描绘了第一次迭代之后的分割状态。带有圆顶的矩形表示在给定迭代中处理的方块。水平阴影表示给定迭代中发生分割变化的方块；垂直阴影表示分割得以保留的面积。
[0042]图4描绘了第二次迭代后的分割状态。
[0043]图5描绘了每个细节级别的分割最终结果。右下角所描绘即所得分割方案。
[0044]图6展示了各种方法的收敛图一在以下论文中有描述:R.Szeliski, R.Zabih、D.Scharstein、0.Veksler、V.Kolmogorov、A.Agarwala> M.Tappen 与 C.Rother, “马尔可夫随机场与基于平滑度的先前技术的能量最小化方法对比研究”，《模式分析与机器智能IEEE交易》，卷30，第6期，2008年6月一实现全景缝合任务的全局最小值。纵轴以百分数表示距离全局最小值的偏差；横轴以秒为单位，为对数时间轴。这些图分别表示:
[0045].? -马 尔可夫随机场方法“迭代条件模式”
[0046]+ + -图割方法的变体“循环信度传播算法”
[0047]+ -类似于“循环信度传播算法”的“树型再加权消息传递”
[0048]一 —预测全局最小值的下限
[0049]~Λ~ - “图害I]”方法的不同变体
[0050]〇-所建议的方法；圆圈表示完整的处理时间，以及所获的、距离全局最小值的偏差。
[0051]图7与图8为图6的放大版，在距离该全局最小值的偏差的基础上放大比例。
[0052]发明详述
[0053]本发明的方法是按照以下方式执行的:对一个参比图像进行N次细节级别的操作(例如将图像随机分区成多个尺寸相近的区域)。在每个细节级别，执行η次迭代，直至这些区域分割中不再存在能够导致接缝和数据函数总值减小的变化，或者直至针对一个给定的细节级别实现可接受的最多次数的迭代，而这次数受限于移动装置的总体处理时间。
[0054]使用了两个代价函数:
[0055]-数据的代价函数，表示特定图像像素分配到分割块之一中的优化程度。例如，一个像素的颜色与一个分割块的颜色之间的数值差异的绝对值。
[0056]-接缝的代价函数，表示一个给定位置的分割块边界轨迹的优化程度。
[0057]在每个细节级别，接缝仅可沿着区域边界行进。针对这些细节级别中的每一个级另IJ，这些区域的形状保持不变。由于在初始粗糙级别之后的矫正性迭代允许越过(漏过)代价函数的局部最小值，并且所得的分割接近于全局最小值，所以对接缝轨迹在这方面的限制被视为可以接受。
[0058]通过图像分割并且仅基于数据的代价函数的值获得的分割未考虑接缝的代价，被用作初始分割。借助这种分 割，每个图像像素区域被指定一个分割块值，表示一个给定区域所有像素的最小值之和。在像素区域的组合值上执行初始(粗糙)细节级别的迭代。[0059]每次后续迭代会找到一个相对前一分割更优的分割。
[0060]在每次迭代中，每个像素区域会经历以下过程:
[0061]-计算代价函数的局部值，包括环绕给定区域的数据以及接缝的代价；
[0062]-针对给定区域所有可能的分割值计算代价函数；
[0063]-如果给定区域的初始分割选择不是最优的(函数值高于任意其他分割)，那么将以最优值(代价函数的最小值)替换给定区域的值。
[0064]逐个处理每个区域；同时，特定区域的分割值会影响通过给定区域边界的接缝的代价，导致所得分割依赖于所处理的区域的顺序。如果需要排除接缝对分割结果的影响(例如，当需要对图像进行独立于方位的分割时)，那么需要通过处理不具备共同边界的图像区域来在每次迭代中搜索一个最小值；在每次后续迭代中更新对用于处理的区域的选择。
[0065]为了避免在作为图像中噪音的结果由围绕任何局部区域的接缝的高代价所造成的、在这些局部最小值之一中搜索全局最小值的过程中出现陷阱，在这些代价函数之和中以接缝函数的一个减小的输入值在每个细节级别上执行若干次初始迭代。这使得接缝能够越过(漏过)代价的峰值。后续迭代通过接缝函数的通常输入执行即可。
[0066]图1到图5展示了本发明方法的实现方式的特定示例，其中参比图像被划分为方块，并且接缝仅可沿着方块边界行进。针对一个参比图像的色彩空间的分割给出了说明。在若干个图像的分割期间，仅数据和接缝的代价函数将发生变化，原因在于，不再将像素颜色值用作函数参数，而是使用能够反映各个图像之间邻近度的其他参数(例如，亮度差异)。
[0067]在每次迭代中，每个方块会经历以下过程:
[0068]-计算代价函数的局部值，包括环绕给定方块的数据以及接缝的代价；
[0069]-针对给定方块所有可能的分割值计算代价函数；
[0070]-如果给定方块的初始分割选择不是最优的(函数值高于任意其他分割)，那么将以最优值(代价函数的最小值)替换给定方块的值。
[0071]以交错的顺序执行均匀与非均匀迭代。借助这种顺序，单独迭代的处理结果不依赖于接缝轨迹的方向。因此，每个接缝(方块边上)仅受一个方块的影响，而不受给定迭代的任何其他相邻方块的影响。
[0072]为了排除不实际的长分割块边界，针对特定的像素，将相邻像素的数字颜色值的绝对差加上某一个正的常数作为接缝的代价函数。在此情况下，随着接缝的总长度增大，该常数会增大接缝的代价函数值。
[0073]为了避免在这些局部最小值之一中搜索全局最小值的过程中出现陷阱，将分别以
0.6、0.75和0.9为系数减小接缝函数的代价,来执行每个细节级别的前三次迭代。
[0074]通过将当前近似值保存到最优分割，并且在每次迭代中仅由数据的代价函数来调整分割，可进一步提升处理速度。这些数据的大小为图像像素的两倍。只有在存储计算数据和接缝的代价函数所需的参比数据时才需要额外的存储资源，或者，如果需要，用于存储给定函数的预计算值(由于在处理过程中每个像素的这些值均为常数)。
[0075]工业实用性
[0076]相比当前已有的类似方法，本发明的方法具备以下优点:
[0077]1.运行速度。针对当前主流的移动装置所需的总处理时间为I秒内(2011年)。
[0078]2.分割质量(与最优方案的接近程度/最优分割)与当前已知的最佳方法相当。[0079]3.实施本方法对存储资源的要求极低。
[0080]4.由于在局部最小值中不存在陷阱，本方法对图像噪声具有抵抗力。
【权利要求】
1.一种图像分割方法，包括搜索代价函数的最小值，其中: 该搜索是针对N个图像细节级别进行的，从较粗糙到较精细； 在各图像细节级别，所述图像被划分(分割)为多个区域； 通过η次连续迭代，为各区域指定一个单一分割值； 在每次迭代过程中，针对不同版本的图像分割，计算区域边界处的接缝的代价函数的值； 针对每个区域，选择一个分割值，该分割值使得这些接缝和数据的代价函数之和最小。
2.根据权利要求1所述的方法，其中在每次迭代过程中，对最小值的搜索是通过对不具备共同边界的图像区域进行处理来执行的，且在每次迭代中更改用于处理的区域的选择。
3.根据权利要求1所述的方法，其中在这些迭代的子集中，缩小接缝代价函数向这些数据和接缝的代价函数的组合中的输入。
【文档编号】G06K9/70GK103733207SQ201280039682
【公开日】2014年4月16日 申请日期:2012年6月19日 优先权日:2011年8月15日
【发明者】德米特里·瓦莱里维奇·施穆克 申请人:德米特里·瓦莱里维奇·施穆克