专利名称：一种大尺寸彩色图像的前景和背景交互式分割方法及系统的制作方法
技术领域：
本发明属于图像分割技术领域，具体涉及一种大尺寸彩色图像的前景和背景交互式分割方法及系统。所述大尺寸彩色图像是指至少大于IOM像素X IOM像素的图像。
背景技术：
前景和背景分割可以视为二标号图像分割问题，该问题可描述为马尔可夫随机场 (MRF)框架下的能量函数，借助图割(Graph Cuts)技术(参见文献R. Zabih，Y. Boykov, 0.Veksler, “ System and method for fast approximate energy minimization via graph cuts"，United Stated Patent 6，744，923，June 1,2004)进行优化求解。利用能量极小化求解分割问题是目前许多交互式分割方法的基础，在此基础上已出现了许多前景和背景分割算法，例如，由boykov等提出的交互式图像分割方法(参见文献interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D images. Yuri Boykov and Marie-Pierre Jolly. In International Conference on Computer Vision, (ICCV), vol. I, pp. 105-112，2001)。但遗憾的是，在计算机内存为2G的情况下，使用此方法能够处理的理论最大图像尺寸约为^23X^23像素，不能满足处理大图需要。另一篇相关文献为Yin Li等人在boykov基础上提出的方法(参见文献Lazy Snapping. L Yin, S Jian, T Chi-Keung, S Heung-Yeung-Proc of ACM SIGGRAPH，2004)，该方法通过预分割步骤可以加快分割速度，但由于该算法也需要一次性将整幅图像载入内存，仍无法用于大尺寸图像。例如，如果将一幅2万X2万像素、256灰度级、4通道的图像全部载入，需要用的内存数量将达到约1.6G，分割算法至少还需要与图像尺寸等同的计算资源，再加上操作系统运行本身占用的一部分资源，实际需要内存远远大于3. 2G。而目前主流32位操作系统理论上最多能支持3. 25G内存。此外，Adobe Photoshop等商业图像处理软件也提供了一些交互式分割工具，如魔棒工具和快速选择工具等，但使用这些工具往往需要花费大量的人工交互操作才能得到期望的分割效果，实用性不强。总之，对于大尺寸图像的前景和背景交互式分割问题，目前尚无成熟有效的解决方案。
发明内容
针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种大尺寸彩色图像的前景和背景交互式分割方法及系统，该方法及系统能够分割大尺寸的彩色图像，而且分割速度快、效果好。为解决上述技术问题，本发明采用的技术方案如下一种大尺寸彩色图像的前景和背景交互式分割方法，包括以下步骤(1)选取若干彩色图像中的前景参考点和背景参考点；所述前景为彩色图像中的待选区域，前景参考点为待选区域中的像素点；所述背景为彩色图像中待选区域外的区域， 背景参考点为待选区域外的区域中的像素点；
4
(2)将所述彩色图像分割成设定大小的若干图像块，对每个图像块进行区域生长， 将生长出的每一个区域作为一个特征点，特征点的颜色为该区域所有像素点颜色的平均值；(3)计算每个特征点与前景、背景及其邻域的相似度；(4)根据所述特征点和特征点与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于待选区域的像素点，生成待选区域边界。如上所述的大尺寸彩色图像的前景和背景交互式分割方法，步骤(1)中选取前景参考点时，选取前景中多种颜色的像素点。选取背景参考点时，选取背景中多种颜色的像素
点O如上所述的大尺寸彩色图像的前景和背景交互式分割方法，步骤O)中所述的设定大小为IOMX IOM像素。如上所述的大尺寸彩色图像的前景和背景交互式分割方法，步骤O)中所述区域生长是指将每个图像块中的像素点的色差值不超过设定阈值M的像素点划分为同一区域。如上所述的大尺寸彩色图像的前景和背景交互式分割方法，步骤(3)中所述计算特征点与前景或背景相似度的方法如下先对前景/背景参考点建立前景/背景的高斯混合模型，然后计算特征点颜色在高斯混合模型下的概率P，以-Iog(P)的值作为特征点与前景/背景的相似度。如上所述的大尺寸彩色图像的前景和背景交互式分割方法，步骤(3)中所述计算特征点与其邻域相似度的方法如下分别计算特征点颜色与其邻域特征点颜色各通道差值的平方和difT2，以1/ (diff2+l)的值作为相邻特征点之间的相似度。如上所述的大尺寸彩色图像的前景和背景交互式分割方法，步骤中生成待选区域的边界后，对所生成的边界再进行如下调整(i)设定边界宽度；(ii)在有效范围内添加前景参考点和背景参考点，所述有效范围是指以待调整的部分边界为中心，直径在边界宽度内的范围；(iii)遍历整个有效区域，确定每个像素点与其四邻域的相似度；(iv)根据所述像素点和其与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于有效区域前景的像素点，调整有效区域边界。如上所述的大尺寸彩色图像的前景和背景交互式分割方法，步骤(i)中所述边界宽度设为10像素。如上所述的大尺寸彩色图像的前景和背景交互式分割方法，步骤(iii)中，将前景参考点与前景的相似度设为无穷大，与背景的相似度设为零；背景参考点与前景的相似度设为零，与背景的相似度设为无穷大；对于有效范围内边界上的那些像素点，如果是前景点就设置其与前景的相似度为无穷大，与背景的相似度为零；如果是背景点就设置其与前景的相似度为零，与背景的相似度为无穷大。一种大尺寸彩色图像的前景和背景交互式分割系统，包括参考点选取装置用于选取若干彩色图像中的前景参考点和背景参考点；所述前景为彩色图像中的待选区域，前景参考点为待选区域中的像素点；所述背景为彩色图像中待选区域外的区域，背景参考点为待选区域外的区域中的像素点；特征点生成装置，用于将所述彩色图像分割成设定大小的若干图像块，对每个图像块进行区域生长，将生长出的每一个区域作为一个特征点，特征点的颜色为该区域所有像素点颜色的平均值；相似度计算装置，用于计算每个特征点与前景、背景及其邻域的相似度；边界生成装置，用于根据特征点和特征点与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于待选区域的像素点，生成待选区域边界。如上所述的大尺寸彩色图像的前景和背景交互式分割系统，还包括用于对生成的边界进行局部调整的边界调整装置。如上所述的大尺寸彩色图像的前景和背景交互式分割系统，其中，边界调整装置调整局部边界的过程如下设定边界宽度；在有效范围内添加前景参考点和背景参考点，所述有效范围是指以待调整的部分边界为中心，直径在边界宽度内的范围；遍历整个有效区域，确定每个像素点与其四邻域的相似度；根据所述像素点和其与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于有效区域前景的像素点，调整有效区域边界。本发明所述方法及系统，通过将彩色图像分割成设定大小的若干图像块，对每个图像块进行区域生长，将生长出的每一个区域作为一个特征点的方式，可以快速地将大尺寸彩色图像分割为前景和背景两个区域。而且，通过对前景和背景区域边界进行精细调整的方式，可以提高分割效果的精度。
图1是具体实施方式
中大尺寸彩色图像的前景和背景交互式分割系统的结构框图；图2是具体实施方式
中采用图1所示系统分割大尺寸彩色图像的前景和背景的方法流程图；图3是具体实施方式
中区域生长方法流程图；图4A和图4B是具体实施方式
中区域生长示意图；图5是具体实施方式
中部分区域边界调整方法流程图。
具体实施例方式下面结合具体实施方式
和附图对本发明进行详细描述。图1示出了本实施方式中大尺寸彩色图像的前景和背景交互式分割系统的结构。 如图1所示，该系统包括参考点选取装置11，特征点生成装置12，与参考点选取装置11和特征点生成装置12连接的相似度计算装置13，与相似度计算装置13连接的边界生成装置 14，与边界生成装置14连接的边界调整装置15。参考点选取装置11用于选取若干彩色图像中的前景参考点和背景参考点。所述前景是指彩色图像中的待选区域，前景参考点是指待选区域中的像素点。所述背景是指彩
6色图像中待选区域外的区域，背景参考点是指待选区域外的区域中的像素点。特征点生成装置12用于将彩色图像分割成设定大小的若干图像块，对每个图像块进行区域生长，将生长出的每一个区域作为一个特征点，特征点的颜色为该区域所有像素点颜色的平均值。相似度计算装置13用于计算每个特征点与前景、背景及其邻域的相似度。其中， 邻域可以为四邻域，也可以为八邻域。边界生成装置14用于根据特征点和特征点与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于待选区域的像素点，生成待选区域边界。边界调整装置15用于对生成的边界进行局部调整。待选区域边界生成后，可能存在部分区域边界不准确情况，边界调整装置15可以对不准确的部分区域边界进行调整。图2示出了采用图1所示系统分割大尺寸彩色图像的前景和背景交互式分割方法流程。如图2所示，该方法包括以下步骤(1)参考点选取装置11选取若干彩色图像中的前景参考点和背景参考点。优选的，在选取前景参考点时，选取前景中多种颜色的像素点。选取背景参考点时，选取背景中多种颜色的像素点。选取的参考点越符合前景或背景中的颜色分布，分割出的图像边界越准确。(2)特征点生成装置12将彩色图像分割成设定大小的若干图像块，对每个图像块进行区域生长，将生长出的每一个区域作为一个特征点，特征点的颜色为该区域所有像素点颜色的平均值。设定的图像块大小应不超过IOMX IOM像素。本实施方式中，将彩色图像分割成 IOMX IOM像素的图像块。如果不能整分，则最后分割出的图像块可以小于设定值。对于每一个图像块进行区域生长操作，将图像块划分成若干个颜色相似的区域， 即将每个图像块中与参考像素点的色差值不超过设定阈值M的像素点划分为同一区域。如图3所示，本实施方式中，区域生长的具体流程如下(i)按照从左到右、从上到下的顺序逐像素扫描图像块，当遇到没有被标号的像素点时就给该像素点分配一个新的标号值(可以用1、2……表示标号值)，并将该像素点被记作新区域的参考像素点。如图4A所示，已经标记了 1、2两个区域，当扫描到没有被标号的像素点时，便给该像素点赋一个新的标号3，并将该像素点被记作新区域的参考像素点。(ii)从参考像素点开始，计算该像素点与其四邻域(即左、右、上、下四个相邻像素点)像素点中没有被标号过的像素点的色差值(如果为边缘像素点，则为两邻域)，如果其色差值小于设定阈值M，便给其分配与参考像素点相同的标号。本实施方式中，阈值M设定为10。设图像的颜色用(L，a, b)表示，像素点A与像素点B的色差值的计算公式如下abs (A (L) -B (L)) +abs (A (a) -B (a)) +abs (A (b) -B (b))。其中，abs表示取绝对值。(iii)计算下一个与参考像素点相同标号的像素点的四邻域中没有被标号的像素点与参考像素点的色差值，如果小于设定阈值M，便给其分配与参考像素点相同的标号。以此类推，直到所有与参考像素点标号相同的像素点的四邻域都被判断过，且没有新的像素点能够被标号为与参考像素点相同的标号为止。这样便生成了一个新的区域，如图4B所
7J\ ο(iv)从参考像素点开始继续扫描，找到下一个没有被标号的像素点，开始生长下一个区域，直到整个图像块都被标记完毕为止。标记完毕后，将标号相同的像素点划分为一个区域。将每一个区域作为一个特征点，特征点的颜色为该区域所有像素点颜色的平均值。(3)相似度计算装置13计算每个特征点与前景、背景及其邻域的相似度。本实施方式中，计算特征点与前景或背景相似度的方法如下先对前景/背景参考点建立前景/背景的高斯混合模型，然后计算特征点颜色在高斯混合模型下的概率P， 以-Iog(P)的值作为特征点与前景/背景的相似度。计算特征点与其邻域相似度的方法如下分别计算特征点颜色与其邻域特征点颜色各通道差值的平方和diff2，以l/(diff2+l)的值作为相邻特征点之间的相似度。当然，相似度的计算方法并不局限于上述方法，只要能够体现出特征点与前景/ 背景、及其邻域像素点颜色的相似程度即可。例如，对于特征点与前景或背景相似度，还可以采用如下方法计算首先计算前景参考点的一个中心颜色，然后计算每个特征点颜色与该中心颜色的差值，将该差值作为两者的相似度。对于特征点与其邻域的相似度，还可以将 exp (-diff2)的值作为相邻特征点之间的相似度。(4)边界生成装置14根据特征点和特征点与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于待选区域的像素点，生成待选区域边界。建立和分割有向图的方法为现有方法，具体可参见“Graph Cuts in Vision and Graphics theories and Applications，，(In "Handbook of Mathematical Models in Computer Vision，，, springer, 2006, Yuri Boykov and Olga Veksler),此处不再展开说明。生成待选区域边界后，由于特征点是一个区域，而不是像素点，因此生成的区域边界可能不够精确。本实施方式中，如图5所示，对所生成的待选区域边界再由边界调整装置 15对不够精确的部分区域边界进行如下调整(i)设定边界宽度；所述边界宽度可以在[2，100]像素之间，本实施方式中设为10像素。(ii)在有效范围内添加前景参考点和背景参考点，所述有效范围是指以待调整的部分边界为中心，直径在边界宽度内的范围。(iii)遍历整个有效区域，计算每个像素点与前景、背景和其四邻域的相似度。计算像素点与前景、背景和其四邻域的相似度方法与上述特征点与前景、背景和其邻域相似度的计算方法相同。对于被选为前景参考点的像素点，可以将其与前景的相似度设为无穷大，与背景的相似度设为零。对于被选为背景参考点的像素点，将背景参考点与前景的相似度设为零，与背景的相似度设为无穷大。对于有效范围内边界上的那些像素点， 如果是前景中的像素点就设置其与前景的相似度为无穷大，与背景的相似度为零；如果是背景像素点就设置其与前景的相似度为零，与背景的相似度为无穷大。因为选定的前景参考点是一定被分为前景的，所以他们的相似度要设为无穷大。对于背景也是一样。(iv)根据像素点和其与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于有效区域前景的像素点，调整有效区域边界。
8
本发明针对现有交互式分割方法占用内存多从而无法分割大尺寸彩色图像的缺陷，将特征提取与图像分块相结合，并引入边界精细调整机制，提出了一种适用于大尺寸彩色图像的交互式图像分割方法。采用本发明，用户只需少许几步便捷的交互操作便可以将一副大尺寸彩色图像快速、准确地分割为前景和背景两个区域。本发明支持的图像尺寸可高达2万X 2万像素以上，运行时间为几毫秒至几秒不等，具体情况视CPU性能、内存容量、 图像尺寸以及图像内容复杂性而定。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1.一种大尺寸彩色图像的前景和背景交互式分割方法，包括以下步骤(1)选取若干彩色图像中的前景参考点和背景参考点；所述前景为彩色图像中的待选区域，前景参考点为待选区域中的像素点；所述背景为彩色图像中待选区域外的区域，背景参考点为待选区域外的区域中的像素点；(2)将所述彩色图像分割成设定大小的若干图像块，对每个图像块进行区域生长，将生长出的每一个区域作为一个特征点，特征点的颜色为该区域所有像素点颜色的平均值；(3)计算每个特征点与前景、背景及其邻域的相似度；(4)根据所述特征点和特征点与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于待选区域的像素点，生成待选区域边界。
2.如权利要求1所述的大尺寸彩色图像的前景和背景交互式分割方法，其特征在于 步骤(1)中选取前景参考点时，选取前景中多种颜色的像素点。
3.如权利要求1所述的大尺寸彩色图像的前景和背景交互式分割方法，其特征在于 步骤(1)中选取背景参考点时，选取背景中多种颜色的像素点。
4.如权利要求1所述的大尺寸彩色图像的前景和背景交互式分割方法，其特征在于 步骤O)中所述的设定大小为IOMX IOM像素。
5.如权利要求1至4之一所述的大尺寸彩色图像的前景和背景交互式分割方法，其特征在于步骤O)中所述区域生长是指将每个图像块中的像素点的色差值不超过设定阈值 M的像素点划分为同一区域。
6.如权利要求1所述的大尺寸彩色图像的前景和背景交互式分割方法，其特征在于 步骤(3)中所述计算特征点与前景或背景相似度的方法如下先对前景/背景参考点建立前景/背景的高斯混合模型，然后计算特征点颜色在高斯混合模型下的概率P，以-log(p)的值作为特征点与前景/背景的相似度。
7.如权利要求1所述的大尺寸彩色图像的前景和背景交互式分割方法，其特征在于 步骤(3)中所述计算特征点与其邻域相似度的方法如下分别计算特征点颜色与其邻域特征点颜色各通道差值的平方和difT2，以1/ (diff2+l)的值作为相邻特征点之间的相似度。
8.如权利要求1所述的大尺寸彩色图像的前景和背景交互式分割方法，其特征在于 步骤中生成待选区域的边界后，对所生成的边界再进行如下调整(i)设定边界宽度；( )在有效范围内添加前景参考点和背景参考点，所述有效范围是指以待调整的部分边界为中心，直径在边界宽度内的范围；(iii)遍历整个有效区域，确定每个像素点与其四邻域的相似度；(iv)根据所述像素点和其与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于有效区域前景的像素点，调整有效区域边界。
9.如权利要求8所述的大尺寸彩色图像的前景和背景交互式分割方法，其特征在于 步骤(i)中，所述边界宽度设为10像素。
10.如权利要求8所述的大尺寸彩色图像的前景和背景交互式分割方法，其特征在于 步骤(iii)中，将前景参考点与前景的相似度设为无穷大，与背景的相似度设为零；背景参考点与前景的相似度设为零，与背景的相似度设为无穷大；对于有效范围内边界上的那些像素点，如果是前景点就设置其与前景的相似度为无穷大，与背景的相似度为零；如果是背景点就设置其与前景的相似度为零，与背景的相似度为无穷大。
11.一种大尺寸彩色图像的前景和背景交互式分割系统，包括参考点选取装置(11)用于选取若干彩色图像中的前景参考点和背景参考点；所述前景为彩色图像中的待选区域，前景参考点为待选区域中的像素点；所述背景为彩色图像中待选区域外的区域，背景参考点为待选区域外的区域中的像素点；特征点生成装置(12)，用于将所述彩色图像分割成设定大小的若干图像块，对每个图像块进行区域生长，将生长出的每一个区域作为一个特征点，特征点的颜色为该区域所有像素点颜色的平均值；相似度计算装置(13)，用于计算每个特征点与前景、背景及其邻域的相似度； 边界生成装置(14)，用于根据特征点和特征点与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于待选区域的像素点，生成待选区域边界。
12.如权利要求11所述的大尺寸彩色图像的前景和背景交互式分割系统，其特征在于所述系统还包括用于对生成的边界进行局部调整的边界调整装置(15)。
13.如权利要求12所述的大尺寸彩色图像的前景和背景交互式分割系统，其特征在于所述边界调整装置(1 调整局部边界的过程如下设定边界宽度；在有效范围内添加前景参考点和背景参考点，所述有效范围是指以待调整的部分边界为中心，直径在边界宽度内的范围；遍历整个有效区域，确定每个像素点与其四邻域的相似度；根据所述像素点和其与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于有效区域前景的像素点，调整有效区域边界。
全文摘要
本发明涉及一种大尺寸彩色图像的前景和背景交互式分割方法及系统，属于图像分割技术领域。本发明首先选取若干彩色图像中前景参考点和背景参考点；然后将所述彩色图像分割成设定大小的若干图像块，对每个图像块进行区域生长，将生长出的每一个区域作为一个特征点，特征点的颜色为该区域所有像素点颜色的平均值；再计算每个特征点与前景、背景及其邻域的相似度；最后根据所述特征点和特征点与前景、背景及其邻域的相似度建立有向图，在有向图中分割出属于待选区域的像素点，生成待选区域边界。本发明能够分割大尺寸的彩色图像，而且分割速度快、效果好。
文档编号G06T7/00GK102467740SQ201010538399
公开日2012年5月23日 申请日期2010年11月8日 优先权日2010年11月8日
发明者乔雷杰, 刘 文, 李平立, 郎咸朋 申请人:北京大学, 方正国际软件(北京)有限公司