专利名称：基于图像分割绘制图像的制作方法
技术领域：
本发明通常涉及一种用于通过确定由图像片段(segment)的边界引入的图像内的至少一条边缘，提供基于图像分割(segmentation)的绘制(rendering)图像的方法和系统。
背景技术：
例如，基于移位(shift)的绘制应用于压缩应用以及绘制“图像+深度”数据(诸如多视角显示器上的2,5维(2,5-D)图像数据)的领域中。当必须基于现有图像生成新的图像，例如，当略微改变视点或略微推迟观看时间时，可以运用基于移位的绘制。例如，当运动估计应用于压缩图像时，还要运用图像分割。当分割图像并且移位片段时，需要对空洞填充和边缘模糊进行处理。对于基于移位的绘制，原始的图像数据是有效的。此外，还提供位移场(displacement field)或等效深度映射。该位移场或深度映射为每个像素确定此像素必须移位的距离。然而，大多数情况下，当移位像素时，这些像素不是全部移位相同的值，从而产生空洞填充的问题。而且，由于边缘模糊，通常无法将片段的边界确定到像素的级别。
典型地，对于一个图像内的全部像素，位移场是不同的。位移场差导致双占有，输出图像中两个像素向同一位置移位，还导致空洞，即输出图像中特定位置无赋值的像素。虽然双占有能够相应地很容易得到解决，但是空洞填充时则需要计算适合该空洞的新图像数据。
从2003年在西班牙格兰纳达薄呢召开的EurographicsConference的资料，R.P.Berretty和F.E.Ernst提出的“来自2.5D视频的高质量图像”中介绍了一种方法，该方法能够使用如2,5D图像数据内的隐藏层信息计算新图像数据。
图像分割可以基于运动场内的变化通常发生在物体边界，并且物体边界通常与例如色彩边界相一致的事实。一种可能的图像分割方法可以分组具有相似颜色的像素。图1举例说明了一种用于图像分割的解决方法。图1中的实线表示片段边界2，有点的区域表示图像片段4。图像分割是众所周知的，而且有多种方法可用于图像分割。例如，2002年哥本哈根计算机视觉欧洲会议的资料，施普林格关于计算机科学的演讲记录，第2531卷中，第II-217-II-231页，F.Ernst、P.Wilinski和K.van Overveld的“来自运动的结构密度一种基于片段匹配的方法(Dense structure-from-motionan approach based onsegment matching)”中描述了一种可能的图像分割方法。
片段像素的不同移位导致空洞填充问题。片段边界经常出现在不连续处，如颜色不连续。因此，需要在具有大量变差(variation)，例如颜色变差的区域内执行空洞填充的插补程序。另外，插补通常不得不从边界的一侧进行，需要空洞填充算法来分辨图像中什么是前景，什么是背景。此外，由于采集系统，物体之间的边界在多个像素上变得模糊。模糊导致边缘定义不清晰不尖锐，而是像洗过的一样。绘制程序中，如果对这种模糊处理不当，则可能导致幻影边缘。
迄今为止，现有技术具有在与具有大量变差的图像边界(诸如色彩边界)一致的物体边界处填充空洞的问题。另外，需要对物体边界的模糊进行处理。
发明内容
本发明的目的是提供一种能够克服这些问题的片段移位的方法。另一个目的是提供一种即使不了解物体边界的深度排序也能提供满意结果的片段移位方法。此外，本发明另一个目的是提供一种无需估计物体边界的模糊量便可移位片段的方法。
一种提供基于图像分割绘制的图像的方法能够实现这些和其他目的，该方法确定该图像内由图像片段的边界引入的至少一个边缘，确定该边缘周围的边缘区域，确定片段的第一位移场，确定该边缘区域的第二位移场，将第一和第二位移场合并为具有片段的第一位移场的位移和至少部分边缘区域的第二位移场位移的第三位移场，以使得能够将边缘区域视为一个具有单独位移的单独物体进行处理，并且依据第三位移场移位图像像素。
通过将空洞位移到具有较少变差的区域内，本发明方法允许简单的空洞填充程序。此外，本发明方法能够自动处理模糊效应，因为具有边缘模糊的区域是独立于所述片段进行移位的。既不需要深度排序信息，也不需要关于边缘模糊的信息。可以将剩余的空洞放置在物体内部，而不在边缘内部。这样，就能够更容易地通过插补来空洞填充。通过考虑到了边缘区域，能够对模糊边缘进行处理。
图像分割可以将像素分组到具有如相同亮度、相同颜色、或任何其它相同的相同参数的片段中。给出两个相邻片段，在这两个片段之间可以定义边缘区域。可以定义边缘区域，使得其包含距离两个片段的边界小于一定距离，例如五个像素的所有像素。
通过任何已知的运动估计方法，都能够完成对于位移场的估计。运动估计方法通常试验多个候选运动(位移)向量，然后选择能够产生最佳匹配结果的一个。本发明方法为通过分割定义的每个片段提供运动向量的查找，以及边缘区域的运动向量，该边缘区域的运动向量可以是或不是与其原始片段之一的运动向量相同的运动向量，这样提供至少两个不同的位移场。
依据本发明方法，两个片段和边缘区域视为三个独立的物体。因此，能够生成两个空洞，即第一片段与边缘区域之间的空洞和边缘区域和第二片段之间的空洞，而不仅仅是一个空洞。这两个空洞中的任何一个都小于一个单一的空洞，这样就使插补变得更加容易。因为边缘的模糊被转移到边缘区域之内，好象边缘区域是单个物体，因而不需要进行去模糊/再模糊或估计模糊的量。片段之间的两个空洞和边缘区域位于片段的同质部分内，因此很容易填充。
与已知的片段扩展相反，本发明方法不需要边缘具有与物体之一相同的位移，从而在位移场估计方面具有较强的抗误差能力。不需要深度排序。然而，边缘的运动向量能够给出对深度排序的提示。
本发明方法可适用于绘制适合3D显示的数据。而且，由于本发明方法，依靠基于移位绘制的视频压缩方法可变得更健壮。
依照权利要求2和3，提供空洞填充。该空洞填充可以依靠边缘区域每边的界线像素的像素值。能够在不直接属于该边缘的区域内执行空洞填充。通过简单外推在界线到空洞处片段的像素值，可以填充空洞。
依照权利要求4，通过图像片段之间的边界能够确定边缘。
依照权利要求5的实施例，通过对每个边缘的距离该边缘比阀值数量像素近的全部像素赋值，也能提供确定边缘区域。还有可能，确定边缘区域，以使得能够提供足够到边缘两边的扩展，或者确定边缘区域，以使得其能够与边缘的两边都垂直地充分广泛地延展。
权利要求5或6特点是能够使边缘模糊位于边缘区域内。充分考虑边界周围区域是处理模糊边缘的基础。这样，可以将边缘和它的模糊作为一个单独的物体进行处理，从而进行移位。
依照权利要求7或8，能够利用2,5-D深度信息来确定第一和第二位移场。该信息能够用于生成第一位移场，同样地也能生成第二位移场。而且，能够依据深度信息而不是图像本身实现图像分割。这样，能够从外部资源计算位移场，与通过利用给定的2,5D流(其包括图像和深度，位移可以从深度导出)的运动估计计算形成对比，并且图像分割也可以基于深度或图像。
依照权利要求9，提供了用于确定第一和第二位移场的位移的运动估计。
依照权利要求11，提供了一种方法，该方法能够提供边缘区域与片段之间的空洞，其中每个空洞都小于一个单一的空洞。第二位移场具有的位移值可以介于片段之一的移位值之间。位移是一个二维量，包括x-和y-位移。
可以通过对边缘区域中的至少部分像素采用来自第二位移场的位移，并且对所有其它像素采用来自第一位移场的位移，来执行像素的移位。
依照权利要求13，在片段和边缘区域上能够直接执行运动估计，从而能够直接计算出第三位移场。
依照权利要求14，如果对原始片段的第一像素进行移位，随后移位边缘区域的像素，则能够对遮蔽(occluding)区域进行充分处理。
其他附属权利要求中也体现出了这些和其他优势。
另一方面，本发明提供了用于基于图像分割提供绘制的图像的系统，其包括确定装置，该确定装置用来确定由图像片段的边界引入图像内的边缘，确定边缘周围的边缘区域，确定片段的第一位移场，确定边缘区域的第二位移场；还包括合并装置，用来将第一和第二位移场合并为具有边缘的第一位移场位移和边缘区域的第二位移场位移的第三位移场，以使得能够将边缘区域作为一个具有单独位移的单独物体进行处理；和用来依照第三位移场移位图像像素的移位装置。
然而，另一方面，本发明是一种用于在图像分割基础上提供绘制图像的计算机程序和一种计算机程序产品，其促使处理器确定由图像片段的边界引入的图像内的边缘，确定边缘周围的边缘区域，确定片段的第一位移场，确定边缘区域的第二位移场，将第一和第二位移场合并为具有片段的第一位移场位移和边缘区域的第二位移场位移的第三位移场，以使得能够将边缘区域作为一个具有单独位移的单独物体进行处理，并依照第三位移场移位图像像素。
以下将参照附图，对本发明的这些和其他方面进行阐述。在附图中图1是一个被分割的图像；图2是图像分割的空洞填充方案；图3是去模糊的空洞填充；图4是依照本发明方法的图像分割和移位；图5是依照本发明方法分割和移位的边缘区域的特写镜头。
具体实施例方式
贯穿附图，相同的参考标号代表相似的元件。本发明方法特别涉及基于移位绘制图像，例如用于压缩算法或在多视角显示器上绘制“图像+深度”数据。本发明特别提供了一种以图像分割为基础自动绘制图像的方法。
图1示出了包含由边界2确定的片段4的图像。边界2是能够从图像的不连续，例如颜色变差中的不连续，或者如果可能的话，给定位移的位移场或2,5-D图像不等数据中的不连续中确定的边缘。也可能是其他，如亮度、对比度、色度、或任何其他值内的不连续。
图2a示意性地展示了一个截图(cross view)穿过图像的图例。水平轴可以视为扫描线，垂直轴可以视为在相应扫描线上的图像亮度值。如图2所示，扫描线的亮度值存在不连续，而且能够通过模糊的边缘2，将图像分割为左边的一个片段4a和右边的一个片段4b。
为了通过运动向量(未示出)移位片段，可通过边缘2将片段4a和4b剪切成两个单独的片段。通过片段4a和4b之间的边界确定边缘2。
图2b示出了一种线性插补空洞填充方案。从边缘2开始，将左边的片段4a向左移位，将右边的片段4b向右移位。空洞填充8是在左边的片段4a和右边的片段4b在边缘2的值之间的线性插补。该插补致使图像的边缘具有一个介于它们之间的常数值。这可能造成一个视觉上更加模糊的边缘和不想要的伪影。
图2c示出的空洞填充方案，将右边的片段4b的亮度值拷贝到空洞中，提供一个幻影边缘。如图所示，右边的片段4b的亮度值被拷贝到空洞中，提供空洞填充8。这也可能导致视觉伪影。
图3a示意性地示出了一个依照WO 02/51124中描述的主旨进行空洞填充的方案。该种方法首先通过一个位移向量移位右边的片段4b。首先，对片段4a和4b去模糊，检验步骤边缘2。然后，如图3b所示，通过一个位移向量移位片段4b。
最后，如图3c所述，对边缘2去模糊，并且应用去模糊的空洞填充8。利用一个估计的模糊半径，便可进行去模糊操作。然而，估计模糊半径比较复杂，而且可能导致错误结果。此外，需要了解物体的深度排序是怎样的，因为只有这样才能正确地进行去模糊处理。
图4a描绘了依照本发明实施例进行的图像分割。在边缘2周围，确定出边缘区域12，其包括边缘2周围的模糊区域。除边缘区域12外，还确定出片段4a和4b。将边缘区域12视为一个具有单独位移的单独物体。
图4b示出了移位后的图像。如图所示，依照第一位移向量将片段4a向左移动。依照第二位移向量将边缘区域12向左移动，第二位移向量小于第一位移向量，并且，依照第三位移向量将片段4b向右移动。通过独立于片段4a和4b移位边缘区域12，提供了两个单独的空洞，这两个空洞可由空洞填充14a和14b填充。随着边缘模糊的自身的移位，图像模糊自动得到解决，并且不需要深度排序信息。由于这两个空洞位于片段4a和4b的同质部分，因此很容易填充。此外，如依照图2和图3的方法所述，每个空洞都小于单一的空洞。这使插补更加容易。因为边缘区域的位移向量与片段4a和4b的位移向量不等，该方法在位移场估计方面的抗误差能力更强。
图5a示出了一个图像的特写镜头，该镜头中通过边缘2将片段4a和4b分隔开。此外，图5a中展示了片段4a和4b分别的位移向量10a和10b。
如图5b所示，考虑到边缘模糊，边缘区域12将边缘2围绕在其中。选择边缘区域12以使边缘模糊位于该区域范围内。此外，图5b中示出了图5a中的位移向量10a和10b，以及指示边缘区域12位移的位移向量10c。能够在一个位移场中表明这些位移向量10，从而为图像内的每个区域指示出一个独特的位移。
图5c示出了依照本发明方法移位后的图像。依照位移向量10a将片段4a向左移位。依照位移向量10c将边缘区域12向右移位，而且依照位移向量10b将片段4b向右移位。这三个不同的位移向量10致使边缘区域12移位，以至于能够提供片段4a和边缘区域12之间，以及片段4b与边缘区域12之间的空洞。通过空洞填充14a和14b能够填充这些空洞。
本发明方法能够分割和绘制图像，而且无需去模糊或使其再变模糊，便可很容易地填充由此产生的空洞。此外，还能将由空洞填充造成的误差最小化。
权利要求
1.一种用于基于图像分割提供绘制的图像的方法，包括-确定由图像片段边界引入的图像内的边缘，-确定边缘周围的边缘区域，-确定该片段的第一位移场，-确定该边缘区域的第二位移场，-将第一和第二位移场合并为具有片段的第一位移场位移和边缘区域的第二位移场位移的第三位移场，使得能够将边缘区域作为具有单独位移的单独的物体进行处理，和-依照第三位移场移位图像的像素。
2.权利要求1的方法，包括按照像素的值移位像素后，进行填充空洞。
3.权利要求2的方法，包括从将空洞与片段的至少之一接界的像素的像素值，或从与空洞接界的边缘区域的像素的像素值，计算出用于填充空洞的像素值。
4.权利要求1至3任意之一的方法，包括通过检测图像片段之间边界来确定边缘。
5.权利要求1至4任意之一的方法，包括通过对每个边缘的与该边缘的距离近于阈值数量的像素的所有像素赋值，来确定边缘区域。
6.权利要求1至5任意之一的方法，包括确定边缘区域，使得边缘模糊位于该边缘区域内。
7.权利要求1至6任意之一的方法，包括为了基于移位进行绘制，提供具有原始图像的信息和原始深度的信息的2，5维的图像信号。
8.权利要求7的方法，包括为了确定第一和/或第二位移场，检测2，5维的图像的深度信息中的不连续点。
9.权利要求1至8任意之一的方法，包括由片段和/或边缘区域的运动估计，确定第一和/或第二位移场。
10.权利要求1至9任意之一的方法，包括确定第二位移场，使得只有边缘区域内的像素具有位移。
11.权利要求1至10任意之一的方法，包括确定第二位移场，使得该位移介于两个相应片段的位移值之间。
12.权利要求1至11任意之一的方法，包括对边缘区域内至少部分像素采用来自第二位移场的位移和对所有其他像素采用来自第一位移场的位移，来确定第三位移场。
13.权利要求1至12任意之一的方法，包括通过片段和边缘区域的移动估计直接确定第三位移场。
14.权利要求1至13任意之一的方法，包括依照第三位移场移位像素，使得首先移位片段。
15.一种用于基于图像分割提供绘制的图像的系统，包括-确定装置，其用于确定由图像片段的边界引入的图像内的边缘，确定边缘周围的边缘区域，确定该片段的第一位移场，并且确定该边缘区域的第二位移场，-合并装置，其用于将第一和第二位移场合并成具有该片段的第一位移场的位移和该边缘区域的第二位移场的位移的第三位移场，使得该边缘区域作为具有单独位移的单独物体进行处理，和-移位装置，其用于依照第三位移场移位图像的像素。
16.一种用于基于图像分割提供绘制的图像的计算机程序产品，包括计算机程序能够操作使处理器-确定由图像片段的边界引入的图像内的边缘，-确定边缘周围的边缘区域，-确定片段的第一位移场，-确定边缘区域的第二位移场，-将第一和第二位移场合并成具有片段的第一位移场的位移和边缘区域的第二位移场的位移的第三位移场，使得边缘区域作为具有单独位移的单独物体进行处理，和-依照第三位移场移位该图像的像素。
全文摘要
本发明涉及一种用于通过确定由图像分段的边界引入的图像内的边缘，基于图像分割提供绘制的图像的方法。为了能够基于移位进行绘制，本发明提供确定由图像片段的边界引入的图像内的边缘，确定边缘周围的边缘区域，确定片段的第一位移场，确定边缘区域的第二位移场，将第一和第二位移场合并成具有片段的第一位移场的位移和边缘区域的第二位移场的位移的第三位移场，使得边缘区域作为具有单独位移的单独物体进行处理，并且依照第三位移场移位图像的像素。
文档编号G06T15/20GK101061519SQ200580039226
公开日2007年10月24日 申请日期2005年11月8日 优先权日2004年11月16日
发明者F·E·厄恩斯特, P·-A·雷德特 申请人:皇家飞利浦电子股份有限公司