用于孔填充的方法和图像处理设备的制作方法

专利名称：用于孔填充的方法和图像处理设备的制作方法
技术领域：
本发明涉及一种用于在具有未分配像素值的图像中将像素值分配给邻近像素位 置的方法和图像处理设备，以及涉及一种计算机程序和用于使得当所述计算机程序在计算 机上运行时执行该方法的计算机程序产品。
背景技术：
目前，消费型电子工业日益对在家中给予消费者三维图像/视频体验感兴趣。数 量增长的显示器正变得对于公众是可获得的。这些显示器包括基于玻璃的立体系统(其向 用户呈现两个视图(view))和诸如基于栅栏(barrier)和/或透镜(lenticular)的自动 立体显示器之类的自动立体系统。立体和自动立体系统二者都利用这样的事实可以通过呈现从两个稍微隔开的观 看位置观看的同一个场景的至少两个图像并且模仿观看者的左眼与右眼之间的距离来提 供深度感知。从两个不同位置观看的相同场景的对象的视向(apparent direction)的差 异或视位移被称为视差。视差允许观看者感知场景中对象的深度。从不同虚拟位置观看的 相同场景的多个图像可以通过变换二维图像来获得，该二维图像被提供有针对该二维图像 的每个像素值的深度数据。对于场景中的每个点，除了像素值被捕获之外，从该点到图像捕 获设备的距离或者到另一个参考点的距离或者到诸如投影屏幕之类的平面的距离被捕获。 这种格式通常被称为图像+深度视频格式。当将图像+深度视频格式的图像变换为从不同位置观看的多个图像时，可能出现 对于某些输出像素来说没有可用的输入数据。因此，这些输出像素在它们的像素位置没有 被分配的任何确定值。这些未分配像素值在变换的图像中通常被称为“孔”。在本文献中， 术语“孔”或“具有未分配像素值的邻近像素位置”将可交换使用以用于表示包含未分配像 素值的邻近像素位置的区域。例如当在以图像+深度格式编码的图像中可见的对象用于生成新视图时，可能出 现孔。可能发生的是，在新视图中，图像+深度视频格式的原始图像信息中呈现的对象由于 其深度值的结果而被移位，由此遮挡(occluding)本来可用的图像信息的一部分并且解除 对图像+深度视频格式中没有可用的图像信息的区域的遮挡。可以采用孔填充算法来克服 这种伪像(artifact)。孔也可以在包含根据使用前向运动补偿的公知视频压缩方案编码的图像序列的 2D视频信息的解码输出中出现。在这种视频压缩方案中，帧中像素的区域是根据在前帧 的像素的投影区域预测的。这被称为移位运动预测方案。在该预测方案中，由于帧中对象 运动的原因，一些区域交叠并且一些区域不相交。不相交的区域中的像素位置没有分配 确定的像素值。因此，在包含图像序列的2D视频信息的解码输出中出现孔。而且，在例 如MPEG-4的基于对象的视频编码方案中(其中背景和前景单独被编码)，引起孔的未引用 (unreferenced)区域可以存在于背景中。可以采用孔填充算法来克服这些伪像。标题为“Directionalhole filling in images，，的国际专利申请W02007/099465的目的是提供一种与其它方法相比减少图像中的视觉变形的方法。尽管上述解决方案提供 了减少视觉变形的明显改进，但是仍然存在上述解决方案没有完全解决的问题。

发明内容
本发明的目的是提供一种用于在具有未分配像素值的图像中将像素值分配给邻 近像素位置的可替代实现方式。该目的是通过一种在具有未分配像素值的图像中将像素值分配给邻近像素位置 的方法来实现的，该方法包括以下步骤生成第一传播像素值和用于沿着第一方向朝向邻 近像素位置传播第一传播像素值的第一传播权重，该步骤通过以下操作来完成生成用于 在第一方向上传播到邻近像素位置的第一传播像素值，该第一传播像素值至少是基于邻近 未分配像素位置的第一区域中的分配像素值；生成用于第一传播像素值的第一传播权重以 说明(account for)沿着第一方向邻近孔的第二区域中的分配像素值的像素值的中断，使 得沿着第一方向在所述分配像素值中出现中断导致更低的第一传播权重；以及至少部分地 基于第一传播像素值和第一传播权重将像素值分配给邻近像素位置。本发明提供一种至少部分地基于候选像素值越过孔的传播的孔填充解决方案。为 此目的，第一传播像素值被确定，第一传播像素值至少部分基于来自邻近孔的第一区域的 分配像素值。第一区域的位置由第一方向确定。典型地，第一区域包括可以沿着第一方向 传播到孔中的孔边界上的分配像素值。也是通过上述方法建立的第一权重提供了关于第一 传播像素值能够用于将像素值分配给未分配像素位置的置信度(confidence)的指示。所述权重基于来自沿着第一方向的第二区域的未分配像素值。当像素值中的强中 断“跨越(cross) ”孔时，与在“跨越”(如当沿着第一方向移动时感知的)之前的像素位置 相关联的权重将具有比“跨越”之后的像素位置更高的置信度。以此方式，本发明阻止了不 合适的像素值的错误传播。可以基于第一传播值和如由传播权重表示的置信度来分配像素值。如果传播权重 低，则诸如孔周围的平均像素值的其它值可以用于取代第一传播像素值的平均像素值。以 此方式，终止于孔边缘上的强中断可以用于阻止第一传播像素值的错误传播。在一个实施例中，第一传播像素值是借助于第一方向滤波器在包含邻近未分配像 素位置的第一区域中具有分配像素值的像素位置的分配像素值之上生成。以此方式，第一 传播值可以形成为对于噪声更具鲁棒性，因为使用了多个像素。而且，由于遮挡和解除遮挡 通常是渐进过程，每帧过滤多个像素进一步提供了附加的时间一致性，因为第一传播值与 仅仅直接邻近于孔的第一区域中的像素位置不相关。在另一个实施例中，第一传播权重是通过在沿着第一方向的第二区域中分配像素 值上使用边缘检测器来生成的。尽管存在在沿着第一方向的第二区域中未分配像素值中建 立中断的其它方法，但是边缘检测器从处理视角而言是一种相对低成本的实现方式。在另一个实施例中，所述方法进一步包括以下步骤生成第二传播像素值和用于 将第二传播像素值沿着第二方向朝向邻近像素位置传播的第二传播权重，其中分配给邻近 像素位置的像素值至少部分基于第一和第二传播像素值以及第一和第二传播权重。以此方 式，在将像素值分配给孔内的像素位置的过程中可以结合来自多个传播的结果。注意到，该 实施例不排除另外使用从另外的孔填充途径获得的其它像素值。第一和第二方向优选地是垂直的方向，从而允许控制水平和竖直的遮挡/解除遮挡。在又一个实施例中，将像素值分配给邻近像素位置的步骤包括将用第一传播权重 加权的第一传播像素值与用第二传播权重加权的第二传播像素值混合。以此方式，获得了 不需要高要求的处理步骤的简单实现方式。所述目的进一步通过如权利要求8中限定的用于在具有未分配像素值的图像中 将像素值分配给邻近像素位置的图像处理设备来实现。所述目的进一步通过如分别在权利要求12和13中限定的实现在计算机程序产品 中的计算机程序来实现。


将参照附图更详细地描述本发明的这些和其它有利方面。图1示出根据本发明的孔填充方法；图2A示出包含待填充孔的实例图像；图2B示出用于填充孔的第一传播像素值；图2C示出用于填充孔的第二传播像素值；图2D示出用于填充孔的第一传播权重；图2E示出用于填充孔的第二传播权重；图2F示出具有已被填充的孔的实例图像；图3A示出一种定向过滤方法；图3B说明传播权重生成；图4示出孔分割；图5说明传播权重生成；图6A示出场景的右眼视图；图6B示出从图6A的右眼视图导出的左眼视图；图6C示出具有根据本发明填充的孔的图像；图6D示出通过使用本发明导出的另一个左眼视图；图7A示出根据本发明的图像处理设备；图7B示出根据本发明的另一个图像处理设备；以及图8示出根据本发明的显示设备。图没有按比例绘制。一般地，图中相同的组件用相同的附图标记表示。
具体实施例方式在图像处理领域中，致力于孔填充概念的若干种应用是已知的。在上文中已经指 出了两种这样的应用，即基于以图像+深度视频格式提供的视频信息填充图像中解除遮挡 的区域以用于视图再现，和在视频压缩方案中移位运动预测中的信息的预测。其它可替代 应用领域是例如图像恢复。已知若干种以不同方式解决孔填充的方法。这样的一种方法公开于国际专利申请 W02007/099465中。然而，这些技术通常具有这样的缺陷它们导致时间稳定的解决方案。 本发明的某些实施例，特别是那些涉及混合多个传播像素值的实施例，提供一种计算简单
6而时间稳定的孔填充解决方案。图1示出根据本发明的孔填充方法。该图示出图像10，其包含具有分配的像素值 的(邻近)像素位置以及具有未分配像素值的(邻近)像素位置，即圆形孔20。在图像10 内，除了从图像的顶部延伸到上部孔边缘以及从下部孔边缘延伸到图像10的底部的垂直 取向的黑条30之外，分配像素值的大多数具有灰度色调。基本思想是恰好在孔20之外的像素值用于生成孔20中的未分配像素位置的估 计的像素值。未分配像素位置的真实像素值的估计可以通过沿着传播方向传播恰好在孔20 之外的像素值来生成。根据本发明，第一传播像素值和第一传播权重被确定用于将像素值分配给孔20 中的像素位置。为此目的，本发明提出了在第一方向上传播第一传播像素值，该第一方向由 箭头95表示，这里是从左到右越过孔20。实际的第一传播像素值可以通过各种方式生成。然而，第一传播像素值典型地基 于邻近未分配像素位置(孔20)的第一区域中的分配像素值。图1说明确定在像素位置 (xi; Yi)处像素i的像素值。对于该特定像素位置，第一区域包括在像素位置(\，Yj)处具 有分配像素值的像素j。像素位置(Xj，yj)与第一方向相反地邻近孔20定位。当在孔20 中沿着传播方向传播第一传播像素值时，基于在(Xj，Yj)处的像素值的第一传播像素值将 越过孔20向右传播。本发明还涉及生成传播权重，其用于沿着第一方向传播第一传播像素值。传播权 重用于说明(account for)沿着第一方向邻近孔边界的第二区域中分配像素值的像素值中 的中断。在这里所示的实例中，第二区域实际上包含孔20的边界周围的所有分配像素位 置。在该边界上找到的中断转而用于以这样的方式影响传播权重使得在所述分配像素值 中沿着第一方向中断的发生导致更低的传播权重。优选地，沿着边界遇到的中断越大，超越 该中断的传播权重越小。例如，考虑具有y = Yj的y坐标和具有χ > Xj的χ坐标的未分配像素位置(即， 在像素位置(Xj，yj)右边的像素位置)。在该实施例中，第一传播像素值被选择为在与传播 方向相反的侧上邻近孔的像素值。对于像素i，这是像素j的像素值。因为沿着孔边界直 接到像素j的右边不存在中断，所以像素j右边的像素位置具有与第一传播像素值相同的 像素值这具有高的置信度；以传播权重1(或可替代地接近1)进行转换。实际上，针对y = Yj和yi的所有后续未分配像素，传播权重可以被设置为值1。对于具有X = X1的X坐标的 像素位置，即在像素位置(Xl，Y1)处的像素1的下方，在孔20的顶部边界和底部边界处均 可以找到分配像素值中的强中断。由于这些强中断，针对1 > X1第一传播像素值应当被传 播的置信水平低。因此，针对进一步沿着第一方向的像素的传播权重应当明显降低。结果， 用于χ < X1的像素位置的传播权重，即用于虚线35左边的像素位置的传播权重，大于用于 X ^ X1的像素位置的传播权重，即用于列X1右边的像素位置的权重。上文有效地提供了生成传播权重过程的定性指示。下面将给出更详细的定量分 析。应当注意，上述方法可以以显著的方式被改进(refine)。上述第一传播像素值和第一 传播权重可以利用其它孔填充技术来进一步补充。例如，在一个实施例中，待分配给孔中的 未分配像素位置的像素值基于第一传播像素值、第一传播像素权重和孔边界上所有分配像 素位置的平均像素值。可替代地，孔填充方法也涉及沿着第二方向(优选地垂直于第一方
7向)使用第二传播权重传播第二传播像素值，并且基于所有三个估计确定用于孔中像素位 置的像素值。图2A-2F现在将用于描述根据本发明的方法，其涉及图2A中呈现的亮度图像的左 到右和右到左传播，并且该亮度图像包含具有50%亮度值的分配像素位置210和具有0% 亮度值的分配像素位置220。虚线轮廓230包含具有未分配像素值的像素位置，即近似圆形 的孔。尽管所示出的图像是亮度图像，但是相同的方法适用于其它图像，例如RGB图像、深 度图像、差异图像(disparity image)或其它基于像素的图像。图2B说明用于沿着由箭头235指示的第一方向(即从左到右)传播第一传播像 素值的第一传播像素值的生成。在该特定实施例中，用于从左到右传播的第一传播像素值 被选择为直接邻近包含在虚线轮廓230内的未分配像素位置的分配像素位置，这里是在孔 的左手侧上，这是因为传播方向是从左到右。第一传播像素值借助于例如用于像素位置211 的斜阴影线图案而被突出显示。图2C说明用于沿着由箭头290指示的第二方向(即从右到左)传播第一传播像 素值的第二传播像素值的生成。在该特定实施例中，用于从右到左传播的第二传播像素值 被选择为直接邻近包含在虚线轮廓230内的未分配像素位置的分配像素位置，这里是在孔 的右手侧上，这是因为传播方向是从右到左。第一传播像素值借助于例如用于像素位置211 的水平阴影线图案而被突出显示。图2D说明用于孔内的像素位置的第一传播权重的生成。沿着单列像素中断的度 量可以通过针对(例如通过使用像素值215指示的)每列像素确定沿着孔的顶部和底部边 界是否存在中断来确定。在该实例中，当遇到超过总亮度范围的10%的阈值的中断时，传播 权重从1到0变化。应当注意，白色像素在这里表示传播权重1并且黑色像素240表示传 播权重0。在该实例中，由图2D中点线框225指示的列的传播权重通过使用在由点线框215 指示的孔边界的顶部和底部边缘上找到的像素值中的差异来生成。图2E说明用于孔内像素位置的第二传播权重的生成。第二传播权重的确定大致 相似于图2D的情况，除了该确定是基于不同的传播方向之外，即由箭头290指示的第二方 向，即从右到左。在实践中，在特定空间情境中起源的传播像素值具有用于预测紧邻该空间情境的 像素值的更高的置信水平。通过考虑特定列(针对该特定列确定传播权重)到传播像素值 的起源的距离，可以在传播权重确定中十分容易地合并上述概念。然而，为了简化起见，没 有针对图2D和2E中的第一和第二传播权重完成这一点。随后，图2D和2E中的传播权重用于将像素值分配给虚线轮廓230内的像素位置。 为此目的，来自图2B的第一传播像素值通过使用来自图2D的第一传播权重沿着第一方向 传播。此外，来自图2C的第二传播像素值通过使用来自图2E的第二传播权重沿着第二方 向传播。随后，来自第一和第二传播权重二者的传播像素值被组合以形成新像素值。在这种情况下，待分配给像素位置(xp，yp)处位置ρ的像素值\基于用第一传播权 重W^加权的第一传播像素值和用第二传播权重W^加权的第二传播像素值。此 外，邻近孔的分配像素的平均像素值()用于填充保持未分配的区域。相应地，￡p被定义 为
(LR) '(LR) , (RL)a(RL) ^(av)
'C1p ' + W), >C), ,+C、二( j )
°Ρ=W(LR)+W(RL)+1
PP其中，OSw，匕1且(^冰广)幻。图2F示出基于上述等式填充的孔；应当注意，孔的较大部分用来自左到右或右到 左传播的第一传播值填充。然而中心的某些像素值由于传播权重的特定生成而未被分配第 一传播值。这些像素位置被分配邻近孔的分配像素的平均像素值，该平均像素值由于中断 附近更暗的像素而略微朝0%亮度偏置。应当清楚，上述过程可以通过使用更复杂的传播权 重分配来进一步改进(refine)。如从等式(1)可以看出，可以在确定Sp时混合各种估计值。例如，在可替代实现方 式中，左到右和/或右到左的像素传播与顶部到底部和/或底部到顶部像素传播结合。该 实现方式可以进而通过在混合过程中合并孔边界周围的分配值的平均像素值来补充。也可 以设想另外的改进，例如使用更复杂的传播权重分配。当在多视图生成中填充解除遮挡的区域时，其中已知区域如何解除遮挡，即当知 道如何相对于背景移位对象时，在实践中基于两个相反像素传播和在垂直于这两个相反像 素传播的方向上的一个像素传播来确定用于孔填充的像素值，这通常是足够的。图3A和3B分别说明用于生成传播像素值和传播权重的潜在改进。图3A说明在 确定传播像素值时使用的定向滤波器的应用。在该特定实现方式中，通过使用与如上面参照图2B描述的第一传播像素值的生 成相对应的定向滤波器(这里从左到右)，生成传播像素值。图3B中的定向滤波器具有五 个像素的足迹，所有这些像素在相同的线上。然而，本发明不限于该特定脚印尺寸。图3B 还说明当例如在图像边缘附近或在另一个孔附近数量不够的分配像素值可用时，可用使用 更小的脚印。应当注意，所得的值被标准化，以便提供合适的传播像素值。通过使用与传播方向一致的脚印，与传播方向一致的边缘在孔中被传播。而且，通 过应用该定向滤波器，孔边界附近的空间噪声被有效地抑制。令人满意的定向滤波器可以 是多种类型，例如低通滤波器和/或可适于例如台阶的特定图像属性的滤波器。图3B说明沿着孔边界的中断也可以借助于定向滤波器来解决，其中邻接分配像 素之间的差异被确定并随后沿着与传播方向成一定角度的方向被过滤；在图3B所示的实 例中，在竖直方向上被过滤。通过在与传播方向成一定角度使用具有脚印的定向具有滤波 器，图像中具有与传播方向成相同角度的特征的尺寸可用于影响传播权重。在这里所示的实例中，其中定向滤波器垂直于水平的传播方向，中断的长度在生 成权重时可以被考虑在内。因此，跨越多个像素延伸的中断与较短的中断相比将在更大程 度上降低传播权重。这之后的推理是例如图像中的水平边缘(例如过梁或窗框的水平部 分)可能需要在窗的孔交叠部分中传播。然而，该传播应当在其中存在强竖直边缘的点处 终止，该竖直边缘可以对应于窗框的竖柱。混合比例上文中已经参照图2A-2F描述了传播像素的组合过程。尽管所述传播像素值可以 通过各种方式(例如通过加权相加)组合，但是该实例中的像素是通过混合(blend)来组 合的。“阿尔法混合(Alphablending) ”是计算机图形学中已知的技术，其中两种或更多种颜色被取平均从而实现透明效果。发明人已经认识到，对颜色的加权平均也可以解决孔填 充问题中的时间不稳定性。例如考虑这样的情况，其中存在对像素位置(Xi，yi)处像素i的真实但未知的颜色 Ci的两个不同的估计纤〉和。这些不同的估计是例如针对在像素(Xi，Yi)的空间和/或时 间邻近处的其它像素找到的颜色。大部分现有技术的孔填充方法将会选择这两个估计之一 来填充孔。实际的选择通常是基于图像相关度量做出的。然而，所述问题不在于度量方面而是在于选择过程。考虑其中置信水平或权重分 别与不同估计和屻2)相关联的情况。这些置信度可以随时间变化并且对于图像序列中的 每个图像而言可以是不同的。结果，<)〉<2)可以适用于一个巾贞，而Hf可以适用于下 一个帧。如果颜色估计《)对应于“浅蓝色”而颜色估计句2)对应于“深蓝色”，则结果将是这 两种颜色之间的讨厌的瞬时闪烁，而真实颜色实际上可以是“浅蓝色”或“深蓝色”。发明人 已经认识到，最好是显示“浅蓝色”和“深蓝色”的加权平均，而不管两个图像的真实颜色， 由此避免图像之间的讨厌的瞬时闪烁。因此，他们提出对颜色估计的混合并且计算两个或 更多估计的加权平均。津立并组合估计混合有助于解决计算隐藏的纹理层的时间不稳定性的问题。然而，为了混合估计， 必须生成所述估计和对应的置信度。在上述实施例中，相对简单的实例被用于说明本发明 的操作。现在将描述使用三个空间估计的更复杂的实施例。然而，该实施例可以容易地扩 展到并入第四个或甚至更多的空间估计。考虑如参照图1描述的像素位置(Xi，Yi)处的像素i。这里，由 严表示的第一估 计是传播像素值从左到右越过图像的传播结果，而第二估计句 是传播像素值从右到左越 过图像的传播结果。最后，第三估计句％源于像素值从顶部到底部越过图像的传播。可能的 第四估计 尸D可以从底部到顶部计算。原则上，更多的(也可能是时间的)估计可以与这 些空间估计混合在一起。通过使用混合来组合不同的估计。对于三个估计的情况，等式(2)指示了待分配 给孔中的未分配像素i的像素值的混合和确定。
.一 MfRWLR)+MfLgRL)+MfB^TB)(2)
Ci=W(LR)+W(RL)+M;(TB)“所有这三个估计以相同的方式计算。它们的不同点在于，针对每个估计使用不同 的传播方向。基本思想是恰在孔外部的像素值通过使用不同方向的传播延伸到孔中，此后 计算等式(2)中的加权平均。在该实施例中，第一传播像素值基于应用于包括像素位置(Xj，Yj)处像素j的 左到右传播方向上孔外部分配像素值的移动平均滤波器，如图1所示。通过使用用于像 素j的移动平均滤波器生成用于确定分配给像素i的像素值的第一传播像素值对1^，从而 c^^cix^yj) ’其中Kx,.,力)被定义为
10
c(Xj,yj) = γ · c(xj,yj) + (i-r) -c{xj —1^) ’( 3 )其中c(Xj，yj)对应于像素位置(Xj，yj)处的像素值，且参数Y控制移动平均中下 一个像素被加权的量同时从左到右在图像之上扫描。所述过滤可以在噪声的情况下和在非 定向(例如随机取向的)纹理的情况下会是有效的。Y的典型值为0.5。然而，更小的或 更大的值也可以产生可接受的结果。随后，与用于像素c[LR))的第一传播值一起使用的传播权重nfR)被建立。在该 实施例中，<@依赖于与孔边缘的距离，这里是从像素位置(Xj，Yj)处的像素j到像素位置 (Xi, Yi)处的像素i在左到右的传播方向上的距离，并且依赖于下面将描述的“综合边缘阻 力”。在该实施例中，像素i的第一传播权重被定义为
w'LR) = exp(-A(Xj - Xi)) exp(-<R>)。( 4 )可以看到，所述权重随着到孔内的距离的增大而指数地减小。以此方式，上述等式 说明沿着更长距离传播的估计的置信度的降低。参数λ控制作为距离的函数的减小速率。 λ的典型值为10.0。然而，也可以使用更小或者更大的值。还应当注意，甚至在不考虑上 述距离相关性的情况下可以获得可接受的结果。对㈤被称为针对从左到右传播方向的“综合边缘阻力”。可以看到，高综合边缘阻 力导致该特定传播方向的估计的低权重。所述综合边缘阻力被引入以说明在沿着孔边界与传播方向成一定角度的其它方 向上出现边缘的真实性(plausibility)。如上文参照图1所述，条30可能沿着虚线35穿 过孔20延伸。结果，虚线35左手侧上的传播权重应当比虚线35右手侧上的传播权重更高， 这是因为这样的事实不清楚来自左手侧的传播候选是否应当传播超出边缘35。这里，在 顶部到底部的方向上计算的竖直边缘强度因而影响估计的传播权重，所述估计即为用在左 到右像素值传播中的传播像素值。参数α确定综合边缘阻力的重要性。α的典型值为0.01。然而，更小或更大的
值也可以产生可接受的结果。像素i的边缘阻力被计算为
代_ = |广(υ,.)。(5)
X = Xj在等式(5)中，E(td)是以顶部到底部的方式在图像中的分配像素上计算的竖直 边缘强度。该竖直边缘强度是通过将恰在孔边界之外测量的水平像素值差竖直地外推 (extrapolating)到孔内来计算的。因此，边缘信息在孔内部被传播。替代在等式(5)的求 和内仅仅使用E(TD)和E(DT)，该求和也可以在其它非水平方向上进行，从而获得更高的角分辨率。未分配像素的竖直边缘强度优选地基于沿着与传播方向垂直的方向针对孔边界 之外的分配像素所估计的移动平均计算。在像素i的情况下，竖直边缘强度E(TD) (Xi，y)被 定义为
11E^\Xi,y) = WD\Xk,yk)a(6)其中ZctdHXa,Λ)被定义为^ΤΙ))(χ&，Λ)基于直接定位在如图1所示的像素i之上的像素位置(xk，yk)处的像 素k。β用于控制被加权的纹理的缩放。小值的β仅仅加权长直边缘，而大值的β也给 予小直边缘一些权重。β的典型值为0.5。然而，更小或更大的值也可以产生可接受的结^ ο尽管上述方法是确定第一传播值和第一传播权重的有利方式，但是可以设想多种变化。处理(handling)更复杂的孔形状图4说明如何可以通过使用本发明处理更复杂的孔。在这种情况下，如箭头235 所示，像素从左到右传播。为了处理更复杂的孔形状，所述孔可被分割为包含邻近的未分配 像素的两个部分。在一个实现方式中，所述分割涉及沿着传播方向的扫描。只要在该扫描 中遇到从分配像素到未分配像素的过渡(transition)，则未分配像素就被认为属于与较早 的未分配像素不同的部分。随后，可以基于该扫描沿着传播方向形成部分，并且各个部分于 是可以孤立地处理。两个部分在图4中的图像中被指示实线轮廓405中包含的邻近未分 配像素位置和点线轮廓410中包含的邻近未分配像素位置。对于这两个部分，通过使用斜 阴影线来指示第一传播像素值。可替代的方向尽管主要地关于水平和/或竖直像素传播描述了本发明，但是本发明不限于此。 在技术上，可以沿着斜线或任意角度方向以等同的效果传播像素值。然而，在通常的视频镜 头中，水平和竖直边缘的数量看来是主要的，并且因此水平和竖直像素传播是优选的。然 而，在其中存在例如同一角度的许多边缘的某些情况下，使用另一个传播方向可以是有利 的。上文中，边缘阻力分析已被描述为涉及在与传播方向垂直的方向上估计第二区域 中的分配像素值的过程。然而，本发明不限于此，并且可以具有同等优势地依赖于图像内容 的特性沿着与传播方向成其它角度建立边缘阻力。例如，图5说明这样的情况，其中通过使用水平像素传播生成用于填充孔510的像 素值的估计，但是其中所述传播权重生成被设置为估计沿着虚线520的方向的中断的第二 区域中的分配像素值。结果，虚线的左手侧上的传播权重将大于右手侧上的传播权重。解除遮挡数据的牛成如上所示，解除遮挡数据的生成表示本发明的潜在应用领域。本发明可以用于生 成遮挡数据，其可以在针对(自动)立体显示系统再现视图方面补充现有的图像+深度信 肩、ο图6A示出包含定位在背景中两个有色矩形602前方的实心圆601的场景的图像。 图6A中的图像反映了右眼视图。图6B表示左眼视图，其中蓝色圆601相对于其在右眼视 图中的位置水平移位，从而说明视点方面的差异。在所述过程中，有色矩形602的部分被解除遮挡，留下了指示为黑色像素的孔605。本发明可以用于提供用于填充孔605的解除遮挡数据。图6C示出根据本发明的 左到右、右到左、顶部到底部和底部到顶部传播的结果。注意到，为了清楚起见，孔605之外 的像素被表示为黑色像素。图6C中的图像是通过使用下面的参数值计算的α = 0. 01，β =0.5, γ = 0. 5且λ =O0注意到，λ = 0暗示在此实例中所述权重与传播的距离无关。在图6C中可以看出，所述矩形如所期望地被适当地传播到轮廓605中。所传播的 像素值的混合发生在这两个矩形交集(intersection)处。图6D中呈现了最终结果，其中 由轮廓605指示的孔已被填充。尽管上面示出了本发明如何可以用于填充常规RGB图像中的孔，但是本发明还可 以同样有利地应用于填充深度图或其它图像。图像处理设备图7A是图像处理设备700的框图，该图像处理设备包含被设置为获取具有未分配 像素值的图像705的获取装置710。图像705可以是单个图像或来自图像序列的图像。该 获取装置可以被设置为图像或图像序列接收单元。所接收的图像随后被提供给第一生成 装置710以用于生成第一传播像素值730和第一传播权重735，该第一传播权重用于沿着 第一方向朝向邻近像素位置传播第一传播像素值730，这是通过以下操作进行的生成第 一传播像素值730以在第一方向上传播到邻近像素位置，该第一传播像素值730至少基于 邻近未分配像素位置的第一区域中的分配像素值；以及生成用于第一传播像素值730的第 一传播权重735以说明沿着第一方向邻近孔的第二区域中分配像素值的像素值中的中断， 使得沿着第一方向在所述分配像素值中出现中断导致更低的传播权重735。图像处理设备 700进一步设有分配装置740，其用于至少部分地基于第一传播像素值730和第一传播权重 735将像素值分配给邻近像素位置(形成孔)。该分配装置的输出转而是图像745，其中图 像705中至少一个孔已经被填充。图7B是图像处理设备790的框图，该图像处理设备790包括四种生成装置的例 子第一生成装置725 (LR)，用于生成沿着左到右方向传播的第一传播像素值和第一传播 权重；第二生成装置725 (RL)，用于生成沿着右到左方向传播的第二传播像素值和第二传 播权重；第三生成装置725 (UD)，用于生成沿着上到下方向传播的第三传播像素值和第三 传播权重；以及第四生成装置725 (DU)，用于生成沿着下到上方向传播的第四传播像素值 和第四传播权重。应当注意，单个生成装置可以可替代地以时分多路复用的方式使用，从而 提供用于具有未分配像素的图像的传播像素值和传播权重这二者。图8是包含根据本发明的图像处理设备790和显示器810的显示设备800的框图。 显示设备800可以是例如LCD显示设备、等离子显示设备或其它显示设备，优选地为立体显 示设备，并且更优选地为自动立体显示设备。根据本发明的图像处理设备和/或显示器可以在设备中主要以硬件有效地实现， 例如使用一个或多个专用集成电路(ASIC)有效地实现。可替代地，本发明可以在个人计算 机或具有足够计算能力的数字信号处理器形式的可编程硬件平台上实现。本领域技术人员 将会清楚，在权利要求的范围内硬件/软件划分的许多不同变化是可能的。根据本发明的计算机程序可以嵌入在诸如集成电路或计算机器之类的设备中作 为嵌入式软件，或者保持从标准存储器或存储器设备之一预加载或加载。该计算机程序可以在标准的包含的或可拆卸的存储器(例如固态存储器或硬盘或CD)中被处理。该计算机 程序可以以已知的代码(例如机器级代码或汇编语言或更高级语言)中任意一种来呈现并 且可以在诸如手持设备或个人计算机或服务器之类的任何可用平台上运行。应当注意，上述实施例说明而非限制本发明，并且本领域技术人员将能够在不脱 离所附权利要求的范围的情况下设计出许多可替代实施例。在权利要求中，置于括号中的任何附图标记不应当被解释为限制该权利要求。显然，在本发明的框架内许多变型是可能的。本领域技术人员将会理解本发明不 受上文特别示出和描述的内容的限制。本发明在于各个和每个新颖的特性特征和这些特性 特征的各个和每个组合。权利要求中的参考数字没有限制它们的保护范围。动词“包括”及其变形的使用不排除存在权利要求中未陈述的其它元件或步骤。元 件之前的冠词“一”或“一个”的使用不排除存在多个这样的元件。
权利要求
一种在具有未分配像素值的图像(705)中将像素值分配给邻近像素位置的方法，该方法包括以下步骤生成第一传播像素值(730)和用于沿着第一方向朝向所述邻近像素位置传播所述第一传播像素值(730)的第一传播权重(735)，该步骤通过以下操作来完成生成用于在第一方向上传播到邻近像素位置的第一传播像素值(730)，该第一传播像素值(730)至少基于邻近所述未分配像素位置的第一区域中的分配像素值，生成用于第一传播像素值(730)的第一传播权重(735)以说明沿着第一方向邻近所述孔的第二区域中的分配像素值的像素值中的中断，使得沿着第一方向在所述分配像素值中出现中断导致更低的第一传播权重(735)，以及至少部分地基于第一传播像素值(730)和第一传播权重(735)将像素值分配给所述邻近像素位置。
2.权利要求1的方法，其中第一传播像素值(730)借助于第一定向滤波器在包含邻近 所述未分配像素位置的所述第一区域中具有分配像素值的像素位置的分配像素值之上生 成。
3.权利要求1或2的方法，其中通过在沿着第一方向的第二区域中的分配像素值上使 用边缘检测器来生成第一传播权重(735)。
4.权利要求1-3中任一项的方法，进一步包括以下步骤生成第二传播像素值和用于将该第二传播像素值沿着第二方向朝向所述邻近像素位 置传播的第二传播权重，其中分配给所述邻近像素位置的像素值至少部分基于第一和第二传播像素值以及第 一和第二传播权重。
5.权利要求4的方法，其中生成第二传播像素值和第二传播权重的步骤包括生成用于在第二方向上传播到所述邻近像素位置的第二传播像素值，该第二传播像素 值至少基于邻近所述未分配像素位置的第三区域中的分配像素值，生成用于第二传播像素值的第二传播权重以说明沿着第一方向邻近所述孔的第四区 域中的分配像素值的像素值中的中断，使得沿着第二方向在所述分配像素值中出现中断导 致更低的第二传播权重。
6.权利要求4或5的方法，其中将像素值分配给所述邻近像素位置的步骤包括将用第 一传播权重(735)加权的第一传播像素值(730)与用第二传播权重加权的第二传播像素值 混合o
7.权利要求4、5或6中任一项的方法，其中第一和第二方向是垂直的方向。
8.一种用于在具有未分配像素值的图像(705)中将像素值分配给邻近像素位置的图 像处理设备(700，790)，该图像处理设备包括第一生成装置(725)，用于生成第一传播像素值(730)和用于将所述第一传播像素值 (730)沿着第一方向朝向所述邻近像素位置传播的第一传播权重(735)，该步骤通过以下 操作来完成生成用于在第一方向上传播到邻近像素位置的第一传播像素值(730)，该第一传播像 素值(730)至少基于邻近所述未分配像素位置的第一区域中的分配像素值，生成用于第一传播像素值(730)的第一传播权重(735)以说明沿着第一方向邻近所述孔的第二区域中的分配像素值的像素值中的中断，使得沿着第一方向在所述分配像素值中 出现中断导致更低的第一传播权重，以及分配装置(740)，用于至少部分地基于第一传播像素值(730)和第一传播权重(735)将 像素值分配给所述邻近像素位置。
9.权利要求8的图像处理设备(790)，进一步包括第二生成装置(725)，用于生成第二传播像素值和用于将该第二传播像素值沿着第二 方向朝向所述邻近像素位置传播的第二传播权重，其中所述分配装置被设置为至少部分地基于第一和第二传播像素值以及第一和第二 传播权重将像素值分配给所述邻近像素位置。
10.权利要求9的图像处理设备(790)，其中第二生成装置被设置为通过下述操作生成 第二传播像素值和第二传播权重生成用于在第二方向上传播到所述邻近像素位置的第二传播像素值，该第二传播像素 值至少基于邻近所述未分配像素位置的第三区域中的分配像素值，生成用于第二传播像素值的第二传播权重以说明沿着第一方向邻近所述孔的第四区 域中的分配像素值的像素值中的中断，使得沿着第二方向在所述分配像素值中出现中断导 致更低的第二传播权重。
11.一种显示设备(800)，包括根据权利要求8-10中任一项的图像处理设备(700， 790)。
12.—种计算机程序，当所述计算机程序在计算机上运行时使得权利要求1-7中任一 项的方法被执行。
13.一种计算机程序产品，包括存储在计算机可读介质上的程序代码装置，其用于当所 述程序产品在计算机上执行时实现权利要求1-7中任一项的方法。
全文摘要
本发明涉及一种在具有未分配像素值的图像(705)中将像素值分配给邻近像素位置的图像处理设备和方法。该方法包括以下步骤生成第一传播像素值(730)和用于沿着第一方向朝向邻近像素位置传播第一传播像素值(730)的第一传播权重(735)，该步骤通过以下操作来完成生成用于在第一方向上传播到邻近像素位置的第一传播像素值(730)，该第一传播像素值(730)至少基于邻近未分配像素位置的第一区域中的分配像素值；生成用于第一传播像素值(730)的第一传播权重(735)以说明沿着第一方向邻近的孔的第二区域中的分配像素值的像素值中的中断，使得沿着第一方向在所述分配像素值中出现中断导致更低的第一传播权重(735)；以及至少部分地基于第一传播像素值(730)和第一传播权重(735)将像素值分配给邻近像素位置。本发明还涉及一种计算机程序和一种包括用于实现该方法的程序的计算机程序产品。
文档编号G06T5/00GK101925923SQ200980103018
公开日2010年12月22日 申请日期2009年1月21日 优先权日2008年1月24日
发明者C·瓦雷坎普, R·B·M·克莱因古尼韦克 申请人:皇家飞利浦电子股份有限公司