深度相关信息传播方法和设备的制作方法

专利名称：深度相关信息传播方法和设备的制作方法
技术领域：
本发明涉及一种用于将深度相关信息从与第一图像关联的第一深度图传播到与 第二图像关联的第二深度图的方法和设备，第一和第二图像是图像序列中的时间紧邻图 像。
背景技术：
近年来，各个公司都积极开发了适合再现三维(3D)图像的自动立体显示器。这些 设备可以在不需要特殊的头盔和/或眼镜的情况下为观看者呈现3D印象。自动立体显示器通常产生针对不同视角的不同视图。通过这种方式，可以为观看 者的左眼产生第一图像，为观看者的右眼产生第二图像。通过显示恰当的图像，也就是显示 分别从左眼和右眼的视点来看合适的图像，可以向观看者显示相应的图像并传达3D印象。有很多种技术可以用来产生用于这样的自动立体显示器的图像。例如，通过使用 多个相机，可以产生多视像，其中各个相机的位置与每一个相应视图的相应视点是对 应的。作为替换，单独的图像也可以用3D计算机模型产生。为了保持后向兼容性并提高带宽使用率，很多自动立体显示器都使用了常规2D 图像序列形式的输入序列以及相应的深度图。深度图提供了表示图像中描绘的对象到相机的绝对或相对距离的深度信息。例 如，表示深度信息的常见方法是借助8比特的灰度图像。深度图可以基于每个像素来提供 深度信息，但是本领域技术人员也很清楚，它也可以使用较粗糙的粒度，例如较低分辨率的 深度图，其中每一个深度图值都为多个像素提供了深度信息。视差图可以用来替换上述深度图。视差指的是在从两个视点(例如从左眼和右眼 视点)观察的时候，对象在场景中的表观移动。视差信息和深度信息是相关的，并且是可以 相互映射的，这一点对于本领域技术人员来说是公知的。有鉴于上述内容，在说明书中将会始终使用术语深度相关信息和深度值，并且这 些术语被理解成至少包含了深度信息以及视差信息。通过为自动立体显示器提供图像序列以及相应深度相关信息图(或者简称为深 度图)序列，自动立体显示器可以为一个或多个观看者再现内容的多个视图。虽然有可能 为新创建的内容提供精确记录的深度值，但是更常规的二维(2D)图像序列并不包含所需 要的深度值。用于将2D转换成3D内容的各种方法是已知的，这其中的一些方法解决的是没有 人为干预的实时转换，而其他方法解决的则是人类辅助的2D-3D转换。在后一种方法中，操 作者通常会为选定的关键帧定义深度信息，随后，这个深度信息会被传播到非关键帧。当深 度值只能用于图像序列中的图像子集时，可以使用类似的方法来传播深度值。在国际专利申请W02002/13141中给出了一种已知方法。根据这种方法，网络是用 来自关键帧的像素子集的有注释深度值来训练的。该信息被用于学习纹理信息与深度特性 之间的关系。随后，经过训练的网络用于为所有关键帧产生深度信息。在第二阶段期间，使用关键帧的深度图来从图像特性以及与关键帧的相对距离中产生用于非关键帧的深度图。

发明内容
已知方法的问题是其难于处理具有相似纹理信息且位于不同深度的对象。本发明的目的是提供一种旨在改善这个问题并且将深度相关信息从与第一图像关联的第一深度图传播到与第二图像关联的第二深度图的可替换解决方案，第一和第二图 像是图像序列中的时间紧邻图像。这个目的是在根据本发明的方法中实现的，该方法包括通过使用第一图像和第 二图像的像素将深度值从第一深度图传播到与第二图像关联中间深度图，来产生中间深度 图；使用包含了第一深度图中的第一位置周围的空间区域的深度值以及中间深度图中的第 二位置周围的空间区域的深度值的信息，产生运动矢量；以及使用包含了该运动矢量和第 一深度图的信息，产生第二深度图中的第二位置的深度值。第一和第二图像代表来自图像序列的具有相似但却不同的时间戳的图像。结果， 第一和第二图像通常是彼此相似的，但却会因为例如相机视点、相机设置、对象运动和/或 对象改变中的改变的结果而存在差别。相应地，分别与第一和第二图像关联的第一和第二深度图同样涉及不同的时间 戳。本发明旨在使用来自与第一图像关联的第一深度图的深度值产生第二图像的深度图； 因此，本发明将信息从第一深度图传播到第二深度图。众所周知，在传播诸如手工注释的关键帧深度图之类的可靠深度图的深度值的过 程中，所传播的深度图通常在靠近关键帧处表现出小误差，离关键帧越远，误差就越大。发明人的见解是，有必要在此类传播误差仍旧相对较小的时候及早校正这些误 差。作为附加的好处，较小的误差允许使用具有较小孔径的滤波器。为了在早期校正传播 误差，发明人提出了一种多步骤方法。在第一个步骤中，通过传播来自第一深度图的深度 值，产生中间深度图。在这里，使用了术语传播来强调第一深度图涉及不同于中间深度图的 时间戳。来自第一深度图的深度值可以使用基于第一和第二图像的图像特性的滤波器来传 播，所述图像特性例如亮度、色度和/或纹理。得到的中间深度图可以被解释成是关于第二 深度图的初始估计。优选地，中间深度图是用双边滤波器产生的。但是，在这里也可以改用其他方法， 例如使用机器学习方法。在第二个步骤中，使用来自第一深度图中的第一位置周围的空间区域以及中间深 度图中的第二位置周围的空间区域的信息，产生运动矢量。该运动矢量被选定成致使中间 深度图中的第二位置周围的空间区域与第一深度图中的第一位置周围的空间区域表现出 相对较高的相关性；也就是说，其相关性与第一深度图中的其他空间区域相比是高的。在第三个步骤中，通过使用包含了运动矢量和第一深度图的信息，使用运动矢量 来产生第二深度图中的第二位置的深度值。在上述方式中，来自关键帧的有注释深度值或者可替换地已经根据本发明传播的 深度值可以被传播到其他的帧。第二个步骤明确考虑了第一深度图中的第一位置的空间上 下文以及第二深度图中的第二位置的空间上下文。通过在被运动矢量指示为恰当的上下文 中使用来自第一深度图的深度值，可以充分保留存在于第一深度图中的对象边界，尤其是具有相似颜色和不同深度的对象的边界。在上述方式中，本发明有效改善了现有技术的问题。在一个实施例中，第二深度图中的第二位置的深度值通过仅仅使用运动矢量以及 来自第一深度图的深度值而形成。在这种情况下，运动矢量用来将深度值和/或区域从第 一深度图拷贝到第二深度图。第一和第二位置对应于运动矢量的源和目标。上述实施例的 优点在于，通过将深度值从第一深度图拷贝到第二深度图，充分保留了第一深度图的边缘 完整性。在另一个实施例中，第二深度图中的第二位置的深度值的产生包括从包含下列 各项的候选集中选择深度值基于运动矢量和第一深度图的深度值，以及基于中间深度图 中的第二位置的深度值的深度值。上述方法的优点在于，如果从第一深度图拷贝深度值没 有产生令人满意的结果，那么可以使用中间深度图作为后备。在这个实施例的优选变体中， 其中运动矢量的生成包括计算运动矢量的绝对差值之和(SAD)，使用该SAD来从候选集中 选择深度值。在另一个实施例中，第一和中间深度图的深度值和/或区域将被组合，例如混合， 以便形成第二深度图的深度值和/或块。通过这种方式，可以获得深度值之间的更连续的 转换。当使用可靠性量度来加权中间深度图(也就是第二深度图的初始估计)的贡献时， 该实施例是特别有效的。在本发明的一个实施例中，中间深度图的生成包括使用基于第一图像的至少一 个像素以及第二图像的至少一个像素的加权因子，借助来自第一深度图的深度值的加权加 法，计算中间深度图中的深度值，这两个像素在所传播的相应深度相关信息的空间邻近。在上述实施例的一个优选实施例中，加权因子是根据来自第一图像的所述至少一 个像素与来自第二图像的所述至少一个像素之间的差值的非线性函数确定的。通过这种方 式，在得到的深度值中表现出很大差异的像素的影响可以得到抑制。本发明的目标还借助一种用于将深度相关信息从与第一图像关联的第一深度图 传播到与第二图像关联的第二深度图的深度图传播设备来实现，第一和第二图像是图像序 列中的时间紧邻图像，该设备包括第一生成装置，它被设置成通过使用第一图像和第二 图像的像素将深度值从第一深度图传播到与第二图像关联的中间深度图，产生该中间深度 图；第二生成装置，它被设置成使用包含了第一深度图中的第一位置周围的空间区域的深 度值以及中间深度图中的第二位置周围的空间区域的深度值的信息，产生运动矢量；以及 第三生成装置，它被设置成使用包含了该运动矢量和第一深度图的信息，产生第二深度图 中的第二位置的深度值。


本发明的这些和其他有利方面将通过使用下列附图而被更详细地描述。图1显示的是使用了双边滤波器的深度传播方法；图2显示的是计算机生成的图像以及使用双边滤波器传播的深度图的示例；图3显示的是本发明解决的深度模糊问题；图4显示的是本发明解决的新颜色问题；图5显示的是依照本发明的方法的流程图6显示的是依照本发明的深度图传播示例；图7显示的是依照本发明的深度传播设备的框图； 图8显示的是依照本发明的消费类电子设备和内容转换设备的框图。这些附图并不是按比例绘制的。一般来说，相同的部件在附图中是用相同的附图 标记表示的。
具体实施例方式在执行半自动的2D-3D内容转换(也就是人类辅助的内容转换)处理时，该转 换过程有可能会受到用于将深度值传播到非关键帧的自动外推例程所产生的误差的影 响。本发明人应用的一种用于将深度值自动传播到非关键帧的方法使用了双边滤波。正如 C. Tomasi 等人在 Proceedingsof the International Conference on Computer Vision, 1998 中发表的 “Bilateral filtering for Gray and Color Images” 一文中公开的那样， 双边滤波器最初是为保留边缘的图像平滑化处理开发的，该文献通过引用合并于此。发明人已经发现，对于将深度值从关键帧传播到图像序列中的其他图像来说，双 边滤波器是非常有效的。为了传播深度相关信息，双边滤波器以递归的方式被应用于后续 图像配对。出于上述原因，双边滤波器优选地用于根据与第一图像Il关联的第一深度图Dl 来产生中间深度图。双边滤波组合了域(domain)滤波和范围(range)滤波。实验表明，双边滤波是一 种用于将深度从关键帧传播到图像序列中的其他帧的非常有效的方法。这个深度传播过程 可以以递归的方式应用。对于每一个递归步骤来说，深度是用如下关系式从第一图像传播 到第二图像的<formula>formula see original document page 7</formula>
以下将检查双边滤波器的单次迭代，其中来自第一深度图的深度值被传播到中间 深度图。在这里，是中间深度中的像素i在时间t+δ的深度值，并且是空间相邻像 素j在第一深度图中的深度值。本领域技术人员可以清楚了解，双边滤波器可以用于前向传播，也就是在时间上 是前向的(S >0)。但是，双边滤波器还可以用于后向传播(δ <0)。此外，虽然双边滤 波器通常被用于以递归的方式传播来自邻近图像的深度(δ =-1或δ = 1)，但是更大的 步长(δ <-1或δ >1)也是可以使用的。在将双边滤波器与本发明结合使用时，双边滤 波器优选地用于传播来自邻近图像的深度值。通过这种方式，第一与第二图像之间的差值 保持最小，由此提高中间深度图可被校正的概率。在一开始，在关键帧(t = 0)，假设已经知道深度值是没有误差的。像素j来自以 位置i为中心的时间邻域。函数、依照空间邻居的空间距离来对这些空间邻居加权。在 这里，我们使用了大小为Δ的箱式滤波器<formula>formula see original document page 8</formula>举个例子，如果使用的是具有19个像素的窗口大小Δ，那么可以在每一次迭代中 追踪大小为9个像素的最大运动。加权、α+δ’ 取决于处在时间戳t+δ的第二图像中的 像素i与帧t中的相邻像素j之间的色差。所使用的加权是如下给出的
<formula>formula see original document page 8</formula>其中α是确定颜色重要性的常数。颜色的影响随着α的增大而提升。图1示出 了用于例示的滤波器窗口大小Δ =7的双边深度传播滤波器的操作。图1显示了图像序 列的第一图像ιω和第二图像i(t+s)。所述第一和第二图像代表的是来自图像序列且时间 紧邻的不同图像，并且是用上标(t+δ)表示的。在第一图像中可见的浅色像素代表的是深 蓝色背景上的红色对象的红色像素。在用I(t+S)表示的第二图像12中，深蓝色的背景像素 随着对象移动到右边而显现出来。为了计算用表示的中间深度图中的新的深度值i，针对帧t的滤波足迹中的 所有像素j计算加权、α+δ’ 。加权平均值用于预测帧t+δ的像素i的深度值。由于深蓝 色像素的色差小，但是浅红色像素的大，因此深蓝色像素的深度值的加权将会比浅红色像 素的高。由此，中间深度图中的深度值基本上是通过深蓝色像素的深度值确定的。双边滤波器隐含假设相似的颜色意味着相似的深度值。但在实践中却通常会违反 这种颜色恒定性假设，由此导致所传播的深度值存在误差。一旦在深度图中引入了误差，那 么它们会以递归的方式传播到新的帧。图2示出的是这样的传播误差在深度图中的影响，该深度图是根据等式1使用双 边滤波器而在30幅图像上传播的。为了产生图2的结果，在这里使用了足迹大小Δ =19 的双边滤波器。颜色重要性参数α则被设置为0.125。在该图像中可以观察到以下问题1. “深度模糊性”问题深度模糊性实际上涉及其中单个颜色在同一图像中出现在不同深度值处的的状 况。在双边滤波器的情况下，这将会导致深度图中出现随时间传播和累积的误差。2. “新颜色”问题新颜色问题是由于为之产生初始深度图估计的第二图像包含了原始关键帧图像 中不存在的颜色这一事实而导致的结果。结果，关于哪种深度值应当与该颜色关联的信息 不存在。举例来说，如果背景的新的部分显现出来，如果离焦前景对象的边缘在第二图像中 与新的背景颜色混合，或者如果在图像中存在透明物，那么将会发生这种状况。在图2中，如果两个小骰子在图片中接触，那么“深度模糊性”问题可见。两个小骰 子的颜色相同，但是前景和背景骰子的深度值不同。结果，在传播之后，这个边界的深度值 是相应深度值的平均值。在图片右侧，“新颜色”问题可见，其中背景的一部分是显现出来， 由此导致产生不正确的深度值。图3更详细地示出了深度模糊性问题。在第一图像I(t)中为前景主色的浅红色像素也出现在背景中。因此，在根据第一图像ιω和第二图像i(t+s)使用双边滤波来传播深度 值时，会对来自第一深度图的深度值求取平均值，由此导致在中间深度图中产生错 误的深度值。图4更详细地示出了新颜色问题。新颜色出现在第二图像I(t+S)中前景中的浅 红色对象向右移动，在背景中可以看到若干个非常浅的黄色的像素。由于黄色没有在第一 图像Ιω的滤波器窗口中出现，因此颜色与深度之间的关系不能被精确拷贝，并且将会导致 出现错误的深度。虽然上述示例显式提出了使用双线性滤波来产生在本发明中使用的 中间深度图， 但是上面表示的问题通常在其他那些使用图像特性推断深度值的方法中出现。严格地讲， 图像特性并不与实际深度值直接联系，并且处于不同深度的对象实际有可能具有相似的颜 色、纹理和/或亮度。因此，模糊性也会影响其他那些使用了此类图像特性的传播方法。本发明的目标是至少改善模糊性问题。中间深度图中的深度误差通常作为一些像 素而开始，但是越远离关键帧时，往往覆盖越大的区域。本发明提出在发生传播误差之后以 一种旨在防止这些误差进一步传播的方式来直接校正传播误差。图5显示的是根据本发明的将深度相关信息从与第一图像关联的第一深度图传 播到与第二图像关联的第二深度图的方法的流程图，第一和第二图像是图像序列中的时间 紧邻图像。该方法包含了在图5中分别被表示为Si、S2和S3的三个步骤。图5所示的第一个步骤Sl包括通过使用第一图像和第二图像的图像特性将深度 值从第一深度图传播到与第二图像关联的中间深度图，产生该中间深度图。在实践中，这些 图像特性可以是例如色度、亮度和/或纹理。步骤Si可以使用如上所述的双边滤波器来实 施。但是，本发明并不局限于此。可替换的方法包括但不局限于例如使用图像特性来传播 深度值的机器学习方法。为了产生与第二图像关联的第二深度图中的第二位置的深度值，在第二步骤S2 中使用第一深度图和中间深度图产生运动矢量。该运动矢量标识的是第一深度图中的第一 位置周围的空间区域，所述空间区域表现出与第二深度图中的第二位置周围的空间区域具 有相对较高的相关性。第二个步骤S2可以使用技术人员已知的运动估计算法而以多种方式实施。只要 算法顾及了中间深度图中的第二位置的空间上下文以及第一深度图中的第一位置的空间 上下文，那么，使用哪一种特定算法是无关紧要的。通过这种方式，运动矢量标识的是第一 深度图中与第二深度图中的空间区域相类似的空间区域。在第三个步骤S3中，第二深度图中的第二位置的深度值是使用包含了运动矢量 和第一深度图的信息产生的。在不脱离本发明的范围的情况下，各种可替换方法均可用于 产生这个深度值。在第一种方法中，第三个步骤S3包括使用在第二个步骤S2中产生的运动矢量来 从第一深度图拷贝深度值。支持这种方法的理由在于，只要相应图像之间的差值相对较小， 则相应深度图之间的变化同样较小。因此，在第一深度图中有可能存在一定空间区域，与处于中间深度图中的第二位 置的空间区域相比，该空间区域给出关于第二位置周围的空间区域的更精确表示。在第二 个步骤S2中产生的运动矢量代表了关于第一深度图中的空间区域的指示，其提供了与中间深度图中的第二位置的空间区域的相对良好的匹配。在这个第一方法中，运动矢量用于将深度值和/或整个区域从第一深度图拷贝到 第二深度图。通过拷贝来自第一深度图的区域和/或通过考虑深度值的空间上下文，深度 图内部的边缘将会得到充分保留。为了进一步阐明本发明的实施方式，接下来将讨论基于块的运动矢量生成的形式 的第二个步骤S2以及将空间区域从第一深度图拷贝到第二深度图的形式的第三个步骤S3 的实施方式。如先前所示，中间深度图可以解释成是关于第二深度图的第一估计。随后，这 个估计将使用第二个步骤S2和第三个步骤S3来校正。为了校正这个估计，假设中间深度 图> )中的深度误差在空间上是不相关的，并且第一深度图 =中的深度值没有误差(在 该图像对应关键帧的情况下)或者已经经过校正(用下标“cor”表示)。为了校正中间深度图劣(+ )，像素被分成了大小为16Χ 16个像素的k = 1. . . N个块 Bk。然后，对于每一个块Bk，确定位移矢量(ux (k)，uy (k))，该位移矢量在将块Bk(来自中间深 度图)与第一深度图中的块相比较时导致最小的匹配误差。随后，使用下式获取第二深度图&丨广的深度值
<formula>formula see original document page 10</formula>(4)对于所有(x，y) e Bko这个运动补偿操作对应的是将深度值的块从第一深度图拷 贝到第二深度图。位移矢量通过把在块Bk中所有像素上求和的深度误差函数最小化来确 定<formula>formula see original document page 10</formula>^(5)其中深度误差函数g(x，y，vx, vy)如下给出
<formula>formula see original document page 10</formula>( 6 )应该指出的是，深度误差函数是在两个具有不同统计属性的信号之间计算的； 是从例如双边滤波器产生的中间深度图，并且J=是第一深度图，该深度图要么是有注
释的深度图，要么是先前校正的图。虽然上述方法使用的是搜索本地邻域中的所有位置的运动估计过程，但是也可以 使用其他搜索方法来获取可接受的结果。对本领域技术人员来说，关于运动估计的此类优 化和/或变体都是公知的。图6显示的是第一图像Ιω、第二图像I(t+S)、第一深度图丨以及中间深度图》^ 的示例。在运动矢量生成过程中，在第一深度图内部的第一位置标识块，该块提供与位 于中间深度图》中的第二位置的块的最佳匹配。在这里，最佳匹配是导致最小匹配误差 的匹配。接下来，该运动矢量所标识的块被拷贝到第二深度图中的第二位置。这种方法确 保了在所传播的帧中充分保留了存在于第一深度图中的形状信息。
无论匹配质量如何，上述方法都会将对应于最佳匹配的信息从第一深度图拷贝到 第二深度图。在可替换实施例中，选择是否传播来自第一深度图&丨I的信息或者来自中间深 度图》叫的信息。
关于传播这些可替换深度值中的哪些深度值的决定优选地基于匹配误差。在匹配 误差低的情况下，在围绕第一深度图&^中的第一位置的空间区域与围绕中间深度图>") 中的第二位置的空间区域之间存在很大的相关性。在这种情况下，优选的是传播来自第一 深度图的信息。作为替换，如果匹配误差大，那么显然，候选运动矢量可能不是最优的概 率是很大的。在这种情况下，优选的是传播来自中间深度图的信息。更优选的是，匹配误差阈值用于在上述候选之间进行选择。此外还可以设想针对 上述方法的细小改变，例如添加其他候选和/或其他选择判据。上述方法的一个可能缺陷在于，在为邻近块选择不同的候选时，这可能导致在得 到的第二深度图中出现不连续性。为了避免这种不连续性，代替选择任一所述候选的是，也 可以混合这些候选。优选地，混合这些候选是借助诸如匹配误差之类的可靠性量度来控制 的。如果匹配误差高，则表明候选运动矢量的可靠性相对较低。结果，在混合这些候选者时， 可以降低该候选的加权。为了进一步改进候选的选择和/或混合，可以使用其他可靠性量度，例如表明中 间深度图的深度值可靠性的可靠性量度。在双边滤波器用来产生中间深度图的情况下，可 以在计算滤波器加权的时候通过确定像素之间的最小色差来确定这种可靠性量度。如果第 一图像和第二图像中的像素之间的所有色差都是大的，也就是所有加权都是小的，那么双 边滤波器不提供可靠深度值的可能性将会很大。虽然在整个说明书中都认为深度值的传播在时间上前向发生，但是本发明并不局 限于此。在应用了双向传播(也就是前向和后向传播)的方案中，可以类似地利用本发明。 在双向传播方案中，可以为每一个帧估计两个中间深度图，并且可以产生两个运动矢量。在 双向方法中，后向和前向预测的贡献优选地根据与相应关键帧的距离来加权。为了发挥本发明的最大效力，中间深度图的生成优选地应该考虑第一与第二图像 像素之间的差值，但是应该避免施加第一深度图的形态所提供的空间约束。与之形成对照 的是，生成运动矢量的步骤优选地考虑为之产生深度值的像素周围的区域形态所提供的空 间约束。图7显示的是根据本发明的用于将深度相关信息从与第一图像820关联的第一深 度图810传播到与第二图像830关联的第二深度图860的基本深度图传播设备800。该设 备800分别在输入连接器802、801和803上接收三个输入信号第一图像820、第一深度图 810以及第二图像830。该设备在输出连接器806上输出一个输出信号，即第二深度图860。在设备800的变体中，在单个连接器上而不是在三个输入连接器801、802和803 上输入单个集合输入信号，该信号为具有有注释的关键帧的图像序列的形式。同样，可以提 供具有根据本发明传播的深度图的图像序列的形式的单个集合输出信号。设备800还包括第一生成装置805，它被设置成产生与第二图像830关联的中间深 度图840。如上所述，可以通过使用第一图像820和第二图像830的像素将深度值从第一深 度图810传播到中间深度图840，以多种方式来实施中间深度图840的生成。
该设备还包括第二生成装置815，它被设置成使用包含了第一深度图中的第一位置周围的空间区域的深度值以及中间深度图中的第二位置周围的空间区域的深度值的信 息来产生运动矢量850。随后，第三生成装置825使用这个运动矢量850，该装置被设置成使用包含了运动 矢量850和第一深度图810的信息来产生第二深度图860中的第二位置的深度值。本领域技术人员应当清楚的是，在不脱离本发明的范围的情况下，可以想到设备 800的若干可替换实施方式。当上述所有生成装置都执行处理任务时，第一、第二和第三生 成装置805、815、825执行的任务可以映射到单个数字信号处理器。虽然上文明确述及了数字信号处理器，但是本发明并不局限于此。在这里可以使 用可替换的处理平台，所述处理平台提供与上述数字信号处理器相似的功能。这些处理平 台不必是可编程的处理平台，而是同样地可以包括专用的专用集成电路(ASIC)。实际上， 在不脱离本发明的范围的情况下，处理任务可以被划分到混合硬件/软件系统中的不同模 块。图8显示的是内容转换设备955和消费类电子设备965，其中每一个设备都包括上 述设备800。内容转换设备包括输入准备装置905，该装置在输入连接器901上接收图像序 列910形式的输入信号。图像序列910提供设备800使用的第一和第二图像。输入准备装 置905允许实施关于关键帧的人类辅助镜头切换检测及注释。随后，本发明可以用于将深 度值传播到非关键帧。此外，内容转换设备955还包括输出准备装置915，该装置允许例如 对包含了所传播的深度图的输出信号920执行格式选择，以便在输出连接器902上输出。消费类电子设备965包括用于接收输入信号930的输入连接器903，该输入信号 包含图像序列以及用于选择图像序列中的关键帧的深度信息。输入准备装置925准备供设 备800处理的图像。在操作中，设备800实际上将深度信息从关键帧传播到非关键帧。因 此，并不是输入信号930中的每一幅图像都需要深度图，通过这种方式，本发明还允许对传 输信号执行数据压缩。作为选择，消费类电子设备965可以包括自动立体显示装置935，其用于显示得到 的具有伴随的深度图的图像序列。在整个说明书中，中间深度图的生成是作为单个处理步骤而给出的，但是本领域 技术人员应当清楚的是，中间深度图的生成并不局限于此。事实上，中间深度图的生成很可 能包含若干个步骤，例如包含例如可以提供噪声抑制的后处理步骤。在整个说明书中，术语图像序列用于包含了某种形式的连续性的图像序列。本领 域技术人员应当清楚的是，深度值的传播仅仅在存在这种连续性的情况下才是有意义的。 为了获取基本连续的图像序列，可以向镜头切换检测器提供图像序列，或者可以手动处理 图像序列，以便隔离基本连续的图像序列。应该指出的是，上述实施例是说明了而不是限制了本发明，并且在不脱离附加权 利要求的范围的情况下，本领域技术人员应当能够设计出众多的可替换实施例。在权利要求中，放在括号之间的任何附图标记都不应该被解释成对权利要求的限 制。显然，在本发明的框架以内，很多变型都是可行的。本领域技术人员应当理解，本 发明并不受上文特别显示和描述的内容的限制。本发明存在于每一个新颖的特性特征以及每一种特性特征组合中。权利要求中的附图标记并未限制其保护范围。
动词“包括”及其变形的使用并没有排除除了权利要求陈述的元件以外的其他元
件的存在。处于元件之前的冠词“一”并未排除多个这样的元件的存在。
权利要求
一种用于将深度相关信息从与第一图像(820)关联的第一深度图(810)传播到与第二图像(830)关联的第二深度图(860)的方法，第一和第二图像是在图像序列中的时间紧邻图像，该方法包括-通过使用第一图像(820)和第二图像(830)的像素将深度值从第一深度图(810)传播到与第二图像(830)关联的中间深度图(840)，产生该中间深度图(840)；-使用包含了第一深度图(810)中的第一位置周围的空间区域的深度值以及中间深度图(840)中的第二位置周围的空间区域的深度值的信息，产生运动矢量(850)；以及-使用包含了运动矢量(850)和第一深度图(810)的信息，产生第二深度图(860)中的第二位置的深度值。
2.权利要求1的方法，其中产生中间深度图(840)包括使用基于第一图像(820)中 的至少一个像素以及第二图像(830)中的至少一个相应像素的加权因子，借助来自第一深 度图(810)的深度值的加权加法，计算中间深度图(840)中的深度值，这两个像素在所传播 的相应深度相关信息的空间邻近。
3.权利要求2的方法，其中加权因子是根据来自第一图像的所述至少一个像素与来自 第二图像的所述至少一个相应像素之间的差值的非线性函数确定的。
4.权利要求1的方法，其中生成第二深度图(860)中的第二位置的深度值包括从包含 下列各项的候选中选择深度值-基于运动矢量(850)和第一深度图(810)的深度值，以及-基于处于中间深度图(840)中的第二位置的深度值的深度值。
5.权利要求1的方法，其中生成第二深度图(860)中的第二位置的深度值包括包含下 列各项的信息的加权相加-基于运动矢量(850)和第一深度图(810)的深度值，以及_基于处于中间深度图(840)的第二位置的深度值的其他深度值。
6.权利要求1的方法，其中产生中间深度图(840)还包括为中间深度图(840)中的 深度值产生可靠性量度(R)，并且其中在产生第二深度图(860)中的第二位置的深度值的 过程中使用该可靠性量度(R)。
7.权利要求1的方法，其中图像序列是来自另一个图像序列的快照。
8.一种用于将深度相关信息从与第一图像(820)关联的第一深度图(810)传播到与第 二图像(830)关联的第二深度图(860)的深度图传播设备(800)，第一和第二图像是图像序 列中的时间紧邻图像，该设备包括-第一生成装置(805)，它被设置成通过使用第一图像(820)和第二图像(830)的像素 将深度值从第一深度图(810)传播到与第二图像(830)关联的中间深度图(840)，产生该中 间深度图(840)；-第二生成装置(815)，它被设置成使用包含了第一深度图(810)中的第一位置周围的 空间区域的深度值以及中间深度图(840)中的第二位置周围的空间区域的深度值的信息， 产生运动矢量(850)；以及-第三生成装置(825)，它被设置成使用包含了运动矢量(850)和第一深度图(810)的 信息，产生第二深度图(860)中的第二位置的深度值。
9.一种消费类电子设备(965)，包含根据权利要求8的深度图传播设备(800)。
10.一种内容转换设备(955)，包含根据权利要求8的深度图传播设备(800)。
11.一种计算机程序产品，包含用于使得可编程设备执行权利要求1-7中任一项的方 法的指令。
全文摘要
本发明涉及一种用于将深度相关信息从与第一图像(820)关联的第一深度图(810)传播到与第二图像(830)关联的第二深度图(860)的设备和方法，第一和第二图像是图像序列中的时间紧邻图像。该方法包括通过使用第一图像(820)和第二图像(830)的像素将深度值从第一深度图(810)传播到与第二图像(830)关联的中间深度图(840)，产生该中间深度图(840)，使用包含了第一深度图(810)中的第一位置周围的空间区域的深度值以及中间深度图(840)中的第二位置周围的空间区域的深度值的信息，产生运动矢量(850)，以及使用包含了运动矢量(850)和第一深度图(810)的信息，产生第二深度图(860)中的第二位置的深度值。
文档编号H04N13/00GK101822067SQ200880100657
公开日2010年9月1日 申请日期2008年7月18日 优先权日2007年7月26日
发明者C·瓦雷坎普 申请人:皇家飞利浦电子股份有限公司