深度图处理的制作方法

深度图处理的制作方法
【专利摘要】对三维[3D]视频信号中的深度图进行处理。根据3D视频信号，导出第一深度图（Z1）。通过多维滤波器（22）生成第二深度图（Z2），该多维滤波器造成第二深度图具有溢出的伪像，而第一深度图在相应地点中具有较少的或者没有这样的伪像。深度差值是在第一深度图与第二深度图之间确定的，正的深度差值指示第二深度图中的深度更靠近观看者。通过依照取决于深度差值的组合功能组合第一深度图值和第二深度图值而生成最终的第三深度图。该组合功能在深度差值为正的情况下优先考虑第一值。
【专利说明】
深度图处理

【技术领域】
[0001]本发明涉及一种处理三维[3D]视频信号的方法，该方法包括：根据3D视频信号导出包括第一深度值的第一深度图和与第一深度图相应的包括图像值的2D图像，以及由多维滤波器根据3D视频信号和/或第一深度图生成具有第二深度值的第二深度图。
[0002]本发明进一步涉及一种3D视频设备和计算机程序。
[0003]本发明涉及处理3D视频数据以便改进3D显示设备上的再现的领域。特别地，可用的或者生成的深度图可能是不精确的，并且可以通过由多维滤波器进行滤波(例如平滑）而改进。图像通常在二个空间维度下进行滤波，而视频数据中的时间可以用作第三维度。进一步使用不同域的图像数据（比如对深度图滤波时的图像视亮度（brightness)值）的双边滤波器或者交叉双边滤波器是这样的多维滤波器的典型实例。深度图可能由于这样的滤波而具有深度伪像。本发明涉及用于减少深度伪像的改进。

【背景技术】
[0004]文件“Discontinuity-adaptive Depth Map Filtering for 3D ViewGeneration, by Sang-Beom Lee and Yo-Sung Ho， Gwangju Institute of Science andTechnology, Korea (GIST), Immerscom 2009，May 27-29，2009，Berkley, USA; ICSTISBN # 978-963-9799-39-4”描述了一种基于深度图像的再现技术，该技术是利用彩色图像和相应的深度图的虚拟视图的再现处理之一。基于深度图像的再现技术的一个问题在于，虚拟视图没有新暴露的区域(所谓的去除遮蔽)的信息。一般的解决方案是在3D弯曲变形之前使用高斯平滑滤波器对深度图进行平滑。然而，滤波的深度图造成几何失真，并且深度质量严重劣化。深度图滤波算法用来解决所述去除遮蔽，同时维持深度质量。为了保持虚拟视图的视觉质量，在进一步降低变形的情况下对深度图进行平滑。在根据虚拟视图的位置提取出对象边界之后，依照对象边界的距离和深度间断的量应用间断自适应平滑滤波器。


【发明内容】

[0005]上面描述的方法是对深度图滤波的一个实例，该深度图要用于在3D再现系统中生成各种不同的视图。该已知方法的一个问题在于，深度图可能具有深度伪像。
[0006]本发明的目的是提供对于深度图的处理以便减少深度伪像。
[0007]为此目的，依照本发明的第一方面，如开篇段落中所描述的方法包括，对于造成第二深度图具有溢出的伪像，而第一深度图在相应地点中具有较少的或者没有这样的伪像的多维滤波器，
-确定第一深度图与第二深度图之间的深度差值，深度差值的正值指示第二深度图中的深度更靠近观看者，以及
-通过依照取决于深度差值的组合功能组合第一深度值和第二深度值而生成第三深度图，该组合功能在深度差值为正的情况下优先考虑第一值。
[0008]为此目的，依照本发明的另一方面，一种用于处理3D视频信号以便在3D显示器上显示的3D视频设备包括：输入装置，其用于接收3D视频信号并且根据3D视频信号导出第一深度图和与第一深度图相应的2D图像，第一深度图包括第一深度值并且2D图像包括图像值；以及视频处理器，其被布置用于由多维滤波器根据3D视频信号和/或第一深度图生成具有第二深度值的第二深度图，确定第一深度图与第二深度图之间的深度差值，深度差值的正值指示第二深度图中的深度更靠近观看者，并且通过依照取决于深度差值的组合功能组合第一深度值和第二深度值而生成第三深度图，该组合功能在深度差值为正的情况下优先考虑第一值。
[0009]这些措施具有减少深度伪像的效果，尤其是它可以降低从前景深度值到图像背景的溢出。此外，通过允许从背景深度值到前景对象的一些溢出，在一定程度上降低了深度跳跃。在实践中，这意味着当这样的深度图(其具有更小的深度跳跃/转变）用于针对新视点再现图像时，新视点中具有由移动前景对象而造成的去除遮蔽的纹理的区块将更小。
[0010]基于多维滤波器和第一深度图的源，第一和第二深度图将是相关的，因为各深度图中的深度跳跃/转变的空间地点基本上相应。而且，第二深度图尽管作为滤波的结果而更稳定，但是会在一些空间地点具有溢出伪像，在这些空间地点处，第一深度图具有较少的或者没有这样的伪像。特别地，多维滤波器使得第二深度图具有溢出伪像，而第一深度图在相应的地点处具有较少的或者没有这样的伪像。例如，在原始3D视频信号或者第一深度图中的大的深度差值(所谓的深度跳跃）可能影响第二深度图在其邻近处的值。再者，多维滤波器的输入值中的其他间断点或者由于例如引导滤波器中的复杂滤波器策略而引起的其他不希望的效应可以因此影响输出值。溢出伪像的一个实例可以是，多维滤波器在深度跳跃、视亮度跳跃或者颜色跳跃附近将背景中的值向前移动。出现这种情况时，与第一深度图的深度差值将为正，并且输出或第三深度图将通过所述组合功能基本上基于第一深度值而生成。
[0011]应当指出的是，深度的实际表示可以是由特定系统使用的深度值范围内的值，所述范围例如0-255，其中高值靠近观看者且零为无限远，或者-512至+511，其中负数字值表示显示屏幕前方的深度。再者，在提及基于深度的值和/或滤波的情况下，这样的术语应当被视为也覆盖了基于视差的表示。在实践中，视差图和值典型地基于1/Z，Z为深度。在当前文件中，“正深度差值”中的正的定义指示第二深度图中的元素(例如被所述溢出损害的滤波的深度图中的像素)比第一深度图中的相应元素更靠近观看者。如果这样的话，那么由于优先考虑组合功能中体现的第一值，第三深度图将具有基本上基于第一深度图(例如滤波之前的原始深度图）的值。有利的是，由于所述滤波的原因，深度干扰在没有深度跳跃的区域中将不太明显，而在深度跳跃附近，背景将由于减少了深度伪像而失真较少。
[0012]本发明也基于以下认识。现有技术文件描述了一种用于深度图的平滑滤波器。通常，平滑滤波器将由于输入值中的深度跳跃或者其他间断的原因而具有失真效应(所谓的溢出）。溢出在前景对象的边界处可能是有利的，因为溢出导致对象具有向后变圆的边缘，这符合大多数现实生活的对象(例如脸)。然而，本发明人看到，溢出特别地在背景中不是所希望的。例如，尤其是当照相机或者前景对象在运动时，对象(例如脸)的前景深度值到背景的溢出在紧挨对象的背景中造成可见的非线性拉伸效应。通过所提出的组合功能，避免了前景到背景的溢出，仍然允许背景到前景的溢出。
[0013]可选地，所述组合功能包括在深度差值为正的情况下输出第一深度值，并且在深度差值为负的情况下输出第二深度值。有利的是，该功能的有限复杂度允许实现感知的深度不准确性的重大改进。
[0014]可选地，所述组合功能包括在深度差值为正的情况下输出第一深度值的多数部分和第二深度值的少数部分的混合，并且在深度差值为负的情况下输出第二深度值。效果在于，在其中深度差值为正的深度跳跃附近，深度输出值超过50%基于第一深度值，即原始第一深度值。因此，实现了平滑效果，其在深度跳跃附近的背景中降低。该降低取决于多数部分和少数部分的比值。可选地，少数部分为25%或者更少。可选地，可以使得该比值取决于该深度跳跃的估计大小和/或到该深度跳跃的距离，其中大的深度跳跃和/或小的距离可以导致低的少数部分，例如10%，并且在深度跳跃为小或者距离为大的情况下，少数部分更高，例如50%。
[0015]可选地，所述组合功能包括在深度差值的绝对值在预定阈值以下的情况下输出第二深度值。这具有以下效果：在出现小的深度差值的情况下，仅仅利用滤波的深度图。在所述差值在阈值以上的情况下，该功能可以与上面的组合功能的选项组合。
[0016]可选地，滤波包括双边滤波器或者交叉双边滤波器或者双边网格滤波器或者交叉双边网格滤波器。由于双边滤波的原因，边缘被保持。交叉双边滤波器不仅使用深度值，而且使用诸如亮度（Iuma)和/或颜色之类的图像值。网格滤波器使用平均值网格而非近邻的所有单独的像素值，以减少计算工作。所称的双边滤波器具有平滑深度值同时保持边缘的效果，然而出现一定的溢出量。因此，它们为上面描述的生成第三深度图的步骤提供了适当的预处理，其局部地降低了所述溢出。可能造成溢出的多维滤波器的其他实例是引导滤波器。
[0017]可选地，所述方法包括至少一个另外的级联处理步骤，该级联处理步骤包括从第一深度图中减去第三深度图以便生成差值深度图，对差值深度图稳定化以便生成稳定化的差值深度图，并且通过将稳定化的差值深度图和第三深度图相加生成第四深度图。级联的效果是进一步减少剩余的伪像。特别地，在使用基于深度和图像值的交叉双边滤波器的情况下，可以进一步降低图像值中的对象的溢出效应。
[0018]所附权利要求书中给出了依照本发明的方法、3D设备和信号的另外的优选实施例，该权利要求书的公开内容通过引用合并于此。

【专利附图】

【附图说明】
[0019]本发明的这些和其他方面根据在以下描述中通过实例的方式且参照附图描述的实施例将是清楚明白的，并且将参照这些实施例而被进一步阐述，在附图中
图I示出了用于显示3D图像数据的系统中的用于处理3D视频数据的设备，
图2示出了用于处理3D视频数据的3D视频处理器，
图3示出了深度值的处理，
图4示出了级联方式的增强深度稳定化，
图5示出了具有并行滤波器的3D视频处理器，以及图6示出了具有深度图生成和并行滤波器的3D视频处理器。
[0020]在图中，与已经描述的元素相应的元素具有相同的附图标记。

【具体实施方式】
[0021]应当指出的是，当前的这个发明可以用于任何类型的3D视频数据。所述系统处理3D视频数据中提供的深度图。该深度图可以最初存在于系统的输入处，或者可以如下文中所描述的例如根据立体（L+R)视频信号中的左/右帧或者根据2D视频生成。假设3D视频数据作为电子的、数字编码的数据而可用。当前的这个发明涉及这样的图像数据并且在数字域操纵图像数据。
[0022]存在可以据以格式化并且传输3D视频数据的许多不同的方式，称为3D视频格式。一些格式基于使用2D通道以便也携带立体信息。例如，左右视图可以隔行扫描，或者可以并排上下放置。可替换地，可以传输2D图像和深度图，以及可能地另外的3D数据，比如遮蔽或透明度数据。提供或者传输视频数据的任何方法(例如互联网或者蓝光光盘（BD))都可以提供3D视频数据。
[0023]图I示出了用于显示三维（3D)图像数据的系统中的用于处理3D视频数据的设备。称为3D源的第一 3D视频设备40向称为3D播放器的另一 3D视频设备50提供和传输3D视频信号41，所述另一 3D视频设备耦合到3D显示设备60以便传输3D显示信号56。
[0024]图I进一步示出了作为3D视频信号的载体的记录载体54。该记录载体为盘状并且具有轨道和中心孔。由物理上可检测的痕迹的图案构成的轨道依照螺旋形或者同心的圆圈图案布置，该图案构成一个或多个信息层上的基本上平行的轨道。记录载体可以是光学可读的，称为光盘，例如CD、DVD或BD (蓝光光盘)。信息通过沿着轨道的光学可检测的痕迹(例如凹坑和凸台)而包含在信息层上。轨道结构也包括用于指示通常称为信息块的信息单元的地点的位置信息，例如头部和地址。记录载体54承载以像DVD或BD格式那样的预定义记录格式表示例如依照MPEG2或MPEG4编码系统编码的像视频那样的数字编码的3D图像数据的信息。
[0025]3D源具有用于处理经由输入单元47接收的3D视频数据的处理单元42。输入3D视频数据43可以从存储系统、记录工作室获得，从3D照相机获得，等等。视频处理器42生成包括3D视频数据的3D视频信号41。该源可以被布置用于经由输出单元46将来自视频处理器的3D视频信号传输至另一 3D视频设备，或者用于提供例如经由记录载体分发的3D视频信号。3D视频信号基于例如通过经由编码器48对输入3D视频数据43编码并且依照预定义格式对其格式化而处理3D视频数据。
[0026]3D源可以是服务器、广播器、记录设备或者用于制造像蓝光光盘那样的光学记录载体的创作和/或制作系统。蓝光光盘提供了一种用于为内容创建者分发视频的交互式平台。关于蓝光光盘格式的信息可以从关于视听应用格式的论文中的蓝光光盘协会网站(例如 http://www. blu-raydisc. com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269. pdf)获得。光学记录载体的制作过程进一步包括步骤：在轨道中提供物理痕迹图案，该图案体现可能包括3D噪声元数据的3D视频信号；以及随后依照该图案对记录载体的材料定形以便在至少一个存储层上提供痕迹的轨道。
[0027]3D播放器设备具有用于接收3D视频信号41的输入单元51。例如，该设备可以包括耦合到输入单元的光盘单元58，该光盘单元用于从像DVD或者蓝光光盘那样的光学记录载体54获取3D视频信息。可替换地(或者此外)，3D播放器设备可以包括用于耦合到网络45 (例如互联网或者广播网络）的网络接口单元59，这样的设备通常称为机顶盒。3D视频信号可以从远程网站或者如由3D源40所指示的媒体服务器获取。3D播放器也可以是卫星接收器或者媒体播放器。
[0028]3D播放器设备具有耦合到输入单元51的处理单元52，该处理单元用于处理3D信息以便生成要经由输出接口单元55传输至显示设备的3D显示信号56，例如依照HDMI标准白勺显不/[言号，参见“High Definition Multimedia Interface; Specification Version I. 4aof March 4, 2010，，,其 3D 部分在 http://hdmi. org/manufacturer/specification. aspx 处可供公共下载。处理单元52被布置用于生成包含在3D显示信号56中的图像数据以便在显示设备60上显示。
[0029]3D显示设备60用于显示3D图像数据。该设备具有输入接口单元61，该输入接口单元用于接收传输自3D播放器50的包括3D视频数据的3D显示信号56。传输的3D视频数据在处理单元62中进行处理以便在3D显示器63 (例如双IXD或者透镜状IXD)上显示。显示设备60可以是任何类型的立体显示器，也称为3D显示器。
[0030]3D视频设备中的视频处理器，即3D视频设备50中的处理器单元52被布置用于执行以下用于处理3D视频信号的功能。3D视频信号由输入装置51、58、59接收，该输入装置提供表示至少包括第一深度图（Zl)和与该深度图相应的2D图像的3D视频数据的3D视频信号。例如，第一深度图可以通过视差估计从立体（L+R)输入信号生成。第一深度图具有第一深度值，并且2D图像包括二维像素阵列的图像值。应当指出的是，该深度图也具有二维像素阵列，并且与2D图像相应，尽管该深度图可能具有不同的分辨率。
[0031 ] 3D显示设备60中的视频处理器62被布置用于处理3D视频数据以便改进深度图。深度图处理包括通过多维滤波器对第一深度图滤波以便生成具有第二深度值的第二深度图，确定第一深度图与第二深度图之间的深度差值，深度差值的正值指示第二深度图中的深度更靠近观看者，以及通过依照取决于深度差值的组合功能组合第一深度值和第二深度值而生成第三深度图，该组合功能在深度差值为正的情况下优先考虑第一值。多维滤波器可以是使用两个空间维度的二维滤波器。另一维度可以是时间。下文中进一步阐述了深度图处理的详细实施例。
[0032]可替换地，3D播放器设备50中的视频处理器52或者3D源设备中的处理单元42可以被布置成执行所述深度图处理。
[0033]同样已知的是，深度图处理之前可以进一步为根据2D视频信号生成深度图。所述提供3D视频/[目号包括：接收包括2D视频巾贞序列的2D视频/[目号，以及基于对2D视频巾贞序列的处理生成第一深度图。应当指出的是，这样生成的深度图经常具有有限的质量，并且如本文中所描述的增强深度图可以大幅改进所述质量。生成深度图的功能可以在3D播放器的输入单元51中或者在3D显示设备60的视频处理器62中或者在3D源设备的处理单元42中实现。
[0034]应用到深度图的滤波可以是双边网格处理以便在时间和空间上使深度图稳定。除了对于深度图的积极效果之外，也存在如参照图2和图3所阐述的不希望的副作用。
[0035]图2示出了用于处理3D视频数据的3D视频处理器。在操作中，生成器单元GEN21接收立体3D信号，该立体3D信号也称为左右视频信号，具有表示要为观看者的对应眼睛显示以便生成3D效果的左视图和右视图的左帧L和右帧R的时间序列。该单元然后通过左视图和右视图的视差估计生成第一深度图，并且基于左视图和/或右视图提供2D图像。视差估计可以基于用来比较L和R帧的运动估计算法。对象的L和R视图之间的大的差值被转换成高的深度值，指示靠近观看者的对象位置。生成器单元的输出是第一深度图Z1。应当指出的是，其他输入单元可以用来提供第一深度图Zl和相应的2D图像数据。
[0036]可替换地，生成器单元可以被布置用于接收包括2D视频帧的时间序列的2D视频信号，例如正常(单视场)2D视频信号，并且基于对2D视频帧的时间序列的处理生成第一深度图。
[0037]第一深度图Zl耦合到滤波器22，该滤波器用于通过多维滤波器对第一深度图滤波以便生成具有第二深度值的第二深度图Z2。基本上，该滤波器可以实施由Z2 = f(Zl)表达的深度图的任何适当的后处理。多维滤波器可以是二维空间滤波器。另一维可以是时间。
[0038]例如，该滤波器可以是任何平滑滤波器，尤其是抹掉边缘的任何滤波操作；比如例如高斯滤波器。可选地，该滤波器可以是双边滤波器、交叉双边滤波器或者双边网格滤波器。
[0039]如此，滤波是图像处理的基本操作。在术语“滤波”的最宽泛的意义上，滤波图像在给定地点的值是输入图像在相同地点的小邻域中的值的函数。例如，高斯低通滤波计算邻域中的像素值的加权平均，其中权重随着离邻域中心的距离的增加而减小。图像典型地在空间上缓慢变化，因而接近的像素很可能具有相似的值，并且因此将它们一起平均是合适的。破坏这些接近的像素的噪声值的互相关比信号值更小，因而噪声被平均掉，而信号被保持。
[0040]然而，缓慢空间变化的假设在边缘处失效，所述边缘因而被线性低通滤波弄得模糊。双边滤波是一种用于边缘保持平滑的已知非迭代方案。双边滤波隐含的基本思想是在图像的范围内做传统滤波器在其域中所做的事情。两个像素可能彼此靠近，即占据接近的空间地点，或者它们可以彼此相似，即可能地以知觉上有意义的方式具有接近的值。在平滑区块中，小邻域中的像素值彼此相似，并且双边滤波器基本上充当标准域滤波器，平均掉由噪声造成的像素值之间的小的弱相关差异。在暗区与亮区之间的明显边界处，考虑值的范围。当双边滤波器以边界的亮侧的像素为中心时，相似性函数对于相同侧的像素采用接近I的值并且对于暗侧的像素采用接近零的值。结果，滤波器用中心近邻处的亮像素的平均值代替中心处的亮像素，并且基本上忽略暗像素。由于范围分量的原因，在边界处实现了良好的滤波行为，并且同时保持了清晰的边缘。
[0041]由于双边滤波的原因，边缘被保持。此外，可以使用交叉双边滤波器；措词交叉指示使用了相同图像的两个不同的，但是相应的表示。交叉双边滤波的一个实例可以见于(尤其参见解释了联合（=交叉）双边上采样的表）：http://www. Stanford, edu/class/cs448f/lectures/3. l/Fast%20Filtering%20Continued. pdf。
[0042]所提出的交叉双边滤波器不仅使用深度值，而且具有用于基于视亮度和/或颜色的图像值(通常称为亮度值）的另一输入。该另一输入在图2中被示为标记LU的箭头。如虚线箭头20所示，亮度值可以根据2D输入数据，例如立体输入信号中的L帧导出。交叉滤波基于亮度值方面的边缘与深度方面的边缘的总体一致性。然而，在这样的一致性不存在的情况下，将出现深度图中的交叉亮度伪像。
[0043]可选地，双边滤波器(或者交叉双边滤波器）可以由所谓的网格滤波器实现以便降低计算量。代替使用各像素值作为用于滤波器的输入的是，将图像细分成网格，并且跨网格的一段进行值平均。值的范围可以进一步以带进行细分，这些带可以用于设置双边滤波器中的权重。双边网格滤波的一个实例可以见于例如可从http://groups.csail.mit.edu/graphics/bilagrid/bilagrid_web.pdf 获得的文件“Real-time Edge-AwareImage Processing with the Bilateral Grid, by Jiawen Chen, Sylvain Paris, FredoDurand; Computer Science and Artificial Intelligence Laboratory, MassachusettsInstitute of Technology”。具体地，参见该文件的图3。
[0044]可选地，为了实现滤波器22，可以使用例如通常应用于立体到自动立体转换的引导滤波器实现方式。如此，引导滤波器例如从可从http://research, microsoft. com/en-us/um/people/ j i an sun/papers/GuidedF i I ter_ECCV10. pdf 获得的文件“Guided ImageFiltering, by Kaiming He (Department of Information Engineering, The ChineseUniversity of Hong Kong,香港中文大学信息工程系）、Jian Sun (Microsoft ResearchAsia,微软亚洲研究院），and Xiaoou Tang (Shenzhen Institutes of AdvancedTechnology, Chinese Academy of Sciences, China,中国科学院深圳先进技术研究院)”获知。
[0045]滤波器22的输出，第二深度图Z2耦合到标记为DT+C0的混合单元23的输入，参见确定深度差值和组合深度图的功能。该混合单元具有用于接收原始(未滤波的）深度图Zl的第二输入。深度差值是在第一深度图与第二深度图之间确定的，深度差值的正值指示第二深度图中的深度更靠近观看者。组合深度图的功能包括通过依照取决于深度差值的组合功能组合第一深度值和第二深度值而生成第三深度图Z3。该组合功能在深度差值为正的情况下优先考虑第一值。各种不同的选项可用于实现所述优先考虑。
[0046]在第一实施例中，组合功能在深度差值为正的情况下输出第一深度值，并且在深度差值为负的情况下输出第二深度值。基本上，组合功能可以表示为：
如果（Z2>Z1)，输出=Z1，否则输出=Z2。
[0047]可替换地，组合功能可以执行以下准则：
(Z2〈Z1，因而Zl更近）：输出为Z2 ；
(Z2>Z1,因而Z2更近）：输出为Z1。
[0048]此外,可以添加阈值TH :
(Z2- ZKTH):输出为 Z2 ；
(Z2- Z1>TH):输出为 Z1。
[0049]在第二实施例中，组合功能包括在深度差值为正的情况下输出第一深度值的多数部分和第二深度值的少数部分的混合，并且在深度差值为负的情况下输出第二深度值。因此，当Z2的值低于Zl (负的深度差值)时，输出基于Z2，即滤波的深度图。然而，当Z2的值高于Zl (正的深度差值)时，输出主要基于Z1，即至少50%的多数部分基于Zl (未滤波的深度图）并且小于50%的少数部分基于Z2。用于衰减Z2的实际值为25%。少数部分于是为25%，或者甚至更小的百分比。
[0050]在另一实施例中，组合功能包括在深度差值的绝对值在预定阈值(例如深度范围的10%)以下的情况下输出第二深度值。例如，图像的深度范围使用8比特值表示，即深度范围为0-255。因此,小的差值将不被认为是边缘并且深度值将不被剪切或操纵。
[0051]在实践中，组合功能可以执行以下准则：
(Z2〈Z1，因而Zl更近）：输出为100%的Z2 ；
(Z2>Z1,因而Z2更近）：输出为10%的Z2+90%的Zl。
[0052]此外，可以添加阈值TH :
(Z2- ZKTH):输出为 100% 的 Z2 ；
(Z2- Z1>TH):输出为 10% 的 Z2，90% 的 Zl0
[0053]此外，用于Zl和Z2的适当比值可以为75-25%或者60_40%。
[0054]在另一实施例中，确定深度差值通过评估区域中的深度值并且单独地检测深度跳跃而进一步增强。如果没有检测到深度跳跃(例如通过应用阈值)，那么混合单元将输出Z2。当检测到深度跳跃时，将依照预定义比值应用Zl和Z2的混合。因此，当在离最近的跳跃一定距离处时，将仅仅使用Z2。所述距离或比值可以基于深度差值而进一步加以调节。大的跳跃可能因此造成陡峭的比值，在其近邻处基本上仅仅使用Z1。
[0055]图3示出了深度值的处理。图的顶部示出了包括背景之前的对象31 (例如脸）的深度图的横截面。第一深度图Zl示意性地示出，深度值33指示该对象的深度位置。应用上面描述的处理以便改进深度图的空间和时间稳定性。Zl是来自深度或视差估计器的不太稳定的深度图。Z2为滤波，例如基于构建具有关系亮度和深度的表格的双边网格处理之后的稳定化深度。然而，由于深度边缘处的亮度转变以及亮度和Zl的不理想对准的原因，亮度和深度关系以及抛雪球算法（splatting)函数的使用造成边缘周围的深度失真，在Z2中称为溢出36、38。
[0056]深度值33和该对象侧面处的深度跳跃34、35被示意性地示为含噪声的。在实践中，边缘位置处的深度值将是不稳定的。应用平滑滤波器以生成Z2，更稳定的深度图。
[0057]在深度图Z2中，示出了溢出伪像。第一区域36指示由于前景深度的溢出而引起的深度伪像。第二区域38指示由于背景深度的溢出而引起的另一深度伪像。最后，该图示出了深度图Z3。在Z3中，第三区域37指示本发明的效果，其中通过使用Zl的深度值而移除溢出。通过滤波，接着通过组合功能而对深度图Z稳定化的增强功能ZSTAB 24在图2中由箭头指示。
[0058]应当指出的是，当必须从不同的观看角度（即观看者的眼睛位置）生成多个视图时，对象相对于背景的深度跳跃决定了遮蔽。Zl中的深度跳跃的大小由箭头32指示，而处理过的深度图Z3中的深度跳跃39的大小更小。更小的深度跳跃具有以下优点：需要为所述多个视图生成更少的遮蔽数据。降低对于精确的遮蔽数据的需求允许简单的背景拉伸以填充遮蔽孔。
[0059]图4示出了级联方式的增强深度稳定化。电路基于图2中所示的电路，具有用于生成第一深度图Zl的相应生成器单元GEN 21。第一深度图Zl由与图2中标记为ZSTAB的部分相应的增强深度图稳定器25稳定化。ZSTAB的交叉双边滤波器实现方式具有用于亮度值的另一输入（由虚线输入信号LU示出）。可选地，ZSTAB功能25可替换地可以仅仅为如上面所描述的(交叉)双边滤波器22，或者任何其他适当的深度图稳定化功能。稳定器25的稳定化的深度图Za耦合到减法器26，该减法器从稳定化的深度图Za中减去原始深度图Zl以便生成差值深度图Zb。差值深度图Zb输入到另一增强稳定器27，因而构成级联深度稳定器。该另一增强稳定器27可以再次为如上面所描述的ZSTAB功能，可选地具有亮度输入。可以使用与针对第一增强稳定器25的情况相同的亮度值。稳定化的差值深度图Zc耦合到加法器28，其加上稳定化的深度图Za，得到最终的深度图Zd。
[0060]实际上，仍然存在于稳定化的深度图Za中的伪像也将存在于差值深度图Zb中，由于减法功能而被反向。来自Zl的噪声也可能存在于Zb中，但是将通过所述另一增强稳定器27而消除，这保持了伪像的结构。最后，反向的伪像将被添加到稳定化的深度图Za。例如，具有黑色眼睛的脸和黑色背景可能导致眼睛的深度位置受背景的影响(交叉亮度效应)。眼睛将被向后推送。在原始深度图Zl中，眼睛将基本上具有脸的深度，因而差值深度图Zb反映眼睛地点中的向前效果，这将在加法器28中补偿所述向后推送。因此，该电路允许降低双边滤波器对深度图的交叉亮度效应，同时仍然具有空间和时间稳定化的深度图的益处。
[0061]图5示出了具有并行滤波器的3D视频处理器。在操作中，第一滤波器FILT-I 71接收3D视频信号，该3D视频信号可以包括深度图和2D图像数据或者3D视频数据的任何其他表不。FILT-I构成生成第一深度图Zl的另一多维滤波器。可选地，第一滤波器可以是具有用于亮度值的另一输入LUl的交叉双边滤波器。在操作中，第二滤波器FILT-2 72也接收3D视频信号。第二滤波器FILT-2与上面参照图2描述的多维滤波器22相应，其造成所述溢出。可选地，第二滤波器可以是具有用于亮度值的另一输入LU2的交叉双边滤波器。可选地，第二滤波器单元82可以具有用于接收Zl的另一输入。像在图2中那样，滤波器72的输出，第二深度图Z2耦合到标记为DT+C0的混合单元73的输入，混合单元73参见如上面针对混合单元23所描述的确定深度差值和组合深度图的功能。该混合单元具有用于接收第一深度图Zl的另一输入。类似于上面描述的串联布置，该混合单元实施用于在背景中基本上移除所述溢出的组合功能。
[0062]在一个实际的实例中，使用已知的技术基于单视场或立体图像生成输入深度图，并且随后对其进行后处理，即，使用两个并行的具有相似滤波器特性，但是具有不同滤波器覆盖区（footprint)的二维高斯滤波器进行滤波。第一深度图由第一高斯滤波器生成，该第一高斯滤波器具有比用来生成第二深度图的第二高斯滤波器的第二滤波器覆盖区更小的第一滤波器覆盖区。结果，与第一高斯滤波器相比，第二高斯滤波器将在更大的区域上抹掉深度转变。
[0063]代替上面提到的高斯滤波器的是，也可以有可能使用两个交叉双边后处理滤波器。交叉双边滤波器使用来自单视场图像的照度（luminance)和/或颜色信息将深度图中的深度转变与图像内容中的照度和/或颜色转变重新对准。
[0064]更加可替换地，第一深度图使用诸如例如(交叉）双边滤波器或者引导滤波器之类的边缘保持和/或重建滤波器生成，而第二深度图使用诸如上面提到的二维高斯滤波器之类的边缘平滑滤波器生成。
[0065]应当进一步指出的是，可选地，局部地应用后处理。可以设想各种不同的准则用于选择其中应用本发明的深度图中的空间区块。例如，依照本发明的方法可以利用用于深度转变的阈值以便确定是否将该方法应用到特定的空间区块。可替换地或者此外，可以基于第一和第二深度图中的边缘之间的证实的相关性选择用于应用该方法的空间区块。为此目的，可以向依照本发明的方法添加附加的空间相关性步骤，该步骤将第一深度图中的空间区块中的深度值与第二深度图中的相应空间区块相关以便例如通过对找到的相关性应用阈值而标识是否可以将本发明应用于该特定的空间地点。
[0066]图6示出了具有深度图生成和并行滤波器的3D视频处理器。在操作中，深度图生成器80 (标记为3DRS CABE disp est)接收具有左帧L和右帧R的立体3D信号。该单元然后通过左视图和右视图的视差估计生成第一深度图Z0，并且基于左视图和/或右视图提供2D图像数据。生成器80的输出ZO耦合到生成第一深度图Zl的第一滤波器81。第一滤波器示意性地被示为具有小的核心双边网格和参数集合B以及用于亮度值的输入LB。ZO还耦合到生成第二深度图Z2的第二滤波器82。第二滤波器示意性地被示为具有大的核心双边网格和参数集合A以及用于亮度值的输入LA。像在图2中那样，第一深度图Zl和第二深度图Z2耦合到混合单元83的输入，该混合单元示意性地被标记为具有组合功能：
如果（Z2>Z1)，则Z1，否则Z2。
[0067]组合功能涉及如上面针对混合单元23所描述的确定深度差值和组合深度图的各种不同的功能。参数集合A被选择用于较大的核心，导致更多地减少噪声和/或伪像，但是也导致更多的溢出。参数集合B被选择用于较小的核心，导致更少的伪像减少，但是也导致更少的溢出。如上面所指示的，3D视频设备可以与3D内容源设备或者3D显示设备相应。3D显示设备被理解为包括立体显示设备，诸如例如快门眼镜或者基于偏振器的立体显示设备，其中本发明可以用来将单视场内容转换成立体内容，或者其中本发明用来对立体内容进行后处理。
[0068]然而，本发明可以以相同的效果应用于自动立体显示设备，例如透镜状或者基于屏障的多视图显示设备，其中本发明用来将单视场/立体内容转换成供这样的显示器使用的多视图。
[0069]事实上，3D视频设备被理解为包括调用深度图的单视场到立体的转换或立体(后）处理的设备，例如基于立体照相机系统装备输出深度图的3D照相机。
[0070]应当理解的是，为了清楚起见，上面的描述参照功能单元和处理器描述了本发明的实施例。然而，应当清楚的是，可以使用不同功能单元或处理器之间的任何适当的功能分布而不减损本发明。例如，被图示为由单独的单元、处理器或控制器执行的功能可以由相同的处理器或控制器执行。因此，对于特定功能单元的引用应当仅仅视作对于用于提供所描述的功能的适当装置的引用，而不是指示严格的逻辑或物理结构或组织。本发明可以以任何适当的形式实现，包括硬件、软件、固件或者这些的任意组合。
[0071]尽管在上文中大多数实施例针对设备而给出，但是相同的功能由相应的方法提供。这样的方法可选地可以至少部分地被实现为运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。本发明的实施例的元件和部件可以以任何适当的方式在物理上、功能上和逻辑上实现。
[0072]如果特征看起来结合特定实施例而被描述，那么本领域技术人员应当认识到，依照本发明可以组合所描述的实施例的各种不同的特征。单独的特征可以有利地加以组合，并且包含于不同的权利要求中并不意味着特征的组合不可行和/或不是有利的。再者，特征包含于一种权利要求类别中并不意味着限于该类别，而是指示该特征同样可适用于其他权利要求类别，如果适当的话。此外，权利要求中特征的顺序并不意味着特征必须据以起作用的任何特定顺序，并且特别地，方法权利要求中各步骤的顺序并不意味着这些步骤必须按照该顺序来执行。相反地，这些步骤可以以任何适当的顺序执行。此外，单数引用并没有排除复数。因此，对于“一”、“一个”、“第一”、“第二”等等的引用并没有排除复数。权利要求中的附图标记仅仅作为澄清的实例而被提供，不应当以任何方式被视为限制了权利要求的范围。
【权利要求】
1.一种处理三维[3D]视频信号的方法，该方法包括： -根据3D视频信号导出（21)包括第一深度值的第一深度图（Zl)和与第一深度图相应的包括图像值的2D图像， -由多维滤波器（22)根据3D视频信号和/或第一深度图生成具有第二深度值的第二深度图（Z2)，该多维滤波器造成第二深度图具有溢出的伪像，而第一深度图在相应地点中具有较少的或者没有这样的伪像， -确定第一深度图与第二深度图之间的深度差值，深度差值的正值指示第二深度图中的深度更靠近观看者，以及 -通过依照取决于深度差值的组合功能组合第一深度值和第二深度值而生成（23)第三深度图，该组合功能在深度差值为正的情况下优先考虑第一值。
2.如权利要求I所述的方法，其中组合功能包括在深度差值为正的情况下输出第一深度值，并且在深度差值为负的情况下输出第二深度值。
3.如权利要求I所述的方法，其中组合功能包括在深度差值为正的情况下输出第一深度值的多数部分和第二深度值的少数部分的混合，并且在深度差值为负的情况下输出第二深度值。
4.如权利要求3所述的方法，其中少数部分为25%或者更少。
5.如权利要求I所述的方法，其中组合功能包括在深度差值的绝对值在预定阈值以下的情况下输出第二深度值。
6.如权利要求I所述的方法，其中滤波包括双边滤波器或者交叉双边滤波器或者双边网格滤波器或者交叉双边网格滤波器。
7.如权利要求I所述的方法，其中该方法包括至少一个另外的级联处理步骤，该级联处理步骤包括： -从第一深度图（Zl)中减去（26)第三深度图（Za)以便生成差值深度图（Zb)， -对差值深度图稳定化（27)以便生成稳定化的差值深度图（Zc)，以及-通过将稳定化的差值深度图（Zc)和第三深度图（Za)相加（28)生成第四深度图(Zd)。
8.如权利要求I所述的方法，其中该方法包括： -接收包括左视图帧（L)和右视图帧（R)的立体3D视频信号，并且基于对L和R帧的处理导出第一深度图；或者 -接收包括2D视频帧的时间序列的2D视频信号，并且基于对2D视频帧的时间序列的处理导出第一深度图；或者 -接收3D视频信号并且通过另一多维滤波器导出第一深度图。
9.一种用于处理三维[3D]视频信号的3D视频设备（40，50)，该设备包括： -输入装置（47，51，58，59，61，71)，其用于接收3D视频信号并且根据3D视频信号导出第一深度图（Zl)和与第一深度图相应的2D图像，第一深度图包括第一深度值并且2D图像包括图像值，以及 -视频处理器（42，52，53)，其被布置用于 -由多维滤波器（22)根据3D视频信号和/或第一深度图生成具有第二深度值的第二深度图（Z2)，该多维滤波器造成第二深度图具有溢出的伪像，而第一深度图在相应地点处具有较少的或者没有这样的伪像， -确定第一深度图与第二深度图之间的深度差值，深度差值的正值指示第二深度图中的深度更靠近观看者，并且 -通过依照取决于深度差值的组合功能组合第一深度值和第二深度值而生成（23)第三深度图，该组合功能在深度差值为正的情况下优先考虑第一值。
10.如权利要求9所述的设备，其中组合功能包括在深度差值为正的情况下输出第一深度值，并且在深度差值为负的情况下输出第二深度值。
11.如权利要求9所述的设备，其中组合功能包括在深度差值为正的情况下输出第一深度值的多数部分和第二深度值的少数部分的混合，并且在深度差值为负的情况下输出第二深度值。
12.如权利要求9所述的设备，其中滤波包括双边滤波器或者交叉双边滤波器或者双边网格滤波器或者交叉双边网格滤波器。
13.如权利要求9所述的设备，其中输入装置包括生成器（21)，该生成器用于 -接收左右视频信号，该信号至少包括要为观看者的对应眼睛显示以便生成3D效果的左视图和右视图，并且 -通过左视图和右视图的视差估计生成第一深度图，并且 -基于左视图和/或右视图提供2D图像。
14.一种计算机程序，包括计算机程序代码装置，该计算机程序代码装置在计算机程序运行于计算机上时操作来使得处理器执行依照权利要求1-9中任何一项的方法的各步骤。
15.一种计算机可读介质，包括如权利要求14所述的计算机程序。
【文档编号】H04N13/00GK104185857SQ201280049776
【公开日】2014年12月3日 申请日期:2012年10月5日 优先权日:2011年10月10日
【发明者】W.H.A.布鲁尔斯 申请人:皇家飞利浦有限公司