专利名称：深度图处理的方法和设备的制作方法
技术领域：
本文描述涉及三维视频的实现。各种具体实现涉及深度图和边缘编码。
背景技术：
诸如多视角加深度(MVD)和分层深度视频(LDV)那样的，包括传统2D (二维)视频和相应深度图的新数据格式使诸如3DTV (三维电视)和自由视点视频(FVV)那样的新应用成为可能。在像3DTV和FVV那样的视频应用中，再现除了捕获、编码和解码视图之外的虚拟视图通常是重要的。基于深度图像的再现(DIBR)是已经研究了许多年的再现虚拟视图的技术。为了在再现视图中达到足够高的质量，优选的是良好保护深度边界。传统视频编解码技术通常导致围绕锐边的巨大伪像。深度边缘的如实表示通常花费比编码其它区域多得多的位。
发明内容
按照一个一般方面，访问深度画面的一部分。所述深度画面包括指示图像画面中的相应地点的深度的信息。将所述深度画面的所述部分划分成多个分区。根据所述图像画面细化所述多个分区，以提供细化分区。根据所述细化分区编码所述深度画面的所述部分，以提供编码部分。按照另一个一般方面，访问编码深度画面的一部分。所述深度画面包括指示图像画面中的相应地点的深度的信息。所述编码包括指示所述部分的多个分区的强度值的一个或多个数值指示符的编码。识别所述多个分区的至少一个。根据所述图像画面细化所述至少一个分区，解码所述一个或多个数值指示符的编码。根据所述一个或多个解码数值指示符为所述细化部分中的像素确定数值。按照另一个一般方面，访问深度画面的一部分。所述深度画面包括指示图像画面中的相应地点的深度的信息。滤波所述部分以产生滤波深度部分。所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值。产生给定像素包括通过基于至少三种成分的权重加权所述范围内的特定像素的数值。第一种成分是从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离。第二种成分是特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差。第三种成分是图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差。按照另一个一般方面，接收编码下采样深度图像。解码所述下采样深度图像。滤波所述解码下采样深度图像的一部分，以产生上采样的滤波深度部分。所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值。产生给定像素包括通过基于至少两种成分的权重加权所述范围内的特定像素的数值。第一种成分是从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离。第二种成分是图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差。 按照另一个一般方面，访问深度画面的一部分。所述深度画面包括指示图像画面中的相应地点的深度的信息。滤波所述部分以产生滤波深度部分。所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值。产生给定像素包括通过基于至少三种成分的权重加权所述范围内的特定像素的数值。第一种成分是从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离。第二种成分是特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差的自适应加权。第三种成分是图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差的自适应加权。在附图和下面的描述中给出一种或多种实现方式的细节。尽管以一种特定方式描述，但应该清楚，这些实现方式可以以各种方式配置或具体化。例如，一种实现方式可以作为方法来执行，或体现为诸如，例如，配置成执行一组操作的装置或存储执行一组操作的指令的装置那样的装置，或以信号形式体现。其它方面和特征将从结合附图考虑的详细描述和权利要求书中明显看出。
图I是五种示例性稀疏二元(SD)分区的图；图2是使用SD编码的传输系统的框架的高级方块图；图3是进行深度图处理的方法的方块/流程图4是具有代表值的简化SD分区的图；图5是详细深度图恢复的方块/流程图；图6是实现SD模式的深度编码器的图；图7是使用SD模式以及不同MB分区预测宏块(MB)的处理的方块/流程图；图8是为MB分区内的子宏块(MB)确定最佳SD分区的方块/流程图；图9是SD分区细化的图形表示；图10是描述SD分区细化的方块/流程图；图11是管理深度图中的SD预测的解码器的图； 图12是SD预测的方块/流程图；图13是根据准则确定代表值的方法的方块/流程图；图14是空间相邻MB的预测量的图形表示；图15是基于样本预测的方块/流程图；图16是示出四种MB分区模式的图；图17是使用MB M0DE_16 X 16和SD分区M0DE_VER的空间相邻MB的预测量的图；图18是使用MB M0DE_8X8的基于边界预测的图；图19是使用MB M0DE_8X 16的基于边界预测的图；图20是形成预测量的方块/流程图；图21是样本视频的深度编解码的率失真(RD)的图；图22是样本视频的深度编解码的率失真(RD)的图；图23是联合双边滤波的框架的高级方块图；图24是使用联合双边上采样生成全分辨率深度图的方块/流程图；图25是并入残差的框架的图；图26是编码具有增强层的深度图的方块/流程图；图27是解码具有增强层的深度图的方块/流程图；图28是作为深度编码的环内滤波器的联合双边滤波器的图；图29是用作深度解码的环内滤波器的联合双边滤波器的图；图30是综合去块和联合滤波处理的方块/流程图；图31是去块滤波器与联合滤波器之间的切换的图；图32是样本视频的深度编码的RD曲线的曲线图；图33是样本视频的深度编码的RD曲线的曲线图；图34是具有适应选择的双边滤波的方块/流程图；图35是ε =0. 5的混合函数的曲线图；图36是ε =5的混合函数的曲线图；图37是双步环内滤波处理的方块/流程图；图38是在去块滤波器与自适应联合滤波器之间作自适应选择的环内滤波的方块 /流程图；图39是颜色值与自适应衰减因子σ之间的关系的图；图40是示出四种不同衰减函数的曲线图；图41是将传统编码器与并入多边(ML)滤波的编码器相比较的图42是将传统输入与多视角加深度输入相比较的图；图43是包括调制器的视频发送系统的图；以及图44是包括解调器的视频接收系统的图。
具体实施例方式为了有效地编码深度图，简化深度变化和复杂边缘的表示是有利的。这些表示更容易编码得多，并且还导致新的编码模式，稀疏二元模式(Sparse Dyadic Mode)。在一个实施例中，为了恢复深度图细节，与简化深度一起利用来自2D视频的边缘信息。所得系统可以在保持再现视图的同时降低深度位速率。而且，为了抑制压缩深度图中的强编码伪像，在特定实施例中使用新边缘保护去噪滤波器。为此，特定滤波器利用相应视频帧中，可选地， 深度图中的边缘信息。特定滤波器的滤波权重由如下因素决定样本位置的附近、视频帧中的同地点(collocated)像素之间的相似性、和可选地，深度样本之间的相似性。可以将滤波处理作为环内滤波器并入编码方案中。与诸如去块滤波器那样的传统环内滤波器相比， 本原理可以在给定深度编码速率下提高再现质量。下面的讨论将展示各种实施例，以及许多实施例共有的一些原理。但是，除非另有说明，一个或多个实施例特有的限制和约束只是那些实施例特有的，而不是可应用于所有实施例的一些限制或约束。稀疏二元模式稀疏二元分区在表示深度边缘中是有用的，因为它们可以用作可以更有效得多编码的底层详细深度的粗糙近似。提供稀疏二元编码模式是为了提高深度编码的效率。来自 2D视频帧的边缘信息用于恢复深度图中的细节。使用传统2D视频恢复像深度图中的边缘那样的细节意味着无需很高保真度地编码深度图。这样，可以提供可以容易编码的简化深度图。当与视频组合时，可以为再现目的恢复详细深度图。在图I中展示了称为稀疏二元(SD)分区的MXN深度块L的五种简化表示Si。块内的样本值在Stl中只用单个值A，或在S^S4中用通过直线分开的两个值A和B近似表示。 借助于这样的少数几个数值和作为边界的直线，编码SD分区需要比编码原始详细深度块L 少得多的位。由于直线边界只有四个可能位置，所以传信边界的边缘信息少于边界可以具有太多可能方向和位置的其它途径。注意，这五种SD分区只是简化表示的例子。也可以利用提出的概念构建其它简化表示，例如，在提供足以恢复详细深度的信息的同时易于编码的粗略近似表示。下面示出了深度编码的两个示例性实施例。对于第一实施例，首先处理原始深度图，得出使用SD分区的简化表示的块。然后，利用诸如H. 264/AVC那样的传统视频编码方案编码简化深度。在第二实施例中，引入新编码模式“稀疏二元模式”。在率失真优化中，编码器评估新SD模式以及诸如H. 264/AVC中那样的任何传统编码模式。为更好地评估利用新SD模式编码的块的失真，在进一步提高编码效率的第二实施例中提供“块细化”处理。SD分区以及编码深度图的联合滤波在第一实施例中，在编码器侧，处理原始深度图以获取利用SD分区的简化表示。 然后，利用传统视频编码技术，例如，使用H. 264/AVC编码所得深度图序列。在解码器侧，在解码简化深度图和相应视频帧之后，利用使用来自视频帧的信息的联合双边滤波器恢复详细深度图。现在参照图2，示出这个实施例的框架的高级方块图。编码模块202接收输入视频序列和相应输入深度序列。输入视频序列通过传统视频编码器206编码。深度序列是在通过各自传统视频编码器206编码之前在滤波器204上得到处理的第一深度图。然后将两个编码信号发送给解码/再现模块208。每个信号由各自传统视频解码器2 10解码。两个解码器的输出被使用视频信息的深度图恢复模块212用于恢复滤掉的深度信息。然后视图合成块214使用视频和深度信息产生合成视图，以便显示3D视频。现在参照图3，所示的是进行深度图处理的方法的方块/流程图。在302中将输入深度图划分成非重叠块。这些方块具有，例如，MXN大小。在304和306中将变量初始化，即将块索引设置成0，将失真的初始值D_max设置成大数(诸如MXN块的最大可能失真那样，等于255XMXNi夹)，以及将SD分区索引设置成O。在308中，利用相应代表值为每个 MXN块获取SD分区。代表值可以使用相应角区中的样本值来计算。参照，例如，图4，使用 A和B分别通过L中的左上角样本值和右下角样本值确定的SD模式S2表示深度块L。为每种SD模式计算代表值。这些代表值可以代表每个分区中的各个像素的亮度或色度，或可以代表多个这样像素的强度。在310中，计算每种SD模式与深度块L之间的失真。失真度量D (L，Si)可以使用像方程(I)那样的绝对差(SAD)之和或像方程(2)那样的平方误差(SSE)之和来计算，其中 m和η是样本地点的索引
M-] N-}
权利要求
1.一种方法，包括 访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息； 将所述深度画面的所述部分划分成多个分区； 根据所述图像画面细化所述多个分区，以提供细化分区；以及 根据所述细化分区编码所述深度画面的所述部分，以产生编码部分。
2.如权利要求I所述的方法，根据所述细化包含根据所述图像画面的强度值细化所述多个分区。
3.如权利要求2所述的方法，其中根据强度值的细化包含根据所述图像画面的强度值之间的差值细化。
4.如权利要求3所述的方法，其中基于差值的细化包含对于所述分区中的给定像素地点， 形成给定像素的相似区，其中如果差值低于阈值，则所述相似区包括特定像素地点，所述差值是(i)图像中特定像素地点上的像素的强度与(ii)图像中与给定像素地点相对应的像素的强度之间的差值； 确定相似区最重叠的分区；以及 将给定像素地点指定给确定的分区。
5.如权利要求I所述的方法，进一步包含将单个分立值指定给每个细化分区作为细化分区中的像素的强度的代表值，其中所述编码包含编码单个分立值。
6.如权利要求5所述的方法，其中指定单个分立值包含 将第一细化分区的左上角值作为单个数值用于第一细化分区；以及 将第二细化分区的右下角值作为单个数值用于第二细化分区。
7.如权利要求5所述的方法，其中 所述划分包含按照多个划分选项之一将所述深度画面的所述部分划分成多个分区；以及 所述编码包含编码所述多个划分选项之一的指示符。
8.如权利要求I所述的方法，其中 所述划分包含按照多个划分选项之一将所述深度画面的所述部分划分成多个分区；以及 所述编码包含编码所述多个划分选项之一的指示符。
9.如权利要求8所述的方法，其中所述划分包含选择如下划分选项之一(I)大小相等的右半部和左半部；(2)大小相等的上半部和下半部；(3)被延伸在所述部分的两个角之间的向前对角线划分的大小相等分段；以及(4)被延伸在所述部分的两个角之间的向后对角线划分的大小相等分段。
10.如权利要求8所述的方法，其中所述划分包含选择使失真函数最小的划分选项。
11.如权利要求I所述的方法，其中所述访问深度画面的一部分包含访问代表画面区域之间的边缘的深度画面的一部分。
12.一种装置，包括 访问深度画面的一部分的部件，所述深度画面包括指示图像画面中的相应地点的深度的信息； 将所述深度画面的所述部分划分成多个分区的部件； 根据所述图像画面细化所述多个分区，以提供细化分区的部件；以及 根据所述细化分区编码所述深度画面的所述部分，以产生编码部分的部件。
13.—种上面存储有使处理器至少执行如下步骤的指令的处理器可读介质 访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息； 将所述深度画面的所述部分划分成多个分区； 根据所述图像画面细化所述多个分区，以提供细化分区；以及 根据所述细化分区编码所述深度画面的所述部分，以产生编码部分。
14.一种包含配置成至少执行如下步骤的处理器的装置 访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息； 将所述深度画面的所述部分划分成多个分区； 根据所述图像画面细化所述多个分区，以提供细化分区；以及 根据所述细化分区编码所述深度画面的所述部分，以产生编码部分。
15.一种包含配置成至少执行如下步骤的一个或多个编码器的装置 访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息； 将所述深度画面的所述部分划分成多个分区； 根据所述图像画面细化所述多个分区，以提供细化分区；以及 根据所述细化分区编码所述深度画面的所述部分，以产生编码部分。
16.一种装置,包括 配置成至少执行如下步骤的一个或多个编码器 访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息； 将所述深度画面的所述部分划分成多个分区； 根据所述图像画面细化所述多个分区，以提供细化分区；以及 根据所述细化分区编码所述深度画面的所述部分，以产生编码部分；以及 配置成调制包括编码部分的信号的调制器。
17.—种方法,包括 访问编码深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息，以及所述编码包括指示所述部分的多个分区的强度值的一个或多个数值指示符的编码； 识别所述多个分区的至少一个； 根据所述图像画面细化所述至少一个分区以便提供细化分区； 解码所述一个或多个数值指示符的编码；以及 根据所述一个或多个解码数值指示符为所述细化分区中的像素确定数值。
18.如权利要求17所述的方法，其中对于细化分区，所述一个或多个数值指示符包含提供所述细化分区中的像素的强度的代表值的单个数值的指示符；以及 确定所述细化分区中的像素的数值包含根据所述代表值确定所述数值。
19.如权利要求17所述的方法，其中 对于细化分区，所述一个或多个数值指示符包含所述细化分区中的像素的强度的多个指示符；以及 确定所述细化分区中的像素的数值包含根据所述代表值确定所述数值。
20.如权利要求17所述的方法，其中识别多个分区的至少一个基于默认划分。
21.如权利要求17所述的方法，其中 所述访问编码进一步包括指示用在将所述部分划分成多个分区中的多个划分选项之一的划分指示符的编码； 所述方法进一步包含解码所述划分指示符的编码；以及 识别多个分区的至少一个基于解码的划分指示符。
22.—种装置，包括 访问编码深度画面的一部分的部件，所述深度画面包括指示图像画面中的相应地点的深度的信息，以及所述编码包括指示所述部分的多个分区的强度值的一个或多个数值指示符的编码； 识别所述多个分区的至少一个的部件； 根据所述图像画面细化所述至少一个分区以便提供细化分区的部件； 解码所述一个或多个数值指示符的编码的部件；以及 根据所述一个或多个解码数值指示符为所述细化部分中的像素确定数值的部件。
23.一种上面存储有使处理器至少执行如下步骤的指令的处理器可读介质 访问编码深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息，以及所述编码包括指示所述部分的多个分区的强度值的一个或多个数值指示符的编码； 识别所述多个分区的至少一个； 根据所述图像画面细化所述至少一个分区以便提供细化分区； 解码所述一个或多个数值指示符的编码；以及 根据所述一个或多个解码数值指示符为所述细化分区中的像素确定数值。
24.一种包含配置成至少执行如下步骤的处理器的装置 访问编码深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息，以及所述编码包括指示所述部分的多个分区的强度值的一个或多个数值指示符的编码； 识别所述多个分区的至少一个； 根据所述图像画面细化所述至少一个分区以便提供细化分区； 解码所述一个或多个数值指示符的编码；以及 根据所述一个或多个解码数值指示符为所述细化分区中的像素确定数值。
25.一种包含配置成至少执行如下步骤的解码器的装置 访问编码深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息，以及所述编码包括指示所述部分的多个分区的强度值的一个或多个数值指示符的编码； 识别所述多个分区的至少一个； 根据所述图像画面细化所述至少一个分区以便提供细化分区； 解码所述一个或多个数值指示符的编码；以及 根据所述一个或多个解码数值指示符为所述细化分区中的像素确定数值。
26.一种装置，包括 配置成解调包括编码深度画面的一部分的信号的解调器，所述深度画面包括指示图像画面中的相应地点的深度的信息，以及所述编码包括指示所述部分的多个分区的强度值的一个或多个数值指示符的编码；以及配置成至少执行如下步骤的解码器 访问所述深度画面的所述部分的所述编码； 识别所述多个分区的至少一个； 根据所述图像画面细化所述至少一个分区以便提供细化分区； 解码所述一个或多个数值指示符的编码；以及 根据所述一个或多个解码数值指示符为所述细化分区中的像素确定数值。
27.—种包含如下步骤的方法 访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息； 滤波所述部分以产生滤波深度部分，其中所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值，以及产生给定像素包括通过基于如下的权重加权所述范围内的特定像素的数值 (i)从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离； (ii)特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差；以及 (iii)图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差。
28.如权利要求27所述的方法，其中访问所述部分包含 访问(i)指示用在将所述部分的原始版本划分成多个分区中的多个划分选项之一的划分指示符和(ii)指示所述多个分区的强度值的一个或多个数值指示符的编码；以及解码所述编码以产生作为所述部分的原始版本的重构的部分。
29.如权利要求28所述的方法，其中所述解码包含 解码所述划分指示符的编码； 根据解码的划分指示符识别所述多个分区的至少一个； 根据所述图像画面细化所述至少一个分区以便提供细化分区； 解码所述一个或多个数值指示符的编码；以及 根据所述一个或多个解码数值指示符为所述细化部分中的像素确定数值。
30.如权利要求28所述的方法，其中确定数值包含将单个数值指定给所述细化分区中的所有像素。
31.如权利要求27所述的方法，其中 将所述距离、所述深度差、和所述图像差相乘以形成权重的至少一部分； 将所述权重乘以特定像素的数值以形成结果的至少一部分；以及 为所述范围中的所有像素形成并求和相似结果，以形成给定像素的滤波深度部分的至少一部分。
32.如权利要求27所述的方法，其中所述滤波将所述部分缺乏的、来自所述图像画面的相应部分的边缘细节提供给所述滤波深度部分。
33.如权利要求27所述的方法，其中所述滤波包括因素(i)、以及自适应地选择因素(ii)和(iii)之一。
34.如权利要求33所述的方法，其中自适应选择包括如果给定范围内的深度样本的偏差测量值低于阈值，则选择(ii);以及如果给定范围内的深度样本的偏差测量值高于所述阈值，则选择(iii)。
35.如权利要求33所述的方法，其中所述偏差测量值是如下之一(1)给定范围内的最大深度与给定范围内的最小深度之间的差值；(2)给定范围内的最大低通滤波深度与给定范围内的最小低通滤波深度之间的差值；以及(3)给定范围内的深度的方差。
36.如权利要求27所述的方法，其中所述滤波包括因素(i)、以及因素(ii)和(iii)的自适应加权组合。
37.如权利要求36所述的方法，其中深度差和图像差两者的自适应加权通过取决于来自所述深度画面的所述部分的偏差测量值的混合函数确定。
38.如权利要求37所述的方法，其中所述混合函数产生O与I之间的数值，并随偏差测量值增大而增大。
39.如权利要求27所述的方法，其中所述因素(i)基于随特定像素与给定像素之间的距离增大而指数衰减的函数。
40.如权利要求39所述的方法，其中所述函数是-I lp-ql/2 其中P是特定像素的地点和q是给定像素的地点。
41.如权利要求27所述的方法，其中所述因素(iii)基于特定像素与给定像素之间的颜色值之差增大而指数衰减的函数。
42.如权利要求39所述的方法，其中所述函数是
43.如权利要求27所述的方法，其中迭代地进行所述滤波，以便在每次迭代时，将相邻样本用于获取加权平均结果。
44.如权利要求43所述的方法，其中用户可以选择迭代次数以及确定考虑多少相邻样本的窗口大小。
45.如权利要求27所述的方法，其中所述深度画面是下采样深度图，并且所述滤波产生上采样深度图。
46.如权利要求27所述的方法，其中所述深度画面是具有分辨率的深度图，并且所述滤波产生分辨率与所述深度图的分辨率相同的滤波深度图。
47.一种装置，包括 访问深度画面的一部分的部件，所述深度画面包括指示图像画面中的相应地点的深度的信息； 滤波所述部分以产生滤波深度部分的部件，其中所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值，以及产生给定像素包括通过基于如下的权重加权所述范围内的特定像素的数值 (i)从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离； (ii)特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差；以及 (iii)图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差。
48.一种上面存储着使处理器至少执行如下步骤的指令的处理器可读介质 访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息； 滤波所述部分以产生滤波深度部分，其中所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值，以及产生给定像素包括通过基于如下的权重加权所述范围内的特定像素的数值 (i)从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离； (ii)特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差；以及 (iii)图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差。
49.一种包含配置成至少执行如下步骤的滤波器的装置 访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息；以及 滤波所述部分以产生滤波深度部分，其中所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值，以及产生给定像素包括通过基于如下的权重加权所述范围内的特定像素的数值 (i)从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离； (ii)特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差；以及 (iii)图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差。
50.如权利要求49所述的装置，其中所述装置是编码器或解码器之一。
51.如权利要求49所述的装置，进一步包含配置成调制包括滤波深度部分的信号的调制器。
52.如权利要求49所述的装置，进一步包含配置成解调包括滤波深度部分的信号的解调器。
53.如权利要求49所述的装置，其中所述滤波器用作环内滤波器，滤波重构深度图以便提供参考图像。
54.一种包含配置成至少执行如下步骤的处理器的装置 访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息； 滤波所述部分以产生滤波深度部分，其中所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值，以及产生给定像素包括通过基于如下的权重加权所述范围内的特定像素的数值 (i)从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离； (ii)特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差；以及 (iii)图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差， 其中根据选择函数应用(ii)和(iii)。
55.如权利要求54所述的装置，其中所述选择函数如果给定范围内的深度样本的偏差测量值低于阈值，则应用因素(ii );以及如果给定范围内的深度样本的偏差测量值高于所述阈值，则应用因素(iii)。
56.如权利要求54所述的装置，其中所述选择函数根据自适应加权函数应用因素(ii)和(iii)的组合。
57.一种装置，包括 配置成至少执行如下步骤的滤波器 访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息；以及 滤波所述部分以产生滤波深度部分，其中所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值，以及产生给定像素包括通过基于如下的权重加权所述范围内的特定像素的数值 (i)从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离； (ii)特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差；以及 (iii)图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差；以及 配置成解调包括滤波深度部分的信号的解调器。
58.一种包含如下方法 接收编码下采样深度图像； 解码所述下采样深度图像；以及 滤波所述解码下采样深度图像的一部分，以产生上采样的滤波深度部分，其中所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值，以及产生给定像素包括通过基于如下的权重加权所述范围内的特定像素的数值 (i)从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离；以及 (ii)图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差。
59.一种方法，包括 访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息；以及 滤波所述部分以产生滤波深度部分，其中所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值，以及产生给定像素包括通过基于如下的权重加权所述范围内的特定像素的数值 (i)从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离； (ii)特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差的自适应加权；以及 (iii)图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差的自适应加权。
60.如权利要求59所述的方法，其中深度差和图像差的一个或多个的自适应加权导致0的自适应权重，使得与深度差和图像差的一个或多个无关地确定权重。
61.如权利要求59所述的方法，其中深度差和图像差两者的自适应加权大于0，使得根据深度差和图像差两者确定权重。
62.如权利要求61所述的方法，其中深度差和图像差两者的自适应加权通过取决于来自所述深度画面的所述部分的偏差测量值的混合函数确定。
63.如权利要求62所述的方法，其中所述混合函数产生0与I之间的数值，并随偏差测量值增大而增大。
全文摘要
几种实现方式涉及，例如，3D视频(3DV)编码格式的深度编码和/或滤波。提供了划分深度图中沿着边缘的宏块(MB)的稀疏二元模式(308)，以及可以包括对视频强度的变化和/深度的变化敏感的滤波器的自适应选择的深度图三边(或双边)滤波技术。一种实现方式划分深度画面，然后根据相应图像画面细化分区。另一种实现方式根据深度画面的一部分中一定范围像素的数值滤波所述部分。对于正在滤波的所述部分中的给定像素，滤波器通过基于地点距离、深度差和图像差的一个或多个的权重加权所述范围中的特定像素的数值。
文档编号H04N7/26GK102714741SQ201080056691
公开日2012年10月3日 申请日期2010年10月14日 优先权日2009年10月14日
发明者刘淑杰, 田栋, 赖旺霖 申请人:汤姆森特许公司