专利名称：作为到视频序列的附加通道的深度代码化的制作方法
技术领域：
本申请涉及诸如3D视频图像的视频图像中的深度代码化。
背景技术：
3D再次变为吸引人的技术，并且这次，其获得来自内容提供商的支持。还具有3D能力的大多数新动画电影和很多影片将被发布并且可以广泛遍及全国在3D电影院中观看。而且，存在对体育事件的实时广播的多种测试，例如NBA和NFL比赛。为了使3D在平 面屏幕中被察觉到，使用了立体影像，其模仿人类视觉系统并且分别显示由到左眼和右眼的立体摄像机捕捉的左眼视图和右眼视图。因此，其要求2D序列所要求的带宽的两倍。3DTV (3DTV)或3D视频(3DV)是使用立体影像将3D感知递送至观看者的应用。然而，因为仅在3DTV中递送用于每只眼睛的两个视图，所以用户不能改变由内容提供商固定的视点。自由视点TV(FTV)是另一种3D应用，其使用户能够导航通过不同视点并且选择他们想要的观看那一个。为了使多个视点可用，多视图视频序列被传送至用户。实际上，如果邻近视图之间的距离满足用于立体影像的条件，则3DTV所要求的立体序列可以被认为是多视图视频序列的子集。因为数据的量根据视图的数目线性地增加，所以多视图视频图像需要被有效地压缩以用于广泛使用。作为减少多视图视频序列的比特率的努力，JVT —直致力于多视图视频代码化(MVC)并且将其落定为对H. 264/AVC的修改。在MVC中，使用用于较高代码化效率的时间和交叉视图相关性，对多视图视频序列进行编码，同时增加在时间上以及跨过视图两者的帧之间的依赖性。因此，当用户想要观看特定视图时，应当根据依赖性来解码不必要的视图。而且，当存在由相机视差导致的几何失真并且邻近视图之间的相关性很小时，MVC的压缩效率是不令人满意的。
发明内容
根据本发明的原理，本发明的装置可以包括编码器，该编码器被配置成通过对视图数据和深度数据的组合集合编码来对视频数据编码。视图数据和深度数据的组合集合可以包括以下中的一个RGBD、YUVD、或YCbCrD。视图数据和深度数据的组合集合可以包含在以下至少一个中图片组、图片、片段、块组、宏块、或子宏块。该装置可以进一步包括深度格式单元，该深度格式单元被配置成识别视频数据的深度格式。当深度格式被设置为0时，编码器可以选择将视频数据编码为不包括深度数据的多个二维图像，或者当深度格式被设置为预定级别时，编码器可以选择将视频数据编码为视图数据和深度数据的组合集合。编码器可以进一步包括代码化成本计算器，该代码化成本计算器确定所述视图数据和深度数据的组合集合的联合编码和所述视图数据和深度数据的组合集合的单独编码的代码化成本，并且基于所述代码化成本来在联合编码和单独编码之间确定编码模式。当编码成本小于对视图数据和深度数据单独编码的编码成本时，编码器可以将视频数据编码为视图数据和深度数据的联合编码。视频数据可以是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。根据本发明的原理，对视频数据编码的方法可以包括在编码器处通过对视图数据和深度数据的组合集合编码来对视频数据编码。视图数据和深度数据的组合集合可以包括以下中的一个RGBD、YUVD、或YCbCrD。视图数据和深度数据的组合集合包含在以下至少一个中图片组、图片、片段、块组、宏块、或子宏块。该方法可以进一步包括识别视频数据的深度格式。当深度格式被设置为0时，视频数据可以被编码为不包括深度数据的多个二维图像。当深度格式被设置为预定级别时，视频数据可以被编码为视图数据和深度数据的组合集合。该方法可以进一步包括确定对所述视图数据和深度数据的组合集合联合编码和对所述视图数据和深度数据的组合集合单独编码的代码化成本，以及基于所述代码化成本来在联合编码和单独编码之间确定编码模式。当编码成本小于对视图数据和深度数据单独编码的编码成本时，视频数据可以被编码为视图数据和深度数据的联合编码。视频数据 可以是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。根据本发明的原理，承载用于编码器对视频数据编码的指令的非暂时性计算机可读介质可以包括用于执行以下步骤的指令通过对视图数据和深度数据的组合集合编码来对视频数据编码。视图数据和深度数据的组合集合可以包括以下中的一个RGBD、YUVD、或YCbCrD0视图数据和深度数据的组合集合包含在以下至少一个中图片组、图片、片段、块组、宏块、或子宏块。指令可以进一步包括识别视频数据的深度格式。当深度格式被设置为0时，视频数据可以被编码为不包括深度数据的多个二维图像。当深度格式被设置为预定级别时，视频数据可以被编码为视图数据和深度数据的组合集合。指令可以进一步包括确定对所述视图数据和深度数据的组合集合联合编码和对所述视图数据和深度数据的组合集合单独编码的代码化成本，以及基于所述代码化成本来在联合编码和单独编码之间确定编码模式。当编码成本小于对视图数据和深度数据单独编码的编码成本时，视频数据可以被编码为视图数据和深度数据的联合编码。视频数据可以是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。根据本发明的原理，用于对视频数据解码的装置包括解码器，该解码器被配置成通过对视图数据和深度数据的组合集合解码来对视频数据解码。视图数据和深度数据的组合集合可以包括以下中的一个RGBD、YUVD、或YCbCrD。视图数据和深度数据的组合集合可以包含在以下至少一个中图片组、图片、片段、块组、宏块、或子宏块。该装置可以进一步包括深度格式单元，该深度格式单元被配置成识别视频数据的深度格式。当深度格式被设置为0时，解码器可以选择将视频数据解码为不包括深度数据的多个二维图像。当深度格式被设置为预定级别时，解码器可以选择将视频数据解码为视图数据和深度数据的组合集合。当所述组合集合被联合编码时，所述解码器可以对视图数据和深度数据的组合集合选择性地联合解码，或者当所述组合集合被单独编码时，对所述视图数据和深度数据的组合集合解码。视频数据可以是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。根据本发明的原理，对视频数据解码的方法包括在解码器处通过对视图数据和深度数据的组合集合解码来对视频数据解码。视图数据和深度数据的组合集合可以包括以下中的一个RGBD、YUVD、或YCbCrD。视图数据和深度数据的组合集合包含在以下至少一个中图片组、图片、片段、块组、宏块、或子宏块。该方法可以进一步包括识别视图数据的深度格式。当深度格式被设置为0时，视图数据可以被编码为不包括深度数据的多个二维图像。当深度格式被设置为预定级别时，视频数据可以被解码为视图数据和深度数据的组合集合。该方法可以进一步包括当所述组合集合被联合编码时，对所述视图数据和深度数据的组合集合选择性地联合解码，或者当所述组合集合被单独编码时，对所述视图数据和深度数据的组合集合解码。视频数据可以是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。根据本发明的原理，可以承载用于解码器对视频数据解码的非暂时性计算机可读介质包括用于执行以下步骤的指令通过对视图数据和深度数据的组合集合编码来对视频数据解码。视图数据和深度数据的组合集合可以包括以下中的一个RGBD、YUVD、或 YCbCrD0视图数据和深度数据的组合集合包含在以下至少一个中图片组、图片、片段、块组、宏块、或子宏块。指令可以进一步包括识别视频数据的深度格式。当深度格式被设置为0时，视频数据可以被解码为不包括深度数据的多个二维图像。当深度格式被设置为预定级别时，视频数据可以被解码为视图数据和深度数据的组合集合。指令可以进一步包括当所述组合集合被联合编码时，对所述视图数据和深度数据的组合集合选择性地联合解码，或者当所述组合集合被单独编码时，对所述视图数据和深度数据的组合集合解码。视频数据可以是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。本发明允许深度参数与视图信息联合的3D编码。本发明允许与2D的兼容性并且可以基于在与视图联合或单独地对深度编码的RD成本来提供优化编码。而且，根据视频格式的新定义，我们提供3D视频信号的自适应代码化方法。在3D信号的自适应代码化中的YCbCrD的组合代码化期间，我们从开始就将深度看做是视频分量，在帧间预测中，除了运动矢量之外，块模式和参考索引在视图和深度之间共享。在帧内预测中，也可以共享帧内预测模式。注意，可以通过与视图一起考虑深度信息来进一步优化组合代码化的代码化结果。在视图和深度的单独代码化中，深度独立于视图被代码化。还可以具有对深度帧内代码化，而对视图帧间代码化。
图I图示了端到端3D/FTV系统。图2图示了用于深度估计的方法。图3A-图3D图示了多种形式的采样视频图像。图4图示了根据本发明的原理的编码器和解码器布置。图5图示了根据本发明的原理的在组合代码化和单独代码化之间的每个宏块中的RD最优化(RDO)的流程图。图6图示了根据本发明的原理的用于3D视频的自适应代码化的流程图。
图7A-图7D图示了视图和深度的PSNR的采样图像和图表。图8A和图8B图示了在时间0和时间I的Lovebird (恩爱夫妻)1、视图2的深度。图9A和图9B示出了用于Lovebirdl和Pantomime (哑剧)的合成视图的RD曲线。图IOA和图IOB图示了来自图3的Lovebirds的亮度和深度。图IlA和图IlB图不了包括Lovebird2和Pantomime的其他米样图像。
具体实施例方式为了简单和说明目的，本发明通过主要参考其示例性实施例来描述。在以下描述中，阐述大量具体细节，以提供对本发明的透彻理解。然而，对本领域普通技术人员将显而易见的是，可以在没有这些具体细节的限制的情况下实施本发明。在其他实例中，不详细地描述众所周知的方法和结构，以避免不必要地模糊本发明。 图I示出用于端到端3D/FTV系统的示例性示意图。如图I中所示，由多个相机2捕捉景色或对象I的多个视图。由多个相机2捕捉的视图被校正或调整，并且在由传送器3传送之前被发送至处理器和存储系统7。处理器可以包括编码器，其将图像数据编码为指定格式。在编码器处，多个视图可用，其可以用于更有效地和正确地估计深度。如图I中所示，用户侧通常包括接收器6，其接收从传送器3传送和编码的图像。所接收到的数据被提供至通常包括解码器的处理器/缓冲器。解码以及另外处理后的图像数据被提供至显示器5用于用户观看。MPEG开始搜索用于多视图视频序列代码化的新标准。在MPEG活动中，利用深度信息来改进整体代码化效率。代替发送所有多视图视频序列，子采样视图，2或3关键视图与对应深度信息一起被发送，并且中间视图使用关键视图和深度被合成。假设在编码器处进行压缩之前，深度被估计(如果不被捕捉)，并且在解码器处的解压缩之后，中间视图被合成。注意，在本方案中，不是所有捕捉的视图都被压缩和传送。为了定义合适的参考技术，在MPEG中已经建立四个探索实验(EE1-EE4)。EEl从邻近视图探索深度估计，并且EE2探索视图合成技术，其使用从EEl估计的深度来合成中间视图。EE3基于分层深度视频(LDV)表示来搜索用于生成中间视图的技术。EE4探索深度图代码化如何影响合成视图的质量。在图2中，描述了用于深度估计的EEl和用于视图合成的EE2。对于多视图序列，例如，从视图I至5，如图2中的行21中所示，可以选择任何两个视图来估计它们之间的深度。例如，视图I和视图5被用于估计深度2和深度4，如行23中所示。然后，视图2、深度2、视图4和深度4可以被编码并且传送至用户，并且可以使用深度2和深度4将视图2和视图4之间的中间视图与对应相机参数合成。在图2中，视图3被合成，如行25中所示，并且与原始视图3相比较。在0. Stankiewicz, K. Wegner 和 K. Klimaszewski, “Results of3DV/FTVExploration Experiments, described in w 10173，，，IS0/IECJTC1/SC29/WG1IMPEGDocument M16026, Lausanne, Switzerland, Feb. 2009 中，观察到，合成视图的质量更多取决于编码视图的质量而不是编码深度的质量。在S. Tao, Y. Chen, M. Hannuksela和H. Li，“Depth Map Coding Quality Analysis for View Synthesis, ，，IS0/IECJTC1/SC29/WGlIMPEG Document M16050, Lausanne, Switzerland, Feb. 2009 中，根据以不同比特率编码的深度来合成视图。它们提供比率和失真(R-D)曲线，其中，比率以Kbps为单位被示出以用于深度代码化，并且失真以PSNR被示出以用于合成视图。从Tao等人的文中可以看出，合成视图的质量在用于深度的比特率的大多数范围内不明显地改变。在C. Cheng，Y.Huo 和 Y.Liu, “3DV EE44results on Dog sequence,，，ISO/IEC JTC1/SC29/WG IlMPEGDocument M16047, Lausanne, Switzerland, Feb. 2009 中，多视图视频代码化(MVC)被用于对立体视图和深度编码，并且当a 264/AVC被用于独立地对每个视图编码时与代码化结果相比较。MVC示出与由H. 264/AVC的同时联播相比少5%的代码化增益。对于深度压缩，在B. Zhu. G. Jiang, M. Yu. P. An和 Z. Zhang,“Depth Map Compression for View Synthesis inFTV,，，ISO/IEC JTC1/SC29/WG11MPEG Document M16021, Lausanne, Switzerland, Feb.2009中，深度被分段并且不同区域被定义为边缘(A)、运动(B)、移动对象(C)和背景(D)的内部。根据区域类型，应用了不同的块模式，其在深度压缩中得到较少编码复杂性和改进的代码化效率。在2D视频捕捉期间，3D空间中的景色或对象被投影到相机的图像平面中，其中，像素强度表示对象的纹理。在深度图中，像素强度表示对应3D对象到/从图像平面的距离。因此，视图和深度都被捕捉(或被估计用于深度)用于相同景色或对象，因此它们共享
对象的边缘或周线。图3a示出原始视图0,图3b-图3d示出序列Lovebirds的对应Cb、Cr和深度，Lovebirds 来自 ETRI/MPEG 韩国论坛“Call for Proposals on Multi-view VideoCoding,，，ISO/IEC JTCI/SC29/WG1IMPEG Document N7327, Poznan, Poland, Jul. 2005,通过引用将其合并于此。图IlA和图IlB示出了其他视图，包括Lovebird 2视图7和Pantomime视图37。参考图3b-图3d,根据Cb/Cr与深度的比较，可以看出，Cb/Cr和深度都共享对象边界。例如，因为颜色通道共享对象边界的信息，所以基于用于视差(深度)估计的颜色来将图像分段，G. Um, T. Kim, N. Hur 和 J. Kim, "Segment-based DisparityEstimation using Foreground Separation, 〃IS0/IEC JTC1/SC29/WG IIMPEG DocumentM15191, Antelya, Trukey, Jan. 2008。根据0. Stankiewicz等人、Tao等人、Cheng等人和Zhu等人,可以得出，深度的质量不显著改变合成视图的质量。然而，这些贡献中的所有结果都使用用于深度估计和视图合成的MPEG参考软件来获得，其通常不是最新水平技术。所估计的深度通常甚至对于相同光滑对象也是不同的，并且容易观测到时间不一致性。因此，不能推断，合成视图的质量不取决于深度的质量。而且，考虑到视图合成中的对象边界周围的I个像素错误可能导致不同合成结果，在MPEG活动中当前假设的8比特深度质量可能不足够。然而，通过所有这些不确定性，深度应当被编码并且与用于3D服务的视图一起被传送，并且需要定义有效和灵活的代码化方案。注意，可以利用视图和深度之间的相关性，就像在从单色到彩色的过渡期间利用亮度和色度之间的相关性一样，我们提供新的灵活深度格式和代码化方案，其是反向兼容的并且适用于新3D服务的不同目标。可以通过上述技术或另一种合适方法来执行深度数据的确定。我们将深度看作对于常规2D视频格式的附加分量，作出新3D视频格式。因此，例如，将RGB或YCbCr格式扩展到RGBD或YCbCrD以包括深度。在H. 264/AVC中，可以通过chroma_format_idc标记来选择用于单色或彩色的格式。类似地,我们可以使用depth_format」dc标记来指定信号是2D的还是3D的。表I示出了如何使用chroma_format_idc和depth_format_idc来发信号2D/3D和单色/彩色的视频格式。表I.通过 depth_format_idc 和 chroma_format_idc 定义的不同视频格式
权利要求
1.一种用于对视频数据编码的装置，包括 编码器，所述编码器被配置成通过对视图数据和深度数据的组合集合编码来对所述视频数据编码。
2.根据权利要求I所述的装置，其中，所述视图数据和深度数据的组合集合包括以下中的一个RGBD、YUVD、或 YCbCrD。
3.根据权利要求2所述的装置，其中，所述视图数据和深度数据的组合集合包含在以下的至少一个中图片组、图片、片段、块组、宏块、或子宏块。
4.根据权利要求I所述的装置，进一步包括深度格式单元，所述深度格式单元被配置成识别所述视频数据的深度格式。
5.根据权利要求4所述的装置，其中，当所述深度格式被设置为O时，所述编码器选择将所述视频数据编码为不包括深度数据的多个二维图像。
6.根据权利要求4所述的装置，其中，当所述深度格式被设置为预定级别时，所述编码器选择将所述视频数据编码为所述视图数据和深度数据的组合集合。
7.根据权利要求I所述的装置，其中，所述编码器进一步包括代码化成本计算器，所述代码化成本计算器确定对所述视图数据和深度数据的组合集合的联合编码以及对所述视图数据和深度数据的组合集合的单独编码的代码化成本，并且基于所述代码化成本来在联合编码和单独编码之间确定编码模式。
8.根据权利要求7所述的装置，其中，当所述编码成本小于对所述视图数据和深度数据单独编码的编码成本时，所述编码器将所述视频数据编码为视图数据和深度数据的联合编码。
9.根据权利要求I所述的装置，其中，所述视频数据是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。
10.一种对视频数据编码的方法，包括 在编码器处通过对视图数据和深度数据的组合集合编码来对所述视频数据编码。
11.根据权利要求10所述的方法，其中，所述视图数据和深度数据的组合集合包括以下中的一个RGBD、YUVD、或 YCbCrD。
12.根据权利要求11所述的方法，其中，所述视图数据和深度数据的组合集合包含在以下的至少一个中图片组、图片、片段、块组、宏块、或子宏块。
13.根据权利要求10所述的方法，进一步包括识别所述视频数据的深度格式。
14.根据权利要求13所述的方法，其中，当所述深度格式被设置为O时，所述视频数据被编码为不包括深度数据的多个二维图像。
15.根据权利要求13所述的方法，其中，当所述深度格式被设置为预定级别时，所述视图数据和深度数据的组合集合被编码。
16.根据权利要求10所述的方法，进一步包括确定对所述视图数据和深度数据的组合集合联合编码以及对所述视图数据和深度数据的组合集合单独编码的代码化成本，以及基于所述代码化成本在联合编码和单独编码之间确定编码模式。
17.根据权利要求16所述的方法，其中，当所述编码成本小于对所述视图数据和深度数据单独编码的编码成本时，所述视频数据被编码为视图数据和深度数据的联合编码。
18.根据权利要求10所述的方法，其中，所述视频数据是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。
19.一种承载用于编码器对视频数据编码的指令的非暂时性计算机可读介质，包括用于执行以下步骤的指令 通过对视图数据和深度数据的组合集 合编码来对所述视频数据编码。
20.根据权利要求19所述的计算机可读介质，其中，所述视图数据和深度数据的组合集合包括以下中的一个RGBD、YUVD、或YCbCrD。
21.根据权利要求20所述的计算机可读介质，其中，所述视图数据和深度数据的组合集合包含在以下的至少一个中图片组、图片、片段、块组、宏块、或子宏块。
22.根据权利要求19所述的计算机可读介质，进一步包括识别所述视频数据的深度格式。
23.根据权利要求22所述的计算机可读介质，其中，当所述深度格式被设置为O时，所述视频数据被编码为不包括深度数据的多个二维图像。
24.根据权利要求22所述的计算机可读介质，其中，当所述深度格式被设置为预定级别时，所述视图数据和深度数据的组合集合被联合编码。
25.根据权利要求19所述的计算机可读介质，进一步包括确定对所述视图数据和深度数据的组合集合联合编码以及对所述视图数据和深度数据的组合集合单独编码的代码化成本，以及基于所述代码化成本来在联合编码和单独编码之间确定编码模式。
26.根据权利要求25所述的计算机可读介质，其中，当所述编码成本小于对所述视图数据和深度数据单独编码的编码成本时，所述视频数据被编码为视图数据和深度数据的联合编码。
27.根据权利要求19所述的计算机可读介质，其中，所述视频数据是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。
28.一种用于对视频数据解码的装置，包括 解码器，所述解码器被配置成通过对视图数据和深度数据的组合集合解码来对所述视频数据解码。
29.根据权利要求28所述的装置，其中，所述视图数据和深度数据的组合集合包括以下中的一个RGBD、YUVD、或 YCbCrD。
30.根据权利要求29所述的装置，其中，所述视图数据和深度数据的组合集合包含在以下的至少一个中图片组、图片、片段、块组、宏块、或子宏块。
31.根据权利要求28所述的装置，进一步包括深度格式单元，所述深度格式单元被配置成识别所述视频数据的深度格式。
32.根据权利要求31所述的装置，其中，当所述深度格式被设置为O时，所述解码器选择将所述视频数据解码为不包括深度数据的多个二维图像。
33.根据权利要求31所述的装置，其中，当所述深度格式被设置为预定级别时，所述解码器选择将所述视频数据解码为所述视图数据和深度数据的组合集合。
34.根据权利要求28所述的装置，其中，当所述组合集合被联合编码时，所述解码器对所述视图数据和深度数据的组合集合选择性地联合解码，或者当所述组合集合被单独编码时，所述解码器对所述视图数据和深度数据的组合集合解码。
35.根据权利要求28所述的装置，其中，所述视频数据是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。
36.一种对视频数据解码的方法，包括 在解码器处通过对视图数据和深度数据的组合集合解码来对所述视频数据解码。
37.根据权利要求36所述的方法，其中，所述视图数据和深度数据的组合集合包括以 下中的一个RGBD、YUVD、或 YCbCrD。
38.根据权利要求37所述的方法，其中，所述视图数据和深度数据的组合集合包含在以下的至少一个中图片组、图片、片段、块组、宏块、或子宏块。
39.根据权利要求36所述的方法，进一步包括识别所述视频数据的深度格式。
40.根据权利要求39所述的方法，其中，当所述深度格式被设置为O时，所述视频数据被解码为不包括深度数据的多个二维图像。
41.根据权利要求39所述的方法，其中，当所述深度格式被设置为预定级别时，所述视图数据和深度数据的组合集合被联合解码。
42.根据权利要求36所述的方法，进一步包括当所述组合集合被联合编码时，对所述视图数据和深度数据的组合集合选择性地联合解码，或者当所述组合集合被单独编码时，对所述视图数据和深度数据的组合集合解码。
43.根据权利要求36所述的方法，其中，所述视频数据是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。
44.一种承载用于解码器对视频数据解码的指令的非暂时性计算机可读介质，包括用于执行以下步骤的指令 通过对视图数据和深度数据的组合集合编码来对所述视频数据解码。
45.根据权利要求44所述的计算机可读介质，其中，所述视图数据和深度数据的组合集合包括以下中的一个RGBD、YUVD、或YCbCrD。
46.根据权利要求45所述的计算机可读介质，其中，所述视图数据和深度数据的组合集合包含在以下的至少一个中图片组、图片、片段、块组、宏块、或子宏块。
47.根据权利要求44所述的计算机可读介质，进一步包括识别所述视频数据的深度格式。
48.根据权利要求47所述的计算机可读介质，其中，当所述深度格式被设置为O时，所述视频数据被解码为不包括深度数据的多个二维图像。
49.根据权利要求47所述的计算机可读介质，其中，当所述深度格式被设置为预定级别时，所述视图数据和深度数据的组合集合被联合解码。
50.根据权利要求44所述的计算机可读介质,进一步包括当所述组合集合被联合编码时，对所述视图数据和深度数据的组合集合选择性地联合解码，或者当所述组合集合被单独编码时，对所述视图数据和深度数据的组合集合解码。
51.根据权利要求44所述的计算机可读介质，其中，所述视频数据是以下中的一个具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。
全文摘要
一种3D视频代码化装置和方法，其选择性地对来自多个视频源的视频数据代码化以包括深度信息。代码化可以通过将深度信息与诸如RGB、YCrCb、或YUV的视图信息相组合，并且与如RGBD、RCrCbD、或YUVD的视图信息一起代码化来执行。装置可以基于深度格式标记对深度信息选择性地代码化，以不包括深度信息(例如，2D格式)或包括深度信息作为色度通道。深度信息可以基于代码化成本或比率失真估计被单独地代码化或与YCrCb一起代码化，以对视频信息进行编码来获得最高质量。
文档编号H04N13/00GK102792699SQ201080052987
公开日2012年11月21日 申请日期2010年11月23日 优先权日2009年11月23日
发明者杰伊·胡恩·金, 王利民 申请人:通用仪表公司