专利名称：三维视频的参考画面列表的制作方法
技术领域：
描述有关于编解码系统的实现方式。各种特定的实现方式涉及三维(3D)视频编解码方案。
背景技术：
为了方便新的视频应用，诸如三维电视(3DTV)和自由视点视频(free-viewpoint video, FVV)，可以利用包括常规的2D视频和深度图二者的3D视频(3DV)数据格式使得可以在用户端呈现附加的视图。这种3DV格式的示例包括包含二维的QD)视频及其对应的深度图的2D加深度QD+Z)，以及包含2D+Z和遮挡(occlusion)视频加遮挡深度的分层的深度视频(LDV)。这种3DV格式的其它示例包括多视图加深度(MVD)和视差增强的立体 (DES)。MVD是2D+Z的扩展，这是由于其包括来自不同视点的多个2D+Z。继而，DES由来自两个不同视点的两个LDV组成。另一示例3DV格式是层深度视频加右视图(LDV+R)，其由左视图的一个LDV和右视图的2D视频组成。怎样在所有这些格式中传递(编码和传输)数据是具有挑战的问题，这是由于在用户端共同使用不同的分量(component)来解码3DV内容。
发明内容
根据一个总的方面，对画面的层间(inter-layer)参考确定优先级。相对于该画面的一个或更多其它参考确定该优先级。在画面的基于所述优先级排序的参考列表中包括该层间参考。在附图和以下描述中提出一个或更多实现方式的细节。即使以一个特定方式来描述，但应清楚可以以各种方式来配置或体现所述实现方式。例如，实现方式可以被执行为方法，或者被体现为装置，诸如，例如被配置为执行一组操作的装置，或者存储用于执行一组操作的指令的装置，或者在信号中体现。在连同附图和权利要求书考虑的以下详细描述中， 其它方面和特征将变得明显。
图1是深度图的示例。
图2是示出LDV格式的四个分量的示例。图3是3DV编码器的实现方式的框图/流程图。图4是3DV解码器的实现方式的框图/流程图。图5是3DV层编码器的实现方式的框图/流程图。图6是3DV层解码器的实现方式的框图/流程图。图7是视频传输系统的实现方式的框图/流程图。图8是视频接收系统的实现方式的框图/流程图。图9是视频处理装置的实现方式的框图/流程图。图10是3DV编码结构的示例的图。图11是网络抽象层(NAL)单元流的第一示例的框图/流程图。图12是NAL单元流的第二示例的框图/流程图。图13是解码3DV内容的方法的示例的流程图。图14是编码3DV内容的方法的示例的流程图。图15是图示层间依赖性结构的示例的框图。图16是构建用于编码处理的参考画面列表的方法的示例的流程图。图17是构建用于解码处理的参考画面列表的方法的示例的流程图。图18是编码3DV内容的扩展的序列参数集的NAL单元的方法的示例的流程图。图19是解码3DV内容的扩展的序列参数集的NAL单元的方法的示例的流程图。图20是编码具有扩展的序列参数集的方法的示例的流程图。图21是解码具有扩展的序列参数集的方法的示例的流程图。图22是编码3DV内容的层间依赖性结构的序列参数子集的第一方法的示例的框图/流程图。图23是解码3DV内容的层间依赖性结构的序列参数子集的第一方法的示例的框图/流程图。图M是编码3DV内容的层间依赖性结构的序列参数子集的第二方法的示例的框图/流程图。图25是解码3DV内容的层间依赖性结构的序列参数子集的第二方法的示例的框图/流程图。图沈是编码3DV内容的方法的示例的流程图。图27是解码3DV内容的方法的示例的流程图。图28是构建编解码操作的参考画面列表的方法的示例的流程图。图四是可以在图观的方法中实现的用于处理2D视频层画面的方法的示例的流程图。图30是编码3DV内容并且传递层间依赖性结构的方法的示例的流程图。图31是解码3DV内容并且传递层间依赖性结构的方法的示例的流程图。图32是NAL单元流的示例的框图/流程图。图33是通过采用层间依赖性结构来管理网络业务量的系统的示例的框图/流程图。图34是通过采用层间依赖性结构来管理网络业务量的方法的示例的流程图。
具体实施例方式如在本领域中所理解的，3D视频(3DV)的基本原则是典型地向用户的每只眼睛提供场景或者对象的不同的视图使得用户能够感知到场景或者对象的深度。另外，为了增强用户体验，可以呈现除了正在被传输的视图之外的虚拟视图，例如来调整不同的感知深度范围的基线(baseline)距离。为了实现这些目标中的一个或者多个，如上注意到， 3D视频(3DV)表示格式可以包括各种层，诸如视频、深度，以及或许更多的补充信息，诸如 2D+Z (MVD)和LDV(DES)。为了更好地说明3DV内容的深度和其它补充信息的概念，参照图 1和图2来进行。图1提供了对应于常规的视频的深度图100的示例。另外，图2包括LDV格式中的四个分量的示例2D视频202加上深度(Z) 204以及同一场景的遮挡视频206和伴随的遮挡深度208。对上述的数据格式进行编码和传输在许多方面中是具有挑战的。例如，除了编码效率之外，还应该最好提供诸如同步和向后兼容性(用于常规的单视觉(m0n0SC0piC)2D 视频)之类的功能使得传统的高级视频编码(AVC)/多视图编码(MVC)解码器可以从比特流中提取可观看的视频。可以解决这些问题中的至少一些的一种解决方案是进行联播(simulcast)，其中独立地编码并传输每个视图和/或层。这种方法可以使用多个编码器和解码器来分别编码和解码单独的视图/层，并且在系统级别或者应用级别上将视图/层同步到可观看的图像。例如，移动画面专家组(MPEG)-C部分3(国际标准化组织(ISO)/国际电工委员会 (IEC) 23002-3)规定了用于2D+Z的系统框架。典型的实现方式在系统级别上使用视频和深度之间的同步。可以使用任何现有的视频编码标准来编码视频和深度。然而，在典型的实现方式中，视频和深度的编码被解耦。由此，联播的成本被典型地乘以所传输的视图和/ 或层的数量。此外，因为单独地编码不同视图和/或层，典型地不以任何方式利用视图和/ 或层之间的任何冗余性而实现更高的编码效率。相反，除了 AVC/MVC系统的向后兼容性之外，在此描述的一个或更多实现方式可以允许层间编码以利用层之间的冗余性，并且由此实现更高的编码效率。具体地，一个或更多实现方式提供了在编码级别上对视图和/或层进行同步的手段以便获得这些益处中的至少一些。例如，在这里描述的至少一个实现方式中，提出了 AVC的NAL单元设计上的新的3DV前缀网络抽象层(NAL)单元和新的3DV NAL单元首标扩展以高效地使得能够进行层间编码和视图/层的同步。高级语法发信号通知可以怎样从诸如AVC和可分级视频编码 (SVC)/MVC比特流之类的比特流中提取3DV分量。由此，该方法具有的优点在于，不需要在系统级别上对不同3DV分量之间进行同步，这是由于可以在编码的比特流中耦合3DV分量 (诸如SVC层，或者MVC视图)。另一潜在的益处在于，当以此方式进行编码时，可以移除层间或者视图间(inter-view)的冗余性。另外，新的NAL单元设计可以与MVC兼容并且还可以允许与任何将来的封装编码技术兼容以实现增强的压缩效率。如在以下在此讨论的，为了使得能够在编码级别而不是系统级别上对不同视图/ 层同步，一个或更多实现方式将3DV NAL单元设计与3DV视图标识符(ID)和3DV层ID相关联。另外，为了更好地利用视图间/层间冗余性，与利用交织方法的AVC相比较，采用视图间/层间预测来提供更高的编码效率。此外，3DV补充层的NAL单元设计可以实现完全的向后兼容性，同时使得能够开发新的编码模式/工具而不影响2D视图层与MVC/AVC的兼容性。各种实施例针对参考列表的配置以允许通过采用多参考预测来编码和解码包括 3DV内容的比特流。例如，对于3DV编码结构，可以存在至少三种可能的参考画面类型，例如包括时间参考画面、视图间参考画面，以及来自不同3DV层的参考画面。来自不同3DV层的参考画面可以包括，例如，用于深度层的参考的2D视频层。在本申请中描述的至少一个实施例提供了怎样在参考画面列表中布置三种类型的参考画面的构思和实现方式。例如， 当以预测模式编码宏块(MB)时，编码器可以发信号通知哪个画面或者哪些画面用作可得到的多个参考画面中的参考。这里，列表中的索引可以指示使用哪个参考画面。如以下在此进一步讨论的，一个或更多实施例可以在列表中提供一个或更多层间参考画面以便使得能够进行层间预测。如以上注意的，一个或更多实施例提供许多优点，其中之一是与MVC的潜在的兼容性。也就是，当根据这些实施例之一的3DV比特流被馈入传统的MVC解码器时，可以解码并输出2D视频(例如，以下被指定为层0)。为了进一步有助于与MVC的兼容性，同时允许使用各种层的3DV内容的高效编码，各种实施例附加地针对序列参数集(SPS)的构建和信令。如本领域普通技术人员所理解的，SPS可以指定画面序列的画面之间共享的公共属性。这样的公共属性可以包括，例如，画面大小、可选的采用的编码模式，以及宏块到码片组的映射，它们中的每一个可以在序列中的画面之间可选地共享。对于至少一个实施例，采用 SPS的扩展来发信号通知用于编码和解码3DV内容的新的序列参数。此外，可以利用单独且新的NAL单元类型用于扩展的SPS。扩展的SPS可以用于诸如路由器之类的网络设备以适配于3DV内容的流传输的比特率，如以下在此进一步讨论的。在详细地讨论实施例之前，提供对采用的术语的一些讨论以便于理解所描述的构 )思ο术语的“2D视频”在此通常用于指代传统的视频信号。“深度”层在此通常用于指代指示场景对象的距离信息的数据。“深度图”是深度层的典型示例。“遮挡视频”层在此通常用于指代从某个视点遮挡的视频信息。遮挡视频层典型地包括2D视频层的背景信息。“遮挡深度”层在此通常用于指代从某个视点遮挡的深度信息。遮挡深度层典型地包括深度层的背景信息。“透明”层通常用于指代用以指示深度不连续性或者深度边界的画面。典型的透明层具有二进制信息，其中大于特定阈值的两个值中之一指示深度关于邻近深度值具有不连续性的位置。“3D视图”在此被定义为来自于一个视图位置的数据集，其与MVC中使用的“视图” 不同。例如，3DV视图可以包括比MVC视图更多的数据。对于2D+Z格式，3DV视图可以包括两个层2D视频加上其深度图。对于LDV格式，3DV视图可以包括四个层2D视图、深度图、 遮挡视频，以及遮挡深度图。另外，透明图可以是3DV视图中除其它之外的另一层的数据类型。
“3DV层”被定义为3DV视图的层之一。3DV层的示例例如是2D视图或者视频、深度、遮挡视频、遮挡深度，以及透明图。除了 2D视图或者视频之外的层还被定义为“3DV补充层”。在一个或更多实施例中，3DV解码器可以被配置为识别层并且使用3dv_layer_id将该层与其它进行区分。在一个实施例中，如在表1中定义3dV_layer_id。然而，应注意，如本领域普通技术人员在考虑到这里提供的教导时所理解的，可以以其它方式定义并识别层。表1-3DV 层
权利要求
1.一种方法，包括确定画面的层间参考相对于该画面的一个或者多个其它参考的优先级；以及在该画面的基于该优先级排序的参考列表中包含所述层间参考。
2.根据权利要求1所述的方法，还包括基于该画面的依赖性信息确定所述画面的层间参考。
3.根据权利要求1所述的方法，还包括在涉及该画面的编解码操作中使用该层间参考。
4.根据权利要求3所述的方法，其中编解码操作包括至少部分地基于所述层间参考编码该画面。
5.根据权利要求3所述的方法，其中编解码操作包括至少部分地基于所述层间参考解码该画面。
6.根据权利要求2所述的方法，其中从接收的语法元素中访问画面的依赖性信息。
7.根据权利要求1所述的方法，其中所述包含还包括在排序列表中包含时间上的参考或者视图间参考中的至少一个。
8.根据权利要求4所述的方法，其中编码的画面以及一个或更多其它画面描述在给定时间用于给定视图的三维(3D)信息，并且所述方法还包括编码所述一个或更多其它画面；生成指示怎样将编码的画面和一个或更多其它编码的画面装入支持3D处理的结构中的语法元素，所述结构定义画面的内容类型；以及生成包含所述编码的画面、一个或更多其它编码的画面，以及所述语法元素的比特流； 语法元素的包含在编码的比特流级别上提供结构中的所述编码的画面和编码的一个或更多其它画面之间的关系的指示。
9.根据权利要求5所述的方法，其中所述画面以及一个或更多其它画面描述在给定时间用于给定视图的三维(3D)信息，并且所述方法还包括从比特流中访问所述画面的编码和所述一个或更多其它画面的编码，多个画面描述在给定的时间用于给定视图的不同的三维(3D)信息；从所述比特流中访问语法元素，所述语法元素为所述画面以及所述一个或更多其它画面指示怎样将所述画面和所述一个或更多其它画面装入支持3D处理的结构中，所述结构提供所述画面和所述一个或更多其它画面之间的定义关系； 解码一个或更多其它编码的画面；以及以指示解码的画面和一个或更多其它解码的画面之间的定义关系的输出格式提供解码的画面和解码的一个或更多画面。
10.根据权利要求4所述的方法，还包括 生成包含所述编码的画面的比特流。
11.根据权利要求1所述的方法，其中所述画面和所述层间参考是与包含二维OD)视频画面、深度画面、遮挡视频画面、遮挡深度画面，或者透明画面的集合不同的画面。
12.根据权利要求1所述的方法，其中所述画面是遮挡视频画面并且所述层间参考是二维QD)视频画面。
13.根据权利要求12所述的方法，其中所述包含还包括在遮挡视频画面的排序的参考列表的开始处包含所述层间参考。
14.根据权利要求1所述的方法，其中所述画面是遮挡深度画面并且所述层间参考是深度画面。
15.根据权利要求14所述的方法，其中所述包含还包括在遮挡深度画面的排序的参考列表的开始处包含所述层间参考。
16.根据权利要求1所述的方法，其中所述画面是透明画面并且所述层间参考是二维 (2D)视频画面。
17.根据权利要求16所述的方法，其中所述包含步骤还包括在透明画面的排序的参考列表的结尾处包含所述层间参考。
18.根据权利要求1所述的方法，其中所述画面是深度画面并且所述层间参考是二维 (2D)视频画面，以及其中所述包含步骤还包括在深度画面的排序的参考列表的结尾处包含所述层间参考。
19.根据权利要求1所述的方法，其中所述画面包含被彼此单独编码的多个部分，以及所述层间参考的优先级基于多频繁地将所述层间参考用作画面的部分的参考。
20.根据权利要求2所述的方法，其中层间参考的确定还包括确定所述画面是否是二维OD)视频画面，并且如果所述画面是2D视频画面，则在画面的排序的参考列表中排除任何深度画面作为层间参考。
21.根据权利要求1所述的方法，其中在一个或更多编码器或解码器中执行确定优先级和包含层间参考。
22.一种装置，包括用于确定画面的层间参考相对于该画面的一个或者多个其它参考的优先级的部件；以及用于在该画面的基于该优先级排序的参考列表中包含所述层间参考的部件。
23.一种处理器可读的介质，在其上存储用于促使处理器至少执行以下步骤的指令 确定画面的层间参考相对于该画面的一个或者多个其它参考的优先级；以及在该画面的基于该优先级排序的参考列表中包含所述层间参考。
24.一种装置，包括被配置为至少执行以下步骤的处理器确定画面的层间参考相对于该画面的一个或者多个其它参考的优先级；以及在该画面的基于该优先级排序的参考列表中包含所述层间参考。
25.一种装置，包括三维视频(3DV)参考缓冲器，被配置为确定画面的层间参考相对于该画面的一个或者多个其它参考的优先级以及配置为在该画面的基于该优先级排序的参考列表中包含所述层间参考。
26.根据权利要求25所述的装置，还包括一个或更多编码器，被配置为在涉及该画面的编解码操作中使用该层间参考，以及其中3DV参考缓冲器还被配置为基于该画面的依赖性信息确定所述画面的层间参考。
全文摘要
若干实现方式涉及编码3DV内容的参考画面列表的构建。本发明的一或多个示范性实施例包括依据优化的层间依赖性结构来构建参考画面列表。另外，可以依据参考画面相对于构建参考画面列表的画面具有的冗余程度使参考画面列表具有优先级。在一个实施方式中，对于画面的层间参考确定优先级。相对于该画面的一个或更多其它参考确定该优先级。在画面的基于所述优先级排序的参考列表中包括该层间参考。
文档编号H04N7/26GK102461171SQ201080029616
公开日2012年5月16日 申请日期2010年4月30日 优先权日2009年5月1日
发明者田栋, 赖旺霖 申请人:汤姆森特许公司