多视图视频译码的制作方法
【专利摘要】本发明的方面涉及对视频数据进行译码的方法。在一实例中，所述方法包含从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息。所述方法还包含为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目。所述方法还包含基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码。
【专利说明】多视图视频译码
[0001]本发明主张2011年7月28日申请的第61/512，771号美国临时申请案的优先权，所述美国临时申请案的内容以全文应用的方式并入本文。
【技术领域】
[0002]本发明涉及视频译码。
【背景技术】
[0003]数字视频能力可并入到广泛多种装置中，包含数字电视机、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置和类似装置。数字视频装置实施视频压缩技术，例如由 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4 第 10 部分高级视频译码(AVC)界定的标准、当前在开发的高效视频译码(HEVC)标准以及此些标准的扩展中描述的那些技术。视频装置可通过实施此些视频压缩技术来较有效地发射、接收、编码、解码和/或存储数字视频信息。
[0004]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，图片或图片的一部分)分割为若干视频块，所述视频块也可称为树块、译码单元(CU)和/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。
[0005]空间或时间预测得到待译码块的预测块。残余数据表示待译码的原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本的块的运动向量以及指示经译码块与预测块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而得到残余变换系数，所述系数随后可经量化。可扫描初始以二维阵列布置的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多的压缩。
【发明内容】
[0006]大体上，本发明描述用于对视频数据进行译码的技术。举例来说，本发明描述用于执行多视图视频译码(MVC)和用于目前在开发的HEVC视频译码标准的MVC扩展的技术。也就是说，MVC是用于囊封视频数据的多个视图的视频译码技术。每一视图可对应于共同场景的对应视频数据被俘获的不同视角或角度。本发明的技术大体上涉及MVC网络抽象层(NAL)单元、MVC参数集和类似物的形成。
[0007]在一实例中，本发明的方面是针对一种对视频数据进行解码的方法，所述方法包含:从经编码位流获得经编码视频数据的多个视图分量中的每一视图分量的一个或一个以上网络抽象层(NAL)单元，其中所述多个视图分量中的每一视图分量对应于共同时间位置，且其中所述一个或一个以上NAL单元囊封相应视图分量的所述经编码视频数据的至少一部分且包含指示所述相应视图分量的解码次序的信息；从所述经编码位流且与所述NAL单元分开地获得指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息；以及基于所述所接收信息以所述解码次序对所述多个视图分量的所述经编码视频数据进行解码。
[0008]在另一实例中，本发明的方面是针对一种用于对视频数据进行解码的设备，所述设备包含一个或一个以上处理器，所述一个或一个以上处理器经配置以:从经编码位流获得经编码视频数据的多个视图分量中的每一视图分量的一个或一个以上网络抽象层(NAL)单元，其中所述多个视图分量中的每一视图分量对应于共同时间位置，且其中所述一个或一个以上NAL单元囊封相应视图分量的所述经编码视频数据的至少一部分且包含指示所述相应视图分量的解码次序的信息；从所述经编码位流且与所述NAL单元分开地获得指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息；以及基于所述所接收信息以所述解码次序对所述多个视图分量的所述经编码视频数据进行解码。
[0009]在另一实例中，本发明的方面是针对一种用于对视频数据进行解码的设备，所述设备包含:用于从经编码位流获得经编码视频数据的多个视图分量中的每一视图分量的一个或一个以上网络抽象层(NAL)单元的装置，其中所述多个视图分量中的每一视图分量对应于共同时间位置，且其中所述一个或一个以上NAL单元囊封相应视图分量的所述经编码视频数据的至少一部分且包含指示所述相应视图分量的解码次序的信息；用于从所述经编码位流且与所述NAL单元分开地获得指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息的装置；以及用于基于所述所接收信息以所述解码次序对所述多个视图分量的所述经编码视频数据进行解码的装置。
[0010]在另一实例中，本发明的方面是针对一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器:从经编码位流获得经编码视频数据的多个视图分量中的每一视图分量的一个或一个以上网络抽象层NAL单元，其中所述多个视图分量中的每一视图分量对应于共同时间位置，且其中所述一个或一个以上NAL单元囊封相应视图分量的所述经编码视频数据的至少一部分且包含指示所述相应视图分量的解码次序的信息；从所述经编码位流且与所述NAL单元分开地获得指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息；以及基于所述所接收信息以所述解码次序对所述多个视图分量的所述经编码视频数据进行解码。
[0011]在另一实例中，本发明的方面是针对一种对视频数据进行编码的方法，所述方法包含:对视频数据的相应视图的多个视图分量的视频数据进行编码，其中所述多个视图分量中的每一者对应于共同时间位置；作为经编码位流的部分而形成所述视图分量中的每一者的所述经编码视频数据的一个或一个以上网络抽象层(NAL)单元，使得所述NAL单元包含指示相应视图分量的所述视频数据的解码次序的信息且囊封所述相应视图分量的所述经编码视频数据的至少一部分；以及在所述经编码位流中与所述NAL单元分开地提供指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息。
[0012]在另一实例中，本发明的方面是针对一种用于对视频数据进行编码的设备，所述设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以:对视频数据的相应视图的多个视图分量的视频数据进行编码，其中所述多个视图分量中的每一者对应于共同时间位置；作为经编码位流的部分而形成所述视图分量中的每一者的所述经编码视频数据的一个或一个以上网络抽象层(NAL)单元，使得所述NAL单元包含指示相应视图分量的所述视频数据的解码次序的信息且囊封所述相应视图分量的所述经编码视频数据的至少一部分；以及在所述经编码位流中与所述NAL单元分开地提供指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息。
[0013]在另一实例中，本发明的方面是针对一种用于对视频数据进行编码的设备，所述设备包含:用于对视频数据的相应视图的多个视图分量的视频数据进行编码的装置，其中所述多个视图分量中的每一者对应于共同时间位置；用于作为经编码位流的部分而形成所述视图分量中的每一者的所述经编码视频数据的一个或一个以上网络抽象层(NAL)单元使得所述NAL单元包含指示相应视图分量的所述视频数据的解码次序的信息且囊封所述相应视图分量的所述经编码视频数据的至少一部分的装置；以及用于在所述经编码位流中与所述NAL单元分开地提供指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息的装置。
[0014]在另一实例中，本发明的方面是针对一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器:对视频数据的相应视图的多个视图分量的视频数据进行编码，其中所述多个视图分量中的每一者对应于共同时间位置；作为经编码位流的部分而形成所述视图分量中的每一者的所述经编码视频数据的一个或一个以上网络抽象层(NAL)单元，使得所述NAL单元包含指示相应视图分量的所述视频数据的解码次序的信息且囊封所述相应视图分量的所述经编码视频数据的至少一部分；以及在所述经编码位流中与所述NAL单元分开地提供指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息。
[0015]在另一实例中，本发明的方面是针对一种对视频数据进行解码的方法，所述方法包含:从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码。
[0016]在另一实例中，本发明的方面是针对一种用于对视频数据进行解码的设备，所述设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以:从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码。
[0017]在另一实例中，本发明的方面是针对一种用于对视频数据进行解码的设备，所述设备包括:用于从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息的装置；用于为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选的装置，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及用于基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码的装置。
[0018]在另一实例中，本发明的方面是针对一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器:从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码。
[0019]在另一实例中，本发明的方面是针对一种对视频数据进行编码的方法，所述方法包括:针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码；以及在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量。
[0020]在另一实例中，本发明的方面是针对一种用于对视频数据进行编码的设备，所述设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以:针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码；以及在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量。
[0021]在另一实例中，本发明的方面是针对一种用于对视频数据进行编码的设备，所述设备包括:用于针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息的装置；用于为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选的装置，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；用于基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码的装置；以及用于在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量的装置。[0022]在另一实例中，本发明的方面是针对一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器:针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码；以及在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量。
[0023]在附图和以下描述中陈述本发明的一个或一个以上方面的细节。从描述和图式以及从权利要求书将明了本发明中描述的技术的其它特征、目的和优点。
【专利附图】
【附图说明】
[0024]图1是图解说明可利用本发明中描述的技术的实例性视频编码和解码系统的框图。
[0025]图2是图解说明可实施本发明中描述的技术的实例性视频编码器的框图。
[0026]图3是图解说明可实施本发明中描述的技术的实例性视频解码器的框图。
[0027]图4是图解说明实例性多视图视频译码(MVC)预测模式的概念图。
[0028]图5A是图解说明可用于实施本发明的技术中的一者或一者以上的位流结构的实例的概念图。
[0029]图5B是图解说明可包含在图5A的位流结构中的视图的实例的概念图。
[0030]图5C是图解说明可包含在图5A的位流结构中的网络抽象层(NAL)单元的实例的概念图。
[0031]图是图解说明可包含在图5A的位流结构中的NAL单元的另一实例的概念图。
[0032]图6是图解说明对多视图位流进行编码的实例性方法的流程图。
[0033]图7是图解说明对多视图位流进行解码的实例性方法的流程图。
[0034]图8是图解说明对多视图位流进行编码的实例性方法的流程图。
[0035]图9是图解说明对多视图位流进行解码的实例性方法的流程图。
【具体实施方式】
[0036]根据某些视频译码系统，可使用运动估计和运动补偿来减少视频序列中的时间冗余，以便实现数据压缩。在此情况下，可产生运动向量，所述运动向量识别预测视频数据块，例如来自另一视频图片或切片的块，其可用以预测正经译码的当前视频块的值。将预测视频块的值从当前视频块的值减去以产生残余数据块。运动信息(例如，运动向量、运动向量索引、预测方向或其它信息)连同残余数据一起从视频编码器传送到视频解码器。解码器可定位同一预测块(基于运动向量)，且通过组合残余数据与预测块的数据而重构经编码视频块。
[0037]多视图视频译码(MVC)是用于囊封视频数据的多个视图的视频译码标准。大体上，每一视图对应于共同场景的对应视频数据被俘获的不同视角或角度。经译码视图可用于视频数据的三维(3D)显示。举例来说，使用不同的光偏振，可同时或近似同时显示两个视图(例如，人观察者的左眼和右眼视图)，且观察者可佩戴无源偏振眼镜以使得观察者的每一只眼接收到视图中的相应一者。或者，观察者可佩戴主动眼镜，其独立地开合每一只目艮，且显示器可与眼镜同步地在每一只眼的图像之间快速地交替。
[0038]在MVC中，特定视图的特定图片称为视图分量。也就是说，视图的视图分量对应于视图的特定时间实例。多视图视频可含有相对大量的视图间统计相依性，因为用以俘获多视图数据的所有相机从不同的视点俘获同一场景。此些相依性可用于组合式时间和/或多视图预测，其中不仅从时间相邻图像而且从来自其它视图的对应图像来预测图像。也就是说，可在同一存取单元(即，同一时间实例内)中的若干图片之间执行视图间预测。
[0039]视图间预测大体上实现为似乎另一视图中的视图分量是帧间预测参考。并非使用用于预测的“运动”向量，视图间预测利用“位移”向量，其概念上类似于运动向量，但描述位移而不是运动。潜在的视图间参考是在序列参数集(SPS)MVC扩展中用信号表示，且可通过参考图片列表构造过程来修改，所述过程实现帧间预测或视图间预测参考的灵活排序。
[0040]包含MVC视频数据的视频数据可经组织为网络抽象层(NAL)单元，其提供“网络友好”的视频表示，以解决例如视频电话、存储、广播或流式传输等应用。举例来说，视频编码器通常将每一视频数据图片编码为一个或一个以上可独立解码的切片。切片可经封装为NAL单元以用于在网络上的发射。包含视频译码层(VCL)数据的NAL单元可包含用于图片的数据或用于图片的切片的数据。举例来说，NAL单元可包含语法信息，例如经译码块样式(CBP)值、块类型、译码模式、经译码单元(例如帧、切片、块或序列)的最大块大小，或其它信息。
[0041]每一 NAL单元包含识别存储在所述NAL单元中的数据类型的标头。实例MVC NAL单元标头可包含语法元素，其指示NAL单元所属于的视图的视图识别符、NAL单元是否属于可用作随机存取点(供其它视图分量进行参考)的所谓的锚点图片、NAL单元是否用于其它视图中的NAL单元的视图间预测，以及多种其它信息。如本文描述，锚点图片可大体上对应于随机存取图片，且此些术语可以可互换方式使用。也就是说，“随机存取”大体上指代在除了位流的开始之外的点处开始所述流的解码过程的动作。随机存取图片大体上涉及仅含有经帧内译码切片(I切片)的图片。在解码次序和输出次序两者上跟随随机存取图片的经译码图片在解码次序或输出次序上不是从所述随机存取图片之前的图片来预测。
[0042]大体上，存取单元可包含特定时间实例的所有视图分量。特定视图分量包含特定时间实例处的特定视图的所有NAL单元。MVC NAL单元可含有一个字节NAL单元标头(包含NAL单元类型)且可进一步包含MVC NAL单元标头扩展。
[0043]虽然H.264/AVC包含MVC支持，但对H.264/AVC的当前MVC扩展可含有相对于其它视频译码标准的若干低效。而且，如下文更详细论述，MVC从H.264/AVC到例如即将到来的HEVC标准等其它译码标准的直接导入可能是不可行的。本发明的技术大体上涉及MVC相关NAL单元、MVC相关参数集和类似物的形成。本发明的某些技术可实现即将到来的HEVC标准的高效MVC译码。
[0044]图1是图解说明可利用多视图译码中用于运动向量预测的技术的实例性视频编码和解码系统10的框图。如图1所示，系统10包含源装置12，所述源装置12提供经编码视频数据以由目的地装置14在稍后时间解码。特定来说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛多种装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似装置。在一些情况下，源装置12和目的地装置14可针对无线通信而装备。
[0045]目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14。
[0046]经编码视频数据可根据例如无线通信协议等通信标准而调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或者一种或一种以上物理传输线。通信媒体可形成基于包的网络的部分，所述网络例如为局域网、广域网或例如因特网的全球网。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
[0047]在一些实例中，经编码数据可从输出接口 22输出到存储装置。类似地，经编码数据可通过输入接口从存储装置存取。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬驱动器、蓝光光盘、DVD、⑶-ROM、快闪存储器、易失性或非易失性存储器，或任何其它合适的用于存储经编码视频数据的数字存储媒体。在又一实例中，存储装置可对应于文件服务器或另一中间存储装置，其可存储由源装置12产生的经编码视频。
[0048]目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任一类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)存取经编码视频数据。这可包含适于存取存储在文件服务器上的经编码视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等等)或两者的组合。经编码视频数据从存储装置的发射可为流式发射、下载发射或其组合。
[0049]本发明的技术不一定限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一种，例如空中电视广播、闭路电视发射、卫星电视发射、因特网流式传输视频发射(例如，经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
[0050]在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。目的地装置14包含输入接口 28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用多视图译码中用于运动向量预测的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18接收视频数据，外部视频源例如外部相机。同样，目的地装置14可与外部显示装置介接，而不是包含集成显示装置。
[0051]图1图解说明的系统10仅是一个实例。多视图译码中用于运动向量预测的技术可由任一数字视频编码和/或解码装置执行。虽然大体上本发明的技术由视频编码装置执行，但所述技术也可由通常称为“编解码器”的视频编码器/解码器执行。而且，本发明的技术也可由视频预处理器执行。源装置12和目的地装置14仅是此类译码装置的实例，其中源装置12产生经译码视频数据以用于发射到目的地装置14。在一些实例中，装置12、14可以大体上对称方式操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如用于视频流式传输、视频重放、视频广播或视频电话。
[0052]源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前俘获的视频的视频档案和/或用以从视频内容提供者接收视频的视频馈送接口。作为又一替代，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、经归档视频和计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而如上文提到，本发明中描述的技术可大体上适用于视频译码，且可适用于无线和/或有线应用。在每一情况下，所俘获、预俘获或计算机产生的视频可由视频编码器20编码。经编码视频信息可随后由输出接口 22输出到计算机可读媒体16上。
[0053]计算机可读媒体16可包含瞬态媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且可例如经由网络发射将经编码视频数据提供到目的地装置14。类似地，例如光盘冲压设施等媒体生产设施的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一个或一个以上计算机可读媒体。
[0054]目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述信息也由视频解码器30使用，包含描述块和其它经译码单元(例如，G0P)的特性和/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(IXD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
[0055]视频编码器20和视频解码器30在适当时各自可实施为多种合适编码器或解码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任一组合。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中，其中任一者可集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。
[0056]虽然图1中未图示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
[0057]在图1中所示的实例中，系统10还包含具有路由器36的服务器/内容递送网络34。在一些实例中，源装置12可经由多种无线和/或有线发射或存储媒体与服务器/内容递送网络34通信，如上文所述。而且，虽然在图1的实例中单独地展示，但在一些实例中，源装置12和服务器/内容递送网络34包括同一装置。服务器/内容递送网络34可存储经译码视频数据(来自源装置12的视频编码器20)的一个或一个以上版本，且可使此些经译码视频数据可用于由目的地装置14和视频解码器30存取。在一些实例中，路由器36可负责将经译码视频数据以所请求格式提供到目的地装置14。
[0058]视频编码器20和视频解码器30可根据例如当前在开发的高效视频译码(HEVC)标准等视频译码标准来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据例如ITU-T H.264标准(或者称为MPEG-4第10部分高级视频译码(AVC))等其它专门或行业标准或此些标准的扩展来操作。然而本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。
[0059]ITU-T H.264/MPEG-4 (AVC)标准是由 ITU-T 视频译码专家组(VCEG)连同 IS0/IEC动画专家组(MPEG) —起制订作为称为联合视频小组(JVT)的合作伙伴关系的产品。在一些方面中，本发明中描述的技术可应用于大体上符合H.264标准的装置。H.264标准由ITU-T研究组在ITU-T建议H.264用于一般视听服务的高级视频译码中描述且日期为2005年3月，其在本文可称为H.264标准或H.264规范或者H.264/AVC标准或规范。联合视频小组(JVT)持续致力于对H.264/MPEG-4AVC的扩展。
[0060]JCT-VC正致力于HEVC标准的开发。HEVC标准化努力是基于称为HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置相对于符合例如ITU-TH.264/AVC的现存装置的若干额外能力。举例来说，H.264提供9种帧内预测编码模式，而HM可提供多达33种帧内预测编码模式。
[0061]大体上，HM的工作模型描述了可将视频图片划分为包含亮度和色度样本两者的树块或最大译码单元(LCU)的序列。位流内的语法数据可界定LCU的大小，其为在像素数目方面的最大译码单元。切片包含若干在译码次序上连续的树块。图片可经分割为一个或一个以上切片。每一树块可根据四叉树而分裂为若干译码单元(CU)。大体上，四叉树数据结构每⑶包含一个节点，其中根节点对应于树块。如果⑶经分裂为四个子⑶，那么对应于CU的节点包含四个叶节点，其中每一者对应于子CU中的一者。
[0062]四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于节点的CU是否经分裂为子CU。CU的语法元素可递归地界定，且可取决于⑶是否经分裂为子⑶。如果⑶未经进一步分裂，那么其称为叶⑶。在本发明中，即使不存在原始叶CU的显式分裂，叶CU的四个子CU也将称为叶CU。举例来说，如果16x16大小的⑶未经进一步分裂，那么尽管16x16⑶从未分裂，四个8x8子⑶也将称为叶CU。
[0063]CU具有与H.264标准的宏块类似的目的，不同的是CU不具有大小区别。举例来说，树块可经分裂为四个子节点(也称为子CU)，且每一子节点又可为母节点且分裂为另外四个子节点。称为四叉树的叶节点的最终未经分裂的子节点包括译码节点，也称为叶CU。与经译码位流相关联的语法数据可界定树块可经分裂的最大次数，称为最大CU深度，且也可界定译码节点的最小大小。因此，位流也可定义最小译码单元(SCU)。本发明使用术语“块”来指代HEVC上下文中的CU、PU或TU中的任一者，或其它标准的上下文中的类似数据结构(例如，H.264/AVC中的宏块及其子块)。
[0064]CU包含译码节点以及与译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小且形状必须为正方形。CU的大小的范围可为从8x8像素直到具有最大64x64像素或更大的树块的大小。每一⑶可含有一个或一个以上PU和一个或一个以上TU。与CU相关联的语法数据可描述例如CU分割为一个或一个以上TO。分割模式在⑶经跳过或直接模式编码、经帧内预测模式编码还是经帧间预测模式编码之间可不同。PU可经分割为非正方形的形状。与CU相关联的语法数据还可描述例如CU根据四叉树而分割为一个或一个以上TU。TU可为正方形或非正方形(例如，矩形)的形状。
[0065]HEVC标准允许根据TU的变换，所述TU对于不同⑶可为不同的。TU通常基于为经分割IXU界定的给定⑶内的I3U的大小来定大小，但情况可能并非总是这样。TU通常与PU大小相同或小于PU。在一些实例中，使用称为“残余四叉树”(RQT)的四叉树结构，对应于CU的残余样本可经再分为较小的单元。RQT的叶节点可称为变换单元(TU)。与TU相关联的像素差值可经变换以产生可经量化的变换系数。
[0066]叶⑶可包含一个或一个以上预测单元(PU)。大体上，I3U表示对应于对应⑶的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。而且，PU包含与预测相关的数据。举例来说，当PU经帧内模式编码时，的数据可包含在残余四叉树(RQT)中，其可包含描述对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，可包含界定PU的一个或一个以上运动向量的数据。界定的运动向量的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，和/或运动向量的参考图片列表(例如，列表O、列表I或列表C)。
[0067]具有一个或一个以上PU的叶⑶还可包含一个或一个以上变换单元(TU)。变换单元可使用RQT (也称为TU四叉树结构)来指定，如上文论述。举例来说，分裂旗标可指示叶CU是否经分裂为四个变换单元。随后，每一变换单元可进一步分裂为另外的子TU。当TU未经进一步分裂时，其可称为叶TU。大体上，对于帧内译码，属于叶CU的所有叶TU共享同一帧内预测模式。也就是说，同一帧内预测模式大体上适用于计算叶CU的所有TU的预测值。对于帧内译码，视频编码器20可使用帧内预测模式计算每一叶TU的残余值，作为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，可对PU分配同一 CU的对应叶TU。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。
[0068]而且，叶⑶的TU也可与称为残余四叉树(RQT)的相应四叉树数据结构相关联。也就是说，叶CU可包含指示叶CU如何经分割为TU的四叉树。TU四叉树的根节点大体上对应于叶CU，而CU四叉树的根节点大体上对应于树块(或LCU)。RQT的未经分裂的TU称为叶TU0大体上，本发明使用术语⑶和TU来分别指代叶⑶和叶TU，除非另外说明。
[0069]视频序列通常包含一系列图片。如本文使用，“图片”和“帧”可以可互换方式使用。也就是说，含有视频数据的图片可称为视频帧或简称为“帧”。图片群组(GOP)通常包括一系列一个或一个以上视频图片。GOP可在GOP的标头、一个或一个以上图片的标头或其它地方包含描述所述GOP中包含的图片数目的语法数据。图片的每一切片可包含描述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。
[0070]作为一实例，HM支持各种I3U大小下的预测。假定特定⑶的大小为2Nx2N，则HM支持2Nx2N或NxN的PU大小的帧内预测以及2Nx2N、2NxN、Nx2N或NxN的对称I3U大小的帧间预测。HM还支持2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，⑶的一个方向未分割，而另一方向分割为25%和75%。⑶的对应于25%分区的部分由“η”指示，随后是“上”、“下”、“左”或“右”的指示。因此，举例来说，“2NxnU”指代经水平分割的2Nx2N CU，其中顶部为2Nx0.5N PU且底部为2Nxl.5N PU。
[0071]在本发明中，“NxN”和“N乘N”可以互换地使用以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16x16像素或16乘16像素。大体上，16x16块将在垂直方向上具有16个像素(y=16)且在水平方向上具有16个像素(x=16)。同样，NxN块通常在垂直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可以若干行和列布置。而且，块无需一定在水平方向上具有与垂直方向上相同数目的像素。举例来说，块可包括NxM个像素，其中M不一定等于N。
[0072]在使用⑶的PU的帧内预测或帧间预测译码之后，视频编码器20可计算⑶的TU的残余数据。PU可包括描述产生空间域(也称为像素域)中的预测性像素数据的方法或模式的语法数据，且TU可包括例如在对残余视频数据应用例如离散余弦变换(DCT)、整数变换、小波变换等变换或概念上类似的变换后的变换域中的系数。残余数据可对应于未经编码图片的像素之间的像素差和对应于PU的预测值。视频编码器20可形成包含CU的残余数据的TU，且随后变换TU以产生⑶的变换系数。
[0073]在任何变换以产生变换系数后，视频编码器20可执行变换系数的量化。量化大体上指代其中变换系数经量化以可能地减少用以表示所述系数的数据量从而提供进一步压缩的过程。量化过程可产生与系数中的一些或全部相关联的位深度。举例来说，在量化期间可将η位值下舍入到m位值，其中η大于m。
[0074]在量化之后，视频编码器可扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。所述扫描可经设计以将较高能量(且因此较低频率)系数放置于阵列的前部，且将较低能量(且因此较高频率)系数放置于阵列的后部。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可经熵编码的经串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30用于对视频数据进行解码。
[0075]为了执行CABAC，视频编码器20可将上下文模型内的上下文指派于待发射的符号。所述上下文可例如涉及符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待发射符号选择可变长度译码。VLC中的码字可经构造以使得相对较短的码对应于较可能的符号，而较长的码对应于较不可能的符号。以此方式，VLC的使用可例如针对待发射的每一符号使用相等长度码字来实现位节省。概率确定可基于对符号指派的上下文。
[0076]视频编码器20可进一步例如在图片标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于图片的语法数据和基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的图片数目，且图片语法数据可指示用以对对应图片进行编码的编码/预测模式。
[0077]在一些实例中，视频编码器20可产生某些参数集且视频解码器30可接收某些参数集，其可在对视频数据进行解码时使用。举例来说，参数集可含有(序列参数集(SPS))中的序列层级标头信息以及(图片参数集(PPS))中的不频繁改变的图片层级标头信息。通过参数集(例如，PPS和SPS)，不频繁改变的信息无需针对每一序列(图片序列)或图片重复，因此可改善译码效率。此外，参数集的使用可实现重要标头信息的带外发射，从而不需要冗余发射来实现错误弹性。在带外发射实例中，参数集NAL单元可在与例如补充增强信息(SEI)NAL单元等其它NAL单元不同的信道上发射的。
[0078]SEI NAL单元(称为SEI消息)可含有对于对来自VCL NAL单元的经译码图片样本进行解码并非必要但可帮助与解码、显示、错误弹性和其它目的相关的过程的信息。SEI消息可含于非VCL NAL单元中。SEI消息可包含在一些标准规范的标准化部分中，且因此对于标准顺应解码器实施方案并非总是强制的。SEI消息可为序列层级SEI消息或图片层级SEI消息。一些序列层级信息可含于SEI消息中，例如在SVC的实例中的可缩放性信息SEI消息和MVC中的视图可缩放性信息SEI消息。
[0079]在一些实例中，视频编码器20可对符合H.264/AVC的MVC扩展的MVC位流进行编码。同样，视频解码器30可对符合H.264/AVC的MVC扩展的MVC位流进行解码。MVC的最新联合草案在2008年I月到2月瑞士日内瓦第30届JVT会议的JVT-AD007 “ITU-T推荐 H.264 的编者草案修订，IS0/IEC14496-10 高级视频译码(Editors' draft revisionto ITU-T Rec.Η.264 | IS0/IEC14496-10Advanced Video Coding) ” 中描述，其从 http://wftp3.1tu.1nt/av-arch/jvt-site/2009_01_Geneva/JVT-AD007 公开可得。
[0080]在H.264/AVC的可缩放扩展中，可在NAL单元标头扩展中添加语法元素以将NAL单元标头从一个字节延伸到四个字节以描述VCL NAL单元在多个维度中的特性。因此，HEVC中的VCL NAL单元可包含比H.264/AVC标准中的NAL单元标头长的NAL单元标头。H.264/AVC的MVC扩展在本发明中可称为“MVC/AVC”。
[0081 ] MVC/AVC NAL单元可含有一个字节NAL单元标头(包含NAL单元类型)以及MVC/AVC NAL单元标头扩展。作为一个实例，MVC/AVC NAL单元标头扩展可包含以下表1中的语法元素:
[0082]表1-NAL单元标头扩展语法
[0083]
【权利要求】
1.一种对视频数据进行解码的方法，其包括: 从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息； 为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及 基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码。
2.根据权利要求1所述的方法，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅获得一次。
3.根据权利要求1所述的方法，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅包含一次，且其中包含所述一个或一个以上参考视图的视图分量作为参考候选包括将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表。
4.根据权利要求1所述的方法，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。
5.根据权利要求4所述的方法，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图`次序索引之间的差。
6.根据权利要求1所述的方法，其中获得所述参考视图信息包括在序列层级获得所述参考视图信息。
7.根据权利要求6所述的方法，其中获得所述参考视图信息包括在序列层级获得每一视图的所述参考视图信息。
8.根据权利要求6所述的方法，其中在所述序列层级获得所述参考视图信息包括获得序列参数集SPS中的所述一个或一个以上参考视图的视图次序索引。
9.根据权利要求1所述的方法，其进一步包括基于所述一个或一个以上参考视图包含在所述参考视图信息中的次序将同一存取单元的视图分量添加到第一参考图片列表的第一初始列表和第二参考图片列表的第二初始列表中的一者中。
10.根据权利要求1所述的方法，其进一步包括将所述一个或一个以上参考候选重排序到最终参考图片列表的任一位置。
11.根据权利要求1所述的方法，其中重排序所述一个或一个以上参考候选是基于所述参考视图信息。
12.根据权利要求1所述的方法，其进一步包括从最终参考图片列表排除所述一个或一个以上参考候选。
13.一种用于对视频数据进行解码的设备，所述设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以: 从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息； 为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及 基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行 解码。
14.根据权利要求13所述的设备，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅获得一次。
15.根据权利要求13所述的设备，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅包含一次，且其中为了包含所述一个或一个以上参考视图的视图分量作为参考候选，所述一个或一个以上处理器经配置以将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表。
16.根据权利要求13所述的设备，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。
17.根据权利要求16所述的设备，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。
18.根据权利要求13所述的设备，其中为了获得所述参考视图信息，所述一个或一个以上处理器经配置以在序列层级获得所述参考视图信息。
19.根据权利要求18所述的设备，其中为了获得所述参考视图信息，所述一个或一个以上处理器经配置以在序列层级获得每一视图的所述参考视图信息。
20.根据权利要求18所述的设备，其中为了在所述序列层级获得所述参考视图信息包括，所述一个或一个以上处理器经配置以获得序列参数集SPS中的所述一个或一个以上参考视图的视图次序索引。
21.根据权利要求13所述的设备，所述一个或一个以上处理器进一步经配置以基于所述一个或一个以上参考视图包含在所述参考视图信息中的次序将同一存取单元的视图分量添加到第一参考图片列表的第一初始列表和第二参考图片列表的第二初始列表中的一者中。
22.根据权利要求13所述的设备，所述一个或一个以上处理器进一步经配置以将所述一个或一个以上参考候选重排序到最终参考图片列表的任一位置。
23.根据权利要求13所述的设备，其中所述一个或一个以上处理器经配置以基于所述参考视图信息来重排序所述一个或一个以上参考候选。
24.根据权利要求13所述的设备，所述一个或一个以上处理器经配置以从最终参考图片列表排除所述一个或一个以上参考候选。
25.一种用于对视频数据进行解码的设备，所述设备包括: 用于从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息的装置；用于为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选的装置，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及 用于基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码的装置。
26.根据权利要求25所述的设备，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅获得一次。
27.根据权利要求25所述的设备，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅包含一次，且其中用于包含所述一个或一个以上参考视图的视图分量作为参考候选的装置包括用于将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表的装置。
28.根据权利要求25所述的设备，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。
29.根据权利要求28所述的设备，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。
30.一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器: 从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参·考视图的参考视图信息； 为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及 基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码。
31.根据权利要求30所述的非暂时性计算机可读存储媒体，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅获得一次。
32.根据权利要求30所述的非暂时性计算机可读存储媒体，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅包含一次，且其中为了包含所述一个或一个以上参考视图的视图分量作为参考候选，所述指令致使所述一个或一个以上处理器将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表。
33.根据权利要求30所述的非暂时性计算机可读存储媒体，其中所述参考视图信息针对每一参考视图包括指不存取单兀内的视图的解码次序的视图次序索引的指不。
34.根据权利要求33所述的非暂时性计算机可读存储媒体，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。
35.一种对视频数据进行编码的方法，其包括: 针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息； 为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目； 基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码；以及 在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量。
36.根据权利要求35所述的方法，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅提供一次。
37.根据权利要求35所述的方法，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅提供一次，且其中包含所述一个或一个以上参考视图的视图分量作为参考候选包括将相同视图分量添加到所述第一参考图片列表和所述第二参 考图片列表。
38.根据权利要求35所述的方法，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。
39.根据权利要求38所述的方法，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。
40.根据权利要求35所述的方法，其中提供所述参考视图信息包括在序列层级提供所述参考视图信息。
41.根据权利要求40所述的方法，其中提供所述参考视图信息包括在序列层级提供每一视图的所述参考视图信息。
42.根据权利要求40所述的方法，其中在所述序列层级提供所述参考视图信息包括提供序列参数集SPS中的所述一个或一个以上参考视图的视图次序索引。
43.根据权利要求35所述的方法，其进一步包括基于所述一个或一个以上参考视图包含在所述参考视图信息中的次序将同一存取单元的视图分量添加到第一参考图片列表的第一初始列表和第二参考图片列表的第二初始列表中的一者中。
44.根据权利要求35所述的方法，其进一步包括将所述一个或一个以上参考候选重排序到最终参考图片列表的任一位置。
45.根据权利要求35所述的方法,其中重排序所述一个或一个以上参考候选是基于所述参考视图信息。
46.根据权利要求35所述的方法，其进一步包括从最终参考图片列表排除所述一个或一个以上参考候选。
47.一种用于对视频数据进行编码的设备，所述设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以: 针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息； 为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目； 基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码；以及 在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量。
48.根据权利要求47所述的设备，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅提供一次。
49.根据权利要求47所述的设备，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅提供一次，且其中为了包含所述一个或一个以上参考视图的视图分量作为参考候选，所述一个或一个以上处理器经配置以将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表。
50.根据权利要求47所述的设备，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。
51.根据权利要求50所述的设备，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。
52.根据权利要求47所述的设备，其中为了提供所述参考视图信息，所述一个或一个以上处理器经配置以在序列层级提供所述参考视图信息。
53.根据权利要求52所述的设备，其中为了提供所述参考视图信息，所述一个或一个以上处理器经配置以在序列层级提供每一视图的所述参考视图信息。
54.根据权利要求52所述的设备，其中为了在所述序列层级提供所述参考视图信息，所述一个或一个以上处理器经配置以提供序列参数集SPS中的所述一个或一个以上参考视图的视图次序索引。
55.根据权利要求47所述的设备，所述一个或一个以上处理器进一步经配置以基于所述一个或一个以上参考视图包 含在所述参考视图信息中的次序将同一存取单元的视图分量添加到第一参考图片列表的第一初始列表和第二参考图片列表的第二初始列表中的一者中。
56.根据权利要求47所述的设备，所述一个或一个以上处理器进一步经配置以将所述一个或一个以上参考候选重排序到最终参考图片列表的任一位置。
57.根据权利要求47所述的设备，其中所述一个或一个以上参考候选的所述重排序是基于所述参考视图信息。
58.根据权利要求47所述的设备，其中所述一个或一个以上处理器进一步经配置以从最终参考图片列表排除所述一个或一个以上参考候选。
59.一种用于对视频数据进行编码的设备，所述设备包括: 用于针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息的装置； 用于为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选的装置，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目； 用于基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码的装置；以及 用于在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量的装置。
60.根据权利要求59所述的设备，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅提供一次。
61.根据权利要求59所述的设备，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅提供一次，且其中用于包含所述一个或一个以上参考视图的视图分量作为参考候选的装置包括用于将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表的装置。
62.根据权利要求59所述的设备，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。
63.根据权利要求62所述的设备，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。
64.一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器: 针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息； 为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目； 基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码；以及 在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量。
65.根据权利要求64所述的非暂时性计算机可读存储媒体，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅提供一次。
66.根据权利要求64所述的非暂时性计算机可读存储媒体，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅提供一次，且其中为了包含所述一个或一个以上参考视图的视图分量作为参考候选，所述指令致使所述一个或一个以上处理器将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表。
67.根据权利要求64所述的非暂时性计算机可读存储媒体，其中所述参考视图信息针对每一参考视图包括指不存取单兀内的视图的解码次序的视图次序索引的指不。
68.根据权利要求67所述的非暂时性计算机可读存储媒体，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。`
【文档编号】H04N19/625GK103718561SQ201280037706
【公开日】2014年4月9日 申请日期:2012年7月27日 优先权日:2011年7月28日
【发明者】陈盈, 马尔塔·卡切维奇 申请人:高通股份有限公司