三维视频编解码器中的深度图的切片标头预测的制作方法

三维视频编解码器中的深度图的切片标头预测的制作方法
【专利摘要】在一个实例中，视频译码器经配置以对第一切片进行译码，其中所述第一切片包括纹理切片和对应的深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的完整语法元素。所述视频译码器进一步经配置以从所述第一切片的所述切片标头确定第二切片的共同语法元素。所述视频译码器还经配置以在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行译码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
【专利说明】三维视频编解码器中的深度图的切片标头预测
[0001]本申请案主张2011年7月22日申请的第61/510，738号美国临时申请案、2011年8月11日申请的第61/522，584号美国临时申请案、2011年11月26日申请的第61/563，772号美国临时申请案以及2012年4月13日申请的第61/624，031号美国临时申请案的权益，所述申请案中的每一者以全文引用的方式并入本文中。
【技术领域】
[0002]本发明涉及视频译码领域，例如，对三维视频数据进行译码。
【背景技术】
[0003]数字视频能力可并入到大范围的装置中，包含数字电视、数字直播系统、例如无线电电话手持机等无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台等。数字视频装置实施若干视频压缩技术，例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分、高级视频译码(AVC)，从而更高效地发射和接收数字视频。视频压缩技术执行空间预测和时间预测以减少或移除视频序列中所固有的冗余。
[0004]视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将一视频帧或切片分割成若干宏块。可进一步分割每一宏块。使用关于相邻宏块的空间预测编码经帧内译码的(I)帧或切片中的宏块。经帧间译码的(P或B)帧或切片中的宏块可使用关于同一帧或切片中的相邻宏块的空间预测或关于其它参考帧的时间预测。
[0005]在已将视频数据编码之后，可将所述视频数据包化以用于发射或存储。可将所述视频数据组配为符合多种标准中的任一者的视频文件，例如国际标准化组织(ISO)基础媒体文件格式及其扩展形式，例如AVC。
[0006]已经作出努力开发基于H.264/AVC的新视频译码标准。一种此类标准是可缩放视频译码(SVC)标准，其为对H.264/AVC的可缩放扩展。另一标准是多视图视频译码(MVC)，其已变为对H.264/AVC的多视图扩展。在2008年7月德国的汉诺威的第28届JVT会议的JVT-AB204 “多视图视频译码联合草案8.0 (Joint Draft 8.0 on MultiviewVideo Coding) ” 中描述了 MVC 的联合草案，这在 http://wftp3.1tu.1nt/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip 处可以获得。在 2009 年 2 月瑞 士的日内瓦的第 30 届 JVT 会议的 JVT-AD007 “对 ITU-T Rec.H.264 | IS0/IEC 14496-10 高级视频译码的编辑者的草案修订-为ITU-T SG 16 AAP达成一致做准备(以整合形式)(Editors' draft revision to ITU-T Rec.Η.2641IS0/IEC 14496-10 Advanced VideoCoding-1n preparation for ITU-T SG 16 AAP Consent (in integrated form))，，中描述了 AVC 标准的版本，这在 http://wftp3.1tu.1nt/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip处可以获得。此文献将SVC和MVC整合于AVC规格中。
【发明内容】

[0007]一般来说，本发明描述用于支持三维(3D)视频再现的技术。具体来说，本发明的技术涉及对3D视频内容进行译码和解码。本发明还提出用于视频数据的经译码块单元的信令技术。举例来说，本发明提出将包含于纹理视图分量的切片标头中的语法元素再用于对应的深度视图分量。另外，本发明提出将深度视图分量的切片标头信息中的语法元素再用于纹理视图分量。
[0008]在3D编解码器中，特定时刻中的视频解码的每一视图的视图分量可包含纹理视图分量和深度视图分量。纹理视图分量可包含明度⑴分量和色度(Cb和Cr)分量。明度(亮度)和色度(色彩)分量在本文统称为“纹理”分量。深度视图分量可来自图像的深度图。在3D图像再现中，深度图包含表示例如用于对应的纹理分量的深度值深度分量。深度视图分量可用于从所提供的观看角度产生虚拟视图。
[0009]深度分量和纹理分量的语法元素可与经译码块单元一起用信号发送。经译码块单元(在本发明中还被简称为“经译码块”)可对应于ITU-T H.264/AVC(高级视频译码)中的宏块或高效率视频译码(HEVC)的译码单元。
[0010]在一方面中，一种解码方法包含接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述方法进一步包含接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述方法进一步包括:对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的完整语法元素；以及从所述第一切片的所述切片标头确定第二切片的共同语法元素。所述方法可进一步包含在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
[0011]在另一方面中，一种用于对数据进行解码的装置包含视频解码器，所述视频解码器经配置以:接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素；接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的完整语法元素；从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及在对所述第一切片进行解码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
[0012]在另一方面中，一种计算机程序产品包括计算机可读存储媒体，所述计算机可读存储媒体在其上存储有指令，所述指令在被执行时致使视频解码装置的处理器:接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述指令进一步致使所述视频解码装置的所述处理器:接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述指令进一步致使所述视频解码装置的所述处理器:对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；以及从所述第一切片的所述切片标头确定第二切片的共同语法元素。所述指令进一步致使所述视频解码装置的所述处理器:在对所述第一切片进行解码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
[0013]在另一方面中，提供一种装置，所述装置包括用于接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片的装置，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述装置进一步包括用于接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片的装置，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述装置进一步包括用于对第一切片进行解码的装置，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素。所述装置进一步包括用于在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码的装置，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
[0014]在一个方面中，一种编码方法包含接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述方法进一步包含接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述方法进一步包括:对第一切片进行编码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；以及从所述第一切片的所述切片标头确定第二切片的共同语法元素。所述方法可进一步包含在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
[0015]在另一方面中，一种用于对数据进行编码的装置包含视频编码器，所述视频编码器经配置以:接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素；接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述视频编码器进一步经配置以对第一切片进行编码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
[0016]在另一方面中，一种计算机程序产品包括计算机可读存储媒体，所述计算机可读存储媒体在其上存储有指令，所述指令在被执行时致使视频编码装置的处理器:接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述指令进一步致使所述视频编码装置的所述处理器:接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述指令进一步致使所述视频编码装置的所述处理器:对第一切片进行编码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；以及从所述第一切片的所述切片标头确定第二切片的共同语法元素。所述指令进一步致使所述视频编码装置的所述处理器:在对所述第一切片进行解码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
[0017]在另一方面中，提供一种装置，所述装置包括用于接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片的装置，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述装置进一步包括用于接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片的装置，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述装置进一步包括用于对第一切片进行解码的装置，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素。所述装置进一步包括用于从所述第一切片的所述切片标头确定第二切片的共同语法元素的装置。所述装置进一步包括用于在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码的装置，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
[0018]本发明中所描述的技术的各方面可以硬件、软件、固件，或其任何组合来实施。如果以软件来实施，则可在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)或其它等效集成或离散逻辑电路等可涉及一个或一个以上处理器的处理器中执行软件。可最初将包括用以执行所述技术的指令的软件存储于计算机可读媒体中且在处理器中加载并执行。
[0019]因此，本发明还预期包括用以致使处理器执行本发明中所描述的多种技术中的任一者的指令的计算机可读媒体。在一些情况下，所述计算机可读媒体可形成计算机程序产品的一部分，可将所述计算机程序产品出售给制造商和/或用于装置中。所述计算机程序产品可包含计算机可读媒体，且在一些情况下，还可包含封装材料。
[0020]本发明还可适用于携载信息的电磁信号。举例来说，电磁信号可包括与用于内插参考样本的子整数像素的值的全像素支持相关的信息。在一些实例中，可从或通过实施本文中所描述的技术的装置来产生或传输信号。在其它实例中，本发明可适用于可在实施本文中所描述的技术的装置处接收的信号。
[0021]本发明的一个或一个以上方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。
【专利附图】

【附图说明】
[0022]图1是说明根据本发明的技术的视频编码和解码系统的一个实例的框图。
[0023]图2是进一步详细地说明根据本发明的技术的图1的视频编码器的一实例的框图。
[0024]图3是根据本发明的技术的用于多视图视频译码的MVC预测结构的一个实例的图。
[0025]图4是说明根据本发明的技术的视频编码器的实例性操作的流程图。[0026]图5是进一步详细地说明根据本发明的技术的图1的视频解码器的一实例的框图。
[0027]图6是说明根据本发明的技术的视频解码器的实例性操作的流程图。
【具体实施方式】
[0028]本发明描述在视频编码或解码过程的至少帧间预测阶段期间编码器可应用且解码器可使用的信令技术。所描述的技术涉及三维(“3D”)视频内容的译码。可将所述3D视频内容例如表示为多视图视频加深度(“MVD”)经译码块。也就是说，可应用这些技术对类似于多视图视频译码(MVC)位流的位流进行编码或解码，其中MVC位流的任何或所有视图可进一步包含深度信息。
[0029]更具体来说，根据本发明的一些技术涉及接收至少一个具有纹理视图分量和深度视图分量的二维图像。一些纹理视图分量和深度视图分量可一起被编码为单个经译码块或单独的块。可将图像分解为若干图像切片。可在切片标头中用信号发送用于对纹理视图分量进行译码的语法元素。可从纹理视图分量的对应于深度视图分量的语法元素来预测深度视图分量的一些语法元素。本发明的技术涉及对用于基于二维视频数据的所估计的深度图数据从二维视频数据再现三维视频数据的数据的编码、解码和信令。在一些实例中，使用与用于对深度信息进行编码的技术不同的技术对纹理视图分量进行编码。在本发明中，术语“译码”可指编码和解码中的任一者或两者。
[0030]基于深度估计和虚拟视图合成的视频转换用于产生3D图像，例如用于3D视频应用。具体来说，可使用场景的虚拟视图来产生场景的3D视图。常规上通过在合成场景的虚拟视图之前估计对象深度值而实现基于场景的现有视图产生所述虚拟视图。深度估计是从立体对或单视场内容估计对象与相机平面之间的绝对或相对距离的过程。如本文中所使用，深度信息包含有用于形成三维视频的信息，例如深度图(例如，基于每个像素的深度值)或取景视差图(例如，基于每个像素的水平视差)。
[0031]所估计的深度信息(通用通过灰度级图表示)可用于使用基于深度图像的再现(DIBR)技术来产生任意角度的虚拟视图。与其中多视图序列面临着高效的视图间压缩的挑战的传统三维电视(3DTV)系统相比，基于深度图的系统可通过传输可被高效编码的仅一个或数个视图以及深度图而减少带宽的使用。在将深度图用于视图合成中之前，用于基于深度图的转换中的深度图可为可由终端用户控制的(例如，通过缩放)。可产生具有不同量的感知深度的自定义虚拟视图。而且，可使用单视场视频来执行对深度的估计，其中仅一个视图2D内容可用。
[0032]可应用本文中所描述的技术从存储于同一视图的位于同一地点的纹理视图分量的切片标头中的语法元素来预测深度视图分量的语法元素。举例来说，深度切片和纹理切片所共同的语法元素的值可包含于纹理视图分量的切片标头中，而不包含于相关联的深度视图分量的切片中。也就是说，视频编码器或解码器可对纹理视图分量的切片标头中的不存在于深度视图分量的切片标头中的深度切片和纹理切片所共同的语法元素进行译码。举例来说，可为纹理视图分量的切片标头中的第一语法元素提供第一值。深度视图分量的切片标头也共享第一语法元素，从而意味着所述第一语法元素对于纹理切片标头和深度切片标头来说是共同的。深度视图分量的第一语法元素具有第二值。然而，深度视图分量的切片标头不包含所述第一语法元素。根据本文中所描述的技术，可从所述第一值预测所述第
一语法元素的第二值。
[0033]在一些实例中，仅针对深度视图分量的切片标头用信号发送切片的图片参数集(PPS) id和增量量化参数(QP)。在其它实例中，除了 PPS识别和增量QP之外，用信号发送参考图片列表建构的进一步信息。从纹理视图分量的切片标头继承或确定其它语法元素。在一些实例中，将共同语法元素的值设定为与对应的语法元素相同。也就是说，将深度视图分量的切片标头的其它语法元素设定为等于对应的纹理视图分量的切片标头中的对应值。
[0034]在其它实例中，进一步用信号发送经译码块(宏块或译码单元)的开始位置。也就是说，深度信息的切片的切片标头用信号发送切片的第一块(例如，第一宏块或CU)的位置，而不用信号发送用于所述切片标头的其它语法数据(其可确定为等于包含对应的纹理信息的切片的对应语法数据)。当不用信号发送切片的开始位置时，在一些实例中可推断其为O。可进一步用信号发送深度视图分量的frame_num和POC值。使用旗标来指示用于深度视图分量的一个或一个以上环路滤波器参数是否与针对纹理视图分量用信号发送的一个或一个以上环路滤波器参数相同。
[0035]基于块的帧间译码是依赖于时间预测来减少或移除视频序列的连续经译码单元的视频块之间的时间冗余的译码技术。经译码单元可包括视频帧、视频帧的切片、图片群组，或经编码视频块的另一经定义单元。对于帧间译码，视频编码器执行运动估计和运动补偿以估计一个或一个以上邻近的经译码单元的视频块之间的运动。通过使用用于运动估计的技术，视频编码器产生运动向量，所述运动向量指示视频块相对于一个或一个以上参考帧或其它经译码单元中的对应预测视频块的移位。通过使用用于运动补偿的技术，视频编码器使用运动向量从一个或一个以上参考帧或其它经译码单元产生预测视频块。在运动补偿之后，视频编码器通过从正被译码的原始视频块减去预测视频块来计算残余视频块。
[0036]参考视图分量(RVC)可包含多个纹理或深度切片。在其中参考视图分量包括多个切片的一些实例中，在确定当前切片的语法元素时可使用位于同一地点的切片。或者，可使用RVC中的第一切片来确定当前切片的语法元素。在其它实例中,可使用RVC中的另一切片来确定当前切片的共同语法元素。
[0037]图1是说明根据本发明的技术的视频编码和解码系统10的一个实例的框图。如图1的实例中所示，系统10包含源装置12，源装置12经由链路15将经编码的视频发射到目的地装置14。链路16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16包括用以使得源装置12能够实时地将经编码的视频数据直接发射到目的地装置14的通信媒体。可根据例如无线通信协议等通信标准来调制经编码的视频数据，且将其发射到目的地装置14。所述通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一条或一条以上物理传输线。通信媒体可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信媒体可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
[0038]源装置12及目的地装置14可包括各种各样的装置中的任一者。在一些实例中，源装置12和目的地装置14可包括无线通信装置，例如无线手持机、所谓的蜂窝式或卫星无线电电话，或可在链路15上(在此情况下，链路15是无线的)传送视频信息的任何无线装置。然而，涉及对包含纹理信息和深度信息两者的视频数据的块进行译码的本发明的技术不一定受限于无线应用或环境。所述技术还可用于广泛范围的其它环境和装置，包含经由物理电线、光纤或其它物理或无线媒体进行通信的装置。另外，所述编码或解码技术还可应用于不一定与任何其它装置进行通信的独立装置中。举例来说，视频解码器28可驻留于数字媒体播放器或其它装置中，且经由流式传输、下载或存储媒体接收经编码的视频数据。因此，出于对实例性实施方案的说明的目的来提供源装置12和目的地装置14彼此通信的描绘，且不应视为对本发明中所描述的技术进行限制，所述技术可通常适用于多种环境、应用或实施方案中的视频译码。
[0039]在图1的实例中，源装置12包含视频源20、深度处理单元21、视频编码器22和输出接口 24。目的地装置14包含输入接口 26、视频解码器28和显示装置30。根据本发明，源装置12的视频编码器22可经配置以应用本发明的技术中的一者或一者以上以作为视频编码过程的部分。类似地，目的地装置14的视频解码器28可经配置以应用本发明的技术中的一者或一者以上以作为视频解码过程的部分。
[0040]视频编码器22还可应用变换、量化和熵译码过程以进一步减小与残余块的通信相关联的位率。变换技术可包括离散余弦变换(DCT)或概念上类似的过程。或者，可使用小波变换、整数变换，或其它类型的变换。在DCT过程中，作为一实例，将一组像素值转换为表示频域中的像素值的能量的变换系数。视频编码器22还可量化变换系数，其可一般涉及减少与对应的变换系数相关联的位数目的过程。熵译码可包含共同地压缩数据以供输出到位流的一个或一个以上过程，其中经压缩的数据可包含(例如)译码模式、运动信息、经译码块模式和经量化变换系数的序列。熵译码的实例包含(但不限于)上下文自适应可变长度译码(CAVLC)和上下文自适应二进制算术译码(CABAC)。
[0041]经译码视频块可由可用于创建或识别预测块的预测信息以及可应用于预测块以重新创建原始块的残余数据块表示。所述预测信息可包括用于识别预测数据块的一个或一个以上运动向量。通过使用所述运动向量，视频解码器28可能够重构曾用于对残余块进行译码的预测块。因此，给定一组残余块和一组运动向量(以及可能一些额外语法)，视频解码器28可重构曾最初被编码的视频帧。基于帧间译码的运动估计和运动补偿可在不具有过多的数据损失的情况下实现相对高的压缩量，因为连续的视频帧或其它类型的经译码单元常常是类似的。经编码视频序列可包括残余数据块、运动向量(当被帧间预测编码时)、用于帧内预测的帧内预测模式的指示，以及语法元素。
[0042]视频编码器22还可利用帧内预测技术相对于共同帧或切片的相邻视频块而对视频块进行编码。以此方式，视频编码器22在空间上预测块。视频编码器22可用多种帧内预测模式进行配置，所述多种帧内预测模式一般对应于各种空间预测方向。与运动估计一样，视频编码器22可经配置以基于块的明度分量来选择帧内预测模式，随后再用所述帧内预测模式对块的深度分量进行编码。另外，根据本发明的技术，视频编码器22可再用帧内预测模式对块的深度分量进行编码。
[0043]通过再用运动和帧内预测模式信息对块的深度分量进行编码，这些技术可简化编码深度图的过程。另外，本文中所描述的技术可提高位流效率。也就是说，所述位流仅需要指示一次处于纹理视图分量的切片标头中的一些语法元素，而不是用信号发送深度视图分量的切片的切片标头中的额外的语法元素。
[0044]任选地，纹理视图分量可以相同方式再用其对应的深度视图分量。[0045]再者，图1的所说明的系统10仅是一个实例。可通过支持基于块的预测编码的任何编码装置，或通过支持基于块的预测解码的任何解码装置来执行本发明的各种技术。源装置12及目的地装置14仅为此些译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些情况下，装置12和16可以大体上对称的方式操作，以使得装置12和16中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12和16之间的单向或双向视频发射，例如用于视频流式传输、视频回放、视频广播或视频电话。
[0046]源装置12的视频源20包含视频俘获装置，例如摄像机、含有先前所俘获的视频的视频存档，或来自视频内容提供者的视频馈入。或者，视频源20可产生基于计算机图形的数据作为源视频，或直播视频(live video)、经存档视频和/或计算机产生的视频的组合。在一些情况下，如果视频源20是摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话，或经配置以操纵视频数据的其它移动装置，例如平板计算装置。在每一情况下，视频编码器22可对所俘获、预俘获或计算机产生的视频进行编码。视频源20俘获视图且将视图提供给深度处理单元21。
[0047]视频源20将视图2提供给深度处理单元21以用于计算视图2中的对象的深度图像。在一些实例中，视图2包括一个以上视图。可针对由视频源20俘获的视图2中的对象来确定深度图像。深度处理单元21经配置以自动计算视图2的图像中的对象的深度值。举例来说，深度处理单元21基于明度信息来计算对象的深度值。在一些实例中，深度处理单元21经配置以从用户接收深度信息。在一些实例中，视频源20可以不同角度俘获场景的两个视图，且基于两个视图中的对象之间的视差来计算场景中的对象的深度信息。在各种实例中，视频源20可包括标准的二维相机、提供场景的立体视图的二相机系统、俘获场景的多个视图的相机阵列，或俘获一个视图加深度信息的相机。
[0048]深度处理单元21将纹理视图分量4和深度视图分量6提供给视频编码器22。深度处理单元21还可将视图2直接提供给视频解码器22。深度信息6包括视图2的深度图图像。深度图可包括与将显示的区域(例如，块、切片或帧)相关联的每一像素区的深度值的图。像素区包含单个像素或一个或一个以上像素的群组。深度图的一些实例针对每个像素具有一个深度分量。在其它实例中，每个像素存在多个深度分量。可以实质上类似于纹理数据的方式，例如相对于其它先前经译码深度数据而使用帧内预测或帧间预测，来对深度图进行译码。在其它实例中，以不同于纹理数据被译码的方式对深度图进行译码。
[0049]在一些实例中可估计深度图。当一个以上视图存在时，可使用立体匹配来估计深度图。然而，在2D到3D的转换中，估计深度可更困难。尽管如此，可使用通过各种方法估计的深度图来用于根据基于深度图像的再现(DIBR)的3D再现。
[0050]虽然视频源20可提供场景的多个视图，且深度处理单元21可基于所述多个视图来计算深度信息，但源装置12可一般针对场景的每一视图发射一个视图加深度信息。
[0051]当视图2是数字静态图片时，视频编码器22可经配置以将视图2编码为(例如)联合照片专家组(JPEG)图像。当视图2是视频数据帧时，视频编码器22经配置以根据视频译码标准对第一视图50进行编码，所述视频译码标准例如为运动图片专家组(MPEG)、国际标准化组织(ISO) /国际电工委员会(IEC)MPEG-1视觉、IS0/IEC MPEG-2视觉、IS0/IECMPEG-4视觉、国际电信联盟(ITU)H.261,ITU-T H.262,ITU-T H.263,ITU-T H.264/MPEG-4、H.264高级视频译码(AVC)、即将到来的高效率视频译码(HEVC)标准(还被称作H.265)，或其它视频编码标准。视频编码器22可包含深度信息6以及经编码的图像以形成经译码块8，所述经译码块包含经编码的图像数据以及深度信息6。视频编码器22将经译码块8传递到输出接口 24。可经由链路15在包含信令信息以及经译码块8的位流中将经译码块8传递到输入接口 26。
[0052]经编码视频信息包含纹理分量4以及深度信息6。纹理分量4可包含视频信息的明度(Iuma)和色度(chroma)分量。明度分量一般描述亮度，而色度分量一般描述色调。深度处理单元21从视图2的深度图提取深度信息6。视频编码器22可将纹理视图分量4和深度视图分量6编码为经编码视频数据的单个经译码块8。同样，视频编码器22可对块进行编码以便将明度分量的运动或帧内预测模式信息再用于色度分量和深度分量。用于纹理视图分量的语法元素可用于预测深度视图分量的类似语法元素。
[0053]在一些实例中，可不使用视图间预测技术对深度图视图分量进行编码，甚至在使用视图间预测技术对对应的纹理视图分量进行编码时也如此。举例来说，当使用视图间预测来预测对应的纹理视图分量时，可使用视图内预测来预测深度图视图分量。举例来说，对纹理视图分量进行视图间预测会从与对应于所述纹理视图分量的视图不同的视图的数据中预测纹理视图信息。相比而言，对深度视图信息进行视图内预测会从与对应于所述深度视图信息的视图相同的视图的数据中预测深度信息。
[0054]尽管使用不同地预测技术，但可从对应的纹理视图分量的切片标头中的对应的语法元素来预测深度图视图分量的一些语法元素。然而，深度图视图分量的切片标头信息可含有与参考图片列表建构相关的信息。也就是说，可在深度图视图分量的切片标头中用信号发送与参考图片列表建构相关的信息。举例来说，可在深度图视图分量的切片标头中用信号发送所使用的参考图片的数目以及使用哪些参考图片来预测深度图视图分量的指示。还可在对应的纹理视图分量的切片标头中用信号发送类似的信息。
[0055]在一些实例中，源装置12包含根据例如码分多址(CDMA)或另一通信标准等通信标准来调制经译码块8的调制解调器。调制解调器可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。输出接口 24可包含经设计以用于发射数据的电路，包含放大器、滤波器及一个或一个以上天线。经由输出接口 24和链路15将经译码块8发射到目的地装置14。在一些实例中，不经由通信信道进行发射，源装置12将包含具有纹理分量和深度分量的块的经编码视频数据存储到存储装置32中，所述存储装置例如为数字视频光盘(DVD)、蓝光光盘、快闪驱动器等。
[0056]目的地装置14的输入接口 26经由链路15接收信息。在一些实例中，目的地装置14包含将信息解调的调制解调器。与输出接口 24类似，输入接口 26可包含经设计以用于接收数据的电路，包含放大器、滤波器及一个或一个以上天线。在一些实例中，输出接口 24和/或输入接口 26可并入包含接收和发射电路的单个收发器组件内。调制解调器可包含各种混频器、滤波器、放大器或经设计以用于信号解调的其它组件。在一些实例中，调制解调器可包含用于执行调制和解调两者的组件。
[0057]而且，由视频编码器22执行的视频编码过程可在可包含运动估计和运动补偿的帧间预测编码以及帧内预测编码期间实施本文中所描述的技术中的一者或一者以上。由视频解码器28执行的视频解码过程还可在解码过程的运动补偿阶段期间执行此些技术。
[0058]术语“译码器”在本文中用于指代执行视频编码或视频解码的专用计算机装置或设备。术语“译码器”一般指代任何视频编码器、视频解码器，或组合式编码器/解码器(编解码器)。术语“译码”指代编码或解码。术语“经译码块”、“经译码块单元”或“经译码单元”可指代视频帧的任何可独立解码的单元，例如完整的帧、帧的切片、视频数据块，或根据所使用的译码技术界定的另一可独立解码的单元。
[0059]显示装置30向用户显示经解码的视频数据，且可包括多种一个或一个以上显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(IXD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。在一些实例中，显示装置30对应于能够进行三维回放的装置。举例来说，显示装置30可包括立体显示器，所述立体显示器与观看者佩戴的眼睛佩戴物结合使用。所述眼睛佩戴物可包括主动式眼镜，在此情况下，显示装置30与主动式眼镜的镜片的交替快门同步地在不同视图的图像之间快速交替。或者，所述眼睛佩戴物可包括被动式眼镜，在此情况下，显示装置30同时显示来自不同视图的图像，且被动式眼镜可包含偏光镜片，所述偏光镜片一般在正交方向上偏光以在不同视图之间进行滤波。
[0060]在图1的实例中，链路15可包括任一无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。链路15可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。链路15—般表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合。链路15可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
[0061]视频编码器22和视频解码器28可根据例如ITU-T H.264标准(或者被描述为MPEG-4第10部分，高级视频译码(AVC))的视频压缩标准而操作。可由视频编码器22和视频解码器28使用的基于ITU H.264/AVC标准的额外视频压缩标准包含可缩放视频译码(SVC)标准，其为对ITU H.264/AVC标准的可缩放扩展。视频编码器22和视频解码器28可根据其而操作的另一标准包含多视图视频译码(MVC)标准，其为对ITU H.264/AVC标准的多视图扩展。然而，本发明的技术不限于任何特定视频译码标准。
[0062]在一些方面中，视频编码器22及视频解码器28可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
[0063]视频编码器22及视频解码器28各自可经实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当以软件实施本发明的技术中的任一者或全部时，实施装置可进一步包含用于存储和/或执行用于软件的指令的硬件，例如用于存储指令的存储器以及用于执行指令的一个或一个以上处理单元。视频编码器22和视频解码器28中的每一者可包含在一个或一个以上编码器或解码器中，其任一者可作为提供编码和解码能力的组合式编解码器的部分集成在相应的移动装置、订户装置、广播装置、服务器等中。
[0064]视频序列通常包含一连串视频帧(还被称作视频图片)。视频编码器22对个别视频帧内的视频块进行操作以便编码视频数据。所述视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。每一视频帧包含一连串一个或一个以上切片。在ITU-TH.264标准中，举例来说，每一切片包含一连串宏块，所述宏块可布置到子块中。ITU-TH.264标准支持:以用于二维(2D)视频编码的各种块大小进行的帧内预测，例如，针对明度分量的16乘16、8乘8或4乘4以及针对色度分量的8乘8 ;以及以各种块大小进行的帧间预测，例如，针对明度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8和4乘4以及针对色度分量的对应经缩放大小。视频块可包括像素数据块，或例如在例如离散余弦变换(DCT)或概念上类似的变换过程等变换过程之后的变换系数块。这些技术可扩展到3D视频。
[0065]较小的视频块可提供较佳的分辨率，且可用于包含较高细节水平的视频帧的定位。一般来说，宏块和各种子块可被视为视频块。另外，可将切片视为一连串视频块，例如若干宏块和/或若干子块。每一切片可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或可将帧的其它部分定义为可解码单元。
[0066]通过将来自深度图或取景视差图的深度信息连同用于那个视频帧或切片的相关联的明度和色度分量(即，纹理分量)进行编码，ITU-T H.264的2D宏块可扩展到3D。取景视差映射(还被称作虚拟位移映射或偏移映射)基于在一像素位置处的视图角度和高度图的函数来移位所述像素位置处的纹理视图分量。视频编码器22可将深度信息编码为单色视频。
[0067]为了编码视频块(例如，经译码块)，视频编码器22执行帧内预测或帧间预测以产生一个或一个以上预测块。视频编码器22从将被编码的原始视频块减去预测块以产生残余块。因此，残余块可表示正被译码的块与预测块之间的逐像素差。视频编码器22可对残余块执行变换以产生变换系数块。在基于帧内或帧间的预测译码和变换技术之后，视频编码器22可量化变换系数。量化一般指代其中将系数量化以可能地减少用于表示系数的数据量的过程。在量化之后，可根据例如上下文自适应可变长度译码(CAVLC)或上下文自适应二进制算术译码(CABAC)等熵译码方法来执行熵译码。下文关于图2来描述由视频编码器22执行的编码过程的额外细节。
[0068]当前正在努力开发新的视频译码标准(当前被称作高效视频译码(HEVC))。即将到来的标准还被称作H.265。标准化工作是基于被称作HEVC测试模型(HM)的视频译码装置模型。HM假设优于根据(例如)ITU-T H.264/AVC的装置的视频译码装置的若干能力。举例来说，尽管H.264提供九种帧内预测编码模式，但HM提供多达三十三种帧内预测编码模式。HEVC可经扩展以支持如本文中所描述的切片标头信息技术。
[0069]HM将视频数据块称作译码单元(CU)。位流内的语法数据可定义最大译码单元(LCU)，其为在像素数目方面的最大译码单元。一般来说，CU具有与H.264的宏块类似的目的，只不过⑶不具有大小区别。根据HM标准，经译码块可为⑶。因此，⑶可被分裂为若干子CU。一般来说，在本发明中对CU的参考可涉及图片的最大译码单元(LCU)或LCU的子CU。LCU可被分裂成若干子CU，且每一子CU可被分裂成若干子CU。位流的语法数据可定义LCU可被分裂的最大倍数，被称作CU深度。因此，位流还可定义最小译码单元(SCU)。本发明还使用术语“块”来指代CU、预测单元(PU)或变换单元(TU)中的任一者。
[0070]IXU可与四叉树数据结构相关联。一般来说，四叉树数据结构每个⑶包含一个节点，其中根节点对应于LCU。如果将CU分裂为四个子CU，那么对应于CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于子CU中的一者。所述四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，从而指示对应于所述节点的CU是否被分裂为子CU。可递归地定义CU的语法元素，且所述语法元素可取决于CU是否被分裂为子CU。
[0071]未分裂的⑶可包含一个或一个以上预测单元(PU)。一般来说，I3U表示对应⑶的全部或一部分，且包含用于检索PU的参考样本的数据。举例来说，在对进行帧内模式编码时，可包含描述的帧内预测模式的数据。作为另一实例，在对进行帧间模式编码时，PU可包含界定PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考列表(例如，列表O或列表I)。还可将运动向量处理为具有用于纹理视图分量和深度视图分量的不同分辨率。界定PU的CU的数据还可描述(例如)将CU分割为一个或一个以上ro。分割模式在CU未被译码、被帧内预测模式编码还是被帧间预测模式编码之间可不同。
[0072]具有一个或一个以上I3U的⑶还可包含一个或一个以上变换单元(TU)。在使用PU进行预测之后，视频编码器22可计算CU的对应于的部分的残余值。可变换、扫描和量化所述残余值。TU不一定受限于PU的大小。因此，TU可比同一⑶的对应PU更大或更小。在一些实例中，TU的最大大小可对应于对应CU的大小。
[0073]如上文所述，帧内预测包含从一图片的先前经译码⑶来预测同一图片的当前⑶的PU。更具体来说，视频编码器22可使用特定帧内预测模式来对图片的当前CU进行帧内预测。HM编码器可被配置有多达三十三种帧内预测模式。因此，为了支持方向性帧内预测模式与方向性变换之间的一对一映射，HM编码器和解码器将需要针对每一所支持的变换大小来存储66个矩阵。此外，针对其而支持所有三十三种帧内预测模式的块大小可为相对大的块，例如32X32像素、64 X 64像素，或更大。
[0074]在目的地装置14中，视频解码器28接收经编码视频数据8。视频解码器28根据例如CAVLC或CABAC等熵译码方法对例如经译码块等所接收的经编码视频数据8进行熵解码，以获得经量化系数。视频解码器28应用反量化(解量化)和反变换功能以在像素域中重构残余块。视频解码器28还基于经编码视频数据中所包含的控制信息或语法信息(例如，译码模式、运动向量、界定滤波器系数的语法等)而产生预测块。视频解码器28计算预测块与经重构的残余块的总和以产生用于显示的经重构视频块。下文关于图5来描述由视频解码器28执行的实例性解码过程的额外细节。
[0075]如本文中所描述，Y可表示明度，Cb和Cr可表示三维YCbCr色彩空间(例如，蓝色和红色色调)的色度的两个不同值，且D可表示深度信息。在一些实例中，每一像素位置可实际上界定用于三维色彩空间的三个像素值以及用于像素位置的深度的一个像素值。在其它实例中，每个色度分量可存在不同数目的明度分量。举例来说，每个深度分量可存在四个明度分量。另外，深度分量和纹理分量可具有不同的分辨率。在此实例中，在纹理视图分量(例如，明度分量)与深度视图分量之间可能不是一对一的关系。然而，本发明的技术可为了简单起见而涉及关于一个维度的预测。在关于一个维度上的像素值来描述技术的程度上，类似技术可扩展到其它维度。具体来说，根据本发明的一个方面，视频编码器22和/或视频解码器28可获得像素块，其中像素块包含纹理视图分量和深度视图分量。
[0076]在一些实例中，视频编码器22和视频解码器28可在运动补偿期间使用一种或一种以上内插滤波技术。也就是说，视频编码器22和/或视频解码器28可应用内插滤波器来对包括多组全整数像素位置的支持进行滤波。
[0077]目的地装置14的视频解码器28连同包含与纹理视图分量相关的语法信息的额外信息一起接收一个或一个以上经译码块以作为经编码视频位流的部分。视频编码器28可基于经译码块8和语法元素来再现视频数据以供3D回放。根据本发明的技术，且如下文更详细地论述，针对纹理视图分量4用信号发送的语法元素可用于预测深度视图分量6的语法元素。可在纹理视图分量4的切片标头中用信号发送语法元素。可从纹理视图分量4的相关语法元素来确定深度视图分量6的对应语法元素。
[0078]可在深度视图分量6的切片标头中用信号发送深度视图分量6的一些语法元素，例如深度图分量与切片的一个或一个以上纹理分量中的一者之间的量化参数差。属性还可为切片层级中的旗标，所述旗标指示用于深度视图分量的环路滤波器参数是否与针对纹理视图分量用信号发送的环路滤波器参数相同。在其它实例中，除了切片层级(例如，在切片标头中)之外，还可在序列层级(例如，在序列参数集(SPS)数据结构中)、图片层级(例如，在图片参数集(PPS)数据结构或帧标头中)或块层级(例如，在块标头中)处用信号发送语法元素。
[0079]图2是进一步详细地说明图1的视频编码器22的一实例的方框图。与本发明的技术一致地，视频编码器22对用信号发送可用于预测深度视图分量的语法元素的纹理视图分量的语法元素的块单元进行编码。视频编码器22是在本文被称作“译码器”的专用视频计算机装置或设备的一个实例。如图2中所示，视频编码器22对应于源装置12的视频编码器22。然而，在一个实例中，视频编码器22可对应于不同的装置。在进一步的实例中，其它单元(例如，其它编码器/解码器(CODEC))也可执行与由视频编码器22执行的技术类似的技术。
[0080]视频编码器22可执行对视频帧内的块的帧内译码或帧间译码中的至少一者，但为了便于说明，在图2中未展示帧内译码组件。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧内的视频中的时间冗余。帧内模式(I模式)可指代基于空间的压缩模式。例如预测(P模式)或双向(B模式)等帧间模式可指代基于时间的压缩模式。本发明的技术在帧间译码和帧内译码期间适用。然而，为了说明的简明和便利，在图2中未说明例如空间预测单元等帧内译码单元。
[0081]如图2中所示，视频编码器22接收待编码视频帧内的视频块。在一个实例中，视频编码器22接收纹理视图分量4和深度视图分量6。在另一实例中，视频编码器从视频源20接收视图2。
[0082]在图2的实例中，视频编码器22包含预测处理单元32、预测译码单元(MCU)、多视图视频加深度(MVD)单元33、存储器34、第一加法器48、变换处理单元38、量化单元40和熵译码单元46。为了视频块重构，视频编码器22还包含反量化单元42、反变换处理单元
44、第二加法器51和解块单元43。解块单元43是对块边界进行滤波以从经重构的视频移除成块性假影的解块滤波器。如果包含于视频编码器22中，那么解块单元43将通常对第二加法器51的输出进行滤波。解块单元43可确定一个或一个以上纹理视图分量的解块信息。解块单元43还可确定深度图分量的解块信息。在一些实例中，一个或一个以上纹理分量的解块信息可不同于深度图分量的解块信息。在一个实例中，如图2中所示，变换处理单元38表示与依据HEVC的“TU”相对的功能块。
[0083]多视图视频加深度(MVD)单元33接收包括纹理分量和深度信息(例如，纹理视图分量4和深度视图分量6)的一个或一个以上视频块(图2中标记为“视频块”)。MVD单元33向视频编码器22提供对块单元中的深度分量进行编码的功能性。MVD单元33以使得预测处理单元32能够处理深度信息的格式向预测处理单元32组合地或单独地提供纹理视图分量和深度视图分量。MVD单兀33还可向变换处理单兀38用信号通知深度视图分量与视频块包含在一起。在其它实例中，视频编码器22的每一单元(例如，预测处理单元32、变换处理单元38、量化单元40、熵译码单元46等)包括用以处理除了纹理视图分量之外的深度信息的功能性。
[0084]一般来说，视频编码器22以类似于色度信息的方式对深度信息进行编码，原因在于运动补偿单元37经配置以在计算一块的深度分量的预测值时会再用针对同一块的明度分量所计算的运动向量。类似地，视频编码器22的帧内预测单元可经配置以在使用帧内预测编码深度视图分量时使用针对明度分量(即，基于对明度分量的分析)所选择的帧内预测模式。
[0085]预测处理单元32包含运动估计(ME)单元35和运动补偿(MC)单元37。预测处理单元32预测像素位置的深度信息以及纹理分量。一个或一个以上内插滤波器39 (在本文被称作“滤波器39”)可包含于预测处理单元32中且可由ME单元35和MC单元37中的一者或两者调用来执行内插以作为运动估计和/或运动补偿的部分。内插滤波器39可实际上表示用以促进众多不同类型的内插和内插类型的滤波的多个不同滤波器。因此，预测处理单元32可包含多个内插或类内插滤波器。
[0086]在编码过程期间，视频编码器22接收将被译码的视频块(图2中标记为“视频块”)，且预测处理单元32执行帧间预测译码以产生预测块(图2中标记为“预测块”)。预测块包含纹理视图分量和深度视图信息两者。具体来说，ME单元35可执行运动估计来识别存储器34中的预测块，且MC单元37可执行运动补偿来产生预测块。
[0087]运动估计通常被视为产生估计视频块的运动的运动向量的过程。运动向量(例如)可指示预测或参考帧(或其它经译码单元，例如切片)内的预测块相对于当前帧(或其它经译码单元)内将被译码的块的位移。运动向量可具有全整数或子整数像素精度。举例来说，运动向量的水平分量和垂直分量两者可具有相应的全整数分量和子整数分量。参考帧(或帧的部分)可在时间上位于当前视频块所属的视频帧(或视频帧的部分)之前或之后。运动补偿通常被视为从存储器34获取预测块或产生预测块的过程，所述过程可包含基于由运动估计确定的运动向量来内插或以其它方式产生预测数据。
[0088]ME单元35通过将视频块与一个或一个以上参考帧(例如，前一和/或后一帧)的参考块进行比较来计算将被译码的视频块的至少一个运动向量。参考帧的数据可存储于存储器34中。ME单元35可执行具有分数像素精度的运动估计，其有时被称作分数像素(fractional pixel)、分数像素(fractional pel)、子整数或子像素运动估计。在分数像素运动估计中，ME单元35计算指示到除了整数像素位置之外的位置的位移的运动向量。因此，运动向量可具有分数像素精度，例如，二分之一像素精度、四分之一像素精度、八分之一像素精度，或其它分数像素精度。以此方式，分数像素运动估计允许预测处理单元32估计具有比整数像素(或全像素)位置高的精度的运动，且因此，预测处理单元32产生更准确的预测块。分数像素运动估计允许预测处理单元32以第一分辨率预测深度信息，且以第二分辨率预测纹理分量。举例来说，将纹理分量预测为全像素精度，而将深度信息预测为二分之一像素精度。在其它实例中，可使用运动向量的其它分辨率来用于深度信息和纹理分量。
[0089]ME单元35可调用一个或一个以上滤波器39来用于运动估计过程期间的任何必要的内插。在一些实例中，存储器34可存储子整数像素的经内插值，所述经内插值可由(例如)求和器51使用滤波器39来计算。举例来说，求和器51可将滤波器39应用于将存储于存储器34中的经重构块。
[0090]一旦预测处理单元32已产生预测块，视频编码器22便通过从正被译码的原始视频块减去预测块来形成残余视频块(图2中标记为“残余块”)。此减法可发生在原始视频块中的纹理分量与预测块中的纹理分量之间，以及针对原始视频块中的深度信息或来自预测块中的深度信息的深度图而发生。加法器48表示执行此减法运算的组件。
[0091]变换处理单元38可对残余块应用变换(例如，离散余弦变换(DCT)或概念上类似的变换)，从而产生包括残余变换块系数的视频块。应理解，变换处理单元38表示将变换应用于视频数据块的残余系数(与如由HEVC定义的CU的TU形成对比)的视频编码器22的组件。变换处理单元38可例如执行概念上类似于DCT的其它变换，例如由H.264标准定义的变换。此些变换包含(例如)方向性变换(例如，卡胡南-罗孚(Karhunen-Loeve)法则变换)，小波变换、整数变换、子带变换，或其它类型的变换。在任何情况下，变换处理单元38对残余块应用所述变换，从而产生残余变换系数块。变换处理单元38可将相同类型的变换应用于对应的残余块中的纹理分量和深度信息两者。将存在每一纹理和深度分量的单独残余块。所述变换将残余信息从像素域转换为频域。
[0092]量化单元40量化残余变换系数以进一步减小位率。量化过程可减小与系数中的一些或全部相关联的位深度。量化单元40可量化深度图像译码残余值。在量化之后，熵译码单元46对经量化变换系数进行熵译码。举例来说，熵译码单元46可执行CAVLC、CABAC或另一熵译码方法。
[0093]熵译码单元46还可对从预测处理单元32或视频编码器22的其它组件(例如，量化单元40)获得的一个或一个以上运动向量和支持信息进行译码。一个或一个以上预测语法元素可包含译码模式、一个或一个以上运动向量的数据(例如，水平分量和垂直分量、参考列表识别符、列表索引，和/或运动向量分辨率信令信息)、所使用的内插技术的指示、一组滤波器系数、深度图像与明度分量的分辨率的相对分辨率的指示、深度图像译码残余值的量化矩阵、深度图像的解块信息，或与预测块的产生相关联的其它信息。可在序列层级中或在图片层级中提供这些预测语法元素。
[0094]所述一个或一个以上语法元素还可包含明度分量与深度分量之间的量化参数(QP)差。所述QP差可在切片层级处用信号发送，且可包含于纹理视图分量的切片标头中。还可在经译码块单元层级处用信号发送其它语法元素，包含深度视图分量的经译码块模式、深度视图分量的增量QP、运动向量差，或与预测块的产生相关联的其它信息。可将运动向量差作为目标运动向量与纹理分量的运动向量之间的增量值，或作为目标运动向量(即，正被译码的块的运动向量)与来自块(例如，CU的PU)的相邻运动向量的预测符之间的增量值而用信号发送。在熵译码单元46进行的熵译码之后，可将经编码视频和语法元素发射到另一装置或加以存档(例如，存档在存储器34中)以用于稍后发射或检索。
[0095]反量化单元42和反变换处理单元44分别应用反量化和反变换，以在像素域中重构残余块，(例如)以用于稍后用作参考块。经重构残余块(在图2中标记为“经重构残余块”)可表示提供给变换处理单元38的残余块的经重构版本。归因于量化和反量化操作而导致的细节的损失，经重构残余块可能不同于由求和器48产生的残余块。求和器51将所述经重构的残余块与由预测处理单元32产生的经运动补偿的预测块相加，以产生用于存储在存储器34中的经重构视频块。可由预测处理单元32将所述经重构视频块用作参考块，所述参考块可用于随后对后续视频帧或后续经译码单元中的块单元进行译码。
[0096]以此方式，视频编码器22表示视频编码器的实例，其经配置以:接收包括指示图像的视图的视图分量的经译码块单元，其中所述视图分量包括一个或一个以上纹理视图分量和深度视图分量；产生包含纹理语法元素的一个或一个以上纹理视图分量的纹理切片标头，其中可从纹理切片标头中的纹理语法元素来确定深度视图分量的深度语法元素。
[0097]在一些情况下，可将关于对纹理视图分量和深度视图分量的译码的信息指示为包含于经译码位流中的一个或一个以上语法元素。在一些实例中，深度切片标头包括包含以下各者中的至少一者的语法元素:开始宏块的位置、切片类型、将使用的图片参数集(PPS)、切片的初始QP与在PPS中用信号发送的QP之间的增量QP、参考图片的次序(表示为frame_num)，以及当前图片(POC)的显示次序。深度切片标头还可包括以下各者中的至少一者:参考图片列表建构和相关的语法元素、存储器管理控制操作和相关的语法元素，以及经加权的预测和相关的语法元素。
[0098]图3是用于多视图视频译码的MVC(MVC)预测结构的一个实例的图。MVC是H.264/AVC的扩展。MVC预测结构包含每一视图内的图片间预测以及视图间预测两者。在图3中，预测由箭头指示，其中指向对象使用对指对象来用于预测参考。图3的MVC预测结构可与时间优先解码次序布置结合使用。在时间优先解码次序中，可将每一存取单元界定成含有一个输出时刻处的所有视图的经译码图片。存取单元的解码次序可不等同于输出或显示次序。
[0099]在MVC中，视图间预测受到视差运动补偿支持，所述视差运动补偿使用H.264/AVC运动补偿的语法，但允许将不同视图中的图片作为参考图片。对两个视图的译码也可受到MVC支持。MVC编码器可将两个以上视图用作3D视频输入，且MVC解码器可解码多视图表示。具有MVC解码器的再现器可解码具有多个视图的3D视频内容。
[0100]相同存取单元(即，具有相同时刻)中的图片可在MVC中被视图间预测。当对非基础视图中的一者中的图片进行译码时，如果图片处于不同视图中但具有相同时刻，那么可将所述图片添加到参考图片中。可将视图间预测参考图片置于参考图片列表的任何位置中，正如任何帧间预测参考图片一样。
[0101]在MVC中，可如同另一视图中的视图分量是帧间预测参考一般实现视图间预测。可在序列参数集(SPS)MVC扩展中用信号发送潜在的视图间参考。可通过参考图片列表建构过程来修改潜在的视图间参考，所述参考图片列表建构过程实现对帧间预测或视图间预测参考的灵活排序。
[0102]相比而言，在HEVC中，切片标头遵循与H.264/AVC中的设计原理类似的设计原理。另外，HEVC切片标头可含有当前HEVC规格中的自适应环路滤波器(ALF)参数语法。在一些实例中，深度切片标头包括一个或一个以上自适应环路滤波器参数。
[0103]在3DV编解码器中，特定时刻中的每一视图的视图分量可包含纹理视图分量和深度视图分量。切片结构可用于错误弹性目的，即，提供错误弹性。然而，仅当准确地接收到对应的纹理视图分量时，深度视图分量可能才有意义。通过包含深度视图分量的所有语法元素，深度视图分量的NAL单元的切片标头可能相对大。可通过从纹理视图分量的纹理切片标头中的语法元素中预测一些语法元素来减少深度切片标头的大小。
[0104]可使用位流在(例如)图1的源装置12与目的地装置14之间传递多视图视频加深度块单元和语法元素。所述位流可遵照译码标准ITU H.264/AVC，且具体来说，遵循多视图视频译码(MVC)位流结构。也就是说，在一些实例中，所述位流符合H.264/AVC的MVC扩展。在其它实例中，所述位流符合HEVC的多视图扩展或另一标准的多视图扩展。在又其它实例中，使用其它译码标准。
[0105]典型的MVC位流次序(解码次序)布置是时间优先译码。将每一存取单元界定为含有一个输出时刻的所有视图的经译码图片。存取单元的解码次序可等同于或可不等同于输出或显示次序。通常，MVC预测可包含每一视图内的图片间预测以及视图间预测两者。在MVC中，视图间预测可受到视差运动补偿支持，所述视差运动补偿使用H.264/AVC运动补偿的语法，但允许将不同视图中的图片用作参考图片。
[0106]对两个视图的译码受到MVC支持。MVC的一个优点是，MVC编码器可将两个以上视图用作3D视频输入，且MVC解码器可将两个视图解码为多视图表示。因此，具有MVC解码器的再现器可将3D视频内容视为具有多个视图。先前，MVC未处理具有补充性增强信息(SEI)消息(立体信息或空间交错图片)的深度图输入，类似于H.264/AVC。
[0107]在H.264/AVC标准中，将网络抽象层(NAL)单元界定为提供“网络友好的”视频表示，从而解决了例如视频电话、存储或流式传输视频等应用。可将NAL单元归类为视频译码层(VCL) NAL单元和非VCL NAL单元。VCL单元可含有核心压缩引擎且包括块、宏块(MB)和切片层级。其它NAL单元是非VCL NAL单元。
[0108]在2D视频编码实例中，每一 NAL单元含有一个字节的NAL单元标头和不同大小的有效负载。使用五个位来指定NAL单元类型。三个位用于nal_ref_idC，其指示在被其它图片(NAL单元)参考方面NAL单元有多重要。举例来说，将nal_ref_idc设定为等于O意味着NAL单元不用于帧间预测。随着H.264/AVC扩展到包含3D视频编码，例如可缩放视频译码(SVC)标准，NAL标头可类似于2D情形的NAL标头。举例来说，使用NAL单元标头中的一个或一个以上位来识别NAL单元是四分量NAL单元。
[0109]NAL单元标头还可用于MVC NAL单元。然而，在MVC中，可保留NAL单元标头结构，除了前缀NAL单元和经MVC译码的切片NAL单元之外。经MVC译码的切片NAL单元可包括四字节标头和NAL单元有效负载，所述NAL单元有效负载可包含例如图1的经译码块8等块单兀。MVC NAL单兀标头中的语法兀素可包含priority_id、temporal_id、anchor_pic_flag、view_id、non_idr_flag以及inter_view_flag。在其它实例中，其它语法元素包含于MVC NAL单元标头中。
[0110]语法元素anch0r_pic_flag可指示图片是锚图片还是非锚图片。锚图片以及以输出次序(显示次序)在其后面的所有图片可被正确解码，而不需要以解码次序(即，位流次序)对先前图片进行解码，且因此可用作随机存取点。锚图片和非锚图片可具有不同的相依性，可在序列参数集中用信号发送以上两者。
[0111]MVC中所界定的位流结构可通过两个语法元素来表征:view_id和temporal—id。语法元素view_id可指示每一视图的识别符。NAL单元中的此识别符使得能够容易地在解码器处识别NAL单元且快速地存取经解码的视图以进行显示。语法元素temporalid可指示时间可缩放性分层结构，或间接地指示帧速率。举例来说，包含具有较小的最大temporal_id值的NAL单元的操作点可具有比具有较大的最大temporal_id值的操作点低的帧速率。具有较高的temporal_id值的经译码图片通常取决于视图内的具有较低的temporal_id值的经译码图片,但可不取决于具有较高temporal_id的任何经译码图片。
[0112]NAL单元标头中的语法元素view_id和temporal_id可用于位流提取和调适两者。语法元素priority_id可主要用于简单的一路径位流调适过程。语法元素inter_view_flag可指示此NAL单元是否将用于视图间预测不同视图中的另一 NAL单元。
[0113]MVC还可使用序列参数集(SPS)且包含SPS MVC扩展。参数集用于H.264/AVC中的信令。序列参数集包括序列层级的标头信息。图片参数集(PPS)包括不频繁变化的图片层级的标头信息。通过参数集，未始终针对每一序列或图片来重复此不频繁变化的信息，因此译码效率得到提高。此外，参数集的使用实现了对标头信息的带外发射，从而避免需要冗余发射来用于错误弹性。在带外发射的一些实例中，在与其它NAL单元不同的信道上发射参数集NAL单元。在MVC中，可在SPS MVC扩展中用信号发送视图相依性。可在由SPS MVC扩展指定的范围内进行所有视图间预测。
[0114]在一些先前的3D视频编码技术中，以一种方式对内容进行译码，使得在一个或一个以上NAL单元中对色彩分量(例如，在YCbCr色彩空间中)进行译码，而在一个或一个以上单独的NAL单元中对深度图像进行译码。然而，当没有单个NAL单元含有存取单元的纹理和深度图像的经译码样本时，可出现若干问题。举例来说，在3D视频解码器中，预期在对每一帧的纹理和深度图像两者进行解码之后，激活基于深度图和纹理的视图再现以产生虚拟视图。如果以连续方式对存取单元的深度图像的NAL单元和纹理的NAL单元进行译码，视图再现可直到对整个存取单元进行解码时才开始。这可导致再现3D视频所花费的时间的增加。
[0115]此外，纹理图像和相关联的深度图图像可共享编解码器中的各个层级中的一些信息，所述层级例如为序列层级、图片层级、切片层级和块层级。当共享或预测此信息时，将所述信息译码到两个NAL单元中可产生额外的实施负担。因此，编码器可必须针对一帧执行两次运动估计，一次用于纹理且还有一次用于深度图。类似地，解码器可需要针对一帧执行两次运动补偿。
[0116]如本文中所描述，将若干技术添加到现有标准，例如WC,以便支持3D视频。可将多视图视频加深度(MVD)添加到MVC以用于3D视频处理。3D视频编码技术可向现有的视频标准提供更多的灵活性和可扩展性，例如，以用于流畅地改变视图角度，或向后或向前调整收敛或深度感知，所述向后或向前调整收敛或深度感知可例如基于装置的规格或用户偏好。还可扩展译码标准以利用深度图来产生3D视频中的虚拟视图。
[0117]图4是说明根据本发明的技术的视频译码器的实例性操作的流程图。在一些实例中，视频译码器是视频编码器，例如图1和2中所示的视频编码器22。在其它实例中，视频译码器是视频解码器，例如图1和5中所示的视频解码器28。视频译码器接收包括纹理切片标头的纹理切片，所述纹理切片标头包括表示纹理切片的特性的语法元素(102)。举例来说，视频译码器接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素。所述方法进一步包含接收包括深度切片标头的深度切片，所述深度切片标头包括表示深度切片的特性的语法元素
(104)。举例来说，视频译码器接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素。在一些实例中，所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。
[0118]所述装置进一步包括对第一切片进行译码，其中所述第一切片包括纹理切片和深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素(106)。举例来说，视频编码器22对第一切片进行编码，其中所述第一切片包括纹理切片和深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素。在一个实例中，所述切片标头包括用于对相关联的切片进行译码的所有语法元素。在另一实例中，视频解码器28对第一切片进行解码，其中所述第一切片包括纹理切片和深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素。
[0119]所述方法进一步包括从所述第一切片的所述切片标头确定第二切片的共同语法元素(108)。此外，所述方法包括在对所述第一切片进行译码之后至少部分基于所确定的共同语法元素对所述第二切片进行译码，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头(110)。举例来说，视频编码器22在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。类似地，视频解码器28可在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
[0120]在其它实例中，所述方法进一步包括在序列参数集中用信号发送在所述第二切片的所述切片标头中明确用信号发送哪些语法元素的指示。
[0121]在其它实例中，在深度视图分量的切片标头中确定并用信号发送至少一个深度语法元素。所述至少一个深度语法元素可包含图片参数集识别符、切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差、经译码块单元的开始位置，参考图片的次序，或深度视图分量的当前图片的显示次序。举例来说，第二切片的切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。在另一实例中，第二切片的切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。在另一实例中，第二切片的切片标头至少包括经译码块的开始位置的用信号发送的语法元素。此外，第二切片的切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。在另一实例中，第二切片的切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的语法元素中的至少一者。
[0122]当未在纹理切片标头或深度切片标头中用信号发送经译码块的开始位置时，可将所述经译码块的开始位置确定为零。可用信号发送至少一个纹理视图分量的环路滤波器参数，且用信号发送指示用于深度视图分量的环路滤波器参数与用于至少一个纹理视图分量的环路滤波器参数相同的旗标集。举例来说，第二切片的切片标头包括与用于所述第二切片的解块滤波器参数或自适应环路滤波参数相关的语法元素中的至少一者。
[0123]在另一实例中，使用视图间预测对表示纹理信息的视频数据的一个或一个以上块进行编码，而使用视图内预测对帧的对应部分的深度值进行编码。具有纹理视图分量和深度视图分量的视频帧可对应于第一视图。对表示纹理信息的一个或一个以上视频数据块进行编码可包含相对于第二视图的数据来预测表示纹理信息的视频数据块中的至少一者的至少一部分，其中所述第二视图不同于所述第一视图。对表示帧的部分的深度值的深度信息进行编码进一步包括相对于第一视图的数据来预测表示深度值的深度信息的至少一部分。所述深度切片标头可进一步用信号发送表示深度图视图分量的参考图片列表建构的语法元素。
[0124]表I展示序列参数集(SPS)MVC扩展。视图间参考可在SPS中用信号发送且可通过参考图片列表建构过程进行修改，所述参考图片列表建构过程实现对帧间预测或视图间预测参考的灵活排序。
[0125]
【权利要求】
1.一种处理视频数据的方法，所述方法包括: 接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素； 接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元； 对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素； 从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及 在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
2.根据权利要求1所述的方法，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
3.根据权利要求1所述的方法，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
4.根据权利要求1所述的方法，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
5.根据权利要求1所述的方法，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
6.根据权利要求1所述的方法，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
7.根据权利要求1所述的方法，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，所述方法进一步包括: 当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
8.根据权利要求1所述的方法，其中所述第二切片的所述切片标头包括与用于所述第二切片的解块滤波器参数或自适应环路滤波参数相关的所述语法元素中的至少一者。
9.根据权利要求1所述的方法，其进一步包括: 在序列参数集中用信号发送在所述第二切片的所述切片标头中明确用信号发送哪些语法元素的指示。
10.一种用于对数据进行解码的装置，其包括视频解码器，所述视频解码器经配置以:接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素；接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及在对所述第一切片进行解码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
11.根据权利要求10所述的装置，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
12.根据权利要求10所述的装置，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
13.根据权利要求10所述的装置，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
14.根据权利要求10所述的装置，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
15.根据权利要求10所述的装置，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
16.根据权利要求10所述的装置，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，其中所述视频解码器进一步经配置以当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
17.根据权利要求10所述的装置，其中所述第二切片的所述切片标头包括与用于所述第二切片的解块滤波器参数或自适应环路滤波参数相关的所述语法元素中的至少一者。
18.根据权利要求10所述的装置，其中视频译码器进一步经配置以在序列参数集中用信号发送在所述第二切片的所述切片标头中明确用信号发送哪些语法元素的指示。
19.一种计算机程序产品，其包括其上存储有指令的计算机可读存储媒体，所述指令在被执行时致使视频解码装置的处理器: 接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素； 接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元； 对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素； 从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及 在对所述第一切片进行解码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
20.根据权利要求19所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
21.根据权利要求19所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
22.根据权利要求19所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
23.根据权利要求19所述的计算机可读存储媒体，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
24.根据权利要求19所述的计算机可读存储媒体，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
25.根据权利要求19所述的计算机可读存储媒体，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，所述指令进一步致使视频解码装置的处理器: 当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
26.一种用于处理视频数据的装置，其包括: 用于接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片的装置，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素； 用于接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片的装置，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元； 用于对第一切片进行解码的装置，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素； 用于从所述第一切片的所述切片标头确定第二切片的共同语法元素的装置；以及 用于在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码的装置，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
27.根据权利要求26所述的装置，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
28.—种对视频数据进行编码的方法，所述方法包括: 接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素； 接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元； 对第一切片进行编码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素； 从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及 在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
29.根据权利要求28所述的方法，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
30.根据权利要求28所述的方法，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
31.根据权利要求28所述的方法，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
32.根据权利要求28所述的方法，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
33.根据权利要求28所述的方法，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
34.根据权利要求28所述的方法，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，所述方法进一步包括: 当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
35.根据权利要求28所述的方法，其中所述第二切片的所述切片标头包括与用于所述第二切片的解块滤波器参数或自适应环路滤波参数相关的所述语法元素中的至少一者。
36.根据权利要求28所述的方法，其进一步包括: 在序列参数集中用信号发送在所述第二切片的所述切片标头中明确用信号发送哪些语法元素的指示。
37.一种用于对数据进行编码的装置，其包括视频编码器，所述视频编码器经配置以:接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素；接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；对第一切片进行编码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
38.根据权利要求37所述的装置，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
39.根据权利要求37所述的装置，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
40.根据权利要求37所述的装置，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
41.根据权利要求37所述的装置，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
42.根据权利要求37所述的装置，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
43.根据权利要求37所述的装置，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，且其中所述视频编码器进一步经配置以: 当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
44.根据权利要求37所述的装置，其中所述第二切片的所述切片标头包括与用于所述第二切片的解块滤波器参数或自适应环路滤波参数相关的所述语法元素中的至少一者。
45.根据权利要求37所述的装置，其中所述视频编码器进一步经配置以: 在序列参数集中用信号发送在所述第二切片的所述切片标头中明确用信号发送哪些语法元素的指示。
46.一种计算机程序产品，其包括其上存储有指令的计算机可读存储媒体，所述指令在被执行时致使视频编码装置的处理器: 接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素； 接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元； 对第一切片进行译码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素； 从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及 在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行译码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
47.根据权利要求46所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
48.根据权利要求46所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
49.根据权利要求46所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
50.根据权利要求46所述的计算机可读存储媒体，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
51.根据权利要求46所述的计算机可读存储媒体，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
52.根据权利要求46所述的计算机可读存储媒体，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，所述指令进一步致使视频编码装置的处理器: 当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
53.一种用于处理视频数据的装置，其包括: 用于接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片的装置，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素； 用于接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片的装置，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元； 用于对第一切片进行编码的装置，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素； 用于从所述第一切片的所述切片标头确定第二切片的共同语法元素的装置；以及用于在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码的装置，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性的语法元素、不重复与所述第一切片共同的语法元素的值的切片标头。
54.根据权利要求53所述的装置，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元 素。
【文档编号】H04N19/61GK103703778SQ201280036090
【公开日】2014年4月2日 申请日期:2012年7月20日 优先权日:2011年7月22日
【发明者】陈盈, 马尔塔·卡切维奇 申请人:高通股份有限公司