用于三维视频译码的视图合成模式的制作方法

用于三维视频译码的视图合成模式的制作方法
【专利摘要】一种视频编码器在位流中用信号表示指示当前视频单元是否是从VSP图片预测的语法元素。所述当前视频单元是宏块或宏块分区。所述视频编码器至少部分地基于所述当前视频单元是否是从所述VSP图片预测来确定是否在所述位流中用信号表示所述当前视频单元的运动信息。视频解码器从所述位流解码所述语法元素且至少部分地基于所述语法元素确定所述位流是否包含所述运动信息。
【专利说明】用于三维视频译码的视图合成模式
[0001]本申请案主张2012年4月13日申请的第61/624，157号美国临时专利申请案、2012年4月19日申请的第61/635，761号美国临时专利申请案、2012年4月26日申请的第61/639，064号美国临时专利申请案、2012年4月27日申请的第61/639，845号美国临时专利申请案、2012年5月3日申请的第61/642，379号美国临时专利申请案、2012年5月14日申请的第61/646，810号美国临时专利申请案和2012年9月4日申请的第61/696，661号美国临时专利申请案的权益，以上申请案中的每一者的整个内容以引用方式并入本文。

【技术领域】
[0002]本发明涉及视频译码(即，视频数据的编码和/或解码)。

【背景技术】
[0003]数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置，及其类似物。数字视频装置实施视频压缩技术，例如在由 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4 第 10部分高级视频译码(AVC)、当前在开发的高效率视频译码(HEVC)标准所定义的标准及这些标准的扩展中所描述的技术。视频装置可通过实施这些视频压缩技术而更有效地发射、接收、编码、解码，和/或存储数字视频信息。
[0004]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。针对基于块的视频译码，视频切片(即，视频帧或视频帧的一部分)可分割为多个视频块。图片的帧内译码(I)切片中的视频块是相对于同一图片中的相邻块中的参考样本使用空间预测来编码。图片的帧间译码(P或B)切片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测，或相对于其它参考图片中的参考样本使用时间预测。图片可被称为帧，且参考图片可被称为参考帧。
[0005]空间或时间预测针对待译码的块产生预测性块。残余数据表示在待译码的原始块与预测性块之间的像素差。帧间译码块是根据指向形成预测性块的参考样本的块的运动向量而编码，且残余数据指示在经译码块与预测性块之间的差。帧内译码块是根据帧内译码模式及残余数据而编码。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生接着可被量化的残余系数。最初以二维阵列布置的经量化系数可经扫描，以便产生系数的一维向量，且可应用熵译码以实现甚至更大程度的压缩。
[0006]通过对例如来自多个彩色相机的视图进行编码来产生多视图位流。为了进一步延伸多视图视频的灵活性，已经开发三维(3D)视频标准。3D视频位流可不仅含有对应于多个相机的视图，即纹理视图，而且含有与至少一或多个纹理视图相关联的深度视图。举例来说，每一视图可由一个纹理视图和一个深度视图组成。


【发明内容】

[0007]大体上，本发明描述用信号表示视频单元的视图合成预测(VSP)模式。更具体来说，视频编码器在位流中用信号表示指示当前视频单元是否是从VSP图片预测的语法元素。所述当前视频单元可为宏块或宏块分区。此外，所述视频编码器可至少部分地基于所述当前视频单元是否是从所述VSP图片预测来确定是否在所述位流中用信号表示所述当前视频单元的运动信息。
[0008]视频解码器可从位流解码指示当前视频单元是否是从VSP图片预测的语法元素。在当前视频单元是从VSP图片预测时，视频解码器可至少部分地基于VSP图片来重构当前视频单元的样本块。在当前视频单元不是从VSP图片预测时，视频解码器可从位流解码当前视频单元的运动信息。视频解码器可使用运动信息来重构当前视频单元的样本块。
[0009]在一个实例中，一种对视频数据进行解码的方法包括:至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生VSP图片。另夕卜，所述方法包括:从包含多个纹理视图和多个深度视图的经译码表示的位流对指示当前视频单元是否是从所述VSP图片预测的语法元素进行解码，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的宏块(MB)或MB分区。所述方法还包括:当所述当前视频单元不是从所述VSP图片预测时，从所述位流解码所述当前视频单元的运动信息；以及使用所述当前视频单元的所述运动信息来重构所述当前视频单元的样本块。另外，所述方法包括:当所述当前视频单元是从所述VSP图片预测时，使用所述VSP图片来重构所述当前视频单元的所述样本块。
[0010]在另一实例中，一种视频解码装置包括一或多个处理器，所述一或多个处理器经配置以:至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生VSP图片。此外，所述一或多个指令经配置以:从包含多个纹理视图和多个深度视图的经译码表示的位流对指示当前视频单元是否是从所述VSP图片预测的语法元素进行解码，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的MB或MB分区。所述一或多个处理器还经配置以使得:当所述当前视频单元不是从所述VSP图片预测时所述一或多个处理器从所述位流解码所述当前视频单元的运动信息，且使用所述当前视频单元的所述运动信息来重构所述当前视频单元的样本块。所述一或多个处理器还经配置以使得:当所述当前视频单元是从所述VSP图片预测时，所述一或多个处理器使用所述VSP图片来重构所述当前视频单元的所述样本块。
[0011]在另一实例中，一种视频解码装置包括:用于至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生VSP图片的装置。另外，所述视频解码装置包括:用于从包含多个纹理视图和多个深度视图的经译码表示的位流对指示当前视频单元是否是从所述VSP图片预测的语法元素进行解码的装置，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的MB或MB分区。另外，所述视频解码装置包括:用于当所述当前视频单元不是从所述VSP图片预测时从所述位流解码所述当前视频单元的运动信息的装置。所述视频解码装置还包括:用于当所述当前视频单元不是从所述VSP图片预测时使用所述当前视频单元的所述运动信息来重构所述当前视频单元的样本块的装置。另外，所述视频解码装置包括:用于当所述当前视频单元是从所述VSP图片预测时使用所述VSP图片来重构所述当前视频单元的所述样本块的装置。
[0012]在另一实例中，一种其上存储有指令的计算机可读存储媒体，所述指令在由视频解码装置的一或多个处理器执行时配置所述视频解码装置以:至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生视图合成预测VSP图片。所述指令还配置所述视频解码装置以从包含多个纹理视图和多个深度视图的经译码表示的位流对指示当前视频单元是否是从所述VSP图片预测的语法元素进行解码，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的MB或MB分区。所述指令还配置所述视频解码装置以使得当所述当前视频单元不是从所述VSP图片预测时，所述视频解码装置从所述位流解码所述当前视频单元的运动信息，且使用所述当前视频单元的所述运动信息来重构所述当前视频单元的样本块。当所述当前视频单元是从所述VSP图片预测时，所述指令配置所述视频解码装置以使用所述VSP图片来重构所述当前视频单元的所述样本块。
[0013]在另一实例中，一种用于对视频数据进行编码的方法包括:至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生VSP图片。此外，所述方法包括:在包含多个纹理视图和多个深度视图的经编码表示的位流中用信号表示指示当前视频单元是否是从所述VSP图片预测的语法元素，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的MB或MB分区。另外所述方法包括:当所述当前视频单元不是从所述VSP图片预测时，在所述位流中用信号表示所述当前视频单元的运动信息。所述方法还包括:当所述当前视频单元是从所述VSP图片预测时，从所述位流省略所述当前视频单元的所述运动信息。此外，所述方法包括输出所述位流。
[0014]在另一实例中，一种视频编码装置包括一或多个处理器，所述一或多个处理器经配置以:至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生VSP图片。另外，所述一或多个处理器经配置以:在包含多个纹理视图和多个深度视图的经编码表示的位流中用信号表示指示当前视频单元是否是从所述VSP图片预测的语法元素，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的MB或MB分区。所述一或多个处理器经配置以使得:当所述当前视频单元不是从所述VSP图片预测时，所述一或多个处理器在所述位流中用信号表示所述当前视频单元的运动信息。此外，所述一或多个处理器经配置以使得:当所述当前视频单元是从所述VSP图片预测时，所述一或多个处理器从所述位流省略所述当前视频单元的所述运动信息。所述一或多个处理器还经配置以输出所述位流。
[0015]在另一实例中，一种视频编码装置包括:用于至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生VSP图片的装置。另外，所述视频编码装置包括:用于在包含多个纹理视图和多个深度视图的经编码表示的位流中用信号表示指示当前视频单元是否是从所述VSP图片预测的语法元素的装置，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的MB或MB分区。所述视频编码装置还包括:用于当所述当前视频单元不是从所述VSP图片预测时在所述位流中用信号表示所述当前视频单元的运动信息的装置。此外，所述视频编码装置包括:用于当所述当前视频单元是从所述VSP图片预测时从所述位流省略所述当前视频单元的所述运动信息的装置。另外，所述视频编码装置包括:用于输出所述位流的装置。
[0016]在另一实例中，一种其上存储有指令的计算机可读存储媒体，所述指令在由视频编码装置的一或多个处理器执行时配置所述视频编码装置以:至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生VSP图片。所述指令还致使所述视频编码装置:在包含多个纹理视图和多个深度视图的经编码表示的位流中用信号表示指示当前视频单元是否是从所述VSP图片预测的语法元素，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的MB或MB分区。当所述当前视频单元不是从所述VSP图片预测时，所述指令配置所述视频编码装置以在所述位流中用信号表示所述当前视频单元的运动信息。此外，当所述当前视频单元是从所述VSP图片预测时，所述指令配置所述视频编码装置以从所述位流省略所述当前视频单元的所述运动信息。另外，所述指令配置所述视频编码装置以输出所述位流。
[0017]在附图和以下描述中陈述本发明的一或多个实例的细节。其它特征、目的和优点将从描述、图式和权利要求书中显而易见。

【专利附图】

【附图说明】
[0018]图1是说明可利用本发明中描述的技术的实例性视频译码系统的框图。
[0019]图2是说明可实施本发明中描述的技术的实例视频编码器的框图。
[0020]图3是说明可实施本发明中描述的技术的实例视频解码器的框图。
[0021]图4A是说明根据本发明的一或多个技术的视频编码器的实例操作的流程图。
[0022]图4B是说明根据本发明的一或多个技术的视频解码器的实例操作的流程图。
[0023]图5A是说明根据本发明的技术的视频编码器的另一实例操作的流程图。
[0024]图5B是说明根据本发明的技术的视频解码器的另一实例操作的流程图。
[0025]图6A是说明根据本发明的技术的视频编码器的另一实例操作的流程图。
[0026]图6B是说明根据本发明的技术的视频解码器的另一实例操作的流程图。
[0027]图7A是说明根据本发明的技术的视频编码器的另一实例操作的流程图。
[0028]图7B是说明根据本发明的技术的视频解码器的另一实例操作的流程图。
[0029]图8A是说明根据本发明的技术的视频编码器的另一实例操作的流程图。
[0030]图SB是说明根据本发明的技术的视频解码器的另一实例操作的流程图。
[0031]图9A是说明根据本发明的技术的视频编码器的另一实例操作的流程图。
[0032]图9B是说明根据本发明的技术的视频解码器的另一实例操作的流程图。
[0033]图10是说明实例3维视频(3DV)解码次序的概念图。
[0034]图11是说明实例时间和视图间预测结构的概念图。

【具体实施方式】
[0035]在3维视频(3DV)译码中，同一场景的图像是从不同视点俘获。从不同视点展示同一场景的图片可为观看者提供立体3维效果。因为在相同时间从不同视点俘获的同一场景的图片可高度相似，所以视频编码器可使用图片间预测，通过基于来自不同视点的其它图片中的块预测图片的块来减少所发送的数据量。术语“存取单元”用以指代对应于同一时间实例的图片的集合。“视图分量”可为单个存取单元中的视图的经译码表示。
[0036]为了进一步减少所发送的数据量，视频编码器可基于与当前正译码的图片在相同存取单元中的先前经译码视图分量来产生视图合成预测(VSP)图片。视频编码器可在参考图片列表中包含VSP图片。当视频编码器对当前视频单元(例如，宏块(MB)、MB分区、子MB分区、预测单元(PU)等等)进行编码时，视频编码器可使用VSP图片作为参考图片来产生用于当前视频单元的预测性块。此外，视频编码器可用信号表示参考索引和运动向量。参考索引可指不VSP图片在参考图片列表内的位置。运动向量指不VSP图片内的参考块与当前视频单元的样本块之间的空间位移。
[0037]视频编码器可使用运动向量差(MVD)来用信号表示运动向量。MVD可指示运动向量预测符与当前视频单元的运动向量之间的差。运动向量预测符可为相邻块的运动向量。
[0038]视频解码器可产生与视频编码器相同的VSP图片且可产生与视频编码器相同的参考图片列表。此外，视频解码器可基于参考索引确定用于当前视频单元的预测性块将基于VSP图片产生。另外，视频解码器可至少部分地基于用信号表示的MVD来确定当前视频单元的运动向量。视频解码器可随后至少部分地基于运动向量来确定VSP图片内的参考块。接着，视频解码器可至少部分地基于参考块来确定当前视频单元的预测性块。视频解码器可至少部分地基于当前视频单元的预测性块来重构当前视频单元的样本块。
[0039]如上文提到，当视频编码器使用VSP图片来产生当前视频单元的预测性块时，视频编码器用信号表示MVD，视频解码器从所述MVD导出当前视频单元的运动向量。当视频编码器使用VSP图片来产生用于当前视频单元的预测性块时，运动向量几乎总是非常接近于零。也就是说，VSP图片中的参考块几乎总是与当前视频单元的样本块位于同一地点。
[0040]因为VSP图片中的参考块几乎总是与当前视频单元的样本块位于同一地点，所以视频解码器可能够在不对来自位流的当前视频单元的MVD进行解码的情况下确定:如果当前视频单元是基于VSP图片来编码则当前视频单元的运动向量等于O。因此，在当前视频单元是基于VSP图片来编码时用信号表示当前视频单元的MVD可为位的浪费。而且，因为在当前视频单元是基于VSP图片来编码时用信号表示当前视频单元的MVD是不必要的，所以指示当前视频单元是基于VSP图片来编码的语法元素的信令可使得不必在参考图片列表中包含VSP图片。
[0041]根据本发明的技术，视频编码器可在包含多个纹理视图和多个深度视图的经译码表示的位流中用信号表示指示当前视频单元是否是从当前纹理视图分量的VSP图片预测的语法元素。在一些实例中，当前视频单元可为MB、MB分区或子MB分区。在其它实例中，当前视频单元可为预测单元(PU)。在一些实例中，当语法元素指示当前视频单元是从VSP图片预测时，视频编码器不用信号表示当前视频单元的运动信息。换句话说，视频编码器从位流省略当前视频单元的运动信息。举例来说，在当前视频单元是从VSP图片预测时，视频编码器不用信号表示用于当前视频单元的参考索引或MVD。相反，在当前视频单元不是从VSP图片预测时，视频编码器可在位流中用信号表示当前视频单元的运动信息。因此，视频编码器可至少部分地基于当前视频单元是否从VSP图片预测来确定是否在位流中用信号表示当前视频单元的运动信息。通过在当前视频单元是从VSP图片预测时不用信号表示当前视频单元的运动信息，视频编码器可减少位流中的位的数目。
[0042]类似地，根据本发明的技术，视频解码器可至少部分地基于当前存取单元的经先前译码纹理视图分量和当前存取单元的深度视图分量来产生VSP图片。此外，视频解码器可从包含多个纹理视图和多个深度视图的经译码表示的位流解码指示当前视频单元是否从VSP图片预测的语法元素。在当前视频单元不是从VSP图片预测时，视频解码器可从位流解码当前视频单元的运动信息，且可使用当前视频单元的运动信息来重构当前视频单元的样本块。在当前视频单元是从VSP图片预测时，视频解码器可使用VSP图片来重构当前视频单元的样本块。
[0043]图1是说明可利用本发明的技术的实例性视频译码系统10的框图。如本文使用，术语“视频译码器” 一般指代视频编码器和视频解码器。在本发明中，术语“视频译码”或“译码”可一般指代视频编码或视频解码。
[0044]如图1所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。因此，源装置12可称为视频编码装置或视频编码设备。目的地装置14可对由源装置12产生的经编码视频数据进行解码。因此，目的地装置14可称为视频解码装置或视频解码设备。源装置12和目的地装置14可为视频译码装置或视频译码设备的实例。
[0045]源装置12和目的地装置14可包括广泛多种装置，包含桌上型计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车内计算机或类似物。
[0046]目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括一或多个通信媒体，其使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14。在此实例中，源装置12可根据例如无线通信协议等通信标准调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。所述一或多个通信媒体可包含无线和/或有线通信媒体，例如射频(RF)频谱或者一或多个物理传输线。所述一或多个通信媒体可形成基于包的网络的部分，例如局域网、广域网或全球网(例如，因特网)。所述一或多个通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的其它设备。
[0047]在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。所述存储媒体可包含多种局部存取的数据存储媒体，例如蓝光光盘、DVD、⑶-ROM、快闪存储器或用于存储经编码视频数据的其它合适数字存储媒体。
[0048]在又一实例中，信道16可包含文件服务器或另一中间存储装置，其存储由源装置12产生的经编码视频数据。在此实例中，目的地装置14可经由流式传输或下载存取存储在文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的一类服务器。实例文件服务器包含网络服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附加存储(NAS)装置和局部磁盘驱动器。
[0049]目的地装置14可通过例如因特网连接等标准数据连接存取经编码视频数据。数据连接的实例类型可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等等)或两者的组合。经编码视频数据从文件服务器的发射可为流式传输发射、下载发射或两者的组合。
[0050]本发明的技术不限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、电缆电视发射、卫星电视发射、例如经由因特网的流式传输视频发射、用于存储在数据存储媒体上的视频数据的编码、存储在数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
[0051]在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一些实例中，输出接口 22可包含调制器/解调器(调制解调器)和/或发射器。视频源18可包含视频俘获装置，例如摄像机、含有先前俘获视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈送接口，和/或用于产生视频数据的计算机图形系统，或此些视频数据源的组合。
[0052]视频编码器20可对来自视频源18的视频数据进行编码。在一些实例中，源装置12经由输出接口 22将经编码视频数据直接发射到目的地装置14。在其它实例中，经编码视频数据也可存储到存储媒体或文件服务器上用于目的地装置14稍后存取以用于解码和
/或重放。
[0053]在图1的实例中，目的地装置14包含输入接口 28、视频解码器30和显示装置32。在一些实例中，输入接口 28包含接收器和/或调制解调器。输入接口 28可经由信道16接收经编码视频数据。显示装置32可与目的地装置14集成或可在目的地装置14外部。大体上，显示装置32显示经解码视频数据。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
[0054]在一些实例中，视频编码器20和视频解码器30根据视频压缩标准操作，例如ISO/IEC MPEG-4视觉和ITU-T H.264 (也称为IS0/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。MVC的草案在“用于一般视听服务的高级视频译码(Advanced video coding for generic aud1visual services)，，(ITU-T推荐H.264, 2010年 3 月，其在 2013 年 3 月 13 日可从 http://www.1tu.1nt/rec/T-REC-H.264-201003-S/en下载)中描述，其整个内容以引用方式并入本文。H.264/AVC的MVC扩展的另一最近草案在 2013 年 3 月 13 日可从 http://wftp3.1tu.1nt/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip下载，其整个内容以引用方式并入本文。
[0055]另外，存在MVC标准的扩展，即“基于MVC的3DV” ( S卩，MVC兼容的3DV)，在“用于包含深度图的MVC扩展的草案”(MPEG文档《12351)中描述，其整个内容以引用方式并入本文。在一些实例中，符合基于MVC的3DV的任何合法位流可总是含有顺应于MVC简档(例如,立体声高简档)的子位流。
[0056]此外，一直在努力形成对H.264/AVC的三维视频(3DV)译码扩展，即基于AVC的3DV。基于AVC的3DV的工作草案(WD)，下文称为“3DV-AVC工作草案1”，以引用方式并入本文。基于AVC的3DV的另一草案在马努克瑟拉(Mannuksela)等人的“3D-AVC草案文本4” (ITU-T SG 16 WP 3和IS0/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发的联合合作组，第二次会议，中国上海，2012年10月，在2013年3月13日可从http://phenix.1t-sudparis.eu/jet2/doc_end_user/documents/2_Shanghai/wglI/JCT3V-B1002-vl.zip下载)中描述，其整个内容以引用方式并入本文。基于AVC的3DV的参考软件的描述从密斯卡.M.哈努克瑟拉(Miska M.Hannuksela)的“(用于基于AVC的3D视频译码的测试模型)，，(IS0/IEC JTC1/SC29/WG11MPEG2011/N12558，美国圣何塞，2012 年 2 月)可用。所述参考软件在 2013 年 3 月 13 日可从 http://mpeg3dv.research, nokia.com/svn/mpeg3dv/trunk/获得，其整个内容以引用方式并入本文。
[0057]在其它实例中，视频编码器20和视频解码器30可根据ITU-T H.261, ISO/IECMPEG-1 视觉、ITU-T H.262 或 IS0/IEC MPEG-2 视觉以及 ITU-T H.264、IS0/IEC 视觉操作。视频编码器20和视频解码器30可根据其它视频压缩标准操作，包含ITU-T视频译码专家组(VCEG)和IS0/IEC动画专家组(MPEG)的视频译码联合合作组(JCT-VC)当前在开发的高效率视频译码(HEVC)标准。
[0058]称为“HEVC工作草案4”的即将到来的HEVC标准的草案在布罗斯(Bross)等人的 “WD4:高效率视频译码的工作草案 4 (WD4:Working Draft 4 of High Efficiency VideoCoding) ”(ITU-T SG16 WP3 和 IS0/IEC JTC1/SC29/WG11 的视频译码联合合作组(JCT-VC)，第6次会议，意大利都灵，2011年7月，其在2013年3月13日可从http://phenix.1nt-evry.fr/jet/doc_end_user/documents/6_Torino/wgll/JCTVC-F803-V8.zip 获得)中描述，其整个内容以引用方式并入本文。称为“HEVC工作草案6”的即将到来的HEVC标准的另一草案在布罗斯等人的“高效率视频译码(HEVC)文本规范草案6”(ITU-TSG16WP3和IS0/IEC JTC1/SC29/WG11的视频译码联合合作组(JCT-VC)，第8次会议，加利福尼亚州圣何塞，2012 年 2 月,其在 2013 年 3 月 13 日可从 http://phenix.1nt-evry.fr/jet/doc_end_user/documents/8_San% 20Jose/wgll/JCTVC-H1003_v22.zip 获得)中描述，其整个内容以引用方式并入。称为“HEVC工作草案9”的即将到来的HEVC标准的另一草案在布罗斯等人的“高效率视频译码(HEVC)文本规范草案9”(ITU-TSG16WP3和IS0/IEC JTC1/SC29/WGll的视频译码联合合作组(JCT-VC)，第11次会议，中国上海，2012年10月，其在2013年
3月 13 日可从http://phenix.1nt-evry.fr/jet/doc_end_user/documents/1l_Shanghai/wgll/JCTVC-K1003-v8.zip下载)中描述，其整个内容以引用方式并入本文。
[0059]此外，一直在努力形成用于HEVC的3DV扩展。HEVC的3DV扩展可称为基于HEVC的3DV或HEVC-3DV。MPEG中的基于HEVC的3DV编解码器是基于舒瓦茨(Schwarz)等人的“夫琅和费HHI的3D视频技术提案描述(HEVC兼容；配置A) ” (IS0/IEC JTC1/SC29/WGllMPEG2011/m22570，瑞士日内瓦，2011年11月(下文中称为“文档m22570”)，其整个内容以引用方式并入本文)以及维格纳(Wegner)等人的“集成到3D-HTM中的3DV译码的技术工具的波茨南大学(Poznan University of Technology tools for 3DV codingintegrated into 3D-HTM) ”(IS0/IEC JTC l/SC29/WGllMPEG2011/m23783，美国圣何塞，2012年2月(下文中称为“文档m23783”)，其整个内容以引用方式并入本文)中提议的解决方案。参考软件描述从舒瓦茨等人的“基于HEVC的3D视频译码的考虑中的测试模型(Test Model under Considerat1n for HEVC based 3D video coding) ” (IS0/IECJTC1/SC29/WG11MPEG2011/N12559，美国圣何塞，2012年2月，其整个内容以引用方式并入)可用。所述参考软件在 2013 年 3 月 13 日从 https://hevc.hh1.fraunhofer.de/svn/svn3DVCSoftware/trunk可用。虽然本发明的技术是相对于H.264/AVC和HEVC描述，但此些技术可应用于其它译码标准且不限于任何特定译码标准或技术。
[0060]图1仅是实例且本发明的技术可应用于不一定包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据是从局部存储器检索，经由网络流式传输，或类似情况。视频编码装置可编码数据且将数据存储到存储器，和/或视频解码装置可从存储器检索数据且对数据进行解码。在许多实例中，编码和解码由不彼此通信但仅将数据编码到存储器和/或从存储器检索和解码数据的装置执行。
[0061]视频编码器20和视频解码器30各自可实施为多种合适的电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果所述技术部分地以软件实施，那么装置可将用于软件的指令存储在合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器在硬件中执行指令以执行本发明的技术。上述各项中的任一者(包含硬件、软件、硬件与软件的组合等等)可视为一或多个处理器。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，其中任一者可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
[0062]本发明可大体上涉及视频编码器20向例如视频解码器30等另一装置“用信号表示”某些信息。术语“用信号表示”可大体上涉及用以对经压缩视频数据进行解码的语法元素和/或其它数据的通信。此通信可实时或近实时地发生。或者，此通信可在一时间跨度中发生，例如可能在编码时在经编码位流中将语法元素存储到计算机可读存储媒体时发生，所述语法元素随后可在存储到此媒体之后在任何时间由解码装置检索。
[0063]视频序列通常包含一系列图片。图片也可称为“帧”。图片可包含三个样本阵列，表示为SpS^P S&。&是亮度样本的二维阵列(即，块)。Sa是Cb色度样本的二维阵列。3&是Cr色度样本的二维阵列。色度样本在此也可称为“色度”样本。在其它实例中，图片可为单色的且可仅包含亮度样本的阵列。
[0064]为了产生图片的经编码表示，视频编码器20可将图片的样本阵列划分为相等大小的块。举例来说，在H.264/AVC中，视频编码器20可将图片划分为宏块(MB)。MB是具有三个样本阵列的图片的亮度样本的16x16块和色度样本的两个对应块，或单色图片或使用三个单独颜色平面译码的图片的样本的16x16块。在H.264/AVC中，切片可在特定切片群组内包含以光栅扫描连续排序的整数个MB或MB对。
[0065]视频编码器20可将MB分割为一组一或多个MB分区。MB分区是得自用于具有三个样本阵列的图片的帧间预测的MB的分割的一个亮度样本块和色度样本的两个对应块，或得自用于单色图片或使用三个单独颜色平面译码的图片的帧间预测的MB的分割的亮度样本块。在一些实例中，视频编码器20可将MB分割为子MB。每一子MB是MB的样本的四分之一，即8x8亮度块和两个对应色度块，其一个角位于用于具有三个样本阵列的图片的MB的角处，或8x8亮度块，其一个角位于用于单色图片或使用三个单独颜色平面编码的图片的MB的角处。子MB分区是得自用于具有三个样本阵列的图片的帧间预测的子MB的分割的一个亮度样本块和色度样本的两个对应块，或得自用于单色图片或使用三个单独颜色平面译码的图片的帧间预测的子MB的分割的亮度样本块。MB或MB分区的亮度和色度块可一般称为MB或MB分区的样本块。
[0066]在HEVC中，视频编码器20可产生一组译码树单元(CTU)。CTU中的每一者可为亮度样本的译码树块、色度样本的两个对应译码树块，和用以对译码树块的样本进行译码的语法结构。译码树块可为NxN样本块。CTU也可称为“最大译码单元(IXU) ”。在HEVC中，切片可包括整数数目个CTU。HEVC的CTU可广义上类似于其它标准的MB，例如H.264/AVC。然而，CTU不一定限于特定大小且可包含一或多个译码单元(CU)。CU可为具有亮度样本阵列、Cb样本阵列和Cr样本阵列的图片的亮度样本的译码块和色度样本的对应译码块，以及用以对译码块的样本进行译码的语法结构。译码块是NxN样本块。
[0067]此外，在HEVC中，⑶可具有一或多个预测单元(PU)。PU可为图片的亮度样本的预测块、色度样本的两个对应预测块，和用以预测预测块样本的语法结构。预测块可为应用相同预测的样本的矩形(例如，MxN)块。CU的PU的预测块可为CU的译码块的分区。I3U的亮度和色度块可一般称为I3U的样本块。
[0068]当视频编码器20对当前视频单元(例如MB、MB分区、PU等等)进行编码时，视频编码器20可产生当前视频单元的预测性亮度和色度块。视频编码器20可执行帧内预测或帧间预测以产生预测性块。当视频编码器20执行帧内预测时，视频编码器20可至少部分地基于与当前视频单元相同图片内的样本来产生当前视频单元的预测性亮度和色度块。
[0069]当视频编码器20执行帧内预测以产生当前视频单元的预测性亮度和色度块时，视频编码器20可基于一或多个参考图片内的参考块产生预测性块。参考图片可为含有当前视频单元的图片之外的图片。更具体来说，视频编码器20可产生第一参考图片列表(RefPicListO)和第二参考图片列表(RefPicListl)。RefPicListO 和 RefPicListl 是参考图片的列表。如果视频编码器20使用单向帧间预测来编码当前视频单元，那么视频编码器20可用信号表示参考索引，其指示包含参考块的参考图片的RefPicListO或RefPicListl内的位置。视频编码器20还可用信号表示指示当前视频单元的亮度块与参考块之间的空间位移的运动向量。如果视频编码器20使用双向帧间预测，那么视频编码器20可用信号表示两个参考索引，其指示含有参考块的参考图片的RefPicListO和RefPicListl内的位置。视频编码器20还可用信号表示指示当前视频单元的亮度块与参考块之间的空间位移的运动向量。
[0070]在H.264/AVC中，每一帧间MB( S卩，使用帧间预测编码的每一 MB)可以四种不同方式中的一种来分割:一个16x16MB分区，两个16x8MB分区，两个8x16MB分区，或四个8x8MB分区。一个块中的不同MB分区可针对每一方向(RefPicListO或RefPicListl)具有不同的参考索引。当MB未经分割为四个8x8MB分区时，MB在每一方向上具有用于整个MB分区的仅一个运动向量。在此情况下，MB分区可具有16xl6、8xl6或16x8的大小。当MB经分割为四个8x8MB分区时，每一 8x8分区可进一步分割为子块，其中每一者可在每一方向上具有不同运动向量。存在四种不同方式来将8x8MB分区分割为子块:一个8x8子块,两个8x4子块，两个4x8子块，和四个4x4子块。子块中的每一者可在每一方向上具有不同运动向量。
[0071]在H.264/AVC中，视频编码器20可通过用信号表示运动向量差(MVD)来用信号表示当前视频单元(例如，MB或MB分区)的运动向量。MVD指示运动向量预测符与当前视频单元的运动向量之间的差。运动向量预测符可为相邻块的运动向量。相邻块可在当前视频单元的样本块的上方或左边。如果相邻块不可用于产生运动向量预测符，那么运动向量预测符的水平和垂直分量可等于O。除了其它原因，如果相邻块和当前块在不同切片中、相邻块不在当前图片的边界内等等，那么相邻块不可用。
[0072]此外，在H.264/AVC中，视频编码器20可产生包含用于MB的语法元素的MB层语法结构。取决于MB的分割模式，MB层语法结构可包含MB预测语法结构或子MB预测语法结构。MB预测语法结构或子MB预测语法结构可包含指示MB的运动信息或MB的MB分区的运动信息的语法元素。举例来说，MB预测语法结构和子MB预测语法结构可包含指定参考索引和MVD的语法元素。
[0073]此外，在HEVC中，当视频编码器20使用帧间预测来产生当前I3U的预测性块时，视频编码器20可使用合并模式或自适应运动向量预测(AMVP)模式用信号表示当前的运动信息。在合并模式或AMVP模式中，视频编码器20可产生预测符候选的列表(B卩，候选列表)。预测符候选可指定除了当前PU之外的的运动信息。在合并模式中，视频编码器20可用信号表示选定预测符候选的候选列表内的位置。的运动信息可与由选定预测符候选指定的运动信息相同。在AMVP模式中，视频编码器20可用信号表示选定预测符候选的候选列表内的位置、参考索引和当前I3U的MVD。当前PU的MVD可基于选定预测符候选的运动向量与当前PU的运动向量之间的差。
[0074]在视频编码器20产生对应于当前视频单元(例如MB、MB分区、PU等等)的预测性块之后，视频编码器20可产生残余块。残余块中的每一样本可基于当前视频单元的样本块与预测性块中的对应样本之间的差。视频编码器20可将变换应用于残余块以产生一或多个变换系数块。视频编码器20可量化变换系数块以进一步减少用以表示当前视频单元的位的数目。在量化变换系数块之后，视频编码器20可对表示变换系数块中的变换系数的语法元素和其它语法元素进行熵编码。举例来说，视频编码器20可对语法元素执行上下文自适应二进制算术译码(CABAC)、上下文自适应可变长度译码(CAVLC)、指数哥伦布译码或另一类型的熵编码。视频编码器20可输出包含经熵编码语法元素的位流。
[0075]为了将CABAC编码应用于语法元素，视频编码器20可二进制化语法元素以形成一系列一或多个位，其称为“二进位”。另外，视频编码器20可识别译码上下文。译码上下文可识别译码二进位具有特定值的概率。举例来说，译码上下文可指示译码O值二进位的0.7概率和译码I值二进位的0.3概率。在识别译码上下文之后，视频编码器20可将区间划分为下部子区间和上部子区间。子区间中的一者可与值O相关联且其它子区间可与值I相关联。子区间的宽度可与由所识别译码上下文针对相关联值指示的概率成比例。如果语法元素的二进位具有与下部子区间相关联的值，那么经编码值可等于下部子区间的下部边界。如果语法元素的同一二进位具有与上部子区间相关联的值，那么经编码值可等于上部子区间的下部边界。为了对语法元素的下一二进位进行编码，视频编码器20可重复这些步骤，其中区间是与经编码位的值相关联的子区间。当视频编码器20针对下一二进位重复这些步骤时，视频编码器20可基于由所识别译码上下文指示的概率和经编码二进位的实际值来使用经修改概率。
[0076]视频编码器20可输出包含经熵编码语法元素的位流。所述位流可包含形成经译码图片的表示的位序列和相关联数据。所述位流可包括网络抽象层(NAL)单元的序列。NAL单元中的每一者包含NAL单元标头且囊封原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为囊封在NAL单元内的含有整数数目的字节的语法结构。在一些实例中，RBSP包含零个位。
[0077]不同类型的NAL单元可囊封不同类型的RBSP。举例来说，第一类型的NAL单元可囊封用于图片参数集(PPS)的RBSP，第二类型的NAL单元可囊封用于经译码切片的RBSP，第三类型的NAL单元可囊封用于补充增强信息(SEI)的RBSP，等等。囊封用于视频译码数据(与用于参数集的RBSP和SEI消息相反)的RBSP的NAL单元可称为视频译码层(VCL)NAL单元。
[0078]视频解码器30可接收包含视频数据的经编码表示的位流。视频解码器30可剖析位流以对位流的语法元素进行解码。作为对位流的语法元素进行解码的部分，视频解码器30可对位流的语法元素进行熵解码。举例来说，视频解码器30可对至少一些语法元素执行CABAC解码。视频解码器30可至少部分地基于与当前视频单元(例如MB、MB分区、PU等等)相关联的语法元素来执行帧间或帧内预测来产生当前视频单元的预测性块。另外，视频解码器30可对与当前视频单元相关联的变换系数块的变换系数进行逆量化，且可将一或多个逆变换应用于变换系数块以产生残余块。视频解码器30可至少部分地基于残余块和预测性块来重构当前视频单元块的样本块。以此方式，通过重构图片的块，视频解码器30可重构图片。
[0079]当视频解码器30对语法元素执行CABAC解码时，视频解码器30可识别译码上下文。视频解码器30可随后将区间划分为下部子区间和上部子区间。子区间中的一者可与值O相关联，且另一子区间可与值I相关联。子区间的宽度可与由所识别译码上下文针对相关联值指示的概率成比例。如果经编码值在下部子区间内，那么视频解码器30可对具有与下部子区间相关联的值的二进位进行解码。如果经编码值在上部子区间内，那么视频解码器30可对具有与上部子区间相关联的值的二进位进行解码。为了对语法元素的下一二进位进行解码，视频解码器30可重复这些步骤，其中区间是含有经编码值的子区间。当视频解码器30针对下一二进位重复这些步骤时，视频解码器30可基于由所识别译码上下文指示的概率和经解码二进位而使用经修改概率。视频解码器30可随后解二进制化二进位以恢复语法元素。
[0080]如上文提到，多视图视频译码(MVC)是H.264/AVC标准的扩展。在H.264/AVC的MVC扩展中，可存在同一场景的来自不同视点的多个视图。术语“存取单元”用以指代对应于同一时间实例的图片集合。因此，视频数据可经概念化为随着时间发生的一系列存取单元。“视图分量”可为单个存取单元中的视图的经译码表示。在本发明中，“视图”可指代与同一视图识别符相关联的视图分量的序列。
[0081 ] H.264/AVC的MVC扩展支持视图间预测。视图间预测类似于H.264/AVC中使用的帧间预测，且可使用相同的语法元素。然而，当视频译码器对当前视频单元(例如MB或MB分区)执行视图间预测时，视频编码器20可使用与当前视频单元在同一存取单元中但在不同视图中的图片作为参考图片。相比之下，常规帧间预测仅使用不同存取单元中的图片作为参考图片。
[0082]在MVC中，如果视频解码器(例如，视频解码器30)可对视图中的图片进行解码而不参考任何其它视图中的图片，那么视图可称为“基本视图”。当对非基本视图中的一者中的图片进行译码时，如果图片在不同视图中但在与视频译码器当前正译码的图片相同的时间实例(即，存取单元)内，那么视频译码器(例如视频编码器20或视频解码器30)可将图片添加到参考图片列表中。类似于其它帧间预测参考图片，视频译码器可在参考图片列表的任何位置处插入帧间视图预测参考图片。
[0083]在MVC中，帧间视图预测可通过视差运动补偿来支持。视差运动补偿使用H.264/AVC运动补偿的语法，但可允许不同视图中的图片用作参考图片。两个或两个以上视图的译码可由MVC支持。MVC的优点中的一者可为MVC编码器可使用两个以上视图作为3D视频输入，且MVC解码器可对此多视图表示进行解码。因此，支持MVC的视频解码器可处理具有两个以上视图的3D视频内容。
[0084]此外，存在对H.264/AVC的新兴的基于MVC的3DV扩展。基于MVC的3DV经设计以实现3D增强，同时维持MVC兼容性。基于MVC的3DV提供深度图。因此，基于MVC的3DV也可称为“MVC加深度”、“MVC+D”或“包含深度的MVC兼容扩展”。铃木(Suzuki)等人的“包含深度图的MVC扩展的工作草案”(IS0/IEC/JTC1/SC29/WG11/N12351，2011年12月，其整个内容以引用方式并入本文)是MVC兼容3DV的草案。铃木等人的“包含深度图的MVC扩展的工作草案”(IS0/IEC/JTC1/SC29/WG11/N12544，2012年2月，其整个内容以引用方式并入本文)是MVC兼容3DV的较新草案。
[0085]深度图是像素(例如，样本)值表示对应“纹理”图片中所示的对象的三维深度的图片。在一些实例中，深度图中的较亮像素值可对应于较靠近相机的对象，且深度图中的较暗像素值可对应于较远离相机的对象。“纹理”图片可为正常的H.264/AVC图片。
[0086]在本发明中，视图的纹理部分可称为“纹理视图”且视图的深度部分可称为“深度视图”。一个存取单元中的视图的纹理部分(即，存取单元中的纹理视图)可称为“纹理视图分量”。一个存取单元中的视图的深度部分(即，存取单元中的深度视图)可称为“深度视图分量”。因此，术语“视图分量”可指代一个存取单元中的视图且共同指代同一存取单元的纹理视图分量和深度视图分量两者。
[0087]如上文提到，一直在努力形成对H.264/AVC的3DV扩展，即基于AVC的3DV。类似于基于MVC的3DV，基于AVC的3DV提供深度图。在基于AVC的3DV中，视频编码器20可以与存取单元的其它视图相同的方式对深度图进行编码。与基于MVC的3DV相比，基于AVC的3DV可允许基于纹理视图分量对深度视图分量进行编码。这可增加译码效率，但可能增加复杂性。基于AVC的3DV可能与MVC不兼容。
[0088]在基于AVC的3DV中，视频编码器20可基于可用纹理和深度视图分量来产生合成纹理视图分量。也就是说，环路内视图合成预测(VSP)在基于AVC的3DV(和其它视频译码标准)中得到支持以用于增强的纹理译码。合成纹理视图分量可为基于深度图和一或多个纹理视图分量合成的纹理视图分量。也就是说，为了实现用于当前视图的译码的VSP，同一存取单元的经先前译码纹理和深度视图分量可用于视图合成。
[0089]举例来说，特定纹理视图分量可为左眼纹理视图分量，且视频编码器20可产生右眼纹理视图分量用于3DV重放。在一些实例中，合成纹理视图分量可用作用于存取单元间预测或视图间预测的参考图片。因此，得自VSP的合成图片可包含在初始参考图片列表(SP,RefPicList O和/或RefPicList I)中，跟随时间和视图间参考帧。用作参考图片的合成纹理视图分量可称为视图合成参考图片(VSRP)、视图合成预测(VSP)参考图片或简称为VSP图片。
[0090]在用于基于AVC的3DV的一些测试模型中，通过将合成图片添加到例如RefPicListO或RefPicListl等参考图片列表中来实现VSP。此方法存在若干可能问题。举例来说，到VSP参考图片的运动向量通常极接近于零。也就是说，到VSP图片内的参考块的运动向量几乎总是具有零的量值。然而，此些测试模型的方法可使运动向量差的上下文较低效。举例来说，VSP块的运动向量通常为0，然而如果相邻块是以时间图片预测，那么运动向量预测可经导出为不接近于0，因此可能需要用信号表示不必要的运动向量差，否则运动向量预测符不足够有效。
[0091]根据本发明的一些技术，视频编码器20可在位流中用信号表示指示当前视频单元是否是从VSP图片预测的语法元素。在一些实例中，当前视频单元可为MB、MB分区或另一类型的单元。在其中使用H.264/AVC的实例中，在MB或MB分区层级处引入VSP模式的信令以指示MB或MB分区是否是从VSP图片预测。视频单元(MB或MB分区)的VSP模式指示视频单元是否是从VSP图片预测。
[0092]在一些实例中，在当前视频单元是从VSP图片预测时，视频编码器20不用信号表示当前视频单元的运动信息。在其中使用H.264/AVC的实例中，当前视频单元的运动信息可包含一或多个参考索引和一或多个MVD。在其中使用HEVC的实例中，当前视频单元的运动信息可包含一或多个参考索引、一或多个运动向量候选索引、一或多个MVD以及预测方向指示符。
[0093]此外，在当前视频单元是从VSP图片预测时，视频编码器20可至少部分地基于VSP图片的与当前视频单元的样本块位于同一地点的块来产生当前视频单元的预测性块。视频编码器20可产生当前视频单元的残余块。残余块可指示当前视频单元的样本块与当前视频单元的预测性块之间的差。视频编码器20可变换、量化和熵编码残余块的样本。
[0094]视频解码器30可从位流解码语法元素且至少部分地基于语法元素确定当前视频单元是否是从VSP图片预测。在当前视频单元是从VSP图片预测时，视频解码器30可至少部分地基于VSP图片的与当前视频单元位于同一地点的块来产生当前视频单元的预测性块。视频解码器30可产生当前视频单元的预测性块而不用从位流解码当前视频单元的运动信息。
[0095]因此，根据本发明的技术，视频译码器可产生当前视频单元(例如，MB或MB分区)的预测性块以使得预测性块匹配于VSP图片中的位于同一地点的块。换句话说，在当前视频单元是从VSP图片预测时，视频译码器从VSP图片复制当前视频单元的位于同一地点的块。
[0096]因为在当前视频单元是从VSP图片预测时视频解码器30可能够产生当前视频单元的预测性块而无需解码当前视频单元的运动信息，所以可能不必在参考图片列表中包含VSP图片。因此，根据本发明的技术，不是将VSP图片添加到参考图片列表，视频译码器(例如视频编码器20或视频解码器30)并不将VSP图片添加到参考图片列表。
[0097]此外，根据本发明的技术，视频译码器可至少部分地基于与相邻块(例如，相邻MB或MB分区)相关联的信息来选择用于对当前视频单元(例如，当前MB或MB分区)的运动信息进行熵译码的译码上下文。当相邻块(例如，相邻MB或MB分区)是从VSP图片预测时，视频译码器可确定与相邻块相关联的信息不可用于选择用于对当前视频单元的运动信息进行熵译码的译码上下文。举例来说，当构造用于对特定MB或特定MB分区的运动信息进行熵译码的熵译码上下文时，使用VSP图片的MB或MB分区视为不可用于选择熵译码上下文。当视频译码器确定与相邻块相关联的信息不可用于选择译码上下文时，视频译码器不使用与相邻块相关联的信息来选择译码上下文。因此，使用VSP图片的块(例如，MB或MB分区)可对用于与当前视频单元的运动相关的语法元素的熵译码上下文无影响。
[0098]如上文指示，视频编码器20可用信号表示指示视频单元(例如MB、MB分区、子MB分区等等)是否是从VSP图片预测的语法元素。举例来说，视频编码器20可产生指示MB是否是从VSP图片预测的语法元素，视频编码器20可产生指示MB分区是否是从VSP图片预测的语法元素，且可产生指示子MB分区是否是从VSP图片预测的语法元素。根据本发明的技术，当对指示MB、MB分区和子MB分区是否是从VSP图片预测的语法元素进行熵译码时视频译码器可使用相同或不同译码上下文。举例来说，引入的指示VSP模式的MB或MB分区层级语法元素可共享用于熵译码的相同或不同上下文。
[0099]视频解码器30可基于运动向量预测符和MVD预测(即，确定)当前视频单元的运动向量。在H.264/AVC中，当相邻块(例如，相邻MB、MB分区或子MB分区)可用时，运动向量预测符可从相邻块的运动向量导出。根据本发明的技术，当视频译码器预测当前视频单元的运动向量时，从VSP图片预测的块(例如，MB或MB分区)可视为不可用的。
[0100]在H.264/AVC及其扩展中，视频编码器20可产生用于切片的切片标头语法结构和用于切片的切片数据语法结构。如上文指示，切片可包含整数数目的MB。用于切片的切片数据语法结构可包含用于切片的MB的MB层语法结构。用于MB的MB层语法结构可包含用于MB的语法元素。在基于AVC的3DV测试模型(3D-ATM)的一些版本中，用于切片的切片数据语法结构可包含用于切片的MB的mb_skip_flag语法元素。当切片是P切片或SP切片时，用于MB的mb_skip_flag语法元素指示MB是否是在P_Skip模式中编码。当切片是B切片时,用于MB的mb_skip_flag语法元素指示MB是否在B_Skip模式中编码。举例来说，如果用于MB的mb_skip_flag语法元素等于I且切片为P或SP切片，那么视频解码器30可推断用于MB的mb_type是P_Skip (且MB类型统称为P MB类型)。如果mb_skip_flag语法元素等于I且切片为B切片，那么视频解码器30可推断用于MB的mb_type是B_Skip (且MB类型统称为B MB类型)。在此实例中，如果用于MB的mb_skip_flag等于0，那么不跳过MB。
[0101]当MB在P_Skip模式中编码时，视频解码器30可导出MB的预测性亮度和色度块，使得MB的预测性亮度和色度块匹配于参考图片中位于同一地点的MB的亮度和色度块。因此，当MB在P_Skip模式中编码时，用于MB的MB层语法结构可包含参考索引，其识别参考图片在RefPicListO或RefPicListl内的位置。类似地，当MB在B_Skip模式中编码时，视频解码器30可从两个参考图片的位于同一地点的MB导出MB的预测性亮度和色度块。当MB在B_Skip模式中编码时，用于MB的MB层语法结构可包含识别参考图片在RefPicListO和RefPicList I内的位置的参考索引。当MB在P_Skip模式或B_Skip模式中编码时，用于MB的MB层语法结构不需要包含其它语法元素，例如指定运动信息、变换系数层级等等的语法元素。
[0102]此外，在3D-ATM的一些版本中，用于切片的切片数据语法结构可包含VSP跳过语法元素，其指示当前MB是否从VSP图片跳过。换句话说，VSP跳过语法元素可指示当前MB的预测性亮度和色度块匹配于VSP图片的位于同一地点的亮度和色度块。当VSP跳过语法元素指示当前MB从VSP图片跳过时，当前MB总是从VSP图片单向预测。VSP跳过语法元素和mb_skip_flag语法元素可在一起用信号表示,且可根据基于当前MB上方和左边的MB的上下文来熵编码。
[0103]mb_skip_flag语法元素和skip_from_vsp_flag语法元素可以相对复杂方式用信号表示。本发明可将此问题称为跳过模式信令复杂性问题。此外，在上述技术中的一些中，仅一个VSP图片可用于整个视图分量或切片。一些此类技术可支持仅从VSP图片的单向预测且不支持从多个VSP图片的预测。本发明可将此问题称为单向VSP跳过模式问题。本发明的额外技术可解决这些问题。这些额外技术可以或不可一起工作以获得完整解决方案。
[0104]在用于解决跳过模式信令复杂性问题的实例技术中，当仅一个VSP图片可用时，mb_skip_flag语法元素和指示从VSP图片跳过的旗标(例如，VSP跳过语法元素)组合为单个语法元素。此组合单个语法元素在此可称为mb_skip_idc语法元素。此外，用于相邻块的mb_skip_idc语法元素的值的上下文可用以预测当前MB的mb_skip_idc语法元素。
[0105]当用于MB的至少一个预测符(即，参考图片)是VSP图片且仅存在一个VSP图片可用于每一预测方向时，用于解决单向VSP跳过模式问题的第一实例技术适用。在此实例中，mb_part_vsp_flag语法元素和sub_mb_vsp_flag语法元素延伸到两个方向，以便指示MB分区的给定预测方向是否是从VSP预测。如上文指示，MB预测语法结构的mb_part_vsp_flag语法元素指示当前MB分区是否是从VSP图片预测。子MB预测语法结构的sub_mb_vsp_flag语法元素指示当前MB分区是否是从VSP图片预测。
[0106]当用于MB的至少一个预测符(即，参考图片)是VSP图片且仅存在一个VSP图片可用于每一预测方向时，用于解决单向VSP跳过模式问题的第二实例技术适用。在此实例中，VSP图片保持在参考图片列表(例如，RefPicListO或RefPicListl)中。当MB或子MB的参考索引(例如，ref_idx语法元素)对应于VSP图片时，双向预测自动地是来自VSP图片。然而类似于本发明的其它技术，对应于此ref_idx(假定ref_idx属于RefPicListX)的运动向量未用信号表示，且关联到MB分区的RefPicListX的运动信息视为不可用。这也可应用于单向预测。
[0107]在解决单向VSP跳过模式问题的另一实例技术中，支持多个VSP图片。在此实例中，当任何旗标指示使用VSP时，可用信号表示又一索引。或者，给定直接指示，其考虑所有可能的VSP图片和正常跳过图片且将其与一个语法元素联合地用信号表示。
[0108]虽然上文已主要参考H.264/AVC描述了本发明的技术，但本发明的技术也可适用于HEVC，且尤其是HEVC的3DV扩展。在HEVC的3DV扩展中，如文档m23783中建议，合成图像(例如，VSP图片)的一些区域不可用，因为所述区域在其它视图(即，VSP图片从其合成的视图)中被遮挡。VSP图片的此些区域可称为未遮挡区域，因为所述区域在其它视图中隐藏(即，被遮挡)。在二进制图(即可用性图)上识别且标记未遮挡区域，所述图控制译码和解码过程。视频译码器和视频解码器可以均使用可用性图来确定给定CU是否经译码。然而，观察已展示此技术的译码性能不是最优的。因此，在基于HEVC的3DV中缺乏有效的VSP机制，主要是由于以下问题。首先，作为模式的视图合成可仅有助于一些区域。第二，视图合成模式未良好地集成到整个HEVC设计中。
[0109]本发明的技术可为基于HEVC的3DV中的VPS支持提供解决方案。根据本发明的一或多个技术，视频编码器20可在CU层级用信号表示旗标以指示当前CU是否以VSP译码(从VSP图片预测)。在当前⑶是以VSP译码(即，当前⑶是VSP CU)时，VSP⑶的残余可以与其它模式相同的方式用信号表不。
[0110]此外，在一些实例中，视频编码器20可针对每一用信号表示指示是否是从VSP预测的语法元素(例如，旗标)。在此些实例中，视频译码器可以VSP预测⑶中的一个PU(即，产生其预测性块)，同时视频译码器可以其它模式(例如正常帧间或帧内)预测CU的另一 PU。此外，在此些实例中，当视频译码器正在构造用于对的运动信息进行熵译码的译码上下文时，视频译码器可针对CU层级旗标(即，指示CU的所有PU是否是从VSP图片预测的语法元素)和PU层级旗标(即，指示单个PU是否是从VSP图片预测的语法元素)使用相同或不同上下文模型。
[0111]当视频译码器从VSP图片产生用于⑶或的预测性块时，视频译码器可从VSP图片复制⑶或PU的位于同一地点的块。换句话说，⑶或的预测性块可匹配于VSP图片的位于同一地点的块。
[0112]如上文描述，视频编码器20可使用合并模式或AMVP模式来用信号表示当前PU的运动信息。在合并模式或AMVP模式中，视频编码器20可产生预测符候选的列表(B卩，候选列表)。预测符候选可指定除了当前PU之外的的运动信息。当其它中的一者不可用时，视频编码器20不包含指定另一的运动信息的预测符候选。根据本发明的技术，当视频译码器在运动向量预测期间针对可用性检查相邻PU/CU时，视频译码器可将从VSP图片预测的PU/⑶(即，VSP PU/⑶)视为不可用的。
[0113]图2是说明可实施本发明的技术的实例视频编码器20的框图。图2是为了阐释的目的提供且不应视为限制本发明中广泛示例且描述的技术。为了阐释，本发明主要在H.264/AVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法，例如HEVC。
[0114]在图2的实例中，视频编码器20包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重构单元112、滤波器单元114、经解码图片缓冲器116，和熵编码单元118。预测处理单元100包含帧间预测处理单元120和帧内预测处理单元126。帧间预测处理单元120包含运动估计单元122和运动补偿单元124。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。
[0115]视频编码器20接收视频数据。为了对视频数据进行编码，视频编码器20可对视频数据的每一图片的每一 MB进行编码。为了对MB进行编码，预测处理单元100可选择用于MB的分割模式。视频编码器20可使用用于MB的MB层语法结构中的mb_type语法元素来用信号表示用于MB的分割模式。用于MB的分割模式可指示MB的亮度和色度块如何分割为MB的MB分区的亮度和色度块。
[0116]切片可包含整数数目的MB。此外，切片可为I切片、P切片、SP切片、SI切片或B切片。如果MB是I切片，那么MB的所有MB分区经帧内预测。因此，如果MB在I切片中，那么运动估计单元122和运动补偿单元124不对MB执行帧间预测。SP切片是可使用帧内预测或帧间预测来译码的切片，其中使用至多一个运动向量和参考索引来量化预测样本以预测每一块的样本值。SP切片可经译码以使得其经解码样本可相同于另一 SP切片或SI切片来构造。SI切片是仅使用帧内预测且使用预测样本的量化来译码的切片。SI切片可经译码以使得其经解码样本可相同于SP切片来构造。
[0117]帧间预测处理单元120可在开始对每一 P、SP或B切片进行译码时执行参考图片列表构造过程。如果帧间预测处理单元120正在对P或SP切片进行译码，那么帧间预测处理单元120可产生第一参考图片列表(例如，RefPicListO)。如果帧间预测处理单元120正在对B切片进行译码，那么帧间预测处理单元120可产生第一参考图片列表(例如，RefPicListO)且还产生第二参考图片列表(例如，RefPicListl)。
[0118]如果视频编码器20正在对P切片中的当前视频单元(例如，MB或MB分区)进行译码，那么运动估计单元122可搜索参考图片列表(例如，RefPicListO)中的参考图片是否有用于当前视频单元的参考块。在其中视频编码器20使用MVC兼容3DV或AVC兼容3DV的实例中，参考图片列表可包含视图间参考图片。在其中视频编码器20使用AVC兼容3DV的实例中，参考图片列表中的视图间参考图片可包含基于深度图合成的参考图片。当如视频单元的参考块可为最接近地对应于当前视频单元的亮度和色度块的一个亮度样本块和两个对应的色度样本块。
[0119]运动估计单元122可产生指示RefPicListO中含有P切片中的当前视频单元的参考块的参考图片的参考索引和指示当前视频单元的亮度样本块与参考块之间的空间位移的运动向量。当前视频单元的运动信息可包含当前视频单元的参考索引和当前视频单元的运动向量。运动补偿单元124可基于由当前视频单元的运动信息指示的参考块来产生当前视频单元的预测性块。
[0120]如果当前视频单元在B切片中，那么运动估计单元122可对当前视频单元执行单向帧间预测或双向帧间预测。为了对当前视频单元执行单向帧间预测，运动估计单元122可搜索RefPicListO或第二参考图片列表(例如，RefPicListl)的参考图片是否有用于当前视频单元的参考块。在其中视频编码器20使用MVC或3DV的实例中，RefPicListO和/或RefPicListl可包含视图间参考图片。运动估计单元122可产生指示含有参考块的参考图片的RefPicListO或RefPicListl中的位置的参考索引和指示当前视频单元的样本块与参考块之间的空间位移的运动向量。运动估计单元122还可产生指示参考图片是否在RefPicListO或RefPicListl中的预测方向指示符。
[0121]为了执行用于当前视频单元的双向帧间预测，运动估计单元122可搜索RefPicListO中的参考图片是否有当前视频单元的参考块，且还可搜索RefPicListl中的参考图片是否有当前视频单元的另一参考块。运动估计单元122可产生指示含有参考块的参考图片的RefPicListO和RefPicListl中的位置的图片索引。另外，运动估计单元122可确定指示参考块与当前视频单元的亮度块之间的空间位移的运动向量。当前视频单元的运动信息可包含参考索引和当前视频单元的运动向量。运动补偿单元124可基于由当前视频单元的运动信息指示的参考块来产生当前视频单元的预测性块。
[0122]帧内预测处理单元126可通过对当前视频单元执行帧内预测来产生当前视频单元的预测性数据。当前视频单元的预测性数据可包含当前视频单元的预测性块和各种语法元素。帧内预测处理单元126可对I切片、P切片和B切片中的视频单元执行帧内预测。
[0123]预测处理单元100可从由通过用于当前视频单元的帧间预测处理单元120产生的预测性数据和通过用于当前视频单元的帧内预测处理单元126产生的预测性数据当中选择当前视频单元的预测性数据。在一些实例中，预测处理单元100基于预测性数据集合的速率/失真量度选择当前视频单元的预测性数据。
[0124]残余产生单元102可通过从当前视频单元的样本块的对应样本减去当前视频单元的预测性块中的样本来产生残余块。变换处理单元104可通过将一或多个变换应用于残余块来产生用于每一残余块的变换系数块。变换处理单元104可将各种变换应用于残余块。举例来说，变换处理单元104可将离散余弦变换(DCT)、方向变换、整数变换、小波变换或概念上类似的变换应用于残余块。
[0125]量化单元106可量化变换系数块中的变换系数。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，在量化期间η位变换系数可舍入到m位变换系数，其中η大于m。量化单元106可基于量化参数(QP)值量化变换系数块。视频编码器20可通过调整QP值来调整应用于变换系数块的量化程度。
[0126]逆量化单元108和逆变换处理单元110可将逆量化和逆变换分别应用于变换系数块以从变换系数块重构残余块。重构单元112可将经重构残余块中的样本添加到来自由预测处理单元100产生的一或多个预测块的对应样本以产生经重构块。滤波器单元114可执行解块操作以减少经重构块中的成块假象。经解码图片缓冲器116可在滤波器单元114对经重构块执行一或多个解块操作之后存储经重构块。运动估计单元122和运动补偿单元124可使用含有经重构块的参考图片以对后续图片的视频单元执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重构块来执行帧内预测。
[0127]熵编码单元118可从视频编码器20的功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收变换系数块且可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码数据。举例来说，视频编码器20可对数据执行CAVLC操作、CABAC操作、变量到变量(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布译码操作或另一类型的熵编码操作。
[0128]图3是说明可实施本发明的技术的实例视频解码器30的框图。图3是为了阐释的目的提供且不限于本发明中广泛示例且描述的技术。为了阐释，本发明在H.264/AVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
[0129]在图3的实例中，视频解码器30包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158、滤波器单元160和经解码图片缓冲器162。预测处理单元152包含运动补偿单元164和帧内预测处理单元166。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。
[0130]视频解码器30可接收位流。熵解码单元150可剖析位流以从位流解码语法元素。作为剖析位流的部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158和滤波器单元160可基于从位流解码的语法元素产生经解码视频数据(即，重构视频数据)。从位流解码的语法元素可包含表示变换系数块的语法元素。
[0131]逆量化单元154可逆量化(即，解量化)变换系数块。逆量化单元154可使用QP值来确定量化程度且同样确定逆量化单元154将应用的逆量化程度。在逆量化单元154逆量化变换系数块之后，逆变换处理单元156可将一或多个逆变换应用于变换系数块以便产生残余块。举例来说，逆变换处理单元156可将逆DCT、逆整数变换、逆卡忽南-洛维变换(KLT)、逆旋转变换、逆方向变换或另一逆变换应用于变换系数块。
[0132]如果当前视频单元是使用帧内预测编码的，那么帧内预测处理单元166可执行帧内预测以产生当前视频单元的预测性块。举例来说，帧内预测处理单元166可基于位流中的语法元素确定当前视频单元的帧内预测模式。帧内预测处理单元166可使用帧内预测模式以基于空间相邻块产生当前视频单元的预测性块。
[0133]运动补偿单元164可基于从位流解码的语法元素构造第一参考图片列表(RefPicListO)和第二参考图片列表(RefPicListl)。在其中位流是使用MVC兼容3DV或基于AVC的3DV编码的实例中，那么RefPicListO和/或RefPicListl可包含视图间参考图片。在其中位流是使用基于AVC的3DV编码的实例中，RefPicListO和/或RefPicListl中的视图间参考图片可包含基于深度图合成的参考图片。此外，如果当前视频单元是使用帧间预测编码的，那么熵解码单元150可对当前视频单元的运动信息进行解码。运动补偿单元164可基于当前视频单元的运动信息来确定当前视频单元的一或多个参考块。运动补偿单元164可基于当前视频单元的一或多个参考块产生当前视频单元的预测性块。
[0134]重构单元158可基于当前视频单元的残余块和当前视频单元的预测性块来重构当前视频单元的样本块。特定来说，重构单元158可将残余块的样本(例如，亮度或色度分量)添加到预测性块的对应样本以重构当前视频单元的样本块。
[0135]滤波器单元160可执行解块操作以减少与当前视频单元的样本块相关联的成块假象。视频编码器20的滤波器单元114可执行类似于滤波器单元160的解块操作的解块操作，因此为了简明，本发明仅描述关于滤波器单元160的解块操作。当滤波器单元160执行H.264/AVC中的解块操作时，滤波器单元160可执行用于块边缘的滤波过程。滤波器单元160可将滤波过程应用于跨4x4块水平或垂直边缘的一组八个样本。这些样本可称为“输入样本”且可表示为Pi和％，其中i = 0..3，边缘位于P。与qQ之间。当滤波器单元160将滤波过程应用于样本集合时，滤波器单元160可确定边界滤波强度值(bS)。另外，滤波器单元160可确定用于块的量化参数(qPp，qPq)。滤波器单元160可随后至少部分地基于样本值、bS、滤波器偏移、CiP1^P qP,来执行阈值导出过程。阈值导出过程可返回指示输入样本是否经滤波的值。阈值导出过程还可返回阈值变量α和β的一或多个值(索引Α)。滤波器单元160可随后至少部分地基于bS、α、β和索引A对输入样本执行滤波操作。
[0136]如上文提到，滤波器单元160可确定边界滤波强度值(bS)。滤波器单元160可基于多种不同类型的信息确定bS。举例来说，滤波器单元160可至少部分地基于块的预测(例如，帧间或帧内)模式、块的参考索引、块是否经单向或双向帧间预测、块的运动向量等等来确定bS。
[0137]视频解码器30可将经重构块存储在经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测和在例如图1的显示装置32等显示装置上呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的经重构块对其它CU的PU执行帧内预测或帧间预测操作。
[0138]如上文描述，位流可包括一系列NAL单元。NAL单元可包含经译码切片NAL单元，其囊封视频数据的图片的经译码切片。每一经译码切片包含切片标头语法结构和切片数据语法结构。根据本发明的技术的第一实例实施方案，切片标头语法结构可符合以下表I的实例语法。
[0139]表1-切片标头语法
[0140]

【权利要求】
1.一种对视频数据进行解码的方法，所述方法包括: 至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生视图合成预测VSP图片； 从包含多个纹理视图和多个深度视图的经译码表示的位流对指示当前视频单元是否是从所述VSP图片预测的语法元素进行解码，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的宏块MB或MB分区； 当所述当前视频单元不是从所述VSP图片预测时: 从所述位流解码所述当前视频单元的运动信息；以及 使用所述当前视频单元的所述运动信息来重构所述当前视频单元的样本块；以及当所述当前视频单元是从所述VSP图片预测时，使用所述VSP图片来重构所述当前视频单元的所述样本块。
2.根据权利要求1所述的方法，其中所述当前视频单元的所述运动信息包含参考索引和运动向量差，所述参考索引指示参考图片列表内的位置，所述运动向量差指示运动向量预测符与所述当前视频单元的运动向量之间的差。
3.根据权利要求1所述的方法，其中: 所述当前视频单元是MB，且 对所述语法元素进行解码包括从所述位流解码包含所述语法元素的MB层语法结构。
4.根据权利要求1所述的方法，其中: 所述当前视频单元是MB分区，且 对所述语法元素进行解码包括从所述位流解码包含所述语法元素的语法结构，所述语法结构是MB预测语法结构或子MB预测语法结构。
5.根据权利要求1所述的方法，其中: 所述语法元素是第一语法元素，且 所述方法进一步包括从所述位流解码用于包含所述当前视频单元的切片的切片标头语法结构，所述切片标头语法结构包含第二语法元素，所述第二语法元素指示针对所述切片是否允许VSP。
6.根据权利要求1所述的方法，其中: 所述当前视频单元是MB, 所述语法元素是第一语法元素，且 所述方法进一步包括从所述位流解码用于包含所述MB的切片的切片数据语法结构，其中当所述MB是使用跳过模式编码时所述切片数据语法结构包含第二语法元素，所述第二语法元素指示是否全部所述MB是从所述VSP图片预测或所述MB是否是从另一参考图片预测。
7.根据权利要求1所述的方法，其中: 所述当前视频单元是MB，且 所述方法进一步包括从所述位流解码切片数据语法结构， 当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码，所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测且所述VSP图片存在时，所述切片数据语法结构包含第二语法元素， 所述第二语法元素指示所述MB是从所述VSP图片预测且未用信号表示所述MB的残余。
8.根据权利要求1所述的方法，其中: 所述当前视频单元是MB, 所述语法元素是第一语法元素， 对所述第一语法元素进行解码包括从所述位流解码用于所述MB的MB层语法结构，当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码，所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测且所述MB不是从所述VSP图片预测时,所述MB层语法结构包含第二语法元素， 所述第二语法元素指示所述MB的类型，且 当所述MB不是从所述VSP图片预测时，所述MB层语法结构包含子MB预测语法结构或MB预测语法结构。
9.根据权利要求1所述的方法，其中: 所述当前视频单元是子MB分区， 所述语法元素是第一语法元素， 对所述第一语法元素进行解码包括从所述位流解码用于所述子MB分区的子MB预测语法结构， 当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码，所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测且所述子MB分区不是从所述VSP图片预测时，所述子MB预测语法结构包含第二语法元素， 所述第二语法元素指示所述子MB分区的类型。
10.根据权利要求1所述的方法，其中: 相邻视频单元的样本块相邻于所述当前视频单元的样本块，且 所述方法进一步包括: 至少部分地基于所述相邻视频单元是否是从所述VSP图片预测来选择译码上下文；以及 使用所述选定译码上下文对所述当前视频单元的至少一些运动信息进行熵编码。
11.根据权利要求1所述的方法，其进一步包括: 至少部分地基于所述当前视频单元是否是从所述VSP图片预测来确定边界强度值；以及 至少部分地基于所述边界强度值对所述当前视频单元的样本块执行解块操作。
12.根据权利要求1所述的方法，其中所述语法元素还指示所述当前视频单元是否是使用跳过模式来预测。
13.一种视频解码装置，其包括一或多个处理器，所述一或多个处理器经配置以: 至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生视图合成预测VSP图片； 从包含多个纹理视图和多个深度视图的经译码表示的位流对指示当前视频单元是否是从所述VSP图片预测的语法元素进行解码，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的宏块MB或MB分区； 当所述当前视频单元不是从所述VSP图片预测时: 从所述位流解码所述当前视频单元的运动信息；以及 使用所述当前视频单元的所述运动信息来重构所述当前视频单元的样本块；以及当所述当前视频单元是从所述VSP图片预测时，使用所述VSP图片来重构所述当前视频单元的所述样本块。
14.根据权利要求13所述的视频解码装置，其中所述当前视频单元的所述运动信息包含参考索引和运动向量差，所述参考索引指示参考图片列表内的位置，所述运动向量差指示运动向量预测符与所述当前视频单元的运动向量之间的差。
15.根据权利要求13所述的视频解码装置，其中: 所述当前视频单元是MB，且 所述一或多个处理器经配置以从所述位流解码包含所述语法元素的MB层语法结构。
16.根据权利要求13所述的视频解码装置，其中: 所述当前视频单元是MB分区，且 一或多个处理器经配置以从所述位流解码包含所述语法元素的语法结构，所述语法结构是MB预测语法结构或子MB预测语法结构。
17.根据权利要求13所述的视频解码装置，其中: 所述语法元素是第一语法元素，且 所述一或多个处理器经配置以从所述位流解码用于包含所述当前视频单元的切片的切片标头语法结构，所述切片标头语法结构包含第二语法元素，所述第二语法元素指示针对所述切片是否允许VSP。
18.根据权利要求13所述的视频解码装置，其中: 所述当前视频单元是MB，且 所述一或多个处理器经配置以从所述位流解码用于包含所述MB的切片的切片数据语法结构，其中当所述MB是使用跳过模式编码时所述切片数据语法结构包含第二语法元素，所述第二语法元素指示是否全部所述MB是从所述VSP图片预测或所述MB是否是从另一参考图片预测。
19.根据权利要求13所述的视频解码装置，其中: 所述当前视频单元是MB, 所述语法元素是第一语法元素，且 所述一或多个处理器经配置以从所述位流解码切片数据语法结构，当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码，所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测且所述VSP图片存在时，所述切片数据语法结构包含第二语法元素，所述第二语法元素指示所述MB是从所述VSP图片预测且未用信号表示所述MB的残余。
20.根据权利要求13所述的视频解码装置，其中: 所述当前视频单元是MB, 所述语法元素是第一语法元素， 所述一或多个处理器经配置以从所述位流解码用于所述MB的MB层语法结构， 当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码，所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测且所述MB不是从所述VSP图片预测时,所述MB层语法结构包含第二语法元素， 所述第二语法元素指示所述MB的类型，且 当所述MB不是从所述VSP图片预测时，所述MB层语法结构包含子MB预测语法结构或MB预测语法结构。
21.根据权利要求13所述的视频解码装置，其中: 所述当前视频单元是子MB分区， 所述语法元素是第一语法元素， 所述一或多个处理器经配置以从所述位流解码用于所述子MB分区的子MB预测语法结构， 当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码，所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测且所述子MB分区不是从所述VSP图片预测时，所述子MB预测语法结构包含第二语法元素， 所述第二语法元素指示所述子MB分区的类型。
22.根据权利要求13所述的视频解码装置，其中: 相邻视频单元的样本块相邻于所述当前视频单元的样本块，且 所述一或多个处理器经配置以: 至少部分地基于所述相邻视频单元是否是从所述VSP图片预测来选择译码上下文；以及 使用所述选定译码上下文对所述当前视频单元的至少一些运动信息进行熵编码。
23.根据权利要求13所述的视频解码装置，其中所述一或多个处理器经配置以: 至少部分地基于所述当前视频单元是否是从所述VSP图片预测来确定边界强度值；以及 至少部分地基于所述边界强度值对所述当前视频单元的样本块执行解块操作。
24.根据权利要求13所述的视频解码装置，其中所述语法元素还指示所述当前视频单元是否是使用跳过模式来预测。
25.一种视频解码装置，其包括: 用于至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生视图合成预测VSP图片的装置； 用于从包含多个纹理视图和多个深度视图的经译码表示的位流对指示当前视频单元是否是从所述VSP图片预测的语法元素进行解码的装置，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的宏块MB或MB分区； 用于当所述当前视频单元不是从所述VSP图片预测时从所述位流解码所述当前视频单元的运动信息的装置；以及 用于当所述当前视频单元不是从所述VSP图片预测时使用所述当前视频单元的所述运动信息来重构所述当前视频单元的样本块的装置；以及 用于当所述当前视频单元是从所述VSP图片预测时使用所述VSP图片来重构所述当前视频单元的所述样本块的装置。
26.一种其上存储有指令的计算机可读存储媒体，所述指令在由视频解码装置的一或多个处理器执行时配置所述视频解码装置以: 至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生视图合成预测VSP图片； 从包含多个纹理视图和多个深度视图的经译码表示的位流对指示当前视频单元是否是从所述VSP图片预测的语法元素进行解码，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的宏块MB或MB分区； 当所述当前视频单元不是从所述VSP图片预测时: 从所述位流解码所述当前视频单元的运动信息；以及 使用所述当前视频单元的所述运动信息来重构所述当前视频单元的样本块；以及当所述当前视频单元是从所述VSP图片预测时，使用所述VSP图片来重构所述当前视频单元的所述样本块。
27.一种用于对视频数据进行编码的方法，所述方法包括: 至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生视图合成预测VSP图片； 在包含多个纹理视图和多个深度视图的经编码表示的位流中用信号表示指示当前视频单元是否是从所述VSP图片预测的语法元素，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的宏块MB或MB分区； 当所述当前视频单元不是从所述VSP图片预测时，在所述位流中用信号表示所述当前视频单元的运动信息； 当所述当前视频单元是从所述VSP图片预测时，从所述位流省略所述当前视频单元的所述运动信息；以及输出所述位流。
28.根据权利要求27所述的方法，其中所述当前视频单元的所述运动信息包含参考索引和运动向量差，所述参考索引指示参考图片列表内的位置，所述运动向量差指示运动向量预测符与所述当前视频单元的运动向量之间的差。
29.根据权利要求27所述的方法，其中: 当所述当前视频单元是MB时，且 用信号表示所述语法元素包括在所述位流中用信号表示包含所述语法元素的MB层语法结构。
30.根据权利要求27所述的方法，其中: 所述当前视频单元是MB分区，且 用信号表示所述语法元素包括在所述位流中用信号表示包含所述语法元素的语法结构，所述语法结构是MB预测语法结构或子MB预测语法结构。
31.根据权利要求27所述的方法，其中 所述语法元素是第一语法元素，且 所述方法进一步包括在所述位流中用信号表示用于包含所述当前视频单元的切片的切片标头语法结构，所述切片标头语法结构包含第二语法元素，所述第二语法元素指示针对所述切片是否允许VSP。
32.根据权利要求27所述的方法，其中: 所述当前视频单元是MB, 所述语法元素是第一语法元素，且 所述方法进一步包括在所述位流中用信号表示用于包含所述MB的切片的切片数据语法结构，其中当所述MB是使用跳过模式编码时所述切片数据语法结构包含第二语法元素，所述第二语法元素指示是否全部所述MB是从所述VSP图片预测或所述MB是否是从另一参考图片预测。
33.根据权利要求27所述的方法，其中: 所述当前视频单元是MB, 所述语法元素是第一语法元素，且 所述方法进一步包括在所述位流中用信号表示切片数据语法结构， 当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码时，当所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测时且当所述VSP图片存在时，所述切片数据语法结构包含第二语法元素，且 所述第二语法元素指示所述MB是从所述VSP图片预测且未用信号表示所述MB的残余。
34.根据权利要求27所述的方法，其中: 所述当前视频单元是MB, 所述语法元素是第一语法元素，且 所述方法进一步包括在所述位流中用信号表示用于所述MB的MB层语法结构， 其中当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码，所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测且所述MB不是从所述VSP图片预测时，所述MB层语法结构包含第二语法元素， 所述第二语法元素指示所述MB的类型，且 当所述MB不是从所述VSP图片预测时，所述MB层语法结构包含子MB预测语法结构或MB预测语法结构。
35.根据权利要求27所述的方法，其中: 所述当前视频单元是子MB分区， 所述语法元素是第一语法元素，且 用信号表示所述第一语法元素包括在所述位流中用信号表示用于所述子MB分区的子MB预测语法结构， 当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码，所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测且所述子MB分区不是从所述VSP图片预测时，所述子MB预测语法结构包含第二语法元素，且所述第二语法元素指示所述子MB分区的类型。
36.根据权利要求27所述的方法，其中: 相邻视频单元的样本块相邻于所述当前视频单元的样本块，且 所述方法进一步包括: 至少部分地基于所述相邻视频单元是否是从所述VSP图片预测来选择译码上下文；以及 使用所述选定译码上下文对所述当前视频单元的至少一些运动信息进行熵编码。
37.根据权利要求27所述的方法，其进一步包括: 至少部分地基于所述当前视频单元是否是从所述VSP图片预测来确定边界强度值；以及 至少部分地基于所述边界强度值对所述当前视频单元的样本块执行解块操作。
38.根据权利要求27所述的方法，其中所述语法元素还指示所述当前视频单元是否是使用跳过模式来预测。
39.一种视频编码装置，其包括一或多个处理器，所述一或多个处理器经配置以: 至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生视图合成预测VSP图片； 在包含多个纹理视图和多个深度视图的经编码表示的位流中用信号表示指示当前视频单元是否是从所述VSP图片预测的语法元素，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的宏块MB或MB分区； 当所述当前视频单元不是从所述VSP图片预测时，在所述位流中用信号表示所述当前视频单元的运动信息； 当所述当前视频单元是从所述VSP图片预测时，从所述位流省略所述当前视频单元的所述运动信息；以及输出所述位流。
40.根据权利要求39所述的视频编码装置，其中所述当前视频单元的所述运动信息包含参考索引和运动向量差，所述参考索引指示参考图片列表内的位置，所述运动向量差指示运动向量预测符与所述当前视频单元的运动向量之间的差。
41.根据权利要求39所述的视频编码装置，其中: 所述当前视频单元是MB，且 所述一或多个处理器经配置以在所述位流中用信号表示包含所述语法元素的MB层语法结构。
42.根据权利要求39所述的视频编码装置，其中: 所述当前视频单元是MB分区，且 所述一或多个处理器经配置以在所述位流中用信号表示包含所述语法元素的语法结构，所述语法结构是MB预测语法结构或子MB预测语法结构。
43.根据权利要求39所述的视频编码装置，其中: 所述语法元素是第一语法元素，且 所述一或多个处理器进一步经配置以在所述位流中用信号表示用于包含所述当前视频单元的切片的切片标头语法结构，所述切片标头语法结构包含第二语法元素，所述第二语法元素指示针对所述切片是否允许VSP。
44.根据权利要求39所述的视频编码装置，其中: 所述当前视频单元是MB, 所述语法元素是第一语法元素，且 所述一或多个处理器在所述位流中用信号表示用于包含所述MB的切片的切片数据语法结构，其中当所述MB是使用跳过模式编码时所述切片数据语法结构包含第二语法元素，所述第二语法元素指示是否全部所述MB是从所述VSP图片预测或所述MB是否是从另一参考图片预测。
45.根据权利要求39所述的视频编码装置，其中: 所述当前视频单元是MB, 所述语法元素是第一语法元素，且 所述一或多个处理器在所述位流中用信号表示切片数据语法结构， 当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码时，当所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测时且当所述VSP图片存在时，所述切片数据语法结构包含第二语法元素，且 所述第二语法元素指示所述MB是从所述VSP图片预测且未用信号表示所述MB的残余。
46.根据权利要求39所述的视频编码装置，其中: 所述当前视频单元是MB, 所述语法元素是第一语法元素，且 所述一或多个处理器在所述位流中用信号表示用于所述MB的MB层语法结构， 当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码，所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测且所述MB不是从所述VSP图片预测时,所述MB层语法结构包含第二语法元素， 所述第二语法元素指示所述MB的类型，且 当所述MB不是从所述VSP图片预测时，所述MB层语法结构包含子MB预测语法结构或MB预测语法结构。
47.根据权利要求39所述的视频编码装置，其中: 所述当前视频单元是子MB分区， 所述语法元素是第一语法元素，且 所述一或多个处理器在所述位流中用信号表示用于所述子MB分区的子MB预测语法结构， 当上方相邻MB和左边相邻MB可用于对所述当前视频单元进行译码，所述上方相邻MB和所述左边相邻MB是从所述VSP图片预测且所述子MB分区不是从所述VSP图片预测时，所述子MB预测语法结构包含第二语法元素，且所述第二语法元素指示所述子MB分区的类型。
48.根据权利要求39所述的视频编码装置，其中: 相邻视频单元的样本块相邻于所述当前视频单元的样本块，且 所述一或多个处理器进一步经配置以: 至少部分地基于所述相邻视频单元是否是从所述VSP图片预测来选择译码上下文；以及 使用所述选定译码上下文对所述当前视频单元的至少一些运动信息进行熵编码。
49.根据权利要求39所述的视频编码装置，其中所述一或多个处理器经配置以: 至少部分地基于所述当前视频单元是否是从所述VSP图片预测来确定边界强度值；以及 至少部分地基于所述边界强度值对所述当前视频单元的样本块执行解块操作。
50.根据权利要求39所述的视频编码装置，其中所述语法元素还指示所述当前视频单元是否是使用跳过模式来预测。
51.一种视频编码装置，其包括: 用于至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生视图合成预测VSP图片的装置； 用于在包含多个纹理视图和多个深度视图的经编码表示的位流中用信号表示指示当前视频单元是否是从所述VSP图片预测的语法元素的装置，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的宏块MB或MB分区； 用于当所述当前视频单元不是从所述VSP图片预测时在所述位流中用信号表示所述当前视频单元的运动信息的装置； 用于当所述当前视频单元是从所述VSP图片预测时从所述位流省略所述当前视频单元的所述运动信息的装置；以及用于输出所述位流的装置。
52.一种其上存储有指令的计算机可读存储媒体，所述指令在由视频编码装置的一或多个处理器执行时配置所述视频编码装置以: 至少部分地基于当前存取单元的先前译码纹理视图分量和所述当前存取单元的深度视图分量来产生视图合成预测VSP图片； 在包含多个纹理视图和多个深度视图的经编码表示的位流中用信号表示指示当前视频单元是否是从所述VSP图片预测的语法元素，其中所述当前视频单元是所述当前存取单元的当前视图的当前纹理视图分量的宏块MB或MB分区； 当所述当前视频单元不是从所述VSP图片预测时，在所述位流中用信号表示所述当前视频单元的运动信息； 当所述当前视频单元是从所述VSP图片预测时，从所述位流省略所述当前视频单元的所述运动信息；以及输出所述位流。
【文档编号】H04N19/597GK104205846SQ201380019069
【公开日】2014年12月10日 申请日期:2013年4月2日 优先权日:2012年4月13日
【发明者】陈颖, 张莉, 于洋, 格尔特·范德奥维拉, 李想, 马尔塔·卡切维奇 申请人:高通股份有限公司