三维以及多视图视频编码中导出默认视差向量的方法
【专利说明】三维以及多视图视频编码中导出默认视差向量的方法
[0001]【相关申请的交叉引用】
[0002]本发明主张申请于2013年8月13日，序列号为61/865，346，标题为“Inter-viewReference Picture Select1n and Its Except1n Handler in 3D Video Coding”的美国临时专利申请，以及申请于2013年10月25日，序列号为61/895，468，标题为“Methods ofderiving the default disparity vector in multiview and 3D video coding，，的美国临时专利申请的优先权。将以上美国临时专利申请以参考的方式并入本文中。
【技术领域】
[0003]本发明涉及三维视频编码。特别地，本发明涉及三维(Three-dimens1nal，3D)视频编码中的视差向量导出。
【【背景技术】】
[0004]三维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体验(viewing experience)。各种技术都被开发出来以使三维观看成为可能。其中，多视图视频(mult1-view video)是三维电视应用中的一个关键技术。现有的视频是二维(two-dimens1nal)介质，二维介质只能给观看者提供来自照相机视角的一个场景的单个视图。然而，多视图视频可以提供动态场景的任意视角，并为观看者提供真实的感觉。
[0005]通常的，多视图视频是通过同时地使用多个相机捕捉场景来创建的，其中，多个照相机都被合适地定位，以使每个照相机从一个视角捕捉场景。因此，多个相机将捕捉对应多个视图的多个视频序列。为了提供更多的视图，需要使用更多的相机来产生具有与视图相关联的大量视频序列的多视图视频。因此，多视图视频将需要大量的存储空间来存储和/或需要高的带宽来传送。因此，在本领域中，多视图视频编码技术被开发出来以减少所需要的存储空间或传送带宽。
[0006]—个直接方法可以简单地应用于现有的视频编码技术，使每个单个视图视频序列独立且忽视不同视图中的任何关联。这样的编码系统将是非常低效的。为了提高多视图视频编码效率，多视图视频编码利用视图间冗余。通过扩展现存的视频编码标准，各种3D编码工具已经被开发或正在被开发。例如，有标准开发活动来将H.264/高级视频编码(advancedvideo coding，AVC)以及高效视频编码(high efficiency video coding，HEVC)扩展到多视图视频编码(mult1-view video coding，MVC)以及3D编码。已开发出来的对应新标准分别被称为3D-HEVC或3D-AVC编码。用于3D-HEVC以及3D-AVC的各种已被开发出来或正在被开发的3D编码工具综述如下。
[0007]为了共享邻近视图的先前已编码的纹理信息，一种被称为视差补偿预测(Disparity-Compensated Predict1n，DCP)的技术被包括到基于HEVC的三维视频编码的测试模型(test Model for three-dimens1nal video coding based on HEVC,3D-HTM)中以作为动补偿预测(mot1n-compensated predict1n，MCP)的备选编码工具。MCP是关于使用相同视图中先前已编码图片的图片间预测，而DCP是关于相同存取单元中其它视图的先前已编码图片的图片间预测。图1所示为结合MCP以及DCP的3D视频编码系统的示例。用于DCP的向量110被称为视差向量(disparity vector，DV)，其模拟用于MCP的运动向量(mot1n vector，MV)。图1显示了与MCP相关联的三个MV120、130以及140。此外，DCP块的DV还可由视差向量预测(disparity vector predictor，DVP)候选来预测，DVP候选是由也使用视图间参考图片的相邻块或时间对应块导出。于当前3D-HTM中，当导出用于合并/跳过模式的视图间合并候选(Merge candidate)时，如果对应块的运动信息不可用或无效的，视图间合并候选由DV来替代。
[0008]视图间运动预测(Inter-view mot1n predict1n)用于共享参考视图的先前已编码运动信息。为了导出附属视图中当前块的候选运动参数，用于当前块的DV首先被导出，且接着，通过将DV增加到当前块的位置，参考视图中已编码图片中的预测块被定位。如果预测块是使用MCP来编码，相关的运动参数可用作当前视图中当前块的候选运动参数。已导出DV还可被直接用作DCP的候选DV。
[0009]视图间残差预测(Inter-viewresidual predict1n)是用于3D-HTM的另一编码工具。为了共享邻近视图的先前已编码的残差信息，当前预测块(即，预测单元(predict1nuni t，PU))的残差信号可由视图间图片中的对应块的残差信号来预测。对应块可由相应DV来定位。对应于特定照相机位置的视频图片以及深度图由视图标识符(即，V0、V1以及V2)来指示。属于相同照相机位置的所有视频图片以及深度图通过相同视图1d(S卩，视图标识符)被关联。视图标识符被用于在存取单元中指定编码顺序，且于易出错环境中检测丢失的视图(missing view)。存取单元包括对应于相同时刻的所有视频图片以及深度图。于存取单元中，如果存在视图1d等于0的深度图，则视图1d等于0的视频图片及相关的深度图首先被编码，接下来是视图1d等于1的视频图片以及深度图等。视图1d等于0(即，V0)的视图也被称作基础视图或独立视图。基础视图视频图片可使用现有的HEVC视频编码器不依赖于其它视图被编码。
[0010]对于当前块，运动向量预测(mot1n vector predictor，MVP)/视差向量预测(disparity vector predictor，DVP)可以从视图间图片的视图间块导出。在下文中，视图间图片的视图间块被简称为视图间块。已推导出的候选被称为视图间候选，其可以是视图间MVP或DVP。基于其它视图中先前已编码的运动信息来编码当前块(例如，当前PU)的运动信息的编码工具被称为视图间运动参数预测(inter-view mot1n parameterpredict1n)。此外，相邻视图的对应块被称为视图间块，且视图间块使用从当前图片中的当前块的深度信息导出的视差向量来定位。
[0011]视图合成预测(View Synthesis Predict1n，VSP)是一种移除来自不同视角的视频信号中的视图间冗余的技术，于VSP中，合成信号被用作预测当前图片的参考。于3D-HEVC测试模型HTM-7.0中，存在一过程来导出视差向量预测，被称为相邻块视差向量(Neighboring Block Disparity Vector，NBDV)。接着，已导出视差向量被用于获取参考视图的深度图像中的深度块。导出虚拟深度的过程可被应用于VSP以定位已编码视图的对应深度块。已获取的深度块可具有与当前PU相同的大小，且接着将被用于对当前PU执行后向扭曲(backward warping)。此外，扭曲操作可被执行于子等级精度，例如2x2或4x4块。
[0012]于当前实现中，VSP仅被用于纹理分量编码。VSP预测也被增加以作为新的合并候选来显示VSP预测的使用。以这样的方式，VSP块可以是没有任何残差的跳过块(skippedblock)，或具有已编码残差信息的合并块。于本申请中，为方便起见，基于VSP的合并候选的还可被称为VSP合并候选。
[0013]当图片作为B图片被编码，且当前块被表示为VSP预测时，下文的步骤被应用以确定VSP的预测方向:
[0014]-从NBDV获取已导出视差向量的视图索引(viewindex)refViewIdxNBDV；
[0015]-获取与具有视图索引refViewIdxNBDV的参考图片相关联的参考图片列表RefPicListNBDV(RefPicListO或RefPicListl)；
[0016]_检查具有视图索引refViewIdx的视图间参考图片的可用性，视图索引refViewIdx不等于参考图片列表中除RefPicListNBDV之外的refViewIdxNBDV ；
[0017]ο如果这样的不同视图间参考图片被找到，则应用双向VSP。来自视图索引refViewIdxNBDV的深度块被用作为当前块的深度信息(在纹理第一编码顺序的情况下)，且两个不同视图间参考图片(来自每个参考图片列表中的一个)经由后向扭曲过程被访问，且进一步加权以获得最终后向VSP预测子；
[0018]ο否则，单向(un1-direct1n)VSP被应用到RefPicListNBDV以作为用于预测的参考图片列表。
[0019]当图片作为P图片被编码，且当前预测块使用VSP时，单向VSP被应用。
[0020]需要注意的是，当增加VSP合并候选时，不论视图间参考图片具有的视图索引是否等于由已导出DV指向的视图间参考图片的视图索引，VSP旗标总是被设置为真。
[0021]DV是用于视图间运动预测、视图间残差预测、DCP、VSP或任何其它需要指示视图间图片之间的对应工具的3D视频编码的关键。用于3D-HEVC的当前测试模型的DV导出如下所述。
[0022]3D-HEVC中的DV导出。目前，除了用于DCP的DV，用于其它编码工具的DV使用如下所述的NBDV方案或深度方向的相邻块视差向量(depth oriented neighboring blockdisparity vector，DoNBDV)方案来导出。
[0023]NBDV。于当前3D-HEVC中，DV可用作帧间模式(Inter mode)的DVP候选或合并/跳过模式的合并候选。已导出DV还可被用作用于视图间运动预测以及视图间残差预测的偏置向量。如图2A到图2B所示，当已导出DV被用作偏置向量时，DV是从空间及时间相邻块导出。多个空间以及时间相邻块被确定，且空间以及时间相邻块的DV可用性是根据预定顺序来检查。此用于基于相邻(空间以及时间)块的DV导出的编码工具被称为NBDV。如图2A所示，时间相邻块组首先被搜寻。时间合并候选组包括时间参考图片中当前块的中心位