用于三维及多视图视频编码的视差向量推导的方法及装置的制造方法

用于三维及多视图视频编码的视差向量推导的方法及装置的制造方法
【专利说明】用于三维及多视图视频编码的视差向量推导的方法及装置
[0001]【相关申请的交叉引用】
[0002] 本发明主张申请于2013年4月10日，序列号为61/810, 379,标题为"Methods Of depth to disparity derivation in 3D or multi-view video coding'，的美国临时专利 申请的优先权。将此美国临时专利申请以参考的方式并入本文中。 【技术领域】
[0003] 本发明涉及三维（three-dimensional，3D)视频编码。特别地，本发明涉用于3D 以及多视图视频编码中视图间预测以及跳过/直接（Skip/Direct)模式的运动向量预测 (motion vector prediction，MVP)的视差向量推导。 【【背景技术】】
[0004] 三维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体 验（viewing experience)。各种技术都被开发出来以使三维观看成为可能。其中，多 视图视频（multi-view video)是三维电视应用中的一个关键技术。现有的视频是二维 (two-dimensional)介质，二维介质只能给观看者提供来自照相机视角的一个场景的单个 视图。然而，多视图视频可以提供动态场景的任意视角，并为观看者提供真实的感觉。
[0005] 通常的，多视图视频是通过同时地使用多个相机捕捉场景来创建的，其中，多个照 相机都被合适地定位，以使每个照相机从一个视角捕捉场景。因此，多个相机将捕捉对应多 个视图的多个视频序列。为了提供更多的视图，需要使用更多的相机来产生具有与视图相 关联的大量视频序列的多视图视频。因此，多视图视频将需要大量的存储空间来存储和/ 或需要高的带宽来传送。因此，在本领域中，多视图视频编码技术被开发出来以减少所需要 的存储空间或传送带宽。
[0006] -个直接方法可以简单地应用于现有的视频编码技术，使每个单个视图视频序列 独立且忽视不同视图中的任何关联。这样的编码系统将是非常低效的。为了提高多视图视 频编码效率，典型的多视图视频编码利用视图间冗余。因此，大多数3D视频编码系统会考 虑与多个视图或深度图相关联的视频数据的相关性。某些3D视频编码标准是通过扩展现 存的用于二维视频的标准来制定。例如，有新出现的基于高级视频编码（Advanced video coding，AVC)以及高效率视频编码（High Efficiency Video Coding，HEVC)的 3D 编码标 准。于这些标准中，视差向量（disparity vector，DV)被广泛地使用于各种编码应用中以 定位参考视图中对应块。
[0007] 于基于3D编码的AVC(AVC-based 3D coding，3D-AVC)中，对于不同的编码工具， 当前纹理块的视差向量（disparity vector)会被不同的推导出。例如，当选择视图合成预 测（View Synthesis Prediction，VSP)或基于深度的运动向量预测（Depth-based Motion Vector Prediction，DMVP)编码模式时，与当前纹理块相关联的深度块的最大值被用作当 前纹理块的视差向量。另一方面，根据相邻块推导的视差向量被用于基于视差的跳过以及 直接模式。于本公开中，运动向量（motion vector，MV)以及DV作为与块相关联的运动信 息的一部分。MVP可指用于MV以及用于DV的预测。
[0008] 于基于深度块的最大值的DV推导方法，用于当前已编码纹理块Cb的视差向量从 深度块中被推导，d(Cb)与当前纹理块Cb相关联。由深度块d(Cb)的四个角（即，左上方、 右上方、左下方、右下方）来定位的深度图样本被比较。根据照相机模型，四个深度值中的 最大深度图值被转换为视差值。在具有降低的分辨率的深度图的情况下，当前纹理块的四 个角的空间坐标被按比例缩减以匹配深度图分辨率。
[0009] 于基于相邻块的DV推导方法中，视差向量是从当前块Cb的相邻块的运动信息中 推导。如果来自相邻块的运动信息不可用，根据基于深度块的最大值的DV推导方法，视差 向量是从相关联的深度块d(Cb)中推导。在附属视图中深度图于对应纹理图片之前被编码 的系统中，相关联的深度块可对应于当前附属视图的深度块。否则，相关联的深度块可对应 于参考视图中深度块，其中，参考视图中深度块已经于对应纹理图片前被编码。
[0010] 图1所示为用于推导视差向量的相邻块以及已推导视差向量的使用的示意图。视 差向量是从当前块（110)的相邻块A、B、以及C(D)的运动向量中推导，其中，当块C不可用 时，则使用块D。如果仅有一个相邻块是根据视图间预测（即，具有DV)来编码，则DV被选 择以作为用于当前块Cb的已推导DV。如果来自块A、B、C(D)的多个视差向量是可用的，则 已推导DV是由可用的DV的中值来确定。如果相邻块A、B、以及C(D)都不具有有效的DV， 接着，已推导DV由已转换DV来确定，其中，已转换DV是根据照相机模型通过转换与当前纹 理块相关联的深度块中的深度值来获得。接着，已推导DV被用于定位基础视图中的对应 块。基础视图中的对应块（120)是通过使用已推导DV偏移当前点的中心点（112)来确定。 此操作类似于使用运动补偿来定位参考块。因此，此操作可以通过使用现存的运动补偿模 块将已推导DV作为运动向量（MV)来实现。
[0011] 图2所示为用于基于视差的跳过以及直接模式的基于相邻块的DV推导的流程图。 于步骤210中，接收与相邻纹理块A、B、以及C(D)相关联的运动数据。当与块C相关联的 运动信息不可用时，则使用与块D相关联的运动信息。运动数据可对应于视图间运动数据 (即，DV)或时间运动数据（即，MV)。于步骤220中，检查相邻块A、B以及C(D)的视图间运 动信息（即，DV)的可用性。如果只有一个相邻块是采用视图间预测来编码，运动信息（即， DV)被用作已推导DV。如果多于一个相邻块是采用视图间预测来编码，如步骤230所示，来 自任何相邻块的不可用的DV都由最大视差来替代。如步骤240所示，已推导DV是从三个 候选DV的中值确定。如步骤250所示，于已推导DV被确定后，参考视图中对应块是使用已 推导DV来定位。接着，对应块的运动向量被用于基于视差的跳过或直接运动向量预测子。
[0012] 视差向量也被用于3D编码系统的其它编码工具中。例如，3D-AVC也包括方向独 立的 MVP(Direction-S印arated MVP，DS-MVP)编码工具。于 3D-AVC 中，基于 MVP 的中值 被限制为与运动向量候选的预测方向一致。于DS-MVP中，所有可用的相邻块是根据其预测 (即，时间或视图间）的方向来分类。
[0013] 对于视图间预测，如果当前块Cb使用视图间参考图片，所有没有使用视图间预测 的相邻块被标记为对MVP是不可用的。被标记为不可用的相邻块的运动向量被替换为从 与当前块Cb相关联的深度数据中推导的视差向量，而不是被替换为零运动向量。接着，从 深度数据中推导的DV被包含以作为MV候选，以用于中值操作以确定已推导DV。与当前 块Cb相关联的从深度数据中推导的DV是根据"四个角中的最大值（maximal out of four corners)"被推导。图3所示为视图间预测过程的流程图。除了不使用步骤250,图3所包 括的步骤与图2所包括的步骤大体上相同。如图3所示，于获得已推导DV后，已推导DV被 用作当前块的MVP( 即，视图间预测）。
[0014] 对于视图间预测，如果当前块Cb使用时间预测，使用视图间参考帧的相邻块被标 记为对MVP是不可用的。被标记为不可用的相邻块的运动向量被替换为参考视图中对应块 的运动向量。对应块是通过将已推导视差向量应用到当前纹理块的坐标来被推导。已推 导视差向量是根据"四个角中的最大值"来确定。如果对应块不是使用视图间预测来编码 (即，MV不可用），则考虑零向量。视图间预测过程的流程图如图4所示。于步骤410中， 接收与相邻块A、B、以及C(D)相关联的运动数据。在此情况下，运动数据对应于时间运动 (即，MV)。于步骤420中，检查相邻块的MV的可用性。如果任何相邻块都不是时间预测， (即，无 MV)，如步骤430所示，MV被已推导MV替换。如步骤450所示，已推导MV对应于参 考视图中对应块的MV，且对应块由已推导DV根据"四个角中的最大值"来定位。如步骤440 所示，已推导MV是根据候选MV的中值来确定。
[0015] 基于视差的跳过/直接模式是3D-AVC的另一编码工具。于跳过/直接模式，运动 信息不被编码。相反运动信息于编码器以及解码器侧通过相同过程来推导。跳过/直接模 式中当前块Cb的编码的运动信息是从基