用于三维或多视图视频编码中基于深度的块分区模式的编码方法
【专利说明】用于三维或多视图视频编码中基于深度的块分区模式的编码 方法
[0001]【相关申请的交叉引用】
[0002] 本发明主张申请于2014年6月20日，序列号为62/014,976的美国临时专利申请的 优先权。将此美国临时专利申请以参考的方式并入本文中。 【技术领域】
[0003] 本发明涉及三维或多视图视频编码。特别地，本发明涉及用于基于深度的块分区 (depth-based block part it ioning，DBBP)分区模式的编码以简化解码器复杂性或编码性 能。 【【背景技术】】
[0004] 三维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体验 (viewing experience)。各种技术都被开发出来以使三维观看成为可能。其中，多视图视频 (multi-view video)是三维电视应用中的一个关键技术。现有的视频是二维（two-dimensional) 介质， 二维介质只能给观看者提供来自照相机视角的一个场景的单个视图。 然而，3D视频可以提供动态场景的任意视角，并为观看者提供真实的感觉。
[0005] 为了减少视图间冗余，视差补偿预测(Disparity-Compensated Prediction，以下 简称为DCP)被用作为运动补偿预测(Motion-Compensated Prediction，以下简称为MCP)的 备选。如图1所示，MCP是关于使用不同访问单元(access unit)的相同视图的已编码图片的 图片间预测（inter picture prediction)，而DCP是关于使用相同访问单元中其他视图的 已编码图片的图片间预测。三维/多视图数据包括纹理图片110以及深度图120。运动补偿预 测被应用在时间方向（即，图1中的水平方向）中的纹理图片或深度图。视差补偿预测被应用 在视图方向（即，图1中的垂直方向）中的纹理图片或深度图。用于DCP的向量被称为视差向 量(disparity vector，DV)，其类似于用于MCP的运动向量(motion vector，MV)。
[0006] 基于三维视频编码标准的高效视频编码(High Efficiency Video Coding，HEVC) (命名为3D-HEVC)是HEVC的扩展，其被开发以用于三维视频的编码及解码。视图中的一个被 称作基础视图或独立视图。基础视图独立于其它视图及深度数据。此外，基础视图使用现有 的HEVC视频编码器来编码。
[0007] 于3D-HEVC中，混合的基于块的运动补偿类DCT(DCT-like)转换编码结构仍然被使 用。被称为编码单元(coding unit，⑶)的用于压缩的基础单元是2Nx2N的方块，且每个⑶可 以被递归地分为四个更小的⑶，直到达到预定义的最小尺寸。每个⑶包括一个或多个预测 单元(prediction unit，PU) JU尺寸可以为2版21^、2啦1^、版21^、或啦1^。当支持非对称运动分 区（asymmetric motion part it ion，AMP)时，PU尺寸还可为2NxnU、2NxnD、nLx2N以及 nRx2N。
[0008] 通常的，三维视频是通过使用具有相关装置的视频照相机来捕捉深度信息或同时 地使用多个相机来创建的，其中，多个照相机都被合适地定位，以使每个照相机从一个视角 捕捉场景。对应于一个场景的纹理数据以及深度数据通常表现出实质的相关性。因此，深度 信息可用于提高编码效率或减少纹理数据的处理复杂性，且反之亦然。例如，纹理块的对应 深度块揭示了对应于像素等级对象分段(pixel level object segmentation)的类似信 息。因此，深度信息可以帮助识别像素等级的基于分段的运动补偿(segment-based motion compensation)。因此，基于深度的块分区（depth-based block partitioning，DBBP)已经 被应用于当前3D-HEVC中纹理视频编码。
[0009] DBBP模式中，用于对应纹理块的任意形状块分区是基于从对应深度图中计算的二 进制分段掩膜(binary segmentation mask)导出的。根据基于深度的分段掩膜（depth-based segmentation mask)，两个分区 （类似前景以及后景 ） 中的每一个被运动补偿且之后 被合并。
[0010]单个旗标被增加到编码句法中以传送至_码器，其中，底层块使用DBBP来预测。于 当前编码单元以DBBP模式被编码时，对应的分区尺寸被设置为SIZE_2Nx2N，且双向预测被 继承。
[0011 ] 如图2所示，由深度方向的相邻块视差向量(depth-oriented neighboring block di spari ty vector，DoNBDV)过程导出的视差向量被应用以识别参考视图中对应的深度块。 于图2中，用于附属视图中当前纹理块210的参考视图中对应的深度块220是基于当前纹理 块的位置以及已导出的DV 212被定位，其是根据3D-HEVC标准使用DoNBDV被导出。对应的深 度块与当前纹理块具有相同的尺寸。当深度块被找到，根据对应深度块中所有深度像素的 平均值来计算门限值。之后，二进制分段掩膜m_D(x，y)根据深度值以及门限值来产生。当定 位于相关坐标(x，y)的深度值大于门限值时，二进制掩膜m_D(x，y)被设置为1。否则，m_D(x， y)被设置为0。一个示例如图3所示。于步骤320中，确定虚拟块310的平均值。于步骤330中， 虚拟深度样本的值与平均深度值相比较以产生分段掩膜340。分段掩膜由二进制数据表示 以指示底层像素是属于分段1还是分段2,如图3中的两条不同线型所指示。
[0012] DoNBDV过程通过从深度图中提取更精确的视差向量来增强NBDVJBDV基于来自相 邻块的视差向量被导出。由NBDV过程导出的视差向量被用于访问参考视图中的深度数据。 接着，从深度数据导出最终视差向量。
[0013] DBBP过程将2NX2N块分区为两个已分区块。一个运动向量被确定以用于每一个分 区块。于解码过程中，两个已解码运动参数中的每一个被用于执行于整个2Nx2N块的运动补 偿。如图4所描绘，由此产生的预测信号，即，p_T0 (X，y)以及p_T 1 (X，y)使用DBBP掩膜m_D (x，y)来合并。合并过程被定义如下：
[0015]通过合并两个预测信号，来自深度图的形状信息允许独立地补偿相同纹理编码树 块（coding tree block，CTB)中的前景以及背景对象。同时，DBBP不需要逐像素（pixel-wise)运动/视差补偿。相对于其他不规则缓冲器访问方法(例如VSP)，对于DBBP已编码块， 对参考缓存器的存储访问总是规则的。此外，DBBP总是使用全尺寸块来用于补偿。相比于复 杂性这是较优的选择，因为有更高的概率找到储存器缓存中的数据。
[0016]于图4中，根据分段掩膜，两个预测块被逐像素地合并为一个，且此过程被称为双 向分段补偿。在此示例中，Nx2N块分区类型被选择，且对应的运动向量(MV1以及MV2)被导出 以分别用于两个已分区块。每个运动向量用于补偿整个纹理块410。因此，运动向量MV1被应 用到纹理块420以根据运动向量MV1产生预测块430,且运动向量MV2被应用到纹理块420也 根据运动向量MV2产生预测块432。两个预测块通过应用相应分段掩膜440以及442被合并以 产生最终预测块450。
[0017] 如表1所示，DBBP模式是否被使用被表示于编码单元。于3D-HEVC中，预测模式句法 (即，patjnode)被传送以用于非帧内编码块。而且，DBBP旗标被传送于⑶等级以指示当前⑶ 是否应用DBBP预测。如果是DBBP模式，所传送的分区模式进一步由分段掩膜导出的已修改 的分区模式来替代。图5所示为根据现存的3D-HEVC标准导出已修改分区模式的示例。
[0018] 同位(co-located)深度块502被用作为此过程的输入。如步骤510所示，子样本等 级平均值计算被应用于输入深度块以确定子样本深度数据的平均深度值。如步骤520所示， 深度块的轮廓是通过比较深度值以及平均深度值来确定。因此，可获得分段掩膜504。在此 示例中，如步骤530所示