用于对表示三维视频的比特流进行编码的设备的制作方法

用于对表示三维视频的比特流进行编码的设备的制作方法
【专利摘要】本发明涉及一种用于对表示包括一连串视图的三维视频的比特流进行编码的设备(100)，其中深度图与每一视图相关联，所述深度图包括所述视图相对于俘获所述视图的摄像机的位置的深度信息，所述设备包括：分割器(101)，用于将所述深度图分割为编码单元；确定器(103)，用于基于所述编码单元的所述深度信息确定每一编码单元的模型功能的类型；减少器(105)，用于针对由模型功能产生的每一片段将所述编码单元减少到单一残差值；以及信号化处理器(107)，用于将使用的所述模型功能和所述残差值信号化处理到所述比特流。
【专利说明】用于对表示三维视频的比特流进行编码的设备

【技术领域】
[0001] 本发明涉及用于对表示三维视频的比特流进行编码的设备和方法。

【背景技术】
[0002] 3D视频是一种新技术，其需要连同常规2D视频数据一起发射深度数据以允许接 收器侧的更大灵活性。所述额外深度信息允许合成任意视点，所述视点随后实现感知深度 印象的调适和多视图自动立体显示的驱动。通过将深度信息添加到每一发射的视图，待编 码的数据量大大增加。与常规情况相比，自然视频深度图的特征在于由沿着深度不连续处 的尖锐边缘定界的分段光滑的区域。使用常规视频编码方法来压缩深度图导致沿着这些深 度不连续处的强环状效应假象，其在视图合成处理中产生视觉上干扰的几何失真。因此，保 留深度图的所描述信号特性是新深度编码算法的关键要求。例如自动立体显示或立体声显 示的3D显示技术的领域中的近来发展允许按照观看者的个人偏好调适深度印象，并要求 基于有限数目的可用的解码视图来合成额外任意视图。为了允许此灵活性的扩展，深度信 息需要在接收器侧为可用的，并且因此需要连同常规2D视频数据一起编码。这些额外深度 图示出与自然视频数据相比的不同信号特性。此外，深度图中的失真具有对所显示的视频 的视觉质量的间接影响，因为它们用于合成同一场景的新视图且从未向用户本身展示。具 有针对自然2D视频优化的算法的压缩深度图导致沿着深度不连续处的强环状效应假象， 其随后在合成视图中生产几何失真。
[0003] 深度数据的压缩的先前工作将深度数据视为灰色视频且以H. 264/AVC中发现的 常规的基于变换的视频编码算法压缩深度数据，例如P ? Merkle、A ? Smolic、K ? Muller 和T ? Wiegand的"多视图视频加深度表不和编码（Multi-view video plus depth representation and coding)"（第 14 届 IEEE 图像处理国际会议（ICIP)，IEEE 2007,第 1201-1204页）。已经表明这些常规编码工具在PSNR方面产生相对较高的压缩效率，但同 时在原始深度图中沿着尖锐边缘引入环状效应假象。这些假象导致视图合成阶段中的几何 失真。更近期的深度压缩算法通过分割为三角形网或小片晶并且通过近似2D功能对每一 片段进行建模来近似深度图的信号特性，所述三角形网如M ?Sarkis、W *Zia和K *Di印old 的"快速深度图压缩和以压缩三重树网格化（Fast depth map compression and meshing with compressed tritree)"（计算机视觉-ACCV 2009,第44 到55 页，2010)中描述，所述小 片晶如Y .MorvaruP .de With和D .Farin的"用于多视图图像的发射的深度图的基于小片 晶的编石马（Platelet-based coding of depth maps for the transmission of multiview images) "(SPIE的会刊，立体显示和应用，第6055卷，2006,第93-100页）中描述。通过引 入额外编码模式，例如S ? Liu、P ? Lai、D ? Tian、C ? Gomila和C ? Chen的"用于深度图压 缩的稀疏二重模式（Sparse dyadic mode for depth map compression) "（第 17 届 IEEE 图像处理国际会议（ICIP)，IEEE，2010,第3421-3424页）中描述的稀疏二重模式，这些基 于纯模型的方法还可与常规的基于变换的工具组合。此处，经稀疏二重编码的块被分割为 两个片段，其由两个常量深度值描述。因为在压缩深度图时深度不连续的保持是最重要的， 所以另一方法是无损地压缩这些不连续处的位置且近似分段平滑区域，如F ? Jager的"基 于轮廓的分段和用于深度图压缩的编码（Contour-based segmentation and coding for depth map compression) "（视觉通信和图像处理（VCIP)，2011IEEE. IEEE，2011，第 1 到 4 页）中先前提出的。此方法的不足之处是由于深度轮廓的无损编码而无法达到低比特率。
[0004] 综上所述，当以针对纹理化视频数据优化的常规算法编码深度图时，由于变换和 量化而引入沿着深度不连续处的环状效应假象。例如由强边缘定界的分段光滑的区域的典 型深度图特性需要不同地编码以允许接收器处的较高质量视图合成。常规编码算法使用例 如方向性帧内预测和平面模式的高级预测方法。这些能够在一定程度上近似深度图的边缘 和梯度。方向性预测模式不能够近似从当前编码单元的右上方不连续的边缘。此外，已经 知道的平面模式不能够表示仅部分地特征在于深度梯度的编码单元，因为它们含有两个不 同深度片段。


【发明内容】

[0005] 本发明的目的是提供用于三维视频的高效编码的概念，其执行适于深度图的信号 特性的压缩。
[0006] 此目标是通过独立的权利要求的特征实现的。在从属权利要求说明和附图中进一 步的实施形式是显而易见的。
[0007] 本发明的主要想法是提供新颖的基于深度图模型的编码器（DMC)方法，其是对 T ? Wiegand、B ? Bross、W ? J. Han、J ? R. Ohm 和 G ? J. Sullivan 的"高效视频编码（HEVC)工 作草案3(Working Draft 3of High-Efficiency Video Coding(HEVC))"（视频编码联合合 作组（JCT-VC)文档，JCTVC C403,2011年）中描述的高效视频编码（HEVC)编码模型的扩 展，且由基于模型的算法替代帧内编码工具。与其它基于模型的方法相比，引入用于线性深 度片段的新模型功能和更高级的预测结构。
[0008] 新颖的深度图帧内编码器的基础是通过基于块的方法形成，其中每一块是由三个 可用的模式中的一者建模。常量深度的块可完美地由DC块建模。对于对渐进深度区域进行 建模，引入特殊的平面模式。第三模式通过直线将块划分为两个片段。每一子片段可随后 通过不同DC值建模。此第三模式允许近似描述深度图中的对象边界的典型尖锐边缘。通 过明确的信号化处理，例如传统的基于变换的编码中的这些深度不连续环状效应假象的位 置完全不存在。块模式和其信息是以预测方式经编码。对于所有模式，模型参数是从相邻 块预测且仅所得残余信号在比特流中经编码。预测始终是竞争性的，意味着可从顶部或左 边相邻块对值进行预测。对于所提议的编码方法的所有标志位和模型参数的最终熵编码， 使用众所周知的CABAC(上下文自适应二进制算术编码）算法。
[0009] DMC实施到HEVC测试模型软件中作为对常规帧内编码工具的一个替代方案。因 此， DMC能够再使用许多HEVC工具，例如帧分割为块（编码单元），以及先前提到的用于熵 编码的CABAC引擎。在下文中，所有描述的编码工具是针对2 nx2n像素的任意块大小界定， 以n> = 2开始。当说到相邻块时，它们始终紧挨着实际块的左上角像素定位。相邻块的大 小是独立的且并不必须匹配当前块的大小。
[0010] 为了详细描述本发明，将使用以下术语、缩写和符号：
[0011] CABAC :上下文自适应二进制算术编码；
[0012] DLT:深度查找表；
[0013] DMC :基于深度模式的编码；
[0014] CU:编码单元。
[0015] LCU:最大编码单元
[0016] 根据第一方面，本发明涉及一种用于对表示包括一连串视图的三维视频的比特流 进行编码的设备，其中深度图与每一视图相关联，所述深度图包括所述视图相对于俘获所 述视图的摄像机的深度信息，所述设备包括：分割器，用于将所述深度图分割为编码单元； 确定器，用于基于所述编码单元的所述深度信息确定每一编码单元的模型功能的类型；减 少器，用于针对由所述模型功能产生的每一片段将所述编码单元减少到单一残差值；以及 信号化处理器，用于将使用的所述模型功能和所述残差值信号化处理到所述比特流。
[0017] 根据第一方面基于以基于所提议的模型（或基于类型）的编码压缩的深度图的合 成视图示出与基于以常规视频编码工具压缩的深度图的合成视图相比改进的视觉质量。
[0018] 在根据第一方面的设备的第一可能的实施形式中，所述设备进一步包括：索引器， 用于对所述深度图相对于由所述深度图指示的深度水平的所述深度信息做索引，从而获得 与所述深度图的所述深度信息相关联的索引；以及重映射器，用于通过根据所述索引重新 映射所述深度图而减少所述深度信息大小。
[0019] 在根据第一方面的第一实施形式的设备的第二可能的实施形式中，所述索引器经 配置以执行在预定数目的视图上索引所述深度图的所述深度信息；且其中所述重映射器经 配置以执行通过使用查找表减少所述深度信息。
[0020] 在根据第一方面的第一实施形式或根据第一方面的第二实施形式的设备的第三 可能的实施形式中，所述设备包括：映射器，用于将所述深度水平映射到其在所述深度图中 的对应索引。
[0021] 在因此根据第一方面或根据第一方面的前述实施形式中的任一者的设备的第四 可能的实施形式中，所述分割器经配置以通过以下操作将所述深度图分割为编码单元：将 所述深度图分割为固定大小的固定大小编码单元，明确地说64x64像素的固定大小；通过 将所述固定大小编码单元细分为变化大小的所述编码单元而在四叉树结构中安排所述编 码单元，明确地说范围是4x4像素到64x64像素的所述编码单元的变化大小；以及将所述四 叉树结构信号化处理到所述比特流。
[0022] 在因此根据第一方面或根据第一方面的前述实施形式中的任一者的设备的第五 可能的实施形式中，所述确定器经配置以执行通过从所述四叉树结构中与所述编码单元相 邻安排的编码单元进行预测来确定用于编码单元的分段的类型。
[0023] 四叉树是其中每一内部节点具有精确四个子代的树数据结构。四叉树最常用来通 过递归地将二维空间细分为四个象限或区域而分割二维空间。所述区域可为方形或矩形 的，或可具有任意形状。
[0024] 在因此根据第一方面或根据第一方面的前述实施形式中的任一者的设备的第六 可能的实施形式中，所述确定器经配置以执行通过以下操作确定模型功能的所述类型：在 所述编码单元的所述深度信息指示常量深度的情况下确定DC类型；在所述编码单元的所 述深度信息指示渐进深度改变的情况下确定梯度类型；在所述编码单元的所述深度信息指 示不同但常量深度的两个片段的情况下确定边缘类型；以及在所有其它情况下确定纹理类 型。
[0025] 在根据第一方面的第六实施形式的设备的第七可能的实施形式中，所述确定器经 配置以执行通过以下操作确定用于编码单元的DC模型功能：通过从被安排在所述编码单 元的左上角像素的左边的相邻编码单元和被安排在所述编码单元的左上角像素的顶部的 相邻编码单元中的一个来预测所述深度信息来确定DC值。
[0026] 在根据第一方面的第六实施形式或根据第七实施形式的设备的第八可能的实施 形式中，所述确定器经配置以执行通过以下操作确定用于编码单元的分段的所述梯度类 型：内插从所述编码单元的底部行中的第一像素（B)到所述编码单元的右下角中的目标像 素的所述编码单元的底部行的渐进深度改变；内插从所述编码单元的右边列中的第二像素 到所述编码单元的右下角中的所述目标像素（Z)的右边列的渐进深度改变；以及从所述底 部行的所述渐进深度改变和所述右边列的所述渐进深度改变双线性内插所述渐进深度改 变。
[0027] 在根据第一方面的第六到第八实施形式中的任一者的设备的第九可能的实施形 式中，所述确定器经配置以执行通过以下操作确定用于编码单元的分段的所述边缘类型： 通过直线将所述编码单元划分为所述两个片段；以及通过从被安排在所述编码单元的左上 角像素的左边的相邻编码单元和被安排在所述编码单元的左上角像素的顶部的相邻编码 单元中的一个来预测所述深度信息确定所述两个片段中的第一者的DC值；以及通过从被 安排在所述编码单元的右上角像素的右边的相邻编码单元和被安排在所述编码单元的右 上角像素的顶部的相邻编码单元中的一个来预测所述深度信息来确定所述两个片段中的 第二者的DC值。
[0028] 在根据第一方面的第六到第九实施形式的设备的第十可能的实施形式中，所述确 定器经配置以执行通过以下操作确定用于编码单元的分段的所述纹理类型：通过直线将所 述编码单元划分为至少三个片段；以及确定所述编码单元划分为的片段的数目。
[0029] 在因此根据第一方面或根据第一方面的前述实施形式中的任一者的设备的第 十一可能的实施形式中，所述设备经配置以切换所述比特流相对于所述比特流的以下片段 中的一者的编码方法：一连串视图，图片，切片，编码单元，和预测单元。
[0030] 在因此根据第一方面或根据第一方面的前述实施形式中的任一者的设备的第 十二可能的实施形式中，所述设备包括：交错器，被配置成用于交错所述编码单元与根据常 规视频编码经编码的所述比特流的编码单元，明确地说根据HEVC视频编码或根据AVC视频 编码经编码的所述比特流的编码单元。
[0031] 根据第二方面，本发明涉及一种用于对表示包括一连串视图的三维视频的比特流 进行编码的方法，其中深度图与每一视图相关联，所述深度图包括所述视图相对于俘获所 述视图的摄像机的位置的深度信息，所述方法包括：将所述深度图分割为编码单元；基于 所述编码单元的所述深度信息确定用于每一编码单元的模型功能的类型；针对由模型功能 产生的每一片段将所述编码单元减少到单个残差值；以及将所述残差值信号化处理到所述 比特流。
[0032] 根据第三方面，本发明涉及用于执行根据第二方面的方法的计算机程序，其中所 述计算机程序在计算机上运行。
[0033] 本发明的另一方面涉及使用用于深度的基于模型的帧内编码（DMC)作为对常规 帧内编码算法的替代。
[0034] 本发明的另一方面涉及根据序列、根据图片、根据切片、根据编码单元和根据预测 单元使得DMC可切换。
[0035] 本发明的另一方面涉及交错DMC编码单元（⑶）与常规帧内⑶。
[0036] 本发明的另一方面涉及预测DMC与常规经帧内编码块之间的模式参数。
[0037] 本发明的另一方面涉及在对应参数集中针对指定编码水平的DMC进行信号化处 理的使用。
[0038] 本发明的另一方面涉及使用运动补偿像素数据而无需经帧间编码帧中的任何残 余信号。
[0039] 本发明的另一方面涉及更新运动补偿帧中的建模参数。
[0040] 本发明的另一方面涉及用于输入深度值的自适应查找表以减小仅具有较少深度 水平的深度图的信号位深度。
[0041] 本发明的另一方面涉及使用模型功能来描述每一编码单元的深度图特性，其中所 述特性包括：具有常量深度的编码单元的DC值；通过对右下像素值且内插当前CU的其它 像素值的具有渐进深度区域的编码单元的平面模式的信号化处理；以及通过直线（边缘） 将编码单元划分为两个片段。每一片段可由DC值或由平面片段和DC值建模。
[0042] 本发明的另一方面涉及通过预测从相邻块进入当前编码单元的边缘方向和信号 位置补偿以更新当前CU中的边缘来预测用于三个建模功能的参数；以及相邻块的角像素 的梯度预测平面模式的右下像素值。
[0043] 通过引入建模功能的减少集合来描述深度图的典型特性，可除去常规算法的环状 效应假象和其它编码假象。此外，根据本发明的方面的编码允许与常规基于变换的编码方 法相比较好的视图合成质量。由于每一 CU的可能建模功能或模式的减少集合，信号化处理 需要的比特的量也减少，导致减少的比特率。
[0044] 本发明的方面描述3D视频中用于深度图编码的修改的帧内编码方案。由于深度 图示出例如由深度不连续处的尖锐边缘定界的分段平滑区域的唯一特性，因此需要新编码 工具来近似这些信号特性。在当前3DV-HTM软件中，存在用于深度图的两个类别的帧内预 测模式：1)从ffiVC已知的方向性帧内预测和2)深度建模模式（DMM)。后一者可尤其当对 提到的深度不连续进行建模时增强合成视图的BD速率。
[0045] 根据本发明的方面，使用如DMM的极类似预测方案来近似深度图的尖锐边缘。通 过DMM，所得残差如同常规帧内预测模式经变换且量化。在此阶段，所提议的基于深度模式 的编码（DMC)并不使用变换和量化来对所得残余信号进行编码。DMC预测阶段始终导致每 ⑶两个到三个深度片段且对于这些片段中的每一者，单个残差DC深度值经编码。通过跳 过变换步骤且基于像素域信息对残差进行编码，对于经DMC编码块除去环状效应假象。此 夕卜，用于对每一片段的残差值的信号化处理的比特的数目可通过集成深度查找表（DLT)进 一步减少，其中深度值映射到原始深度图的有效的深度值。DLT是基于输入深度图的初始分 析而构建且随后在SPS中经编码。对于具有强经量化深度图的序列，DLT产生在单独来自 DMC的增益之上的额外增益。
[0046] 呈现的用于深度图的帧内编码方案针对某些序列导致4. 02% (深度比率）和高达 8. 75% (深度比率）的平均BD比率节省，例如报纸、Kendo和Balloons。在包含纹理和深 度的总体编码性能方面DMC产生平均0. 76% BD比率节省。
[0047] 对于所有帧内测试情况，呈现的编码方案针对序列Kendo产生24. 06% (深度比 率）和高达42. 27% (深度比率）的平均BD比率节省。在包含纹理和深度的总体帧内编码 性能方面DMC产生平均1. 46% BD比率节省。
[0048] 呈现的DMC编码方法是帧内编码模式的扩展，其在基于HEVC的3DV-HTM参考软件 中可用。对于经DMC编码的块，预测模式仍是帧内的。对额外的DMC标志位进行信号化处 理来指示DMC预测和编码的使用。如果块是以DMC编码的，那么分区大小始终是2Nx2N且 因此不需要信号化处理到比特流中。代替于编码经量化变换系数，经DMC编码块需要对以 下类型的信息进行编码：当前块的分段/预测的类型。可能值是DC(不分段）、梯度（不分 段）、边缘（通过直线分段为两个片段）和纹理（通过对位于同一地点的纹理块加阈值而 分段为2或3个片段）。对于边缘和纹理分段，关于分段的一些细节需要编码：对于边缘分 段：分段的直线的开始/结束。对于纹理分段：所述块分裂为的片段的数目。
[0049] 对于每一片段，将残差值（像素域中）信号化处理到比特流中。在编码之前，残差 值通过使用深度查找表（DLT)映射到原始未经压缩深度图中存在的值。因此，可通过仅信 号化处理索引进入此查找表而编码残差值，其减少残差量值的位深度。
[0050] 经DMC编码深度图编码单元是通过四个可用的预测模式中的一个来预测。最佳模 式是基于VS0规则选择且经编码进入比特流。最可能模式是从相邻编码单元预测。标志位 对实际块模式是否匹配最可能模式进行编码。如果情况不是这样，那么需要对多达两个额 外标志位进行信号化处理来指示DMC块的实际模式。所有提到的标志位具有其自身的指派 用于CABAC引擎的新上下文模型。HEVC的方向性帧内预测模式不可用于经DMC编码块，因 为这些的大部分可由边缘分段模式建模，这将在以下章节中更详细解释。

【专利附图】

【附图说明】
[0051] 将相对于以下附图描述本发明的其他实施例，其中：
[0052] 图1示出根据实施形式的用于对表示三维视频的比特流进行编码的设备的框图；
[0053] 图2示出根据实施形式的用于编码比特流的设备的确定器中的边缘类型确定的 示意图；
[0054] 图3示出根据实施形式的用于编码比特流的设备的确定器中的梯度类型确定的 不意图；以及
[0055] 图4示出根据实施形式的由设备编码的三维视频的经重建视图。

【具体实施方式】
[0056] 图1示出根据实施形式的用于对表示三维视频的比特流进行编码的设备100的框 图。
[0057] 设备100用于对包括一连串视图的表示三维视频的比特流进行编码，其中深度图 与每一视图相关联，所述深度图包括相对于俘获所述视图的摄像机位置的视图的深度信 息。设备100包括：分割器101，用于将深度图分割为编码单元；确定器103,用于基于每一 编码单元的深度信息确定所述编码单元的模型功能的类型；减少器105,用于针对由模型 功能产生的每一片段将编码单元减少到单个残差值；以及信号化处理器107,用于将所述 模型功能类型和所述残差值信号化处理到比特流。
[0058] 在实施形式中，所述设备100进一步包括索引器，用于相对于由深度图指示的深 度水平索引深度图的深度信息从而获得与深度图的深度信息相关联的索引；以及重映射 器，用于通过根据所述索引重新映射深度图来减少深度信息大小。
[0059] 在实施形式中，所述索引器经配置以执行在预定数目的视图上索引深度图的深度 信息；且其中所述重映射器经配置以执行通过使用查找表减少深度信息大小。
[0060] 在实施形式中，设备100包括映射器，用于将深度水平映射到其在深度图中的对 应索引。
[0061] 在实施形式中，所述分割器101经配置以通过以下操作将深度图分割为编码单 元：将深度图分割为具有固定大小的固定大小编码单元，明确地说64x64像素的固定大小； 通过将所述固定大小编码单元细分为具有变化大小的编码单元而在四叉树结构中安排所 述编码单元，明确地说范围从4x4像素到64x64像素的编码单元的变化大小；以及将所述四 叉树结构信号化处理到比特流。
[0062] 在实施形式中，确定器103经配置以执行通过从四叉树结构中与所述编码单元相 邻安排的编码单元进行预测来确定用于编码单元的分段的类型。
[0063] 在实施形式中，确定器103经配置以通过以下操作执行确定分段的类型：如果编 码单元的深度信息指示常量深度那么确定DC类型；如果编码单元的深度信息指示渐进深 度改变那么确定梯度类型；如果编码单元的深度信息指示不同但常量深度的两个片段那么 确定边缘类型；以及在所有其它情况下确定纹理类型。
[0064] 在实施形式中，确定器103经配置以通过以下操作执行确定用于编码单元的分段 的DC类型：通过从被安排成在编码单元的左上角像素的左边的相邻编码单元和被安排成 在编码单元的左上角像素的顶部的相邻编码单元中的一个来预测深度信息来确定DC值。
[0065] 在实施形式中，确定器103经配置以通过以下操作执行确定用于编码单元的分段 的梯度类型：内插从编码单元的底部行中的第一像素（B)到编码单元的右下角中的目标像 素（Z)的编码单元的底部行的渐进深度改变；内插从编码单元的右边列中的第二像素（A) 到编码单元的右下角中的目标像素（Z)的右边列的渐进深度改变；以及从底部行的渐进深 度改变和右边列的渐进深度改变双线性内插渐进深度改变。
[0066] 在实施形式中，确定器103经配置以通过以下操作执行确定用于编码单元的分段 的边缘类型：通过直线将编码单元划分为两个片段；以及通过从被安排成在编码单元的左 上角像素的左边的相邻编码单元和被安排成在编码单元的左上角像素的顶部的相邻编码 单元中的一个来预测深度信息来确定所述两个片段中的第一者的DC值；以及通过从被安 排成在编码单元的右上角像素的右边的相邻编码单元和被安排成在编码单元的右上角像 素的顶部的相邻编码单元中的一个来预测深度信息来确定所述两个片段中的第二者的DC 值。
[0067] 在实施形式中，确定器103经配置以通过以下操作执行确定用于编码单元的分段 的纹理类型：通过直线将编码单元划分为至少三个片段；以及确定所述编码单元划分成的 片段的数目。
[0068] 在实施形式中，设备100经配置以相对于比特流的以下片段中的一者切换所述比 特流的编码：一连串视图、图片、切片、编码单元和预测单元。
[0069] 在实施形式中，所述设备包括：交错器，其被配置成用于交错编码单元与根据常规 视频编码经编码的比特流的编码单元，明确地说根据ffiVC视频编码或根据AVC视频编码经 编码。
[0070] 在下文中，DMC涉及根据本发明的第一方面或第一方面的任何实施形式用于编码 和/或解码表示三维视频的比特流的设备1〇〇。DMC方法涉及根据本发明的第二方面的用 于编码和/或解码表示三维视频的比特流的方法。在下文中，块模式涉及根据本发明的方 面的分段的类型。块涉及编码单元。
[0071] 来自MPEG视频和要求小组的"要求3D视频编码技术的建议（Call for proposals on 3D video coding technology)"(MPEG 输出文档 N12036 技术报告，2011 年 3 月）的 3DV 测试序列的分析已经示出所有估计深度图并不利用8比特的完整可用的信号范围。由于强 量化，在那些序列中仅出现类似于深度水平的少量不同灰色值。在第一编码步骤中，DMC因 此利用映射技术，其索引所有出现的深度值，然后根据这些索引重新映射深度图。进而信号 位深度以及由其它DMC编码工具使用的残余信号系数减少。
[0072] 如先前所提及，DMC是基于块的编解码器，其重新使用由HEVC引入的阶层式四叉 树分裂。深度图以64x64像素的默认大小分割为最大编码单元（LCU)。每一 LCU可细分为 阶层式四叉树结构。分割导致各种大小的编码单元（CU)且能够考虑不同水平的细节。CU 默认地无法小于4x4像素。四叉树分割是将与HEVC中相同的方式对应的分裂标志位信号 化到比特流中。
[0073] 三个可用的模型功能中的一者，也称为分段类型，指派给每一⑶。所选模式以预测 方式经编码进入比特流中。DMC从相邻⑶导出最可能块模式。标志位对实际块模式是否匹 配预测模式进行编码。如果情况不是这样，那么需要额外标志位。两种标志位具有其自身 的经指派用于CABAC引擎的新上下文模型。
[0074] DC模式，也称为DC类型，以单个DC系数对单一彩色区域进行建模。DMC从相邻块 预测对应参数，在两个可用的预测符之间进行选择，所述预测符位于当前块的左上角像素 的左边和顶部。信号化处理标志位来指示使用所述两个预测符中的哪一个。残差经编码进 入比特流。
[0075] 边缘模式（EM)，也称为边缘类型，通过直线将块划分为两个片段，如以下相对于图 2a描述所示。每一片段然后由单个DC系数建模。对于第一片段，此系数的预测等同于DC 模式。片段2具有不同集合的预测符（参看图2b)，位于实际块的左下和右上角。取决于块 大小，存在用于描述划分线的参数的编码的两个不同的方法。对于4x4像素大小块，存在8 个可用的边缘模式的相异的集合。对应的3比特索引在比特流中经编码，从而绕过熵编码 引擎。此基于模式的方法不适合于更大的块且因此由边缘的不同描述替换：如图2a中描 绘，边缘由6个开始/结束边界组合中的一者和两个索引界定。此信息再次经编码而绕过 熵编码器。
[0076] 为了通过多个发射经编码块增强边缘的连续性，DMC能够以预测方式对边缘参数 进行编码。不论何时相邻块经EM编码且其边缘引入到当前块中，这都适用。在此情况下， 当前块的边缘的开始点是从相邻块的边缘端点预测。如果情况是这样，那么实际边界和位 置补偿是使用CABAC熵编码器来进行残差编码。
[0077] DMC平面模式（PM)或梯度模式，也称为梯度类型，引入到深度图中的模型渐进颜 色变化。对此平面模式的输入是相邻像素值，以及当前块的右下角的目标值Z。如图3中描 绘，底部行是从值B和Z线性地内插，分别是A和Z右边列。在第二步骤中第二步骤从周围 边界值双线性内插所有剩余像素值。比特流中还以预测且残差方式仅编码Z参数。对于Z 系数预测过程，DMC在两个情况之间进行区分。如果无相邻块经PM编码，那么以与EM块中 的第二片段相同的方式导出预测符（参看图2b)。否则的话，相邻经PM编码块中的梯度是 从其角像素位置计算以内插实际Z系数。在后一种情况下，如果两个相邻块是平面，那么预 测仅是竞争性的。
[0078] 所有DC系数以及平面模式的Z参数是通过相邻参数来预测，仅残余信号是在比特 流中经编码。第一标志位信号的值是否不等于零。如果情况是这样，那么首先编码符号标 志位。位平面编码用于残差的量值。每一模式和片段中的每一比特位置具有其自身的上下 文模型。非零和符号标志位也具有其自身的上下文。对于非零和符号标志位情况相同。
[0079] DMC编码器基于拉格朗日方法做出编码决策。模式m通过最小化RD成本函数J = D(m) +A R(m)而被认为是最佳模式。进而拉格朗日乘数A给出对比率R与失真D之间的 取舍的控制，如平方误差总和（SSE)测量。不同于HEVC，X不是基于量化参数（QP)内部计 算，而是在编码器配置中直接设定为参数。
[0080] DMC的DC预测模式适合于具有常量深度的区域。对应DC预测值是借助于顶部和 左边树块的所有直接邻近样本从相邻块预测。根据如下所述的编码步骤将所得残差编码进 入比特流。
[0081] MPEG视频和要求小组的"要求3D视频编码技术的建议（Call for proposals on 30￥1(^〇(3〇(111^七6(*11〇1(^7)"(]\0^6输出文档附2036 技术报告，2011年3月）的30￥测 试序列的分析已经示出估计深度图并不利用28的完整可用的深度范围。由于强量化，在那 些序列中仅出现少量不同深度水平。在初始分析步骤中，DMC因此通过分析输入序列的某 一数目的帧来构造动态深度查找表。在编码过程期间使用此深度查找表来减少有效信号位 深度且因此由其它DMC编码工具使用的残余信号系数的范围。
[0082] 在分析步骤中，编码器从待编码的输入视频序列读取预定义的数目的帧且扫描所 有像素是否有可用的深度值。在此过程期间，产生映射表，其基于原始未压缩深度图将深度 值映射到有效的深度值。
[0083] 具体来说，所述算法执行以下步骤：
[0084] 输入：在时间实例t的NxM像素的深度图Dt
[0085] 输出：深度杳找表D (?)
[0086] 索引查找表1(.)
[0087] 深度映射表M(.)
[0088] 有效的深度值的数目dvalid
[0089] 筧法:
[0090] 0.初始化
[0091] 布尔型向量B(d)=假，对于所有深度值d
[0092] 索引计数器i=0
[0093] 1.针对多个时间实例t处理Dt中的每一像素位置p :
[0094] 设定B(Dt(p))=真以标记有效的深度值
[0095] 2. B(d)中的真值的计数数目一dvalid
[0096] 3.对于具有B(d)的每一 d==真：
[0097] 设定 D (i) = d
[0098] 设定 M(d) =d
[0099] 设定 I (d) = i
[0100] i = i+1
[0101] 4.对于具有B(d)的每一 d ==假：
[0102] 寻找

【权利要求】
1. 一种用于对表示包括一连串视图的三维视频的比特流进行编码的设备（100)，其中 深度图与每一视图相关联，所述深度图包括所述视图相对于俘获所述视图的摄像机的位置 的深度信息，所述设备包括： 分割器（101)，用于将所述深度图分割为编码单元； 确定器（103)，用于基于所述编码单元的深度信息确定每一编码单元的模型功能的类 型； 减少器（105)，用于针对由所述模型功能产生的每一片段将所述编码单元减少到单一 残差值；以及 信号化处理器（107)，用于将使用的所述模型功能和所述残差值信号化处理到所述比 特流。
2. 根据权利要求1所述的设备（100)，其进一步包括： 索引器，用于对所述深度图相对于由所述深度图指示的深度水平的所述深度信息做索 弓丨，从而获得与所述深度图的所述深度信息相关联的索引；以及 重映射器，用于根据所述索引重新映射所述深度图从而减少所述深度信息大小。
3. 根据权利要求2所述的设备（100)，其中所述索引器经配置以执行在预定数目的视 图上对所述深度图的深度信息做索引；且其中所述重映射器经配置以通过使用查找表执行 减少所述深度信息。
4. 根据权利要求2或权利要求3所述的设备（100)，其包括： 映射器，用于将所述深度水平映射到所述深度水平在所述深度图中的对应索引。
5. 根据前述权利要求中任一权利要求所述的设备（100)，其中所述分割器（101)经配 置以通过以下操作将所述深度图分割为编码单元： 将所述深度图分割为固定大小的固定大小编码单元，明确地说是64x64像素的固定大 小； 通过将所述固定大小编码单元细分为变化大小的编码单元而在四叉树结构中安排所 述编码单元，明确地说所述编码单元的变化大小的范围是4x4像素到64x64像素；以及 将所述四叉树结构信号化处理到所述比特流。
6. 根据前述权利要求中任一权利要求所述的设备（100)， 其中所述确定器（103)经配置以执行通过从所述四叉树结构中与所述编码单元相邻 的编码单元进行预测来确定用于编码单元的分段的类型。
7. 根据前述权利要求中任一权利要求所述的设备（100)，其中所述确定器（103)经配 置以执行通过以下操作确定模型功能的类型： 在所述编码单元的深度信息指示常量深度的情况下确定DC类型； 在所述编码单元的深度信息指示渐进深度改变的情况下确定梯度类型； 在所述编码单元的深度信息指示不同但常量深度的两个片段的情况下确定边缘类型； 以及 在所有其它情况下确定纹理类型。
8. 根据权利要求7所述的设备（100)， 其中所述确定器（103)经配置以执行通过以下操作确定用于编码单元的模型功能的 DC类型： 通过所述编码单元的左上角像素的左边的相邻编码单元和所述编码单元的左上角像 素的顶部的相邻编码单元中的一个来预测所述深度信息来确定DC值。
9. 根据权利要求7或权利要求8所述的设备（100)， 其中所述确定器（103)经配置以执行通过以下操作确定用于编码单元的分段的梯度 类型： 内插从所述编码单元的底部行中的第一像素（B)到所述编码单元的右下角中的目标 像素（Z)的所述编码单元的底部行的渐进深度改变； 内插从所述编码单元的右边列中的第二像素（A)到所述编码单元的右下角中的所述 目标像素（Z)的右边列的渐进深度改变；以及 从所述底部行的所述渐进深度改变和所述右边列的所述渐进深度改变双线性内插所 述渐进深度改变。
10. 根据权利要求7到9中任一权利要求所述的设备（100)，其中所述确定器（103)经 配置以执行通过以下操作确定用于编码单元的分段的边缘类型： 通过直线将所述编码单元划分为所述两个片段；以及 通过所述编码单元的左上角像素的左边的相邻编码单元和所述编码单元的左上角像 素的顶部的相邻编码单元中的一个来预测所述深度信息确定所述两个片段中的第一者的 DC值；以及 通过所述编码单元的右上角像素的右边的相邻编码单元和所述编码单元的右上角像 素的顶部的相邻编码单元中的一个来预测所述深度信息来确定所述两个片段中的第二者 的DC值。
11. 根据权利要求7到10中任一权利要求所述的设备（100)，其中所述确定器（103) 经配置以执行通过以下操作确定用于编码单元的分段的所述纹理类型： 通过直线将所述编码单元划分为至少三个片段；以及 确定所述编码单元划分为的片段的数目。
12. 根据前述权利要求中任一权利要求所述的设备（100)，其中所述设备（100)经配置 以切换所述比特流相对于所述比特流的以下片段中的一个的编码方法： 一连串视图， 图片， 切片， 编码单兀，和 预测单元。
13. 根据前述权利要求中任一权利要求所述的设备（100)，所述设备包括： 交错器，被配置成用于交错所述编码单元与根据常规视频编码经编码的所述比特流的 编码单元，明确地说根据HEVC视频编码或根据AVC视频编码经编码的所述比特流的编码单 J 1_1 〇
14. 一种用于对表示包括一连串视图的三维视频的比特流进行编码的方法，其中深度 图与每一视图相关联，所述深度图包括所述视图相对于俘获所述视图的摄像机的位置的深 度信息，所述方法包括： 将所述深度图分割为编码单元； 基于所述编码单元的所述深度信息确定用于每一编码单元的模型功能的类型； 针对由模型功能产生的每一片段将所述编码单元减少到单个残差值；以及 将使用的所述模型功能和所述残差值信号化处理到所述比特流。
15. -种用于执行根据权利要求14所述的方法的计算机程序，其中所述计算机程序在 计算机上运行。
【文档编号】G06T9/40GK104429062SQ201280074544
【公开日】2015年3月18日 申请日期:2012年7月13日 优先权日:2012年7月13日
【发明者】费边·耶格尔, 麦蒂尔斯·韦恩 申请人:华为技术有限公司