一种基于子范围编码深度查询表的方法
【技术领域】
[0001] 本发明涉及一种深度查询表（DLT)的编码方法和装置以及一种深度查询表的解 码方法和装置，特别是在计算机视觉领域，尤其是在3D视频处理和3D视频编码领域。
【背景技术】
[0002] 在3D视频中，深度数据通常表示为与每个纹理视频帧对应的一组深度图像。深度 图像每个点的清晰度描述了从该点所表示的视觉场景到摄像头的距离。或者，可以使用视 差图，其取值与深度图像的取值成反比，并且可用来提取深度图像。
[0003] 在3D视频编码中，除常规的视频数据之外，每个视角的深度图像都需要编码。相 比视频数据，这些深度图像显示不同信号特征，因为它们包含由坚固的边缘界定的分段光 滑区域。由于深度图像经常从纹理数据中估计得来或者进行了预处理，它们的柱状图可能 会较稀疏。因此，在【F.Jiiger"3D-CE6.h:关于一种可选深度查询表的简化深度编码的结 果"，联合协作小组于2012年在中国上海关于ITU-TVCEG和IS0/IECMPEG的3D视频编码 扩展开发（JCT-3V)的文档JCT3V-B0036】中提出了深度查询表（DLT)，从而仅通过发送DLT 的差分指数，而不是通过发送残差深度值本身来体现柱状图特征。通过这种方法，可以降低 这些残差值的位深度，因此提高了编码效率。
[0004] 通过分析原始的、未解压的深度图像的柱状图在编码器构造DLT。然后将该DLT传 输到解码器，以实现索引到实际深度值的映射。深度图像的柱状图值可能会随时间而变，因 此需要一个更新机制。其次，在多视图编码场景下，多个深度图像可以有不同的深度图像柱 状图，在这些情况下，此类更新机制也有利于整体编码性能。
[0005] 在高效视频编码3D扩展的最新规范【G.Tech，K.Wegner，Y.Chen和S.Yea的 "3D-HEVC测试模型2"，2012年10月联合协作小组关于3D视频编码扩展开发的文档 JCT3V-B1005】中，序列参数集（SPS)中的每个序列，DLT只发送一次，独自用于所有视图。 该方法使发送DLT的开销保持在较低的水平。
[0006] 也提出了在基本视图的每个I切片的切片头中发送DLT【I.Lim，H.C.Wey和 D.S.Park"3D-CE6.h相关的：改进的深度查询表（DLT) "，联合协作小组于2013年在瑞 士日内瓦的关于ITU-TVCEG和IS0/IECMPEG的3D视频编码扩展开发（JCT-3V)的文档 JCT3V-C0093】。在该方法中，DLT值更有规律地按时间方向更新，从而实现了柱状图随时间 而变。在这种情况下，假设在每个视图的深度图像柱状图都一样，则所有辅助视图都继承了 基本视图的DLT。
[0007] 此外，另一种发送DLT值的方法，称为图1中所描述的区域约束位图（RCBM)编码 100,在【张凯，安吉城，雷晓明"3D-CE6.h相关的：3DVC中一种DLT的有效编码方法"，2013 年1月联合协作小组关于3D视频编码扩展开发的文档JCT3V-C0142】中提出。所述方法100 发送存在于DLT中（参见图1)的深度值的范围：min_dlt_value和diff_max_dlt_value 编码为无符号整数来限制DLT的取值范围。DLT中的最小值是min_dlt_value，最大值是 MaxDltValue，该值等于min_dlt_value+diff_max_dlt_value。然后，二进制串bit_map_ flag用于发送范围内的深度值是否存在于DLT。如果bit_map_flag中的一个比特位等于 1，对应二进制串中该位置的深度值属于或者出现在DLT中，否则，该深度值不属于或者未 出现在DLT中。
[0008] 现有技术中的DLT发送的编码方法没有充分利用该信号的特征，因此，有必要进 一步提高DLT的编码效率。
【发明内容】
[0009] 本发明的目的在于为深度查询表提供一种改进的编码/解码技术。
[0010] 该目的是通过独立权利要求的特征实现的。结合从属权利要求、说明书和附图会 使【具体实施方式】更易于理解。
[0011] 本发明基于以下发现结果：用于深度查询表的一种改进的编码/解码技术可以通 过使用多范围DLT表现形式来提供。不是在当前DLT中将所有值以一个范围发送，而是将这 些值的原始范围划分成多个子范围，例如，分成两个或更多子范围，且发送每个子范围。更 近一步，提出了多范围DTL表现形式的变体，确定自适应选择使用单范围还是多范围DTL表 现形式，并使用单个标志发送已选择的表现形式。
[0012] 提出了深度查询表编码/解码的新技术，其降低了DLT编码所需要的比特率。由 于不同序列之间甚至相同序列内（帧间和视图间）的深度图像特征可能会明显不同，这项 技术为编码/解码DLT提供了高度灵活性。
[0013] 为了利用DLT查询表的特征，所提出的技术介绍了一种在诸如区域约束位图 (RCBM)现有方案中使用的二进制串等基于范围的表现形式之外使用所发送DLT值的多范 围DLT表现形式进行DLT编码/解码的新方法。不是只发送DLT值的一个范围，而是将需 要为DLT发送的值的整个范围划分成多个，例如两个或更多的子范围。
[0014] 本发明基于以下进一步的发现结果：用于深度查询表的一种改进的编码/解码技 术可以通过额外的DLT间或DLT预测来提供。不是直接划分当前DLT的范围，而是将当前 DLT的差分DLT的范围划分成多个子范围，该范围只包括当前DLT和参考DLT间的差异。因 为当前DLT和参考DLT间具有相似性，差分DLT通常很稀疏且显示出更大的差距。在使用 多范围DLT编码时，这带来进一步的编码增益。
[0015] 为详细描述本发明，将使用以下术语、缩写和符号：
[0016] HEVC-高效视频编码
[0017] CU-编码单兀
[0018] DLT-深度查询表
[0019] RAP-随机接入点
[0020] SEI-补充增强信息
[0021] SH-切片头
[0022] SPS-序列参数集
[0023] PPS-图像参数集
[0024] 视频序列一组呈现动态图像的后续帧。
[0025] 3D视频包含两个纹理视图及其对应深度图像或视差图的信号。
[0026] 视觉场景3D视频中表现的真实世界或合成场景。
[0027] 深度图像灰阶图像，该图像每个点的值决定该点表示的视觉场景到摄像头的距 离。或者，可以使用视差图来表示或提取深度图像，其取值与深度图像的取值成反比。
[0028] 纹理视图在指定视角获取的视频，其包括视觉场景的颜色和纹理信息，通常以 RGB或YUV格式表示。
[0029] 随机接入点定义为视频序列结构中的点，从该点起解码器能够在不知道视频流 前面部分内容的情况下开始解码该序列。
[0030] SPS-组以有条理的消息形式发送的参数，所述消息包括正确解码视频流所需要 的基本信息，且必须在每个随机接入点的最开始发送。
[0031] PPS-组以有条理的消息形式发送的参数，所述消息包括在视频序列中正确解码 图像所需要的基本信息。
[0032] 图像视频序列的结构，其包括视频序列的整个图像，也称为帧。
[0033] 切片视频序列的结构，其包括视频序列整个图像的一部分。
[0034] 切片头一组描述切片的参数，在切片最开始发送。
[0035] ⑶预定义大小的视频序列的基本编码结构，其包括图像的一部分（例如，64x64 个像素点）。
[0036] I切片所有编码单元都是在内部预测，因此不允许参考其他图像的切片。
[0037] SEI能够以视频序列流方式发送的消息，其包括视频序列、编码工具等相关的额 外或可选信息。
[0038] 第一方面，本发明涉及一种基于子范围编码深度查询表的方法，所述深度查询表 包括3D视频序列的深度值，所述深度值限制在某一范围内；所述方法包括：将所述范围划 分成多个子范围，其中，第一子范围包含第一组深度值，第二子范围包含第二组深度值；将 所述深度查询表的每个所述子范围的深度值分别根据预定编码规则进行编码。
[0039] 在一种实现方式中，序列包括帧、G0P和切片中的其中一个。
[0040] 在一种实现方式中，所述将所述范围划分成多个子范围是将所述范围划分成两个 子范围，所述两个子范围中的一个为第一子范围，所述两个子范围的另一个为第二子范围。
[0041] 在一种实现方式中，每一个所述多个子范围均包括使用的一组深度值。
[0042] 在一种实现方式中，所述深度值编码适用于当前DLT和/或差分DLT。
[0043] 新提出的深度查询表编码/解码方法为编码器/解码器提供了高度灵活性，同时 降低了DLT所需要的比特率。由于不同序列之间甚至相同序列内（帧间和视图间）的深度 图像特征可能会明显不同，该方法为编码/解码DLT提供了高度灵活性。
[0044] 根据第一方面，在所述方法的第一种可能的实现方式中，所述方法包括：发送第一 子范围在所述深度查询表的深度值范围中的位置。
[0045] 通过发送所述第一子范围在所述深度查询表的深度值范围中的位置，能够有效实 现深度查询表的编码。
[0046] 根据第一方面的第一种实现方式，在所述方法的第二种可能的实现方式中，所述 方法包括：通过使用相对于所述第一子范围位置的偏移量发送所述第二子范围在所述深度 查询表的深度值范围中的位置。
[0047] 通过使用所述第一子范围位置的偏移量发送所述第二子范围在所述深度查询表 的深度值范围中的位置，该编码被简化为表示偏移会带来有效编码。
[0048] 根据第一方面的第一种实现方式或第二种实现方式，在所述方法的第三种可能的 实现方式中，所述方法包括：通过使用表示子范围宽度的参数发送该子范围的宽度。
[0049] 通过使用表示子范围宽度的参数发送该子范围的宽度，所述方法能灵活适应各个 DLT〇
[0050] 根据第一方面本身或根据第一方面的任一种上述的实现方式，在所述方法的第四 种可能的实现方式中，所述深度查询表的每个所述子范围的深度值在所述深度查询表中的 出现都发送为二进制串。
[0051] 通过使用此类二进制串，该编码被简化为指示DLT中深度值的存在或不存在，是 非常有效的编码。
[0052] 根据所述第一方面本身或根据所述第一方面的任一种上述的实现形式，在所述方 法的第五种可能的实现形式中，通过使用例如根据ITU-T和IS0/IEC标准的3D视频编码扩 展开发进行编码的区域约束位图将所述深度查询表的每个所述子范围中的深度值进行编 码。
[0053] 当编码深度值包括根据ITU-T和IS0/IEC标准的3D视频编码扩展开发编码区域 约束位图时，所述方法符合标准。
[0054] 根据第一方面本身或根据第一方面的任一种上述的实现方式，在所述方法的第六 种可能的实现方式中，所述将所述范围划分成多个子范围是基于选择准则。
[0055] 当将所述范围划分成多个子范围是基于选择准则时，所述划分能够灵活选择。
[0056] 根据第一方面的第六种实现方式，在所述方法的第七种可能的实现方式中，所述 方法包括：通过使用标志来发送选择结果。
[0057] 通过使用标志来发送结果易于实现。
[0058] 根据第一方面本身或根据第一方面的任一种上述的实现方式，在所述方法的第八 种可能的实现方式中，对于属于预定的一组深度查询表的深度查询表，若编码类型为非自 适应编码，将所述范围划分成固定数量的子范围；若编码类型为自适应编码，将所述范围划 分成可选数量的子范围。
[0059] 通过使用编码类型，所述方法能够灵活适应深度图像或深度查询表的特征和/或 用户的要求。
[0060] 根据第一方面的第八种实现方式，在所述方法的第九种可能的实现方式中，所述 方法包括：根据所述预定的一组深度查询表选择编码类型。
[0061] 当根据所述预定的一组深度查询表选择编码类型时，所述选择可以取决于所述一 组DLT。
[0062] 根据第一方面的第八种实现方式或第九种实现方式，在所述方法的第十种可能的 实现方式中，根据每个所述子范围的深度值的编码成本，基于优化准则选择子范围的数量。
[0063] 当根据每个所述子范围的深度值的编码成本，基于优化准则选择子范围的数量 时，能最大程度降低实现所述方法的成本。
[0064] 根据第一方面的第十种实现方式，在所述方法的第^^一种可能的实现方式中，基 于优化准则的选择包括：将初始范围设置为子范围；根据所述深度查询表的深度值间的最 大差，将所述子范围划分成新子范围；若发送所述子范围的成本大于发送所述新子范围的 成本，且所述子范围的数量低于预定数量，继续划分所述子范围，其中，所述新子范围作为 划分的子范围；否则，结束并提供未划分的子范围。
[0065] 所述子范围因此能够灵活适应深度值间的差。
[0066] 根据第一方面的第八至第十一种实现方式中的任一种，在所述方法的第十二种可 能的实现方式中，所述子范围的数量和/或所述编码类型在以下一种消息中进行发送：序 列参数集（SPS)消息、图像参数集（PPS)消息、切片头（SH)消息、编码单元（CU)消息、图像 头（PH)消息和补充增强信息（SEI)消息。
[0067] 所述方法因此能够灵活适应不同种类的消息。
[0068] 所述编码类型表示非自适应编码或自适应编码。
[0069] 根据第一方面的第八种至第十二种实现方式中的任一种，在所述方法的第十三种 可能的实现方式中，所述方法包括：使用包含消息头的专用补充增强信息（SEI)消息，所述 消息头包括消息类型，其表示所述专用补充增强信息（SEI)消息包含编码类型的发送和/ 或子范围数量的发送；其中，所述专用补充增强信息（SEI)消息还包括所述编码类型的值 和/或所述子范围数量的值。
[0070] 第二方面，本发明涉及一种基于子范围编码深度查询表的装置，所述深度查询表 包括3D视频序列的深度值，所述深度值限制在某一范围内；所述装置包括：分割器，用于将 所述范围划分成多个子范围，其中，第一子范围包含第一组深度值，第二子范围包含第二组 深度值；编码器，用于将所述深度查询表的每个所述子范围的深度值分别根据预定编码规 则进行编码。
[0071] 所述基于子范围编码深度查询表的装置为编码器/解码器提供了高度灵活性，同 时降低了DLT所需要的比特率。由于不同序列之间甚至相同序列内的深度图像特征可能会 明显不同，为编码/解码DLT提供了高度灵活性。
[0072] 在一种实现方式中，序列包括帧、G0P和切片中的其中一个。
[0073] 在一种实现方式中，所述将所述范围划分成多个子范围是将所述范围划分成两个 子范围，所述两个子范围中的一个为第一子范围，所述两个子范围中的另一个为第二子范 围。
[0074] 在一种实现方式中，每一个所述多个子范围均包括使用的一组深度值。
[0075] 在一种实现方式中，所述深度值编码适用于当前DLT和/或差分DLT。
[0076] 对第一方面及其实施方式和实现方式的解释相应地适用于第二方面及其实施方 式和实现方式。
[0077] 第三方面，本发明涉及一种提供与至少一部分3D图像相关联的深度查询表的表 现形式的方法，所述方法包括：基于包含在所述深度查询表的所述表现形式的第一子范围 表现形式中的深度值信息，其包括与所述深度查询表的所述表现形式的深度值信息范围的 第一子范围相关联的深度值信息，并基于包含在所述深度查询表的所述表现形式的第二子 范围表现形式中的深度值信息，其包括与所述深度查询表的所述表现形式的所述深度值信 息范围的第二子范围相关联的深度值信息，提供所述深度查询表的所述表现形式。
[0078] 提供深度查询表的表现