使用基于深度的块分割编解码纹理块的方法和装置的制造方法

使用基于深度的块分割编解码纹理块的方法和装置的制造方法
【技术领域】
[0001] 本发明实施例设及计算机视觉领域，具体设及，例如用于3D图像和视频编码的纹 理+深度图W及视频编码。
[0002] 在3D视频处理中，深度数据通常表示为与纹理视频的每帖相对应的深度图的集 合。深度图每个点的强度描述该点到该点表示的视觉场景的摄像头的距离。或者，可W使 用视差图，其中视差值与深度图的深度值成反比。
[0003] 在3D视频编码中，除了传统的视频数据外，也称为纹理数据或纹理信息，每个视 图的深度图也需编码。为了保持非3D编解码器的后向兼容性，在现有的3D视频编解码器 中，首先对基础视图的纹理数据进行编码。剩余分量的编码顺序可W调整。当前，存在两种 主要的编码顺序：纹理优先和深度优先，两者都提供了利用分量间依赖关系的机会，即，纹 理分量与相应的深度分量或视差分量间的依赖关系，W提高3D视频编解码器的整体编码 性能。纹理优先的编码顺序使得先进的依赖于纹理的编码工具用于编码深度数据。另一方 面，深度优先的编码顺序使得先进的依赖于深度的编码工具用于纹理编码。
[0004] 在3D视频编码的未来标准中，称为3D-HEVC[G.Tech,K.Wegner,Y.Chen,S.化日， "30-肥￥(：测试模型2"，30视频编码扩展发展联合组（化1111(：011油0阿11￥6了6日11101130 VideoCodingExtensionDevelopment,JCT3V)文件JCT3V-B1005, 2012 年 10 月]，当前 纹理优先的编码顺序用于公共测试条件（CommontestConditions，CTC)。在3D视频编码 的将来的进一步的标准中，称为3D-AVC[ "3D-AVCDraftText6"，JCT3V-D1002,仁川，韩 国，2013年4月]，当前深度优先的编码顺序用于公共测试条件（CommontestConditions, CTC)。
[0005] 3D视频的联合编码是一个重要的研究领域，其目的在于利用分量间的依赖关系来 提高整体的编码性能。两种方向（纹理到深度和深度到纹理）都是可能的也可W通过使用 分量间的依赖关系提高整体的编码效率。
[0006] 在化Merkle,C.Bartrdk,K.M??uller，D.Ma巧e，T.Wiegand,"基于块分区的分量 间预测的深度编码"，图片编码研讨会，克拉科夫，波兰，2012年5月]中，同一视图的已经编 码的纹理信息用于生成分割掩模，其用于预测内预测块中的同位深度块。对于得到的二进 制的分割掩模的两个段的每一个得到DC预测值。从纹理到深度的形状预测将提高预测质 量尤其是深度间断点的位置准确性。
[0007] 在["化aunhofer皿I(兼容肥VC;配置A)提议的3D视频技术的描述"，文件 122570,2011年11月，日内瓦，瑞±]中提出了类似的概念，其中，介绍了深度图编码的模波 和轮廓分割。
[000引此外，也提议了在间预测中使用纹理分量和深度分量之间的高相关性的方法。在 [M.Winken,H.Schwarz,T.Wiegand,"在高效3D视频+深度编码中的运动矢量继承"，图片 编码研讨会，克拉科夫，波兰，2012年5月]中，提议了重用纹理视图的已编码的运动信息 (即，运动矢量和参考图片索引）来减少同一视图的深度分量的要求的比特率。在该方法 中，当编码深度块时，运动矢量信息和预测单元的分割可W从同位的纹理块中继承。
[0009] 在[ITU-TVCEG和ISO/IECMPEG3D视频编码扩展发展联合组（Joint CollaborativeTeamon3DVideoCodingExtensionDevelopment，JCT-3V),"3D-CE3.h: 3DHTM4.I的深度四叉树预测，"JCT3V-B0068,技术报告，2012年10月]中，作者提议将深 度分量的块分割（即，编码四叉树的深度）限制在相应的纹理四叉树中。通过该限制，可能 节省深度分量中的分割标记的比特率，但也会引入两个分量间的解析依赖关系。
[0010] 在["诺基亚提议的3D视频编码技术的描述"，文件M22552, 2011年11月，日内 瓦，瑞±]和[C.Lee,Y.-S.化，"使用视图合成预测的3D视频编码的框架"，图片编码研讨 会，克拉科夫，波兰，2012年5月]中，提议了基于已经编码的深度信息为从属的纹理视图合 成额外的预测信号。运里，编码块（像素值）的内容使用基于深度图的擅染技术从参考纹 理视图中合成而来，该擅染技术要求深度正确地映射视图间的像素位置。 阳0川在["化aunhofer皿I(兼容肥VC;配置A)提议的3D视频技术的描述"，文件122570,2011年11月，日内瓦，瑞± ]和["波兹南工业大学针对3D视频编码技术的技术 描述"，文件M22697, 2011年11月，日内瓦，瑞± ]中，基于与编码块相关联的深度值得到了 用于编码当前编码块的从参考示图中预测运动信息的候选信息。 阳01引在["化aunhofer皿I(兼容肥VC;配置A)提议的3D视频技术的描述"，文件 122570,2011年11月，日内瓦，瑞± ]中提出了类似的方法，W预测已经编码的参考示图的 残留。基于深度估计，确定当前块的视差矢量，视差矢量所参考的参考示图中的残留块用于 预测当前块的残留。
[0013] 在["视频+深度图编码的基于深度的加权双向预测"，ICIP2012,2012年9月] 中，使用权重完成了编码块的双向间预测结果的合并，该权重的值基于深度信息计算。提出 了用于计算权重的不同方法，包括向块的一个或另一个区域的二进制赋值。

【发明内容】

[0014] 本发明的目的在于提供一种高效的编码3D图像或3D视频的纹理图像的纹理块的 编码方案，即，编码和解码方案。
[0015] 本发明的上述目的W及其他目的是通过独立权利要求的特征来实现的。结合从属 权利要求、说明书和附图，进一步的实现形式是显而易见的。
[0016] 大多数的现有方案利用了纹理到深度的依赖关系。然而，尽管两种方向（纹理到 深度和深度到纹理）都展现了一些优势，总的来说，使用深度信息来减少纹理码率更令人 满意因为纹理码率要比深度分量的码率高得多。
[0017] 而且，为了编码纹理，现有技术中的方法使用带规则形状分区的块分割或者要求 通过信号发送任意形状的复杂方法，运会降低运些方法的编码性能。确定任意形状分区的 分量间依赖关系目前只用于基于纹理的深度分割。通过基于深度信息确定任意形状的纹理 分区能够提高整体的编码性能。
[0018] 本发明的各个方面和实现形式提供了一种使用基于与纹理块相关联的深度信息 确定的分割的编码，即编码和解码，纹理块的方案。根据本发明，不使用规则形状的通常是 矩形的分区来对纹理块进行编码，而是使用预定数量的分区对纹理块进行编码，所述分区 的形状基于深度信息确定且是任意形状，通常是不规则特别是非矩形的形状。分区的形状 能够通过深度信息的现有知识（深度优先编码）确定，分区的任意形状不需要从编码器传 输到解码器因为确定分区形状的计算会在解码器中重复进行。所述方案也可W称为基于深 度的块分割值巧th-basedBlockPartitioning,DBBP)。
[0019] 进一步的各个方面和实现方式提供方案W改进在3D和纹理+深度视频编码中使 用DBBP的纹理编码，和/或降低基于DBBP视频编码的复杂度。
[0020] 根据第一方面，本发明设及一种用于编码纹理图像的纹理块的方法，所述方法包 括：基于与纹理块相关联的深度信息确定所述纹理块的分割掩模，其中所述分割掩模用于 定义所述纹理块的多个分区，并将所述纹理块的纹理块元素与所述多个分区的分区相关 联；基于所述分割掩模编码所述纹理块的所述多个分区中的多个分区从而对所述纹理块进 行编码。
[0021] 目P，根据第一方面的方法使用基于深度的块分割，也可W称为基于深度的块分割 或者基于深度的块分割编码。
[0022] 根据第一方面的方法利用了纹理分量和深度分量间的分量间依赖关系。此外，使 用深度信息降低纹理码率可W提高编码效率，运是因为纹理分量的码率要比对应的深度分 量的码率高得多。
[0023] 更进一步地，不使用规则的，例如，矩形的分区来编码纹理块，根据第一方面的编 码允许定义任意形状的分区，其中，任意形状的分区基于与待编码的纹理块相关联的深度 信息而确定。纹理块中带有类似或相同纹理特征的区域通常不展现为规则形状，特别是矩 形，基于与纹理块相关联的深度信息的任意形状的分割使得任意纹理区域的描述或建模更 加准确。因此，例如，相比于传统的矩形块分割，与规则形状分割相比能够减少预测误差和 /或能够减少通过信号发送深度四叉树分割所需要的信令开销。
[0024] 目P，根据第一方面的方法允许将纹理块划分成包括不规则分区和规则分区的任何 种类的分区。最后，纹理块的分区的形状能够通过与纹理块相关联的深度信息的现有知识 确定，描述纹理块分区任意形状的信息不需要从编码器传输到解码器因为确定纹理块分区 的形状的计算能在解码器中高效进行，例如，基于与待解码的编码纹理块相关联的解码深 度信息（深度优先编码）。
[00巧]所述纹理图像可W是静止图像的纹理分量或者视频帖的纹理分量。
[00%] 所述深度信息可W是深度图的深度值或者视差图的视差值。
[0027] 根据第一方面的方法的第一种可能的实现形式中，所述编码所述多个分区中的多 个分区包括：针对所述纹理块的所述多个分区中的第一分区，分别从所述纹理块的所述多 个分区中的第二分区中确定用于编码所述第一分区的编码信息。所述编码信息可W设及或 者包括与所述纹理块的单独段的预测编码或者所述纹理块的单独段的非预测编码相关联 的信息。
[002引对于预测编码，所述编码信息可W包括W下的一种或多种：预测模式，预测因子索 弓I，预测方向，参考图片索引，参考视图索引，变换系数，运动矢量，W及编码上下文。
[0029] 所述编码所述多个分区中的多个分区可W为每个分区分别进行。通过为一些或者 所有分区分别确定所述编码信息可W提高预测准确性，因此，预测误差减少。
[0030] 根据第一方面或者第一方面的第一种实现形式的方法的第二种可能的实现形式 中，所述多个分区中的分区数量是预定的或自适应确定的。
[0031] 确定所述多个分区中的分区数量的两种方法（预定或者自适应确定）在表示编码 块的所述数量的分区的码流中都不需要额外的信令。否则，编码器需要为每个使用基于深 度的块分割的块添加信息到码流中，例如分区的数量。
[0032] 根据第一方面或者第一方面上述实施形式的任一项的方法的第=种可能的实现 形式中，所述多个分区中分区的数量通过分析与所述纹理块相关联的深度信息而自适应确 定。
[0033] 分析与所述纹理块相关联的深度信息，例如深度图值或视差图值，相比分析所述 纹理块的纹理信息，例如色度和亮度，要简单。因此，所述深度信息能够用于高效地确定所 述纹理块的分区数量。特别地，在块层级上，所述深度信息通常只包括极少数相关的范围或 者深度信息值，用于将与所述纹理块相关联的深度信息W及相应的纹理块可靠地划分到所 述多个分区中。通常，只要两个分区就足够，例如，第一分区，表示所述纹理块内前景目标的 区域；第二分区，表示所述纹理块内背景的区域。
[0034] 根据第一方面或者第一方面上述实施形式的任一项的方法的第四种可能的实现 形式中，通过所述分割掩模将所述纹理块的所述纹理块元素与所述多个分区中的一个相关 联是基于与所述纹理块元素相关联的深度信息值和阔值的对比而进行的。
[0035] 使用阔值确定所述分割掩模W及相应的分区复杂度低但是一种高效的进行分割 的方法，尤其是结合一维深度信息值时。
[0036] 根据第四种实现形式的方法的第五种实现形式中，所述阔值是预定的或者自适应 确定的。
[0037] 确定所述阔值的两种方法（预定或者自适应确定）在编码块的阔值码流中都不需 要额外的信令。运减少了需要传输到解码器的比特数量，提高了编码性能。否则，编码器需 要为每个使用基于深度的块分割的块添加关于阔值的信息到码流中。
[0038] 根据第一方面的第四或第五种实现形式的方法的第六种实现形式中，所述阔值通 过分析与所述纹理块相关联的深度信息而自适应确定。
[0039] 所述自适应确定所述阔值可W包括：针对与待编码的纹理块相关联的区域，计算 深度信息值的平均值；将所述阔值设置成所述计算出的平均值。
[0040] 所述自适应确定所述阔值可W包括：针对与待编码的纹理块相关联的区域，计算 深度信息值的加权平均值，其中，用于计算所述加权平均值的权重取决于与所述纹理块中 屯、的距离；将所述阔值设置成所述计算出的加权平均值。
[0041] 所述自适应确定所述阔值可W包括：针对与待编码的纹理块相关联的区域，计算 深度信息值的中值；将所述阔值设置成所述计算出的中值。
[0042] 所述提及的实现形式提供了相对简单的计算所述阔值的方法，所述方法计算不复 杂。运对于通常具有功耗和计算功率限制的解码器来说尤其重要。而且，所述提及的方法 可W使用规则结构的算法实现，使得硬件实现更加容易。
[0043] 根据第一方面或者第一方面的第一至第=种实现形式中的任一项的方法的第屯 种实现形式中，所述确定所述分割掩模基于向与所述纹理块相关联的深度信息值的区域实 施边缘检测算法而进行。
[0044] 使用在表示深度信息的图像中检测到的边缘的位置的有关信息提供了一种简单 的方法确定维持目标边缘的分区。特别地，运种分割通常反映了最需要的分割，W待编解码 器选择来最大化编码性能。而且，在表示深度信息的图像上进行的边缘检测通常是一项计 算并不复杂的简单工作。
[0045] 根据第一方面或者根据上述实现形式的任一项的第八种实现形式中，所述确定所 述分割掩模W迭代方式进行，其中，在每次迭代中，满足预定选择条件的分区进一步划分成 子分区直至满足预定的终止条件，或者满足预定选择条件的分区进一步划分成子分区只要 还满足进一步的分割条件，其中，所述纹理块进行所述迭代分割的初始分区。
[0046] 针对所述初始分区或者任何后续子分区的分割，可W使用上述实现形式的任一 项。