深度图编码方法及其设备以及深度图解码方法及其设备的制造方法
【技术领域】
[0001] 本发明设及对包括深度图像的视频数据的编码和解码。
【背景技术】
[0002] 随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供，对于能够 有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。根 据传统的视频编解码器，基于具有树结构的编码单元，根据受限的编码方法来对视频进行 编码。
[0003] 空间域的图像数据经由频率变换被变换为频域的系数。根据视频编解码器，将图 像划分为具有预定尺寸的块，对每个块执行离散余弦变换值CT)，并在块单元中对频率系数 进行编码，W进行频率变换的快速计算。与空间域的图像数据相比，频域的系数容易被压 缩。具体地，由于根据经由视频编解码器的帖间预测或帖内预测的预测误差来表示空间域 的图像像素值，因此当对预测误差执行频率变换时，大量数据可被变换为0。根据视频编解 码器，可通过使用小量数据来代替连续并重复产生的数据，来减少数据量。
[0004] 3D视频编解码器对彩色帖和深度图帖进行编码和解码。基于彩色图帖和相应的深 度图帖之间的相关性，彩色图帖和深度帖的数据量可被减少。
【发明内容】
阳00引技术问题
[0006] 本发明设及一种用于有效地对深度图图像进行编码的方法和设备W及用于为了 提供3D视频有效地对深度图进行解码的方法和设备。
[0007] 技术方案
[0008] 根据本发明的实施例的一方面，提供了一种深度图帖解码方法，包括：基于从比特 流获得的彩色帖的编码信息对所述彩色帖进行重建；基于从比特流获得的深度图帖的划分 信息将所述深度图帖的最大编码单元划分为一个或更多个编码单元；将所述一个或更多个 编码单元划分为用于预测解码的一个或更多个预测单元；通过从比特流获得指示是否将当 前预测单元划分为至少一个或更多个分区的信息来确定是否将当前预测单元划分为至少 一个分区并对当前预测单元进行解码；如果确定通过将当前预测单元划分为所述至少一个 或更多个分区来对当前预测单元进行解码，则从比特流获得所述一个或更多个预测单元的 预测信息，并确定是否通过使用差分信息对当前预测单元进行解码，其中，差分信息指示与 原始深度图帖相应的所述至少一个或更多个分区的深度值和从当前预测单元的邻近块预 测的所述至少一个或更多个分区的深度值之间的差；基于是否将当前预测单元划分为所述 至少一个或更多个分区W及是否使用差分信息，通过使用差分信息对当前预测单元进行解 码。
[0009] 所述一个或更多个预测单元的预测信息包括：在比特流中包括的指示是否使用差 分信息执行解码的标记，其中，确定是否通过使用差分信息对当前预测单元进行解码的步 骤包括：基于所述标记确定是否通过使用差分信息对当前预测单元进行解码，其中，对当前 预测单元进行解码的步骤包括：从比特流获得差分信息，并通过使用差分信息对当前预测 单元进行解码。
[0010] 将所述一个或更多个编码单元划分为用于预测解码的一个或更多个预测单元的 步骤包括：基于从比特流获得的所述一个或更多个编码单元的预测模式和分区模式中的至 少一个的信息，将所述一个或更多个编码单元划分为所述一个或更多个预测单元，并确定 所述一个或更多个编码单元的结构。
[0011] 差分信息包括指示与原始深度图帖相应的所述至少一个或更多个分区的深度值 和从当前预测单元的邻近块预测的所述至少一个或更多个分区的深度值之间的差。
[0012] 对当前预测单元进行解码的步骤包括：如果确定在不使用差分信息的情况下对当 前预测单元进行解码，则在不从比特流获得差分信息的情况下对当前预测单元进行解码。 差分信息包括增量恒定分区值（增量DC)。
[0013] 指示是否将当前预测单元划分为至少一个或更多个分区的信息包括：指示通过将 当前预测单元划分为所述至少一个或更多个分区来对当前预测单元进行解码的预定帖内 预测模式的标记。所述预定帖内预测模式包括深度建模模式值MM)。
[0014] 根据本发明的实施例的一方面，一种深度图帖编码方法，包括：产生包括通过对彩 色帖进行编码而产生的编码信息的比特流；将深度图帖的最大编码单元划分为一个或更多 个编码单元；将所述一个或更多个编码单元划分为用于预测编码的一个或更多个预测单 元；如果所述一个或更多个编码单元被划分为所述一个或更多个预测单元，则确定是否将 当前预测单元划分为至少一个分区并对当前预测单元进行预测编码；如果确定通过将当前 预测单元划分为所述至少一个或更多个分区来对当前预测单元进行预测编码，则确定是否 通过使用差分信息对当前预测单元进行预测编码，其中，差分信息指示与原始深度图帖相 应的所述至少一个或更多个分区的深度值和从当前预测单元的邻近块预测的所述至少一 个或更多个分区的深度值之间的差；基于是否将当前预测单元划分为所述至少一个或更多 个分区W及是否使用差分信息，通过使用差分信息对当前预测单元进行预测编码。
[0015] 所述深度图帖编码方法还包括：产生包括指示是否通过使用差分信息对当前预测 单元进行预测编码的标记的比特流。
[0016] 将深度图帖的最大编码单元划分为一个或更多个编码单元的步骤包括：通过将深 度图帖的最大编码单元划分为所述一个或更多个编码单元来确定所述最大编码单元的结 构，其中，将所述一个或更多个编码单元划分为用于预测编码的一个或更多个预测单元的 步骤包括：通过将所述一个或更多个编码单元划分为用于预测编码的所述一个或更多个预 测单元来确定所述一个或更多个编码单元的结构。
[0017] 对当前预测单元进行预测编码的步骤包括：产生指示通过将当前预测单元划分为 所述至少一个或更多个分区来对当前预测单元进行编码的预定帖内预测模式的标记，还包 括：产生包括所述标记的比特流。
[0018] 所述预定帖内预测模式包括深度建模模式值MM)。
[0019] 根据本发明的实施例一方面，一种深度图帖解码设备，包括：彩色帖解码器，用于 基于从比特流获得的彩色帖的编码信息对所述彩色帖进行重建；深度图帖解码器，用于基 于从比特流获得的深度图帖的划分信息将所述深度图帖的最大编码单元划分为一个或更 多个编码单元，并将所述一个或更多个编码单元划分为用于预测解码的一个或更多个预测 单元；深度图预测模式确定器，用于通过从比特流获得指示是否将当前预测单元划分为至 少一个或更多个分区的信息来确定是否将当前预测单元划分为至少一个分区并对当前预 测单元进行解码，如果确定通过将当前预测单元划分为所述至少一个或更多个分区来对当 前预测单元进行解码，则从比特流获得所述一个或更多个预测单元的预测信息，并确定是 否通过使用差分信息对当前预测单元进行解码，其中，差分信息指示与原始深度图帖相应 的所述至少一个或更多个分区的深度值和从当前预测单元的邻近块预测的所述至少一个 或更多个分区的深度值之间的差，其中，深度图帖解码器基于是否将当前预测单元划分为 所述至少一个或更多个分区W及是否使用差分信息，通过使用差分信息对当前预测单元进 行解码。
[0020] 根据本发明的实施例的另一方面，提供了一种记录有计算机程序的非暂时性计算 机可读记录介质，其中，所述计算机程序用于执行所述深度图帖解码方法。
[0021] 有益效果
[0022] 深度图帖解码设备即使不使用差分信息，也会执行不必要地从比特流获得差分信 息的操作。因此，根据本发明的实施例的深度图帖解码设备20通过使用关于预测单元的差 分信息来对满足预定条件的预测单元进行划分，并确定是否执行预测解码，并且不执行从 比特流获得关于不满足所述预定条件的预测单元的差分信息的操作。也就是说，针对预测 单元的每个分区发送差分信息。当关于预测单元的差分信息为0时，深度图帖解码设备20 不需要获得用于确定差分信息是否为0的值。然而，根据本发明的实施例，当深度图帖编码 设备10确定并发送差分信息时，如果预测单元内的差分信息为0,则标记被设置为"1"，并 通过包括在比特流中被发送。当深度图帖解码设备20在深度建模模式值MM)下对深度图 进行解码时，深度图帖解码设备20根据包括在比特流中的标记的值不获得差分信息，但可 对当前预测单元进行解码。因此，深度图帖解码设备20可不执行不必要地获得差分信息的 操作。
【附图说明】
[0023] 从W下结合附图进行的实施例的描述，运些和/或其它方面将变得明显并更易于 理解，其中：
[0024] 图Ia是根据各种实施例的深度图帖编码设备的框图。
[00巧]图化是根据各种实施例的深度图帖编码方法的流程图。
[00%] 图2a是根据各种实施例的深度图帖解码设备的框图。
[0027] 图化是根据各种实施例的深度图帖解码方法的流程图。
[00%] 图3是根据实施例的视频帖和由深度相机获得的深度图帖的不图。
[0029] 图4a至图4b是用于描述根据实施例的作为使用差分信息对深度图帖进行编码和 解码的模式的深度建模模式值MM)的示图。
[0030] 图5是根据实施例的深度图解码设备使用差分信息对当前预测单元进行解码的 方法的流程图。
[0031] 图6a示出根据实施例的基于当前预测单元的预测信息通过使用差分信息对当前 预测单元进行解码的语法的示例。
[0032] 图化示出根据另一实施例的基于当前预测单元的预测信息通过使用差分信息对 当前预测单元进行解码的语法的示例。
[0033] 图7是根据实施例的基于根据树结构的编码单元的视频编码设备的框图。
[0034] 图8是根据实施例的基于根据树结构的编码单元的视频解码设备的框图。
[0035] 图9是用于描述根据实施例的编码单元的概念的示图。
[0036] 图10是根据实施例的基于编码单元的图像编码器的框图。
[0037] 图11是根据实施例的基于编码单元的图像解码器的框图。
[003引图12是示出根据实施例的根据深度的较深层编码单元W及分区的示图。
[0039] 图13是用于描述根据实施例的编码单元与变换单元之间的关系的示图。
[0040] 图14是用于描述根据实施例的与深度相应的编码单元的编码信息的示图。
[0041] 图15是根据实施例的根据深度的较深层编码单元的示图。
[0042] 图16至图18是用于描述根据实施例的编码单元、预测单元和变换单元之间的关 系的示图。
[0043] 图19是用于描述根据表1的编码模式信息的编码单元、预测单元、和变换单元之 间的关系的示图。 W44]图20是根据实施例的存储程序的盘的物理结构的示图。 W45] 图21是通过使用盘来记录和读取程序的盘驱动器的示图。
[0046] 图22是提供内容分配服务的内容供应系统的整体结构的示图。
[0047] 图23和图24分别是根据实施例的应用了视频编码方法和视频解码方法的移动电 话的外部结构和内部结构的示图。
[0048] 图25是根据实施例的采用通信系统的数字广播系统的示图。
[0049] 图26是示出根据实施例的使用视频编码设备和视频解码设备的云计算系统的网 络结构的示图。
【具体实施方式】
[0050] 基于代价来选择最佳编码预测模式。在运点上，差分信息可包括指示与原始深度 图相应的分区的代表值和从当前预测单元的邻近块预测的分区的代表值之间的差的信息。 差分信息可包括增量恒定分区值（CPV) 0eltaDC)。增量CPV值eltaDC)是指原始深度图 分区的DC值和预测分区的DC值之间的差。例如，原始深度图分区的DC值可W是包括在该 分区中的块的深度值的平均值。预测分区的DC值可W是该分区的邻近块的深度值的平均 值或该分区的部分邻近块的深度值的平均值。
[0051] 深度图帖编码器16基于由深度图预测模式确定器14所确定的是否对当前预测单 元的分区进行划分和是否使用差分信息，通过使用差分信息对当前预测单元进行帖内预测 解码。
[0052] 同时，深度图帖编码器16可通过使用彩色视频帖的编码信息来对深度图帖进行 编码。如上所述，具体地，根据本发明的实施例的深度图帖编码器16可在对深度图帖进行 编码时考虑深度图帖和与深度图帖相应的彩色视频帖之间的相关性，基于像素值将在已在 先前被编码之后被重建的彩色视频帖的块划分为多个分区W确定相关性，考虑邻近相邻像 素之间的相关性来确定针对每个分区定义彩色图像和深度图图像之间的相关性的参数，并 使用确定的参数对与在已在先前被编码之后被重建的彩色视频帖块分区相应的深度图帖 块分区进行预测。具体地说，深度图帖编码器16可产生包括编码的彩色帖的编码信息、与 彩色帖相应的深度图帖的编码信息和关于彩色图像和深度图图像之间的相关性的信息的 比特流。
[0053] 同时，深度图帖编码器16可产生包括指示是否使用差分信息执行预测编码的标 记的比特流。深度图帖编码器16可产生指示预定帖内预测模式的标记并产生包括产生的 标记的比特流，其中，在所述预定帖内预测模式下，通过将当前预测单元划分为一个或更多 个分区来对当前预测单元进行编码。预定帖内预测模式可包括深度建模模式值MM)。在运 点上，孤M是运样的帖内预测模式：当对预测单元进行帖内预测时将深度图的预测模式划 分为一个或更多个分区来对预测单元进行预测编码W进行有效压缩。稍后将参照图4详细 描述DMM。
[0054] 下面将参照图化详细描述深度图帖编码方法的流程图。
[0055] 图化是根据各种实施例的深度图帖编码方法的流程图。
[0056] 在操作11，彩色帖编码器12产生包括通过对彩色帖进行编码而产生的编码信息 的比特流。
[0057] 在操作13,深度图帖编码器16将深度图帖的最大编码单元编码为一个或更多个 编码单元。深度图帖编码器16将深度图帖的最大编码单元划分为各种形式的编码单元，对 划分出的编码单元进行编码，并确定率失真代价。深度图帖编码器16基于确定的率失真代 价确定最大编码单元的最佳结构。
[0058] 在操作15,深度图帖编码器16将编码单元划分为用于预测编码的一个或更多个 预测单元。深度图帖编码器16根据各种预测模式将深度图帖的编码单元划分为各种形式 的预测单元，对划分出的编码单元进行编码，并确定率失真代价。深度图帖编码器16基于 确定的率失真代价确定编码单元的最佳结构。
[0059] 在操作17,如果编码单元被划分为一个或更多个预测单元，则深度图预测模式确 定器14确定是否将当前预测单元划分为一个或更多个分区并对当前预测单元进行预测编 码。同时，深度图帖编码器16将当前预测单元划分为各种形式的分区，对当前预测单元进 行预测编码，并确定率失真代价。深度图预测模式确定器14基于确定的率失真代价来确定 是否将当前预测单元划分为一个或更多个分区并对当前预测单元进行预测编码。
[0060] 在操作18,如果确定通过将当前预测单元划分为一个或更多个分区来对当前预测 单元进行预测编码，则深度图预测模式确定器14确定是否使用差分信息对当前预测单元 进行预测编码，其中，差分信息指示与原始深度图相应的分区的深度值和从当前预测单元 的邻近块预测的分区的深度值之间的差。同样，深度图帖编码器16将当前预测单元划分为 各种形式的一个或更多个分区，对当前预测单元进行编码，并确定率失真代价。深度图预测 模式确定器14基于确定的率失真代价来确定是否使用差分信息对当前预测单元进行预测 编码。深度图预测模式确定器14基于确定的率失真代价来确定是否将当前预测单元划分 为一个或更多个分区并对当前预测单元进行预测编码。
[0061] 在操作19,深度图帖编码器16基于是否将当前预测单元划分为分区W及是否使 用差分信息，使用差分信息对当前预测单元进行预测编码。
[0062] 根据各种实施例的深度图帖编码设备10可包括中央处理器（未示出），其中，该中 央处理器总体上控制深度图预测模式确定器14和深度图帖编码器16。可选地，深度图预测 模式确定器14和深度图帖编码器16可由它们各自的处理器（未示出）操作，并且深度图 帖编码设备10总体上可根据运些处理器（未示出）的交互而操作。可选地，彩色帖编码器 12、深度图预测模式确定器14和深度图帖编码器16可根据深度图帖编码设备10的外部处 理器（未示出）的控制而被控制。
[0063] 深度图帖编码设备10可包括一个或更多个数据存储单元（未示出），其中，深度图 预测模式确定器14和深度图帖编码器16的输入数据和输入数据被存储在所述一个或更多 个数据存储单元中。深度图帖编码设备10可包括观测数据存储单元（未示出）的数据输 入和输出的存储器控制单元（未示出）。
[0064] 深度图帖编码设备10可与内部视频编码处理器或外部视频编码处理器关联地操 作W输出视频编码结果，从而执行包括变换的视频编码操作。深度图帖编码设备10的内部 视频编码处理器可由中央处理器或图形处理器W及单独的处理器来实现。 阳0化]图2a是根据各种实施例的深度图帖解码设备的框图。
[0066] 根据各种实施例的深度图帖解码设备20包括彩色帖解码器22、深度图预测模式 确定器24和深度图帖解码器26。深度图预测模式确定器24可被包括在深度图帖解码器26 中。根据另一实施例的深度图预测模式确定器24可被布置在深度图帖解码器26的外部。
[0067] 参照图2曰，彩色帖解码器22基于从比特流获得的彩色帖的编码信息，对所述彩色 帖进行重建。
[0068] 深度图帖解码器26基于从比特流获得的深度图帖的划分信息，将深度图帖的最 大编码单元划分为一个或更多个编码单元。深度图帖解码器26将编码单元划分为用于预 测解码的一个或更多个预测单元。深度图帖解码器26基于是否将当前预测单元划分为多 个分区W及是否使用差分信息，对当前预测单元进行解码。在运点上，深度图帖解码器26 使用差分信息对当前预测单元进行帖内预测解码。
[0069] 深度图帖解码器26可接收包括深度图帖的编码信息、彩色帖的与深度图帖的编 码信息相应的编码信息、和关于彩色帖和与彩色帖相应的深度图帖之间的相关性的信息的 比特流。深度图帖解码设备20可从比特流重建彩色帖。深度图帖解码器26可使用在被解 码之后被重建的彩色帖对与彩色帖相应的深度图帖进行解码。具体地说，根据本发明的实 施例的深度图帖解码器26可考虑深度图帖和在对深度图帖进行编码时与深度图帖相应的 彩色帖之间的相关性，将在已在先前被编码之后被重建的彩色帖的块划分为多个分区W基 于像素值确定相关性，考虑邻近相邻像素之间的相关性来确定针对每个分区定义彩色图像 和深度图图像之间的相关性的参数，并使用确定的参数对与在已在先