对视频数据进行解码的设备的制造方法

对视频数据进行解码的设备的制造方法
【专利说明】
[0001] 本申请是申请日为2010年10月22日，申请号为"201080047875. 7"，标题为"基 于编码单元的分层结构用于对视频进行编码的方法和设备以及用于对视频进行解码的方 法和设备"的发明专利申请的分案申请。
技术领域
[0002] 与示例性实施例一致的设备和方法涉及对视频进行编码和解码。
【背景技术】
[0003] 随着用于再现和存储高分辨率或高质量视频内容的硬件正被开发和供应，对于有 效地对高分辨率或高质量的视频内容进行编码或解码的视频编解码器的需求正在增加。在 现有技术的视频编解码器中，基于具有预定大小的宏块，根据有限的编码方法对视频进行 编码。

【发明内容】

[0004] 技术问题
[0005]-个或多个实施例提供了一种按照根据分层结构的编码单元的大小而变化的编 码手段的操作模式，用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和 设备。
[0006] 解决方案
[0007] 根据示例性实施例的一方面，提供了一种对视频数据进行编码的方法，所述方法 包括：将视频数据的当前画面划分为至少一个最大编码单元；基于所述至少一个最大编码 单元中的至少一个编码单元的深度、编码手段和操作模式之间的关系，通过根据至少一个 编码手段的至少一个操作模式分别对所述至少一个最大编码单元的至少一个划分区域进 行编码，来确定用于输出最终编码结果的编码深度，其中，通过根据深度分层划分所述至少 一个最大编码单元来产生所述至少一个划分区域；输出比特流，所述比特流包括编码深度 的已编码的视频数据、关于至少一个最大编码单元的编码深度的信息、关于编码模式的信 息以及关于在所述至少一个最大编码单元中所述至少一个最大编码单元中的所述至少一 个编码单元的深度、编码手段和操作模式之间的关系的信息，其中，可通过最大大小和深度 来表征编码单元，所述深度表示编码单元被分层划分的次数，并且随着深度加深，根据深度 的更深编码单元可从最大编码单元被划分以获得最小编码单元，其中，所述深度从更高深 度被加深至更低深度，其中，随着深度加深，最大编码单元被划分的次数增加，并且最大编 码单元被划分的可能次数的总数与最大深度相应，其中，编码单元的最大大小和最大深度 可被预先确定。根据编码单元的深度确定用于所述编码单元的编码手段的操作模式。
[0008] 有益效果
[0009] 根据示例性实施例的视频编码设备可根据图像数据的特征确定编码单元的深度 和编码手段的操作模式从而提高编码效率，并对关于编码单元的深度、编码手段和操作模 式之间的关系的信息进行编码。此外，根据示例性实施例的视频解码设备可基于关于编码 单元的深度、编码手段和操作模式之间的关系的信息，通过对接收的比特流进行解码来重 构原始图像。因此，根据示例性实施例的视频编码设备以及根据示例性实施例的视频解码 设备可分别对大量图像数据（诸如高分辨率或高质量的图像）进行有效地编码和解码。
【附图说明】
[0010] 通过参照附图详细描述示例性实施例，上述和/或其他方面将变得更加清楚，在 附图中：
[0011] 图1是根据示例性实施例的视频编码设备的框图；
[0012] 图2是根据示例性实施例的视频解码设备的框图；
[0013] 图3是用于描述根据示例性实施例的编码单元的概念的示图；
[0014] 图4是根据示例性实施例的基于编码单元的图像编码器的框图；
[0015] 图5是根据示例性实施例的基于编码单元的图像解码器的框图；
[0016] 图6是示出根据示例性实施例的根据深度的更深编码单元和分块（partition)的 示图；
[0017] 图7是用于描述根据示例性实施例的编码单元和变换单元之间的关系的示图；
[0018] 图8是用于描述根据示例性实施例的与编码深度相应的编码单元的编码信息的 示图；
[0019] 图9是根据示例性实施例的根据深度的更深编码单元的示图；
[0020] 图10至图12是用于描述根据一个或多个示例性实施例的编码单元、预测单元和 变换单元之间的关系的示图；
[0021] 图13是根据示例性实施例的用于根据以下示例性的表1的编码模式信息描述编 码单元、预测单元或分块、和变换单元之间的关系的示图；
[0022] 图14是示出根据示例性实施例的视频编码方法的流程图；
[0023] 图15是示出根据示例性实施例的视频解码方法的流程图；
[0024] 图16是根据示例性实施例的基于考虑编码单元的大小的编码手段的视频编码设 备的框图；
[0025] 图17是根据示例性实施例的基于考虑编码单元的大小的编码手段的视频解码设 备的框图；
[0026] 图18是用于描述根据示例性实施例的编码单元的大小、编码手段和操作模式之 间的关系的不图；
[0027] 图19是用于描述根据示例性实施例的编码单元的深度、编码手段和操作模式之 间的关系的不图；
[0028] 图20是用于描述根据示例性实施例的编码单元的深度、编码手段和操作模式之 间的关系的不图；
[0029] 图21示出根据示例性实施例的序列参数集的语法，在所述语法中插入有关于编 码单元的深度、编码手段和操作模式之间的关系的信息；
[0030] 图22是示出根据示例性实施例的基于考虑编码单元的大小的编码手段的视频编 码方法的流程图；
[0031] 图23是示出根据示例性实施例的基于考虑编码单元的大小的编码手段的视频解 码方法的流程图。
[0032] 最佳实施方式
[0033] 根据本发明的一方面，提供了一种对视频数据进行编码的方法，所述方法包括：将 视频数据的当前画面划分为至少一个最大编码单元；基于所述至少一个最大编码单元中的 至少一个编码单元的深度、编码手段和操作模式之间的关系，通过根据至少一个编码手段 的至少一个操作模式分别对所述至少一个最大编码单元的至少一个划分区域进行编码，来 确定用于输出最终编码结果的编码深度，其中，通过根据深度分层划分所述至少一个最大 编码单元来产生所述至少一个划分区域；输出比特流，所述比特流包括编码深度的已编码 的视频数据、关于至少一个最大编码单元的编码深度的信息、关于编码模式的信息以及关 于在所述至少一个最大编码单元中所述至少一个最大编码单元中的所述至少一个编码单 元的深度、编码手段和操作模式之间的关系的信息，其中，可通过最大大小和深度来表征编 码单元，所述深度表示编码单元被分层划分的次数，并且随着深度加深，根据深度的更深编 码单元可从最大编码单元被划分以获得最小编码单元，其中，所述深度从更高深度被加深 至更低深度，其中，随着深度加深，最大编码单元被划分的次数增加，并且最大编码单元被 划分的可能次数的总数与最大深度相应，其中，编码单元的最大大小和最大深度可被预先 确定。根据编码单元的深度确定用于所述编码单元的编码手段的操作模式。
[0034] 关于所述至少一个最大编码单元中的所述至少一个编码单元的深度、编码手段和 操作模式之间的关系的信息可按照当前画面的像条单元、帧单元或帧序列单元被预设。
[0035] 用于对所述至少一个最大编码单元进行编码的所述至少一个编码手段可包括量 化、变换、帧内预测、帧间预测、运动补偿、熵编码和环路滤波中的至少一个。
[0036] 如果编码手段是帧内预测，则操作模式可包括根据帧内预测的方向的数量而分类 的至少一个帧内预测模式，或可包括用于平滑与深度相应的编码单元中的区域的帧内预测 模式以及用于保持边界线的帧内预测模式，其中，根据编码单元的深度确定所述编码手段 的操作模式。
[0037] 如果编码手段是帧间预测，则操作模式可包括根据确定运动矢量的至少一种方法 的帧间预测模式，其中，根据编码单元的深度确定所述编码手段的操作模式。
[0038] 如果编码手段是变换，则操作模式可包括根据旋转变换的矩阵的索引而分类的至 少一个变换模式，其中，根据编码单元的深度确定所述编码手段的操作模式。
[0039] 如果编码手段是量化，则操作模式可包括根据量化参数变量增量是否将被使用而 分类的至少一个量化模式，其中，根据编码单元的深度确定所述编码手段的操作模式。
[0040] 根据另一示例性实施例的一方面，提供了一种对视频数据进行解码的方法，所述 方法包括：接收包括已编码的视频数据的比特流并对所述比特流进行解析；从所述比特流 提取已编码的视频数据、关于至少一个最大编码单元的编码深度的信息、关于编码模式的 信息以及关于所述至少一个最大编码单元中的至少一个编码单元的深度、编码手段和操作 模式之间的关系的信息；基于关于所述至少一个最大编码单元的编码深度的信息、关于编 码模式的信息以及关于所述至少一个最大编码单元中的所述至少一个编码单元的深度、编 码手段和操作模式之间的关系的信息，根据与相应于至少一个编码深度的编码单元匹配的 编码手段的操作模式，对所述至少一个最大编码单元中的已编码的视频数据进行解码，其 中，根据编码单元的编码深度来确定用于所述编码单元的编码手段的操作模式。
[0041] 关于所述至少一个最大编码单元中的所述至少一个编码单元的深度、编码手段和 操作模式之间的关系的信息可按照当前画面的像条单元、帧单元或帧序列单元被提取。
[0042] 用于对所述至少一个最大编码单元进行编码的编码手段可包括量化、变换、帧内 预测、帧间预测、运动补偿、熵编码和环路滤波中的至少一个，其中，对已编码的视频数据进 行解码的步骤可包括：执行与用于对所述至少一个最大编码单元进行编码的编码手段相应 的解码手段。
[0043] 根据另一示例性实施例的一方面，提供了一种对视频数据进行编码的设备，所述 设备包括：最大编码单元划分器，将视频数据的当前画面划分为至少一个最大编码单元； 编码单元确定器，基于所述至少一个最大编码单元中的至少一个编码单元的深度、编码手 段和操作模式之间的关系，通过根据至少一个编码手段的至少一个操作模式分别对所述至 少一个最大编码单元的至少一个划分区域进行编码，来确定用于输出最终编码结果的编码 深度，其中，通过根据深度分层划分所述至少一个最大编码单元来产生所述至少一个划分 区域；输出单元，输出比特流，所述比特流包括作为所述最终编码结果的已编码的视频数 据、关于所述至少一个最大编码单元的编码深度的信息、关于编码模式的信息以及关于在 所述至少一个最大编码单元中所述至少一个最大编码单元中的所述至少一个编码单元的 深度、编码手段和操作模式之间的关系的信息。
[0044] 根据另一示例性实施例的一方面，提供了一种对视频数据进行解码的设备，所述 设备包括：接收器，接收包括已编码的视频数据的比特流并对所述比特流进行解析；提取 器，从所述比特流提取已编码的视频数据、关于至少一个最大编码单元的编码深度的信息、 关于编码模式的信息以及关于所述至少一个最大编码单元中的至少一个编码单元的深度、 编码手段和操作模式之间的关系的信息；解码器，基于关于所述至少一个最大编码单元的 编码深度的信息、关于编码模式的信息以及关于所述至少一个最大编码单元中的所述至少 一个编码单元的深度、编码手段和操作模式之间的关系的信息，根据与相应于至少一个编 码深度的编码单元匹配的编码手段的操作模式，对所述至少一个最大编码单元中的已编码 的视频数据进行解码，其中，根据编码单元的编码深度来确定用于所述编码单元的编码手 段的操作模式。
[0045] 根据另一示例性实施例的一方面，提供了一种对视频数据进行解码的方法，所述 方法包括：基于关于至少一个最大编码单元的编码深度的信息、关于编码模式的信息以及 关于所述至少一个最大编码单元中的至少一个编码单元的深度、编码手段和操作模式之间 的关系的信息，根据与相应于至少一个编码深度的编码单元匹配的编码手段的操作模式， 对所述至少一个最大编码单元中的已编码的视频数据进行解码，其中，根据编码单元的编 码深度来确定用于所述编码单元的编码手段的操作模式。
[0046] 根据另一示例性实施例的一方面，提供了一种其上记录有用于执行对视频数据进 行编码的方法的程序的计算机可读记录介质。
[0047] 根据另一示例性实施例的一方面，提供了一种其上记录有用于执行对视频数据进 行解码的方法的程序的计算机可读记录介质。
【具体实施方式】
[0048] 在下文中，将参照附图更充分地描述示例性实施例。此外，当诸如"至少一个"的 表述在列出的元件之前时，所述表述修饰列出的全部元件而不是修饰各个列出的元件。在 示例性实施例中，"单元"依据其上下文可表示大小的单位或者可不表示大小的单位。具体 地讲，将参照图1至图15描述根据一个或多个示例性实施例的基于空间分层的数据单元执 行的视频编码和解码。此外，将参照图16至图23描述根据一个或多个示例性实施例的，按 照根据编码单元的大小而变化的编码手段的操作模式来执行的视频编码和解码。
[0049] 在以下示例性实施例中，"编码单元"表示在编码器侧对图像数据进行编码的编码 数据单元（encodingdataunit)，或是在解码器侧对已编码的图像数据进行解码的被编码 的数据单元（encodeddataunit)。此外，"编码深度（codeddepth)"表示编码单元被编 码的深度。在下文中，"图像"可表示用于视频的静止图像或运动图像（即，视频本身）。
[0050] 现在将参照图1至图15描述根据示例性实施例的用于对视频进行编码的设备和 方法以及用于对视频进行解码的设备和方法。
[0051] 图1是根据示例性实施例的视频编码设备100的框图。参照图1，视频编码设备 100包括最大编码单元划分器110、编码单元确定器120和输出单元130。
[0052] 最大编码单元划分器110可基于针对图像的当前画面的最大编码单元对所述当 前画面进行划分。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为 至少一个最大编码单元。根据示例性实施例的最大编码单元可以是具有32X32、64X64、 128X128、256X256等大小的数据单元，其中，数据单元的形状是宽和高为2的平方的方 形。图像数据可根据所述至少一个最大编码单元被输出到编码单元确定器120。
[0053] 根据示例性实施例的编码单元可由最大大小和深度来表征。深度表示编码单元从 最大编码单元被空间划分的次数，并且随着深度加深或增加，根据深度的更深编码单元可 从最大编码单兀被划分为最小编码单兀。最大编码单兀的深度是最尚深度，最小编码单兀 的深度是最低深度。由于与每个深度相应的编码单元的大小随着最大编码单元的深度加深 而减小，因此，与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
[0054] 如上所述，当前画面的图像数据根据编码单元的最大大小可被划分为最大编码单 元，所述最大编码单元中的每一个可包括根据深度被划分的更深编码单元。由于根据示例 性实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数 据可根据深度被分层分类。
[0055] 可预先确定编码单元的最大深度和最大大小，所述最大深度和最大大小限定最大 编码单元的高和宽可被分层划分的总次数。
[0056] 编码单元确定器120对通过根据深度划分最大编码单元的区域而获得的至少一 个划分区域进行编码，并确定用于输出根据所述至少一个划分区域的已编码的图像数据的 深度。也就是说，编码单元确定器120通过基于当前画面的最大编码单元，按照根据深度的 更深编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定编码深度。因 此，与确定的编码深度相应的编码单元的已编码的图像数据被输出到输出单元130。此外， 与编码深度相应的编码单元可被视为被编码的编码单元。
[0057] 确定的编码深度和根据确定的编码深度的已编码的图像数据被输出到输出单元 130〇
[0058] 基于与等于或低于最大深度的至少一个深度相应的更深编码单元对最大编码单 元中的图像数据进行编码，并基于更深编码单元中的每一个来比较对图像数据进行编码的 结果。在比较更深编码单元的编码误差之后，可选择具有最小编码误差的深度。可为每个 最大编码单元选择至少一个编码深度。
[0059] 随着编码单元根据深度被分层划分，并随着编码单元的数量增加，最大编码单元 的大小被划分。此外，即使在一个最大编码单元中多个编码单元相应于相同深度，也通过分 别测量每个编码单元的图像数据的编码误差来确定是否将与相同深度相应的编码单元中 的每一个划分至更低的深度。因此，即使当图像数据被包括在一个最大编码单元中时，图像 数据也根据深度被划分到多个区域，并且在一个最大编码单元中编码误差可根据区域而不 同，因此，编码深度可根据图像数据中的区域而不同。因此，在一个最大编码单元中可确定 一个或多个编码深度，并可根据至少一个编码深度的编码单元来划分最大编码单元的图像 数据。
[0060] 因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单 元。根据示例性实施例的具有树结构的编码单元包括最大编码单元中所包括的更深编码单 元中与被确定为编码深度的深度相应的编码单元。在最大编码单元的相