分两次的编码单元的深度可被 设置为2。在这种情况下，如果最小编码单元是最大编码单元被划分四次的编码单元，则存 在深度0、深度1、深度2、深度3、深度4这5个深度级别，因此，第一最大深度可被设置为4， 第二最大编码深度可被设置为5。
[0061] 可根据最大编码单元执行预测编码和频率变换。还根据最大编码单元，基于根据 等于最大深度的深度或小于最大深度的深度的较深层编码单元来执行预测编码和频率变 换。可基于正交变换或整数变换来执行变换。
[0062] 由于每当最大编码单元根据深度被划分时较深层编码单元的数量就增加，因此对 随着深度增加而产生的所有较深层编码单元执行包括预测编码和频率变换的编码。为了 便于描述，现在将基于最大编码单元之中的当前深度的编码单元来描述预测编码和频率变 换。
[0063] 视频编码设备100可多样地选择用于对图像数据进行编码的数据单元的尺寸或 形状。为了对图像数据进行编码，执行诸如预测编码、频率变换和熵编码的操作，同时，相同 的数据单元可用于所有操作，或者不同的数据单元可用于每个操作。
[0064] 例如，视频编码设备100可不仅选择用于对图像数据进行编码的编码单元，还可 选择与该编码单元不同的数据单元以对编码单元中的图像数据执行预测编码。
[0065] 为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元（即， 基于不再被划分为与更低深度相应的编码单元的编码单元）执行预测编码。在下文中，不 再被划分并且成为用于预测编码的基本单元的编码单元现在将被称为"预测单元"。通过对 预测单元进行划分而获取的分区（partition)可包括预测单元和通过对预测单元的高度 和宽度中的至少一个进行划分而获取的数据单元。
[0066] 例如，当2NX2N(其中，N是正整数）的编码单元不再被划分并成为2NX2N的预 测单元时，分区的尺寸可以是2NX2N、2NXN、NX2N或NXN。分区类型的示例包括通过对 称地划分预测单元的高度或宽度而获取的对称分区（诸如，1 :n或η: 1)、通过不对称地划分 预测单元的高度或宽度而获取的分区、通过几何地划分预测单元而获取的分区以及具有任 意形状的分区。
[0067] 预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如， 可对2NX2N、2NXN、NX2N或NXN的分区执行帧内模式或帧间模式。另外，可仅对2NX2N 的分区执行跳过模式。可独立地对编码单元中的一个预测单元执行编码，从而选择具有最 小编码误差的预测模式。
[0068] 视频编码设备100可不仅基于用于对图像数据进行编码的编码单元对编码单元 中的图像数据执行频率变换，还可基于与编码单元不同的数据单元对编码单元中的图像数 据执行频率变换。
[0069]为了在编码单元中执行频率变换，可基于具有小于或等于编码单元的尺寸的数据 单元执行频率变换。例如，用于频率变换的数据单元可包括用于帧内模式的数据单元和用 于帧间模式的数据单元。
[0070] 作为频率变换的基础的数据单元可被称为"变换单元"。与编码单元类似，编码单 元中的变换单元可被递归地划分为更小尺寸的区域，使得可按照区域的单元独立地确定变 换单元。因此，可根据基于变换深度的具有树结构的变换单元来划分编码单元中的残差数 据。
[0071] 还可在变换单元中设置指示通过对编码单元的宽度和高度进行划分以达到变换 单元而执行划分的次数的变换深度。例如，在2NX2N的当前编码单元中，当变换单元的尺 寸是2NX2N时，变换深度可以是0,当变换单元的尺寸是NXN时，变换深度可以是1，当变 换单元的尺寸是N/2XN/2时，变换深度可以是2。也就是说，还可根据变换深度来设置具有 树结构的变换单元。
[0072] 根据与编码深度相应的编码单元的编码信息不仅需要与编码深度有关的信息，还 需要与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误 差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式以及用于频率变 换的变换单元的尺寸。
[0073]稍后将参照图3到图12详细描述根据本发明的实施例的最大编码单元中的具有 树结构的编码单元以及确定分区的方法。
[0074]编码单元确定器120可通过使用基于拉格朗日乘子（Lagrangianmultiplier)的 率失真（RD)最优化，测量根据深度的较深层编码单元的编码误差。
[0075] 输出单元130在比特流中输出最大编码单元的图像数据和与根据编码深度的编 码模式有关的信息，其中，最大编码单元的图像数据基于由编码单元确定器120确定的至 少一个编码深度被编码。
[0076]可通过对图像的残差数据进行编码来获取编码的图像数据。
[0077]与根据编码深度的编码模式有关的信息可包括与编码深度、预测单元中的分区类 型、预测模式和变换单元的尺寸有关的信息。
[0078]可通过使用根据深度的划分信息来定义与编码深度有关的信息，其中，所述与编 码深度有关的信息指示是否对更低深度而非当前深度的编码单元执行编码。如果当前编码 单元的当前深度是编码深度，则对当前编码单元中的图像数据进行编码和输出，并且因此 划分信息可被定义为不将当前编码单元划分至更低深度。可选择地，如果当前编码单元的 当前深度不是编码深度，则对更低深度的编码单元执行编码，并且因此划分信息可被定义 为对当前编码单元进行划分以获取更低深度的编码单元。
[0079] 如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行 编码。由于在当前深度的一个编码单元中存在更低深度的至少一个编码单元，所以对更低 深度的每个编码单元重复执行编码，因此可针对具有相同深度的编码单元递归地执行编 码。
[0080] 由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编 码单元确定与至少一个编码模式有关的信息，所以可针对一个最大编码单元确定与至少一 个编码模式有关的信息。另外，由于根据深度分层地划分图像数据，所以最大编码单元的图 像数据的编码深度可根据位置而不同，因此可针对图像数据设置与编码深度和编码模式有 关的信息。
[0081] 因此，输出单元130可将与相应的编码深度和编码模式有关的编码信息分配给最 大编码单元中所包括的编码单元、预测单元和最小单元中的至少一个。
[0082] 根据本发明的实施例的最小单元是通过将组成最低深度的最小编码单元划分为4 份而获取的矩形数据单元。可选择地，最小单元可以是最大矩形数据单元，其中，所述最大 矩形数据单元可被包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和 变换单元中。
[0083] 例如，通过输出单元130输出的编码信息可被分类为根据较深层编码单元的编码 信息以及根据预测单元编码信息。根据较深层编码单元的编码信息可包括与预测模式有关 的信息以及与分区的尺寸有关的信息。根据预测单元的编码信息可包括与帧间模式的估计 方向有关的信息、与帧间模式的参考图像索引有关的信息、与运动矢量有关的信息、与帧内 模式的色度分量有关的信息以及与帧内模式的插值方法有关的信息。另外，与根据画面、条 带或画面组（G0P)定义的编码单元的最大尺寸有关的信息以及与最大深度有关的信息可 被插入到比特流的头中。
[0084] 在视频编码设备100中，较深层编码单元可以是通过对更高深度的编码单元的高 度和宽度划分为2份而获取的编码单元，其中，更高深度的编码单元是上述的一个层。换而 言之，在当前深度的编码单元的尺寸是2NX2N时，更低深度的编码单元的尺寸是NXN。另 外，具有2NX2N的尺寸的当前深度的编码单元可包括最大数量的更低深度的4个编码单 JL·〇
[0085] 因此，基于最大编码单元的尺寸和考虑当前画面的特性而确定的最大深度，视频 编码设备100可通过针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，形 成具有树结构的编码单元。另外，由于可通过使用各种预测模式和频率变换中的任意一种 来对每个最大编码单元执行编码，所以可考虑各种图像尺寸的编码单元的特性来确定最佳 编码模式。
[0086] 因此，如果以传统的宏块对具有高分辨率或大数据量的图像进行编码，则每个画 面的宏块的数量会急剧增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以 发送压缩的信息并且数据压缩效率下降。然而，通过使用视频编码设备100,由于通过考虑 图像的特性而调整了编码单元，同时在考虑图像的尺寸的情况下增大了编码单元的最大尺 寸，所以可提高图像压缩效率。
[0087] 图2是根据本发明的实施例的视频解码设备200的框图。
[0088] 视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据 解码器230。以下，用于视频解码设备200的各种操作的术语（诸如编码单元、深度、预测单 元、变换单元、与各种编码模式有关的信息）的定义与参照图1和视频编码设备100所描述 的术语的定义相同。
[0089] 接收器210接收并解析编码的视频的比特流。图像数据和编码信息提取器220从 解析的比特流提取每个编码单元的编码的图像数据，并将提取的图像数据输出到图像数据 解码器230,其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提 取器220可从与当前画面有关的头提取与当前画面的编码单元的最大尺寸有关的信息。
[0090] 另外，图像数据和编码信息提取器220从解析的比特流提取与具有根据每个最大 编码单元的树结构的编码单元的编码深度和编码模式有关的信息。提取的与编码深度和编 码模式有关的信息被输出到图像数据解码器230。换而言之，比特流中的图像数据被划分为 最大编码单元，从而图像数据解码器230针对每个最大编码单元对图像数据进行解码。
[0091] 可针对与与编码深度相应的至少一个编码单元有关的信息设置与根据最大编码 单元的编码深度和编码模式有关的信息，与编码模式有关的信息可包括与编码深度所对应 的相应编码单元的分区类型有关的信息、与预测模式有关的信息以及与变换单元的尺寸有 关的信息。另外，根据深度的划分信息可被提取作为与编码深度有关的信息。
[0092] 由图像数据和编码信息提取器220提取的与根据每个最大编码单元的编码深度 和编码模式有关的信息是与这样的编码深度和编码模式有关的信息，即：所述编码模式和 编码深度被确定为当编码器（诸如视频编码设备1〇〇)根据每个最大编码单元针对根据深 度的每个较深层编码单元重复执行编码时产生最小编码误差。因此，视频解码设备200可 通过根据产生最小编码误差的编码模式对图像数据进行解码来重构图像。
[0093] 由于与编码深度和编码模式有关的编码信息可被分配给相应的编码单元、预测单 元和最小单元之中的预定数据单元，所以图像数据和编码信息提取器220可根据所述预定 数据单元来提取与编码深度和编码模式有关的信息。如果根据所述预定数据单元记录了与 相应的最大编码单元的编码深度和编码模式有关的信息，则分配了相同的与编码深度和编 码模式有关的信息的所述预定数据单元可被推断为是在相同的最大编码单元中所包括的 数据单元。
[0094] 图像数据解码器230通过基于与根据最大编码单元的编码深度和编码模式有关 的信息对每个最大编码单元中的图像数据进行解码来重构当前画面。换而言之，图像数据 解码器230可基于提取的与针对在每个最大编码单元中所包括的具有树结构的编码单元 之中的每个编码单元的分区类型、预测模式和变换单元有关的信息，对编码的图像数据进 行解码。解码处理可包括预测和逆变换，其中，所述预测包括帧内预测和运动补偿。可根据 用于逆正交变换或逆整数变换的方法而执行逆变换。
[0095] 基于与根据编码深度的编码单元的预测单元的分区类型和预测模式有关的信息， 图像数据解码器230可根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。
[0096] 此外，图像数据解码器230可基于与根据编码深度的编码单元的变换单元的尺寸 有关的信息，根据编码单元中的每个变换单元来执行逆变换，以根据最大编码单元来执行 逆变换。
[0097] 图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元 的至少一个编码深度。如果所述划分信息指示在当前深度下不再划分图像数据，则当前深 度是编码深度。因此，图像数据解码器230可通过使用与针对与编码深度相应的每个编码 单元的预测单元的分区类型、预测模式和变换单元的尺寸有关的信息，对当前最大编码单 元中与每个编码深度相应的至少一个编码单元的编码的数据进行解码，并输出当前最大编 码单元的图像数据。
[0098]换而言之，可通过观察为编码单元、预测单元和最小单元之中的预定数据单元分 配的编码信息集，收集包含编码信息（所述编码信息包括相同的划分信息）的数据单元，并 且收集的数据单元可被认为是将由图像数据解码器230以相同编码模式进行解码的一个 数据单元。
[0099]视频解码设备200可获取与在对每个最大编码单元递归地执行编码时产生最小 编码误差的至少一个编码单元有关的信息，并且视频解码设备200可使用所述信息来对当 前画面进行解码。换而言之，可对在每个最大编码单元中被确定为最佳编码单元的具有树 结构的编码单元进行解码。另外，考虑图像数据的分辨率和图像数据量来确定编码单元的 最大尺寸。
[0100] 因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的尺寸和 编码模式对所述图像数据进行有效地解码和重构，其中，根据图像数据的特性和从编码器 接收的与最佳编码模式有关的信息来适应性地确定所述编码单元的尺寸和编码模式。
[0101] 现在将参照图3至图13描述根据本发明的实施例的确定具有树结构的编码单元、 预测单元和变换单元的方法。
[0102] 图3是用于描述根据本发明的实施例的编码单元的构思的示图。
[0103] 可以通过宽度X高