的更深的编码单元，执行预测编码和变换。可根 据频率变换、正交变换或整数变换的方法来执行变换。
[0045] 因为每当最大编码单元根据深度被分割时更深的编码单元的数量都增加，所以对 随着深度加深而产生的所有的更深的编码单元执行包括预测编码和变换的编码。为了方便 描述，现在将基于最大编码单元中的当前深度的编码单元描述预测编码和变换。
[0046] 视频编码设备100可不同地选择用于对图像数据编码的数据单元的尺寸或形状。 为了对图像数据编码，执行诸如预测编码、变换和熵编码的操作，并且同时，相同的数据单 元可被用于所有的操作，或者不同的数据单元可被用于各个操作。
[0047] 例如，视频编码设备100可不仅选择用于对图像数据编码的编码单元，还可选择与 编码单元不同的数据单元以对编码单元中的图像数据执行预测编码。
[0048] 为了以最大编码单元执行预测编码，可基于与编码深度相应的编码单元，即，基于 不再被分割为与更低的深度相应的编码单元的编码单元，执行预测编码。以下，不再被分割 并且变为用于预测编码的基本单元的编码单元现将被称为"预测单元"。通过分割预测单元 获得的分块可包括通过分割预测单元的高度和宽度中的至少一个获得的预测单元或数据 单元。
[0049]例如，当2NX2N(其中，N是正整数）的编码单元不再被分割并且变为2NX2N的预测 单元时，分块的尺寸可以是2N X 2N、2N X N或N X 2N。分块类型的示例包括通过对称地分割预 测单元的高度或宽度获得的对称分块、通过非对称地分割预测单元的高度或宽度(诸如l:n 或n:l)获得的分块、通过几何地分割预测单元获得的分块、以及具有任意形状的分块。 [0050]可根据是否对具有当前深度或更低深度的当前编码单元执行分割来确定编码单 元的分块类型或预测单元的尺寸。
[0051 ]当当前编码单元的分块类型是对称分块类型时，当前编码单元的对称分块类型可 包括具有与当前编码单元相同尺寸的分块以及通过将当前编码单元的高度或宽度除以二 获得的分块。也就是说，具有2N X 2N尺寸的编码单元的对称分块类型可包括2NX 2N、2NX N 或NX 2N的分块。
[0052] 当当前编码单元不再被分给为更低深度的编码单元时，当前编码单元的对称分块 类型可包括具有与更低深度的编码单元相同尺寸的分块。也就是说，当当前编码单元是不 能被分割为更低深度的编码单元并且是当前最大编码单元中的最小编码单元时，当前编码 单元的对称分块类型不仅可包括2N X 2N、2N X N或N X 2N的分块，而且可包括具有N X N尺寸 的分块。
[0053] 相似地，当当前编码单元是当前最大编码单元中的最低深度的编码单元时，当前 编码单元的对称分块类型不仅可包括2N X 2N、2N X N或N X 2N的分块，而且可包括具有N X N 尺寸的分块。
[0054]例如，当具有当前深度以及2NX2N尺寸的编码单元被分割一次，从而被划分为具 有更低深度以及N X N尺寸的编码单元时，可通过使用具有N X N尺寸的分块对具有N X N尺寸 的编码单元执行帧内预测和帧间预测。因此，为了避免不必要的处理的重复，在根据本实施 例的分层编码单元的结构中，不会将具有NXN尺寸的分块类型设置到具有2NX2N尺寸的编 码单元。
[0055]然而，当具有2NX2N尺寸的当前编码单元是最小编码单元时，当前编码单元不再 被分割为具有NX N尺寸的编码单元，从而可通过使用具有NX N尺寸的分块对当前编码单元 执行帧间预测或帧内预测。因此，具有2NX2N尺寸的最小编码单元的分块类型可包括2NX
[0056] 预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如， 可对2N X 2N、2N X N或N X 2N的分块执行帧内模式和帧间模式的预测编码。
[0057] 也就是说，在以下至少一种情况下，可跳过通过使用NXN的分块执行的帧间预测 和帧内预测，所述情况包括:当前编码单元不是最小编码单元，当前编码单元被分割为更低 深度的编码单元，以及当前编码单元不是当前最大编码单元中的最低深度的编码单元。
[0058] 然而，当当前编码单元是最小编码单元时，因为，不能对更低深度的编码单元执行 帧内预测和帧间预测，所以可通过使用2N X 2N、2N X N、N X 2N和N X N的分块对最小编码单元 执行帧间预测和帧内预测。
[0059]此外，可仅对2NX2N的分块执行跳过模式。对编码单元中的一个预测单元独立地 执行编码，从而选择引起最小编码误差的预测模式。
[0060] 视频编码设备100还可不仅基于用于对图像数据编码的编码单元，而且基于与该 编码单元不同的数据单元，对编码单元中的图像数据执行变换。
[0061] 为了以编码单元执行变换，可基于具有小于或等于所述编码单元的尺寸的变换单 元来执行变换。例如，用于变换的变换单元可包括针对帧内模式的变换单元和针对帧间模 式的变换单元。
[0062] 与具有树结构的编码单元相似，编码单元中的变换单元可被递归地分割为更小尺 寸的区域。因此，编码单元中的残差数据可根据变换深度按照具有树结构的变换被分割。
[0063] 指示通过分割编码单元的高度和宽度达到变换单元的分割次数的变换深度也可 被设置在变换单元中。例如，在2NX 2N的当前编码单元中，当变换单元的尺寸也为2NX 2N 时，变换深度可以为〇;当变换单元的尺寸为NXN时，变换深度可以为1;当变换单元的尺寸 为N/2XN/2时，变换深度可以为2。也就是说，可根据变换深度的分层特性按照分层树结构 来设置变换单元。
[0064] 根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，还需 要关于与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误 差的编码深度，还确定预测单元中的分块类型、根据预测单元的预测模式以及用于变换的 变换单元的尺寸。
[0065] 稍后将参照图3至图13详细地描述根据本发明实施例的最大编码单元中的根据树 结构的编码单元以及确定分块的方法。
[0066] 编码单元确定器120可通过使用基于拉格朗日乘法(Lagrangian multiplier)的 率失真最优化，测量根据深度的更深的编码单元的编码误差。
[0067] 输出单元130在比特流中输出最大编码单元的图像数据和关于根据编码深度的编 码模式的信息，其中，基于由编码单元确定器120确定的至少一个编码深度对最大编码单元 的图像数据编码。
[0068] 可通过对图像的残差数据编码来获得编码的图像数据。
[0069] 关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于预测单元 中的分块类型、预测模式和变换单元的尺寸的信息。
[0070] 可通过使用根据深度的分割信息定义关于编码深度的信息，所述根据深度的分割 信息指示是否对更低深度而非当前深度的编码单元执行编码。如果当前编码单元的当前深 度是编码深度，则当前编码单元中的图像数据被编码和输出，并且因此分割信息可被定义 为不将当前编码单元分割至更低深度。可选择地，如果当前编码单元的当前深度不是编码 深度，则对更低深度的编码单元执行编码，并且因此分割信息可被定义为对当前编码单元 进行分割以获得更低深度的编码单元。
[0071] 如果当前深度不是编码深度，则对被分割为更低深度的编码单元的编码单元执行 编码。因为在当前深度的一个编码单元中存在更低深度的至少一个编码单元，所以对更低 深度的每个编码单元重复执行编码，从而可针对具有相同深度的编码单元递归地执行编 码。
[0072] 因为针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编 码单元确定关于至少一个编码模式的信息，所以可针对一个最大编码单元确定关于至少一 个编码模式的信息。另外，因为根据深度分层地分割图像数据，所以最大编码单元的图像数 据的编码深度可根据位置而不同，从而可为图像数据设置关于编码深度和编码模式的信 息。
[0073] 因此，输出单元130可将关于相应的编码深度和编码模式的编码信息分配给包括 在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。输出单元130可将关于 相应的编码深度和相应的编码模式的信息插入到比特流的头中，以发送编码的视频数据、 序列参数集(SPS)或画面参数集(PPS)，并且可输出编码的视频数据、序列参数集(SPS)或画 面参数集(PPS)。
[0074] 根据本发明实施例的最小单元是通过将组成最低深度的最小编码单位分割为4份 而获得的矩形数据单元。根据本发明实施例的最小单元可以是最大矩形数据单元，所述最 大矩形数据单元可被包括在最大编码单元中所包括的所有编码单元、预测单元、分块单元 和变换单元中。
[0075] 例如，通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息和 根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息以及关于 分块的尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关 于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信 息以及关于帧内模式的插值方法的信息。
[0076] 另外，关于根据序列、画面、像条或G0P定义的编码单元的尺寸以及可变深度的编 码单元结构信息可被插入到SPS、PPS或比特流的头中。
[0077] 可变深度不仅可指示具有树结构的当前编码单元的允许的最大深度，而且可指示 具有最小尺寸的编码单元的最低深度、深度级的数量或者深度变化。
[0078] 深度级的数量可指示根据深度的更深的编码单元的深度级的数量，所述更深的编 码单元可存在于具有树结构的当前编码单元中。深度变化可指示根据深度的更深的编码单 元的变化的数量，所述更深的编码单元可存在于具有树结构的当前编码单元中。
[0079] 可根据序列、画面、像条或G0P来设置关于可变深度的信息。也就是说，可针对序 列、画面、像条或G0P的每个数据单元设置关于可变深度的信息以及关于在具有树结构的当 前编码单元中的编码单元的最大尺寸的信息或关于最小尺寸的信息。
[0080] 因此，输出单元130可包括作为编码单元结构信息的编码信息(所述编码信息包括 关于可变深度的信息、关于编码单元的最大尺寸的信息和关于编码单元的最小尺寸的信息 中的至少两个），可将所述编码信息插入到比特流的头（即，SPS或PPS)中，然后可输出比特 流。根据序列、画面、像条或G0P来分别确定可变深度以及编码单元的最大尺寸和最小尺寸。 此外，从输出单元130输出的编码信息可包括变换索引。变换索引信息可指示关于用于变换 当前编码单元的变换单元的结构的信息。变换索引信息可指示当前变换单元是否被分割为 更低级的变换单元。
[0081] 在视频编码设备100中，更深的编码单元可以是通过将上面一级的更高深度的编 码单元的高度或宽度除以二获得的编码单元。换句话说，当当前深度的编码单元的尺寸为 2N X 2N时，更低深度的编码单元的尺寸为N X N。此外，具有2N X 2N尺寸的当前深度的编码单 元可包括最多四个更低深度的编码单元。
[0082] 因此，视频编码设备100可基于考虑当前画面的特性确定的最大编码单元的尺寸 和最大深度，通过确定针对每个最大编码单元的具有最佳形状和最佳尺寸的编码单元，来 形成具有树结构的编码单元。此外，因为可通过使用各种预测模式和变换中的任意一个来 对每个最大编码单元执行编码，所以可考虑各种图像尺寸的编码单元的特性来确定最佳编 码模式。
[0083] 因此，如果以传统的宏块来对具有高分辨率或大数据量的图像编码，则每个画面 的宏块的数量急剧增加。因此，针对每个宏块产生的压缩信息的条数增加，从而难以发送压 缩信息并且数据压缩效率降低。然而，通过使用视频编码设备1〇〇,因为在考虑图像的特性 的同时调整编码单元并且在考虑图像的尺寸的同时增加编码单元的最大尺寸，所以图像压 缩效率可以被提高。
[0084] 图2是根据本发明实施例的通过使用基于按照树结构的编码单元的预测单元对视 频解码的设备200的框图。
[0085] 通过使用基于按照树结构的编码单元的预测单元对视频解码的设备200包括接收 器210、图像数据和编码信息提取器220以及图像数据解码器230。在下文中，为了便于