对视频数据进行解码的方法与流程

对视频数据进行解码的方法本申请是申请日为2010年10月22日，申请号为“201080047875.7”，标题为“基于编码单元的分层结构用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备”的发明专利申请的分案申请。技术领域与示例性实施例一致的设备和方法涉及对视频进行编码和解码。

背景技术：
随着用于再现和存储高分辨率或高质量视频内容的硬件正被开发和供应，对于有效地对高分辨率或高质量的视频内容进行编码或解码的视频编解码器的需求正在增加。在现有技术的视频编解码器中，基于具有预定大小的宏块，根据有限的编码方法对视频进行编码。

技术实现要素：
技术问题一个或多个实施例提供了一种按照根据分层结构的编码单元的大小而变化的编码手段的操作模式，用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备。解决方案根据示例性实施例的一方面，提供了一种对视频数据进行编码的方法，所述方法包括：将视频数据的当前画面划分为至少一个最大编码单元；基于所述至少一个最大编码单元中的至少一个编码单元的深度、编码手段和操作模式之间的关系，通过根据至少一个编码手段的至少一个操作模式分别对所述至少一个最大编码单元的至少一个划分区域进行编码，来确定用于输出最终编码结果的编码深度，其中，通过根据深度分层划分所述至少一个最大编码单元来产生所述至少一个划分区域；输出比特流，所述比特流包括编码深度的已编码的视频数据、关于至少一个最大编码单元的编码深度的信息、关于编码模式的信息以及关于在所述至少一个最大编码单元中所述至少一个最大编码单元中的所述至少一个编码单元的深度、编码手段和操作模式之间的关系的信息，其中，可通过最大大小和深度来表征编码单元，所述深度表示编码单元被分层划分的次数，并且随着深度加深，根据深度的更深编码单元可从最大编码单元被划分以获得最小编码单元，其中，所述深度从更高深度被加深至更低深度，其中，随着深度加深，最大编码单元被划分的次数增加，并且最大编码单元被划分的可能次数的总数与最大深度相应，其中，编码单元的最大大小和最大深度可被预先确定。根据编码单元的深度确定用于所述编码单元的编码手段的操作模式。有益效果根据示例性实施例的视频编码设备可根据图像数据的特征确定编码单元的深度和编码手段的操作模式从而提高编码效率，并对关于编码单元的深度、编码手段和操作模式之间的关系的信息进行编码。此外，根据示例性实施例的视频解码设备可基于关于编码单元的深度、编码手段和操作模式之间的关系的信息，通过对接收的比特流进行解码来重构原始图像。因此，根据示例性实施例的视频编码设备以及根据示例性实施例的视频解码设备可分别对大量图像数据(诸如高分辨率或高质量的图像)进行有效地编码和解码。附图说明通过参照附图详细描述示例性实施例，上述和/或其他方面将变得更加清楚，在附图中：图1是根据示例性实施例的视频编码设备的框图；图2是根据示例性实施例的视频解码设备的框图；图3是用于描述根据示例性实施例的编码单元的概念的示图；图4是根据示例性实施例的基于编码单元的图像编码器的框图；图5是根据示例性实施例的基于编码单元的图像解码器的框图；图6是示出根据示例性实施例的根据深度的更深编码单元和分块(partition)的示图；图7是用于描述根据示例性实施例的编码单元和变换单元之间的关系的示图；图8是用于描述根据示例性实施例的与编码深度相应的编码单元的编码信息的示图；图9是根据示例性实施例的根据深度的更深编码单元的示图；图10至图12是用于描述根据一个或多个示例性实施例的编码单元、预测单元和变换单元之间的关系的示图；图13是根据示例性实施例的用于根据以下示例性的表1的编码模式信息描述编码单元、预测单元或分块、和变换单元之间的关系的示图；图14是示出根据示例性实施例的视频编码方法的流程图；图15是示出根据示例性实施例的视频解码方法的流程图；图16是根据示例性实施例的基于考虑编码单元的大小的编码手段的视频编码设备的框图；图17是根据示例性实施例的基于考虑编码单元的大小的编码手段的视频解码设备的框图；图18是用于描述根据示例性实施例的编码单元的大小、编码手段和操作模式之间的关系的示图；图19是用于描述根据示例性实施例的编码单元的深度、编码手段和操作模式之间的关系的示图；图20是用于描述根据示例性实施例的编码单元的深度、编码手段和操作模式之间的关系的示图；图21示出根据示例性实施例的序列参数集的语法，在所述语法中插入有关于编码单元的深度、编码手段和操作模式之间的关系的信息；图22是示出根据示例性实施例的基于考虑编码单元的大小的编码手段的视频编码方法的流程图；图23是示出根据示例性实施例的基于考虑编码单元的大小的编码手段的视频解码方法的流程图。最佳实施方式根据本发明的一方面，提供了一种对视频数据进行编码的方法，所述方法包括：将视频数据的当前画面划分为至少一个最大编码单元；基于所述至少一个最大编码单元中的至少一个编码单元的深度、编码手段和操作模式之间的关系，通过根据至少一个编码手段的至少一个操作模式分别对所述至少一个最大编码单元的至少一个划分区域进行编码，来确定用于输出最终编码结果的编码深度，其中，通过根据深度分层划分所述至少一个最大编码单元来产生所述至少一个划分区域；输出比特流，所述比特流包括编码深度的已编码的视频数据、关于至少一个最大编码单元的编码深度的信息、关于编码模式的信息以及关于在所述至少一个最大编码单元中所述至少一个最大编码单元中的所述至少一个编码单元的深度、编码手段和操作模式之间的关系的信息，其中，可通过最大大小和深度来表征编码单元，所述深度表示编码单元被分层划分的次数，并且随着深度加深，根据深度的更深编码单元可从最大编码单元被划分以获得最小编码单元，其中，所述深度从更高深度被加深至更低深度，其中，随着深度加深，最大编码单元被划分的次数增加，并且最大编码单元被划分的可能次数的总数与最大深度相应，其中，编码单元的最大大小和最大深度可被预先确定。根据编码单元的深度确定用于所述编码单元的编码手段的操作模式。关于所述至少一个最大编码单元中的所述至少一个编码单元的深度、编码手段和操作模式之间的关系的信息可按照当前画面的像条单元、帧单元或帧序列单元被预设。用于对所述至少一个最大编码单元进行编码的所述至少一个编码手段可包括量化、变换、帧内预测、帧间预测、运动补偿、熵编码和环路滤波中的至少一个。如果编码手段是帧内预测，则操作模式可包括根据帧内预测的方向的数量而分类的至少一个帧内预测模式，或可包括用于平滑与深度相应的编码单元中的区域的帧内预测模式以及用于保持边界线的帧内预测模式，其中，根据编码单元的深度确定所述编码手段的操作模式。如果编码手段是帧间预测，则操作模式可包括根据确定运动矢量的至少一种方法的帧间预测模式，其中，根据编码单元的深度确定所述编码手段的操作模式。如果编码手段是变换，则操作模式可包括根据旋转变换的矩阵的索引而分类的至少一个变换模式，其中，根据编码单元的深度确定所述编码手段的操作模式。如果编码手段是量化，则操作模式可包括根据量化参数变量增量是否将被使用而分类的至少一个量化模式，其中，根据编码单元的深度确定所述编码手段的操作模式。根据另一示例性实施例的一方面，提供了一种对视频数据进行解码的方法，所述方法包括：接收包括已编码的视频数据的比特流并对所述比特流进行解析；从所述比特流提取已编码的视频数据、关于至少一个最大编码单元的编码深度的信息、关于编码模式的信息以及关于所述至少一个最大编码单元中的至少一个编码单元的深度、编码手段和操作模式之间的关系的信息；基于关于所述至少一个最大编码单元的编码深度的信息、关于编码模式的信息以及关于所述至少一个最大编码单元中的所述至少一个编码单元的深度、编码手段和操作模式之间的关系的信息，根据与相应于至少一个编码深度的编码单元匹配的编码手段的操作模式，对所述至少一个最大编码单元中的已编码的视频数据进行解码，其中，根据编码单元的编码深度来确定用于所述编码单元的编码手段的操作模式。关于所述至少一个最大编码单元中的所述至少一个编码单元的深度、编码手段和操作模式之间的关系的信息可按照当前画面的像条单元、帧单元或帧序列单元被提取。用于对所述至少一个最大编码单元进行编码的编码手段可包括量化、变换、帧内预测、帧间预测、运动补偿、熵编码和环路滤波中的至少一个，其中，对已编码的视频数据进行解码的步骤可包括：执行与用于对所述至少一个最大编码单元进行编码的编码手段相应的解码手段。根据另一示例性实施例的一方面，提供了一种对视频数据进行编码的设备，所述设备包括：最大编码单元划分器，将视频数据的当前画面划分为至少一个最大编码单元；编码单元确定器，基于所述至少一个最大编码单元中的至少一个编码单元的深度、编码手段和操作模式之间的关系，通过根据至少一个编码手段的至少一个操作模式分别对所述至少一个最大编码单元的至少一个划分区域进行编码，来确定用于输出最终编码结果的编码深度，其中，通过根据深度分层划分所述至少一个最大编码单元来产生所述至少一个划分区域；输出单元，输出比特流，所述比特流包括作为所述最终编码结果的已编码的视频数据、关于所述至少一个最大编码单元的编码深度的信息、关于编码模式的信息以及关于在所述至少一个最大编码单元中所述至少一个最大编码单元中的所述至少一个编码单元的深度、编码手段和操作模式之间的关系的信息。根据另一示例性实施例的一方面，提供了一种对视频数据进行解码的设备，所述设备包括：接收器，接收包括已编码的视频数据的比特流并对所述比特流进行解析；提取器，从所述比特流提取已编码的视频数据、关于至少一个最大编码单元的编码深度的信息、关于编码模式的信息以及关于所述至少一个最大编码单元中的至少一个编码单元的深度、编码手段和操作模式之间的关系的信息；解码器，基于关于所述至少一个最大编码单元的编码深度的信息、关于编码模式的信息以及关于所述至少一个最大编码单元中的所述至少一个编码单元的深度、编码手段和操作模式之间的关系的信息，根据与相应于至少一个编码深度的编码单元匹配的编码手段的操作模式，对所述至少一个最大编码单元中的已编码的视频数据进行解码，其中，根据编码单元的编码深度来确定用于所述编码单元的编码手段的操作模式。根据另一示例性实施例的一方面，提供了一种对视频数据进行解码的方法，所述方法包括：基于关于至少一个最大编码单元的编码深度的信息、关于编码模式的信息以及关于所述至少一个最大编码单元中的至少一个编码单元的深度、编码手段和操作模式之间的关系的信息，根据与相应于至少一个编码深度的编码单元匹配的编码手段的操作模式，对所述至少一个最大编码单元中的已编码的视频数据进行解码，其中，根据编码单元的编码深度来确定用于所述编码单元的编码手段的操作模式。根据另一示例性实施例的一方面，提供了一种其上记录有用于执行对视频数据进行编码的方法的程序的计算机可读记录介质。根据另一示例性实施例的一方面，提供了一种其上记录有用于执行对视频数据进行解码的方法的程序的计算机可读记录介质。具体实施方式在下文中，将参照附图更充分地描述示例性实施例。此外，当诸如“至少一个”的表述在列出的元件之前时，所述表述修饰列出的全部元件而不是修饰各个列出的元件。在示例性实施例中，“单元”依据其上下文可表示大小的单位或者可不表示大小的单位。具体地讲，将参照图1至图15描述根据一个或多个示例性实施例的基于空间分层的数据单元执行的视频编码和解码。此外，将参照图16至图23描述根据一个或多个示例性实施例的，按照根据编码单元的大小而变化的编码手段的操作模式来执行的视频编码和解码。在以下示例性实施例中，“编码单元”表示在编码器侧对图像数据进行编码的编码数据单元(encodingdataunit)，或是在解码器侧对已编码的图像数据进行解码的被编码的数据单元(encodeddataunit)。此外，“编码深度(codeddepth)”表示编码单元被编码的深度。在下文中，“图像”可表示用于视频的静止图像或运动图像(即，视频本身)。现在将参照图1至图15描述根据示例性实施例的用于对视频进行编码的设备和方法以及用于对视频进行解码的设备和方法。图1是根据示例性实施例的视频编码设备100的框图。参照图1，视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。最大编码单元划分器110可基于针对图像的当前画面的最大编码单元对所述当前画面进行划分。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据示例性实施例的最大编码单元可以是具有32×32、64×64、128×128、256×256等大小的数据单元，其中，数据单元的形状是宽和高为2的平方的方形。图像数据可根据所述至少一个最大编码单元被输出到编码单元确定器120。根据示例性实施例的编码单元可由最大大小和深度来表征。深度表示编码单元从最大编码单元被空间划分的次数，并且随着深度加深或增加，根据深度的更深编码单元可从最大编码单元被划分为最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于与每个深度相应的编码单元的大小随着最大编码单元的深度加深而减小，因此，与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。如上所述，当前画面的图像数据根据编码单元的最大大小可被划分为最大编码单元，所述最大编码单元中的每一个可包括根据深度被划分的更深编码单元。由于根据示例性实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层分类。可预先确定编码单元的最大深度和最大大小，所述最大深度和最大大小限定最大编码单元的高和宽可被分层划分的总次数。编码单元确定器120对通过根据深度划分最大编码单元的区域而获得的至少一个划分区域进行编码，并确定用于输出根据所述至少一个划分区域的已编码的图像数据的深度。也就是说，编码单元确定器120通过基于当前画面的最大编码单元，按照根据深度的更深编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定编码深度。因此，与确定的编码深度相应的编码单元的已编码的图像数据被输出到输出单元130。此外，与编码深度相应的编码单元可被视为被编码的编码单元。确定的编码深度和根据确定的编码深度的已编码的图像数据被输出到输出单元130。基于与等于或低于最大深度的至少一个深度相应的更深编码单元对最大编码单元中的图像数据进行编码，并基于更深编码单元中的每一个来比较对图像数据进行编码的结果。在比较更深编码单元的编码误差之后，可选择具有最小编码误差的深度。可为每个最大编码单元选择至少一个编码深度。随着编码单元根据深度被分层划分，并随着编码单元的数量增加，最大编码单元的大小被划分。此外，即使在一个最大编码单元中多个编码单元相应于相同深度，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与相同深度相应的编码单元中的每一个划分至更低的深度。因此，即使当图像数据被包括在一个最大编码单元中时，图像数据也根据深度被划分到多个区域，并且在一个最大编码单元中编码误差可根据区域而不同，因此，编码深度可根据图像数据中的区域而不同。因此，在一个最大编码单元中可确定一个或多个编码深度，并可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单元。根据示例性实施例的具有树结构的编码单元包括最大编码单元中所包括的更深编码单元中与被确定为编码深度的深度相应的编码单元。在最大编码单元的相同区域中，编码深度的编码单元可根据深度被分层地确定，在不同的区域中，编码深度的编码单元可被独立地确定。类似地，当前区域中的编码深度可独立于另一区域中的编码深度被确定。根据示例性实施例的最大深度是与从最大编码单元到最小编码单元的划分次数相关的索引。根据示例性实施例的第一最大深度可表示从最大编码单元到最小编码单元的总划分次数。根据示例性实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数。例如，当最大编码单元的深度为0时，最大编码单元被划分一次的编码单元的深度可被设置为1，最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、1、2、3和4的5个深度级。因此，第一最大深度可被设置为4，第二最大深度可被设置为5。可根据最大编码单元执行预测编码和变换。还可基于最大编码单元，基于根据等于或小于最大深度的深度的更深编码单元来执行预测编码和变换。可根据正交变换或整数变换的方法来执行变换。由于每当最大编码单元根据深度被划分时更深编码单元的数量增加，因此对随着深度加深而产生的所有更深编码单元执行诸如预测编码和变换的编码。为了便于描述，在下文中将基于最大编码单元中的当前深度的编码单元来描述预测编码和变换。视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的大小和形状中的至少一个。为了对图像数据进行编码，可执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。例如，视频编码设备100可选择用于对图像数据进行编码的编码单元以及与编码单元不同的数据单元以对编码单元中的图像数据执行预测编码。为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分为与更低深度相应的编码单元的编码单元)执行预测编码。在下文中，不再被划分并且变成用于预测编码的基本单元的编码单元将被称为“预测单元”。通过对预测单元进行划分所获得的分块(partition)可包括通过对预测单元的高和宽中的至少一个进行划分所获得的预测单元或数据单元。例如，当2N×2N(其中，N是正整数)的编码单元不再被划分，并且变成2N×2N的预测单元时，分块的大小可以是2N×2N、2N×N、N×2N或N×N。分块类型的示例包括通过对预测单元的高和宽中的至少一个进行对称划分所获得的对称分块、通过对预测单元的高或宽进行不对称划分(诸如1:n或n:1)所获得的分块、通过对预测单元进行几何划分所获得的分块以及具有任意形状的分块。预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分块执行帧内模式或帧间模式。在这种情况下，可仅对2N×2N的分块执行跳过模式。对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。视频编码设备100还可不基于用于对图像数据进行编码的编码单元，基于不同于编码单元的数据单元，对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的大小的数据单元来执行变换。例如，用于变换的数据单元可包括用于帧内模式的数据单元和用于帧间模式的数据单元。用作变换的基础的数据单元在下文中将被称为变换单元。还可在变换单元中设置指示通过对编码单元的高和宽进行划分以达到变换单元的划分次数的变换深度。例如，在2N×2N的当前编码单元中，当变换单元的大小也为2N×2N时，变换深度可以是0，在当前编码单元的高和宽中的每一个被划分为两等份，总共被划分为4个变换单元，从而变换单元的大小是N×N时，变换深度可以是1，在当前编码单元的高和宽中的每一个被划分为四等份，总共被划分为4^2个变换单元，从而变换单元的大小是N/2×N/2时，变换深度可以是2。例如，可根据分层树结构来设置变换单元，其中，根据变换深度的分层特性，更高变换深度的变换单元被划分为四个更低变换深度的变换单元。与编码单元类似，编码单元中的变换单元可被递归地划分为大小更小的区域，从而可以以区域为单位独立地确定变换单元。因此，可根据具有根据变换深度的树结构的变换，来划分编码单元中的残差数据。根据与编码深度相应的编码单元的编码信息使用关于编码深度的信息和与预测编码和变换有关的信息。因此，编码单元确定器120确定具有最小编码误差的编码深度、确定预测单元中的分块类型、根据预测单元的预测模式和用于变换的变换单元的大小。以下将参照图3至图12详细描述根据示例性实施例的最大编码单元中的根据树结构的编码单元以及确定分块的方法。编码单元确定器120可通过使用基于拉格朗日乘子的率失真优化来测量根据深度的更深编码单元的编码误差。输出单元130在比特流中输出最大编码单元的图像数据以及关于根据编码深度的编码模式的信息，其中，所述图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。可通过对图像的残差数据进行编码来获得已编码的图像数据。关于根据编码深度的编码模式的信息可包括关于编码深度、预测单元中的分块类型、预测模式和变换单元的大小的信息中的至少一个。可通过使用根据深度的划分信息来定义关于编码深度的信息，关于编码深度的信息指示是否对更低深度而不是当前深度的编码单元来执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码并被输出。在这种情况下，划分信息可被定义为不将当前编码单元划分至更低深度。可选地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元来执行编码。在这种情况下，划分信息可被定义为划分当前编码单元以获得更低深度的编码单元。如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元来执行编码。在这种情况下，由于在当前深度的一个编码单元中存在更低深度的至少一个编码单元，因此对更低深度的每个编码单元重复执行编码，因此，可针对具有相同深度的编码单元递归地执行编码。由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，因此，可针对一个最大编码单元确定关于至少一个编码模式的信息。此外，由于图像数据根据深度被分层划分，因此最大编码单元的图像数据的编码深度可根据位置而不同，因此，可针对图像数据设置关于编码深度和编码模式的信息。因此，输出单元130可将关于相应的编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。根据示例性实施例的最小单元是通过将最低深度的最小编码单元划分4次所获得的矩形数据单元。可选地，最小单元可以是最大矩形数据单元，所述最大矩形数据单元可包括在最大编码单元中所包括的所有编码单元、预测单元、分块单元和变换单元中。例如，通过输出单元130输出的编码信息可被分为根据编码单元的编码信息和根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式和分块的大小的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向、帧间模式的参考图像索引、运动矢量、帧内模式的色度分量和帧内模式的内插方法的信息。此外，关于根据画面、像条或GOP定义的编码单元的最大大小的信息以及关于最大深度的信息可被插入比特流的头或序列参数集(SPS)中的至少一个。在视频编码设备100中，更深编码单元可以是通过将作为上一层的更高深度的编码单元的高和宽中的至少一个划分两次所获得的编码单元。例如，在当前深度的编码单元的大小为2N×2N时，更低深度的编码单元的大小可以是N×N。此外，具有2N×2N的大小的当前深度的编码单元可包括最多4个更低深度的编码单元。因此，视频编码设备100可通过基于考虑当前画面的特征所确定的最大编码单元的大小和最大深度，针对每个最大编码单元确定具有最佳形状和最佳大小的编码单元，来形成具有树结构的编码单元。此外，由于可通过使用各种预测模式和变换中的任意一个来对每个最大编码单元执行编码，因此可考虑各种图像大小的编码单元的特征来确定最佳编码模式。因此，如果以现有技术的宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量过度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩信息并且数据压缩效率降低。然而，通过使用根据示例性实施例的视频编码设备100，由于在考虑图像的特征的同时调整编码单元，并在考虑图像的大小的同时增加编码单元的最大大小，因此可提高图像压缩效率。图2是根据示例性实施例的视频解码设备200的框图。参照图2，视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。用于视频解码设备200的各种操作的各种术语(诸如编码单元、深度、预测单元、变换单元)的定义和关于各种编码模式的信息与以上参照图1描述的那些相似。接收器210接收并解析已编码的视频的比特流。图像数据和编码信息提取器220从解析的比特流提取每个编码单元的已编码的图像数据，并将提取的图像数据输出到图像数据解码器230，其中，所述编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头或者SPS中提取关于当前画面的编码单元的最大大小的信息。此外，图像数据和编码信息提取器220从解析的比特流提取关于具有根据每个最大编码单元的树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。也就是说，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器230针对每个最大编码单元对图像数据进行解码。可针对关于与编码深度相应的至少一个编码单元的信息，来设置关于根据最大编码单元的编码深度和编码模式的信息，并且关于编码模式的信息可包括关于与编码深度相应的相应编码单元的分块类型、预测模式和变换单元的大小中的至少一个的信息。此外，根据深度的划分信息可被提取作为关于编码深度的信息。由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于这样的编码深度和编码模式的信息：所述编码深度和编码模式被确定用于当编码器(诸如根据示例性实施例的视频编码设备100)根据每个最大编码单元针对基于深度的每个更深编码单元重复执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。由于关于编码深度和编码模式的编码信息可被分配给相应编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可提取关于根据预定数据单元的编码深度和编码模式的信息。被分配有关于编码深度和编码模式的相同信息的预定数据单元可以是包括在相同最大编码单元中的数据单元。图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信息对每个最大编码单元中的图像数据进行解码，来恢复当前画面。例如，图像数据解码器230可基于提取的关于包括在每个最大编码单元中的具有树结构的编码单元中的每个编码单元的分块类型、预测模式和变换单元的信息，来对已编码的图像数据进行解码。解码处理可包括预测(所述预测包括帧内预测和运动补偿)和逆变换。可根据逆正交变换或逆整数变换的方法来执行逆变换。图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分块类型和预测模式的信息，根据每个编码单元的分块和预测模式执行帧内预测和运动补偿中的至少一个。此外，图像数据解码器230可基于关于根据编码深度的编码单元的变换单元的大小的信息，根据编码单元中的每个变换单元执行逆变换，从而根据最大编码单元执行逆变换。图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的至少一个编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于与编码深度相应的每个编码单元的预测单元的分块类型、预测模式和变换单元的大小的信息中的至少一个，对当前最大编码单元中与每个编码深度相应的至少一个编码单元的已编码的数据进行解码，并输出当前最大编码单元的图像数据。例如，可通过观察为编码单元、预测单元和最小单元中的预定数据单元分配的编码信息集来收集包含编码信息(所述编码信息具有相同的划分信息)的数据单元，收集的数据单元可被视为是将由图像数据解码器230以相同的编码模式进行解码的一个数据单元。视频解码设备200可获得关于当针对每个最大编码单元递归执行编码时产生最小编码误差的至少一个编码单元的信息，并可使用所述信息来对当前画面进行解码。也就是说，可对每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。此外，可考虑分辨率和图像数据量中的至少一个来确定编码单元的最大大小。因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的大小和编码模式来对图像数据进行有效地解码和恢复，其中，根据图像数据的特征和从编码器接收的关于最佳编码模式的信息来自适应地确定所述编码单元的大小和所述编码模式。现在将参照图3至图13描述根据一个或多个示例性实施例的确定具有树结构的编码单元、预测单元和变换单元的方法。图3是用于描述根据示例性实施例的编码单元的概念的示图。编码单元的大小可被表示为宽×高。例如，编码单元的大小可以是64×64、32×32、16×16或8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分块，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分块，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分块，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分块。参照图3，示例性地提供了第一视频数据310，第一视频数据310具有1920×1080的分辨率和最大大小为64且最大深度为2的编码单元。此外，示例性地提供了第二视频数据320，第二视频数据320具有1920×1080的分辨率和最大大小为64且最大深度为3的编码单元。此外，示例性地提供了第三视频数据330，第三视频数据330具有352×288的分辨率和最大大小为16且最大深度为1的编码单元。图3中示出的最大深度表示从最大编码单元到最小解码单元的划分总次数。如果分辨率高或数据量大，则编码单元的最大大小可以较大，从而提高了编码效率并精确地反映出图像的特征。因此，具有比第三视频数据330更高的分辨率的第一视频数据310和第二视频数据320的编码单元的最大大小可以是64。由于第一视频数据310的最大深度是2，因此，由于通过对最大编码单元划分两次，深度被加深到两层，因此第一视频数据310的编码单元315可包括具有64的长轴大小的最大编码单元以及具有32和16的长轴大小的编码单元。同时，由于第三视频数据330的最大深度是1，因此，由于通过对最大编码单元划分一次，深度被加深到一层，因此第三视频数据330的编码单元335可包括具有16的长轴大小的最大编码单元以及具有8的长轴大小的编码单元。由于第二视频数据320的最大深度为3，因此，由于通过对最大编码单元划分三次，深度被加深到3层，因此第二视频数据320的编码单元325可包括具有64的长轴大小的最大编码单元以及具有32、16和8的长轴大小的编码单元。随着深度加深，可精确地表示详细信息。图4是根据示例性实施例的基于编码单元的图像编码器400的框图。图像编码器400可执行根据示例性实施例的视频编码设备100的编码单元确定器120的操作以对图像数据进行编码。也就是说，参照图4，帧内预测器410在帧内模式下对当前帧405中的编码单元执行帧内预测，运动估计器420和运动补偿器425在帧间模式下通过使用当前帧405和参考帧495，对当前帧405中的编码单元执行帧间估计和运动补偿。从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和逆变换器470被恢复为空间域中的数据，恢复的空间域中的数据在通过去块单元480和环路滤波单元490进行后处理之后被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。为了将图像编码器400应用在视频编码设备100中，图像编码器400的元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和环路滤波单元490)在考虑每个最大编码单元的最大深度的同时，基于具有树结构的编码单元中的每个编码单元来执行操作。具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大大小和最大深度的同时，确定具有树结构的编码单元中的每个编码单元的分块和预测模式，变换器430确定具有树结构的编码单元中的每个编码单元中的变换单元的大小。图5是根据示例性实施例的基于编码单元的图像解码器500的框图。参照图5，解析器510从比特流505中解析将被解码的已编码的图像数据以及用于解码的关于编码的信息。已编码的图像数据通过熵解码器520和反量化器530被输出为反量化的数据，反量化的数据通过逆变换器540被恢复为空间域中的图像数据。帧内预测器550针对空间域中的图像数据，在帧内模式下对编码单元执行帧内预测，运动补偿器560通过使用参考帧585在帧间模式下对编码单元执行运动补偿。经过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元570和环路滤波单元580进行后处理之后被输出为恢复的帧595。此外，通过去块单元570和环路滤波单元580进行后处理的图像数据可被输出为参考帧585。为了在根据示例性实施例的视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。为了将图像解码器500应用在视频解码设备200中，图像解码器500的元件(即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块单元570和环路滤波单元580)针对每个最大编码单元基于具有树结构的编码单元执行操作。具体地，帧内预测器550和运动补偿器560基于具有树结构的每个编码单元的分块和预测模式执行操作，逆变换器540基于每个编码单元的变换单元的大小执行操作。图6是示出根据示例性实施例的根据深度的更深编码单元以及分块的示图。根据示例性实施例的视频编码设备100和视频解码设备200使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大大小来确定根据深度的更深编码单元的大小。参照图6，在根据示例性实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均为64，并且最大深度为4。由于深度沿分层结构600的纵轴加深，因此更深编码单元的高度和宽度均被划分。此外，沿分层结构600的横轴示出作为用于每个更深编码单元的预测编码的基础的预测单元和分块。也就是说，第一编码单元610是分层结构600中的最大编码单元，其中，深度为0，大小(即，高度乘宽度)为64×64。深度沿纵轴加深，存在大小为32×32且深度为1的第二编码单元620、大小为16×16且深度为2的第三编码单元630、大小为8×8且深度为3的第四编码单元640以及大小为4×4且深度为4的第五编码单元650。大小为4×4且深度为4的第五编码单元650是最小编码单元。编码单元的预测单元和分块根据每个深度沿横轴排列。也就是说，如果大小为64×64且深度为0的第一编码单元610是预测单元，则预测单元可被划分为包括在第一编码单元610中的分块，即，大小为64×64的分块610、大小为64×32的分块612、大小为32×64的分块614或大小为32×32的分块616。类似地，大小为32×32且深度为1的第二编码单元620的预测单元可被划分为包括在第二编码单元620中的分块，即，大小为32×32的分块620、大小为32×16的分块622、大小为16×32的分块624和大小为16×16的分块626。类似地，大小为16×16且深度为2的第三编码单元630的预测单元可被划分为包括在第三编码单元630中的分块，即，包括在第三编码单元630中的大小为16×16的分块、大小为16×8的分块632、大小为8×16的分块634和大小为8×8的分块636。类似地，大小为8×8且深度为3的第四编码单元640的预测单元可被划分为包括在第四编码单元640中的分块，即，包括在第四编码单元640中的大小为8×8的分块、大小为8×4的分块642、大小为4×8的分块644和大小为4×4的分块646。大小为4×4且深度为4的第五编码单元650是最小编码单元和最低深度的编码单元。第五编码单元650的预测单元仅被分配给大小为4×4的分块。为了确定最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120针对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。随着深度加深，包括相同范围中和相同大小的数据的根据深度的更深编码单元的数量增加。例如，使用四个与深度2相应的编码单元来覆盖包括在一个与深度1相应的编码单元中的数据。因此，为了比较相同数据的根据深度的编码结果，与深度1相应的编码单元和四个与深度2相应的编码单元均被编码。为了针对多个深度中的当前深度执行编码，可通过沿分层结构600的横轴，针对与当前深度相应的编码单元中的每个预测单元执行编码，来针对当前深度选择最小编码误差。可选地，可通过随着深度沿分层结构600的纵轴加深针对每个深度执行编码来比较根据深度的最小编码误差，从而搜索最小编码误差。第一编码单元610中具有最小编码误差的深度和分块可被选为第一编码单元610的编码深度和分块类型。图7是用于描述根据示例性实施例的编码单元710和变换单元720之间的关系的示图。根据示例性实施例的视频编码设备100或视频解码设备200针对每个最大编码单元，根据具有小于或等于最大编码单元的大小的编码单元来对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择编码期间用于变换的变换单元的大小。例如，在视频编码设备100或视频解码设备200中，如果编码单元710的大小是64×64，则可通过使用大小为32×32的变换单元720来执行变换。此外，可通过对小于64×64的大小为32×32、16×16、8×8和4×4的变换单元中的每一个执行变换，来对大小为64×64的编码单元710的数据进行编码，从而可选择具有最小编码误差的变换单元。图8是用于描述根据示例性实施例的与编码深度相应的编码单元的编码信息的示图。参照图8，根据示例性实施例的视频编码设备100的输出单元130可对用于与编码深度相应的每个编码单元的关于分块类型的信息800、关于预测模式的信息810和关于变换单元的大小的信息820进行编码和发送，作为关于编码模式的信息。关于分块类型的信息800是关于通过对当前编码单元的预测单元进行划分而获得的分块的形状的信息，其中，所述分块是用于对当前编码单元进行预测编码的数据单元。例如，大小为2N×2N的当前编码单元CU_0可被划分为大小为2N×2N的分块802、大小为2N×N的分块804、大小为N×2N的分块806和大小为N×N的分块808中的任意一个。这里，关于分块类型的信息800被设置为指示大小为2N×N的分块804、大小为N×2N的分块806和大小为N×N的分块808之一。关于预测模式的信息810指示每个分块的预测模式。例如，关于预测模式的信息810可指示对由关于分块类型的信息800指示的分块执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。关于变换单元的大小的信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。根据示例性实施例的视频解码设备200的图像数据和编码信息提取器220可根据每个更深编码单元提取和使用用于解码的信息800、810和820。图9是根据示例性实施例的根据深度的更深编码单元的示图。划分信息可被用于指示深度的改变。划分信息指示当前深度的编码单元是否被划分为更低深度的编码单元。参照图9，用于对深度为0且大小为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括以下分块类型的分块：大小为2N_0×2N_0的分块类型912、大小为2N_0×N_0的分块类型914、大小为N_0×2N_0的分块类型916、大小为N_0×N_0的分块类型918。虽然图9仅示出通过对预测单元910进行对称划分而获得的分块类型912至918，但应该理解分块类型不限于此。例如，根据另一示例性实施例，预测单元910的分块可包括不对称分块、具有预定形状的分块和具有几何形状的分块。根据每个分块类型，对一个大小为2N_0×2N_0的分块、两个大小为2N_0×N_0的分块、两个大小为N_0×2N_0的分块和四个大小为N_0×N_0的分块重复执行预测编码。可对大小为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分块执行帧内模式和帧间模式下的预测编码。仅对大小为2N_0×2N_0的分块执行跳过模式下的预测编码。比较包括分块类型912至918中的预测编码的编码的误差，在分块类型中确定最小编码误差。如果在分块类型912至916之一中编码误差最小，则预测单元910可不被划分到更低深度。例如，如果在分块类型918中编码误差最小，则深度从0改变到1以在操作920对分块类型918进行划分，对深度为2且大小为N_0×N_0的编码单元930重复执行编码，以搜索最小编码误差。用于对深度为1且大小为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括以下分块类型的分块：大小为2N_1×2N_1的分块类型942、大小为2N_1×N_1的分块类型944、大小为N_1×2N_1的分块类型946、大小为N_1×N_1的分块类型948。作为示例，如果在分块类型948中编码误差最小，则深度从1改变到2以在操作950对分块类型948进行划分，对深度为2且大小为N_2×N_2的编码单元960重复执行编码，以搜索最小编码误差。当最大深度为d时，根据每个深度的划分操作可被执行，直到深度变为d-1时，并且划分信息可被编码直到深度为0到d-2中的一个时。例如，当编码被执行直到在操作970中与深度d-2相应的编码单元被划分之后深度为d-1时，用于对深度为d-1且大小为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括以下分块类型的分块：大小为2N_(d-1)×2N_(d-1)的分块类型992、大小为2N_(d-1)×N_(d-1)的分块类型994、大小为N_(d-1)×2N_(d-1)的分块类型996、大小为N_(d-1)×N_(d-1)的分块类型998。可在分块类型992至998中对一个大小为2N_(d-1)×2N_(d-1)的分块、两个大小为2N_(d-1)×N_(d-1)的分块、两个大小为N_(d-1)×2N_(d-1)的分块、四个大小为N_(d-1)×N_(d-1)的分块重复执行预测编码，以搜索具有最小编码误差的分块类型。即使在分块类型998具有最小编码误差时，但由于最大深度为d，因此深度为d-1的编码单元CU_(d-1)不再被划分到更低深度。在这种情况下，当前最大编码单元900的编码单元的编码深度被确定为d-1，当前最大编码单元900的分块类型可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d，并且具有最低深度d-1的最小编码单元980不再被划分到更低深度，因此不设置用于最小编码单元980的划分信息。数据单元999可以是针对当前最大编码单元的最小单元。根据示例性实施例的最小单元可以是通过对最小编码单元980划分4次而获得的矩形数据单元。通过重复执行编码，根据示例性实施例的视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深度，以确定编码深度，并将相应的分块类型和预测模式设置为编码深度的编码模式。这样，在1至d的所有深度中比较根据深度的最小编码误差，具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分块类型和预测模式可作为关于编码模式的信息而被编码和发送。此外，由于编码单元从深度0被划分到编码深度，因此编码深度的划分信息被设置为0，除了编码深度之外的深度的划分信息被设置为1。根据示例性实施例的视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度和预测单元的信息，以对分块912进行解码。视频解码设备200可通过使用根据深度的划分信息来将划分信息为0的深度确定为编码深度，并使用关于相应深度的编码模式的信息以进行解码。图10至图12是用于描述根据一个或多个示例性实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。参照图10，编码单元1010是最大编码单元中与由根据示例性实施例的视频编码设备100确定的编码深度相应的、具有树结构的编码单元。参照图11和图12，预测单元1060是编码单元1010中的每一个的预测单元的分块，变换单元1070是编码单元1010中的每一个的变换单元。当在编码单元1010中最大编码单元的深度是0时，编码单元1012和1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。在预测单元1060中，通过对编码单元1010中的编码单元进行划分来获得某些编码单元1014、1016、1022、1032、1048、1050、1052和1054。具体地讲，编码单元1014、1022、1050和1054中的分块类型具有2N×N的大小，编码单元1016、1048和1052中的分块类型具有N×2N的大小，编码单元1032的分块类型具有N×N的大小。编码单元1010的预测单元和分块小于或等于每个编码单元。按照小于编码单元1052的数据单元对变换单元1070中的编码单元1052的图像数据执行变换或逆变换。此外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052在大小和形状方面与预测单元1060中的编码单元1014、1016、1022、1032、1048、1050和1052不同。也就是说，根据示例性实施例的视频编码设备100和视频解码设备200可对相同编码单元中的数据单元分别执行帧内预测、运动估计、运动补偿、变换和逆变换。因此，对最大编码单元的每个区域中具有分层结构的编码单元中的每一个递归地执行编码，以确定最佳编码单元，从而可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分块类型的信息、关于预测模式的信息和关于变换单元的大小的信息。示例性的表1示出可由视频编码设备100和视频解码设备200设置的编码信息。表1视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，视频解码设备200的图像数据和编码信息提取器220可从接收的比特流提取关于具有树结构的编码单元的编码信息。划分信息指示当前编码单元是否被划分为更低深度的编码单元。如果当前深度d的划分信息为0，则当前编码单元不再被划分到更低深度的深度是编码深度。可针对编码深度定义关于分块类型、预测模式和变换单元的大小的信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的划分的编码单元独立地执行编码。预测模式可以是帧内模式、帧间模式和跳过模式中的一个。可在所有分块类型中定义帧内模式和帧间模式，可仅在大小为2N×2N的分块类型中定义跳过模式。关于分块类型的信息可指示通过对预测单元的高或宽进行对称划分而获得的大小为2N×2N、2N×N、N×2N和N×N的对称分块类型，以及通过对预测单元的高或宽进行不对称划分而获得的大小为2N×nU、2N×nD、nL×2N和nR×2N的不对称分块类型。可通过按照1:3和3:1的比率对预测单元的高进行划分来分别获得大小为2N×nU和2N×nD的不对称分块类型，可通过按照1:3和3:1的比率对预测单元的宽进行划分来分别获得大小为nL×2N和nR×2N的不对称分块类型。变换单元的大小可被设置为帧内模式下的两种类型和帧间模式下的两种类型。例如，如果变换单元的划分信息是0，则变换单元的大小可以是2N×2N，这是当前编码单元的大小。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单元。此外，如果大小为2N×2N的当前编码单元的分块类型是对称分块类型，则变换单元的大小可以是N×N，如果当前编码单元的分块类型是不对称分块类型，则变换单元的大小可以是N/2×N/2。关于具有树结构的编码单元的编码信息可包括与编码深度相应的编码单元、与预测单元相应的编码单元和与最小单元相应的编码单元中的至少一个。与编码深度相应的编码单元可包括：包括相同编码信息的预测单元和最小单元中的至少一个。因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否包括在与编码深度相应的相同编码单元中。此外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，从而可确定最大编码单元中的编码深度的分布。因此，如果基于邻近数据单元的编码信息来预测当前编码单元，则可直接参考和使用与当前编码单元邻近的更深编码单元中的数据单元的编码信息。然而，应该理解另外的示例性实施例不限于此。例如，根据另外的示例性实施例，如果基于邻近数据单元的编码信息来预测当前编码单元，则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，可参考搜索到的邻近编码单元来预测当前编码单元。图13是根据示例性实施例的用于根据示例性的表1的编码模式信息描述编码单元、预测单元或分块、和变换单元之间的关系的示图。参照图13，最大编码单元1300包括多个编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，因此划分信息可被设置为0。关于大小为2N×2N的编码单元1318的分块类型的信息可被设置为以下分块类型之一：大小为2N×2N的分块类型1322、大小为2N×N的分块类型1324、大小为N×2N的分块类型1326、大小为N×N的分块类型1328、大小为2N×nU的分块类型1332、大小为2N×nD的分块类型1334、大小为nL×2N的分块类型1336和大小为nR×2N的分块类型1338。当分块类型被设置为对称(即，分块类型1322、1324、1326或1328)时，如果变换单元的划分信息(TU大小标记)为0，则设置大小为2N×2N的变换单元1342，如果TU大小标记为1，则设置大小为N×N的变换单元1344。当分块类型被设置为不对称(即，分块类型1332、1334、1336或1338)时，如果TU大小标记为0，则设置大小为2N×2N的变换单元1352，如果TU大小标记为1，则设置大小为N/2×N/2的变换单元1354。参照图13，TU大小标记是具有值0或1的标记，但应该理解TU大小标记不限于1比特，在TU大小标记从0增加的同时，变换单元可被分层划分以具有树结构。在这种情况下，根据示例性实施例，可通过使用变换单元的TU大小标记以及变换单元的最大大小和最小大小来表示实际上已使用的变换单元的大小。根据示例性实施例，视频编码设备100能够对最大变换单元大小信息、最小变换单元大小信息和最大TU大小标记进行编码。对最大变换单元大小信息、最小变换单元大小信息和最大TU大小标记进行编码的结果可被插入SPS。根据示例性实施例，视频解码设备200可通过使用最大变换单元大小信息、最小变换单元大小信息和最大TU大小标记来对视频进行解码。例如，如果当前编码单元的大小是64×64并且最大变换单元大小是32×32，则当TU大小标记为0时，变换单元的大小可以是32×32，当TU大小标记为1时，变换单元的大小可以是16×16，当TU大小标记为2时，变换单元的大小可以是8×8。作为另一示例，如果当前编码单元的大小是32×32并且最小变换单元大小是32×32，则当TU大小标记为0时，变换单元的大小可以是32×32。这里，由于变换单元的大小不能够小于32×32，因此TU大小标记不能够被设置为除了0以外的值。作为另一示例，如果当前编码单元的大小是64×64并且最大TU大小标记为1，则TU大小标记可以是0或1。这里，TU大小标记不能被设置为除了0或1以外的值。因此，如果定义在TU大小标记为0时最大TU大小标记为MaxTransformSizeIndex，最小变换单元大小为MinTransformSize，并且变换单元大小为RootTuSize，则随后可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元大小CurrMinTuSize：CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2∧MaxTransformSizeIndex))……(1)与可在当前编码单元中确定的当前最小变换单元大小CurrMinTuSize相比，当TU大小标记为0时的变换单元大小RootTuSize可指示可在系统中选择的最大变换单元大小。在等式(1)中，RootTuSize/(2∧MaxTransformSizeIndex)指示当TU大小标记为0时，变换单元大小RootTuSize被划分了与最大TU大小标记相应的次数时的变换单元大小。此外，MinTransformSize指示最小变换大小。因此，RootTuSize/(2∧MaxTransformSizeIndex)和MinTransformSize中较大的值可以是可在当前编码单元中确定的当前最小变换单元大小CurrMinTuSize。根据示例性实施例，最大变换单元大小RootTuSize可根据预测模式的类型而改变。例如，如果当前预测模式是帧间模式，则随后可通过使用以下的等式(2)来确定RootTuSize。在等式(2)中，MaxTransformSize指示最大变换单元大小，PUSize指示当前预测单元大小。RootTuSize＝min(MaxTransformSize,PUSize)……(2)也就是说，如果当前预测模式是帧间模式，则当TU大小标记为0时的变换单元大小RootTuSize可以是最大变换单元大小和当前预测单元大小中较小的值。如果当前分块单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定RootTuSize。在等式(3)中，PartitionSize指示当前分块单元的大小。RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)也就是说，如果当前预测模式是帧内模式，则当TU大小标记为0时的变换单元大小RootTuSize可以是最大变换单元大小和当前分块单元的大小中较小的值。然而，根据分块单元中的预测模式的类型而改变的当前最大变换单元大小RootTuSize仅是示例，并且在另一示例性实施例中不限于此。图14是示出根据示例性实施例的视频编码方法的流程图。参照图14，在操作1210，当前画面被划分为至少一个最大编码单元。指示可能的划分次数的总数的最大深度可被预先确定。在操作1220，通过对至少一个划分区域进行编码来确定用于输出根据所述至少一个划分区域的最终编码结果的编码深度，并确定根据树结构的编码单元，其中，通过根据深度对每个最大编码单元的区域进行划分来获得所述至少一个划分区域。每当深度加深时，最大编码单元被空间划分，从而最大编码单元被划分为更低深度的编码单元。每个编码单元可通过与邻近编码单元在空间上独立地划分而被划分为另一更低深度的编码单元。对根据深度的每个编码单元重复执行编码。此外，针对每个更深编码单元确定根据具有最小编码误差的分块类型的变换单元。为了确定每个最大编码单元中具有最小编码误差的编码深度，可在所有根据深度的更深编码单元中测量和比较编码误差。在操作1230，针对每个最大编码单元输出作为根据编码深度的最终编码结果的已编码的图像数据以及关于编码深度和编码模式的信息。关于编码模式的信息可包括关于编码深度或划分信息的信息、关于预测单元的分块类型、预测模式和变换单元的大小的信息中的至少一个。关于编码模式的编码信息以及已编码的图像数据可被发送到解码器。图15是示出根据示例性实施例的视频解码方法的流程图。参照图15，在操作1310，接收并解析已编码的视频的比特流。在操作1320，从解析的比特流提取被分配给最大编码单元的当前画面的已编码的图像数据以及关于根据最大编码单元的编码深度和编码模式的信息。每个最大编码单元的编码深度是每个最大编码单元中具有最小编码误差的深度。在对每个最大编码单元进行编码时，基于通过根据深度对每个最大编码单元进行分层划分而获得的至少一个数据单元来对图像数据进行编码。根据关于编码深度和编码模式的信息，最大编码单元可被划分为具有树结构的编码单元。具有树结构的编码单元中的每一个被确定为与编码深度相应的编码单元，并被最佳编码以输出最小编码误差。因此，可通过在确定根据编码单元的至少一个编码深度之后对编码单元中的每条已编码的图像数据进行解码来提高图像的编码和解码效率。在操作1330，基于关于根据最大编码单元的编码深度和编码模式的信息来对每个最大编码单元的图像数据进行解码。解码的图像数据可通过再现设备被再现，可被存储在存储介质中，或可通过网络被发送。在下文中，将参照图16至图23描述根据示例性实施例的按照考虑编码单元的大小的编码手段的操作模式执行的视频编码和解码。图16是根据示例性实施例基于考虑编码单元的大小的编码手段的视频编码设备1400的框图。参照图16，设备1400包括最大编码单元划分器1410、编码单元确定器1420和输出单元1430。最大编码单元确定器1410将当前画面划分为至少一个最大编码单元。编码单元确定器1420按照与深度相应的编码单元对所述至少一个最大编码单元进行编码。在这种情况下，编码单元确定器1420可基于编码单元的深度、编码手段和操作模式之间的关系，按照根据编码单元的深度的与编码手段相应的操作模式，对所述至少一个最大编码单元的多个划分区域分别进行编码。编码单元确定器1420对与所有深度相应的编码单元进行编码，将编码结果彼此进行比较，并将具有最高编码效率的编码单元的深度确定为编码深度。由于在所述至少一个最大编码单元的划分区域中，具有最高编码效率的深度可能根据位置而不同，因此所述至少一个最大编码单元的划分区域中的每一个的编码深度可独立于其他区域而被确定。因此，在一个最大编码单元中可定义多于一个的编码深度。用于进行编码的编码手段的示例可包括作为视频编码技术的量化、变换、帧内预测、帧间预测、运动补偿、熵编码以及环路滤波。根据示例性实施例，在视频编码设备1400中，可根据至少一个操作模式执行多个编码手段中的每一个。这里，术语操作模式表示执行编码手段的方式。例如，如果编码手段是帧间预测，则编码手段的操作模式可被分类为：第一操作模式、第二操作模式和第三操作模式，其中，在第一操作模式中，邻近预测单元的运动矢量的中值被选择，在第二操作模式中，邻近预测单元中处于特定位置的预测单元的运动矢量被选择，在第三操作模式中，邻近预测单元中包括与当前预测单元的模板最相似的模板的预测单元的运动矢量被选择。根据示例性实施例，视频编码设备1400可根据编码单元的大小可变地设置编码手段的操作模式。在当前示例性实施例中，视频编码设备1400可根据编码单元的大小可变地设置至少一个编码手段的操作模式。由于编码单元的深度与编码单元的大小相应，因此可基于与编码单元的大小相应的编码单元的深度来确定至少一个编码手段的操作模式。因此，编码单元的深度、编码手段和操作模式之间的关系可被设置。类似地，如果按照编码单元的预测单元或分块来执行编码手段，则可基于预测单元或分块的大小确定编码手段的操作模式。视频编码设备1400可在编码被执行之前设置编码单元的深度、编码手段和操作模式之间的关系。例如，根据另一示例性实施例，视频编码设备1400可通过按照预定编码手段的所有操作模式对与深度相应的至少一个最大编码单元的编码单元进行编码，并从所述操作模式中检测具有最高编码效率的操作模式，来设置编码单元的深度、编码手段与操作模式之间的关系。视频编码设备1400可将造成开销比特的操作模式分配给与深度相应的编码单元，并可将不造成开销比特的操作模式分配给其他编码单元，其中，所述与深度相应的编码单元的大小等于或大于预定大小，所述其他编码单元的大小小于所述预定大小。视频编码设备1400可按照图像的像条单元、帧单元、画面单元或GOP单元对关于编码单元的深度、编码手段和操作模式之间的关系的信息进行编码和发送。根据另一示例性实施例，视频编码设备1400可将关于编码的信息和关于编码单元的深度、编码手段和操作模式之间的关系的信息插入SPS。如果编码单元确定器1420执行作为一种类型的编码手段的帧内预测，则可根据预测方向(即，可参考邻近信息的方向)的数量对帧内预测的操作模式进行分类。因此，由视频编码设备1400执行的帧内预测的操作模式可包括表示预测方向的数量的帧内预测模式，其中，所述预测方向的数量根据编码单元的大小而变化。另外，如果编码单元确定器1420执行帧内预测，则可根据是否将考虑图像样式(imagepattern)执行平滑来对帧内预测的操作模式进行分类。因此，由视频编码设备1400执行的帧内预测的操作模式可通过将用于平滑编码单元的区域的帧内预测模式和用于保持边界线的帧内预测模式进行彼此区分，来表示是否将根据编码单元的大小执行帧内预测。如果编码单元确定器1420执行作为另一类型的编码手段的帧间预测，则编码单元确定器1420可选择性地执行确定运动矢量的至少一个方法。因此，由视频编码设备1400执行的帧间预测的操作模式可包括表示确定运动矢量的方法的帧间预测模式，其中，根据编码单元的大小选择性地执行确定运动矢量的方法。如果编码单元确定器1420执行作为另一类型的编码手段的变换，则编码单元确定器1420可根据图像的样式选择性地执行旋转变换(rotationaltransformation)。编码单元确定器1420可存储将乘以预定大小的数据矩阵的旋转变换的矩阵，从而有效地执行旋转变换，其中，所述预定大小的数据矩阵是变换目标。因此，由视频编码设备1400执行的变换的操作模式可包括表示与编码单元的大小相应的旋转变换的矩阵的索引的变换模式。如果编码单元确定器1420执行作为另一类型的编码手段的量化，则表示当前量化参数与预定的代表性量化参数之间的差的量化参数变量增量(delta)可被使用。因此，由视频编码设备1400执行的量化的操作模式可包括指示根据编码单元的大小而变化的量化参数变量增量是否将被使用的量化模式。如果编码单元确定器1420执行作为另一类型的编码手段的内插，则内插滤波器可被使用。编码单元确定器1420可基于编码单元、预测单元或分块的大小以及编码单元的深度来选择性地设置内插滤波器的抽头系数或数量。因此，由视频编码设备1400执行的内插滤波的操作模式可包括指示内插滤波器的抽头的系数或数量的内插模式，其中，所述内插滤波器的抽头的系数或数量根据编码单元的深度或大小以及预测单元或分块的大小而变化。输出单元1430可输出比特流，在所述比特流中包括针对至少一个最大编码单元中的每一个的已编码的视频数据(即，从编码单元确定器1420接收的编码的最终结果)、关于编码深度的信息以及编码模式。已编码的视频数据可以是多条视频数据的集合，其中，按照与所述至少一个最大编码单元的划分区域的编码深度相应的编码单元来分别对所述多条视频数据进行编码。另外，针对与深度相应的编码单元的编码手段的上述操作模式可按照关于编码单元的深度、编码手段和操作模式之间的关系的信息的形式被编码并随后被插入比特流。根据示例性实施例，视频编码设备1400可执行编码手段，诸如量化、变换、帧内预测、帧间预测、运动补偿、熵编码和环路滤波。可按照不同的操作模式以与深度相应的编码单元分别执行这些编码手段。上述操作模式仅是为了方便解释而给出的说明性的示例，视频编码设备1400中的编码单元的深度(或编码单元的大小)、编码手段和操作模式之间的关系不限于上述示例性实施例。图17是根据示例性实施例基于考虑编码单元的大小的编码手段的视频解码设备1500的框图。参照图17，视频解码设备1500包括接收器1510、提取器1520和解码器1530。接收器1510接收并解析包括已编码的视频数据的比特流。提取器1520从通过接收器1510接收的比特流提取已编码的视频数据、关于编码的信息以及关于编码单元的深度、编码手段与操作模式之间的关系的信息。通过对最大编码单元中的图像数据进行编码来获得已编码的视频数据。在每个最大编码单元中的图像数据根据深度被分层划分为多个划分区域，并且所述划分区域中的每一个按照相应编码深度的编码单元被编码。关于编码的信息包括关于最大编码单元的编码深度以及编码模式的信息。例如，关于编码单元的深度、编码手段与操作模式之间的关系的信息可按照图像数据单元(例如，最大编码单元、帧单元、场单元、像条单元或GOP单元)来设置。在另一示例中，可从SPS中提取关于编码的信息以及关于编码单元的深度、编码手段和操作模式之间的关系的信息。按照图像数据的编码单元被编码的图像数据可基于在图像数据的预定单元中定义的关于编码单元的深度、编码手段和操作模式之间的关系的信息，按照编码手段的选择性的操作模式而被解码。解码器1530可基于由提取器1520提取的关于编码的信息以及关于编码单元的深度、编码手段和操作模式之间的关系的信息，分别对最大编码单元中的按照以与至少一个编码深度相应的编码单元的编码手段的操作模式的已编码的视频数据进行解码。可根据编码单元的大小设置编码手段的操作模式。由于与编码深度相应的编码单元的大小与编码深度相应，因此针对与编码深度相应的编码单元的编码手段的操作模式可基于编码深度被确定。类似地，如果基于编码单元的分块或预测单元执行针对编码单元的编码手段，则可基于预测单元或分块的大小来确定所述编码手段的操作模式。即使根据编码手段来设置编码单元的深度、编码手段与操作模式之间的关系，解码器1530也可执行与所述编码手段相应的解码手段。例如，解码器1530可基于关于编码单元的深度、量化和操作模式之间的关系的信息，按照与编码深度相应的编码单元来对比特流进行反量化。如果解码器1530执行作为一种类型的解码手段的帧内预测，则解码器1530可基于关于编码单元的深度、帧内预测和帧内预测模式之间的关系的信息，对与编码深度相应的当前编码单元执行帧内预测。例如，解码器1530可基于关于编码单元的深度、帧内预测和帧内预测模式之间的关系的信息以及根据与当前编码单元的大小相应的帧内预测的方向的数量的邻近信息，对与编码深度相应的当前编码单元执行帧内预测。另外，解码器1530可基于关于编码单元的深度、帧内预测和帧内预测模式之间的关系的信息，通过对用于平滑的帧内预测模式和用于保持边界线的帧内预测模式彼此进行区分，来确定是否根据当前编码单元的编码单元执行帧内预测。如果解码器1530执行作为另一类型的解码手段的帧间预测，则解码器1530可基于关于编码单元的深度、帧间预测和帧间预测模式之间的关系的信息，对与编码深度相应的当前编码单元执行帧间预测。例如，解码器1530可基于关于编码单元的深度、帧间预测和帧间预测模式之间的关系的信息，通过使用确定运动矢量的方法，来对编码深度的当前编码单元执行帧间预测模式。如果解码器1530执行作为另一类型的解码手段的反量化，则解码器1530可基于关于编码单元的深度、量化和量化模式之间的关系的信息，选择性地执行逆旋转变换。因此，解码器1530可基于关于编码单元的深度、量化和量化模式之间的关系的信息，通过使用与编码深度相应的索引的旋转变换的矩阵，对与编码深度相应的当前编码单元执行逆旋转变换。如果解码器1530执行作为另一类型的解码手段的反量化，则解码器1530可基于关于编码单元的深度、量化和量化模式的信息，通过使用与编码深度相应的量化参数变量增量，来对与编码深度相应的当前编码单元执行反量化。如果解码器1530执行作为另一类型的解码手段的内插或外插，则可使用用于内插或外插的滤波器。解码器1530可基于指示用于内插或外插的滤波器的抽头的系数或数量的、用于内插或外插的滤波的操作模式，通过使用用于内插或外插的滤波器的抽头的系数或数量，来针对与编码深度相应的当前编码单元执行使用用于内插或外插的滤波器的滤波。用于内插或外插的滤波的操作模式可与当前编码单元的大小、当前编码单元的预测单元或分块的大小中的至少一个相应。视频解码设备1500可从解码器1530解码的图像数据重构原始图像。可由显示设备(未示出)再现重构的图像，或者重构的图像可被存储在存储介质(未示出)中。在根据示例性实施例的视频编码设备1400和视频解码设备1500中，编码单元的大小可根据图像的特征和图像的编码效率而变化。数据单元(诸如编码单元、预测单元或变换单元)的大小可增大，从而对大量图像数据(例如，高分辨率或高质量的图像)进行编码。具有根据H.264标准的分层结构的宏块的大小可以是4×4、8×8、16×16，但是根据一个或多个示例性实施例的视频编码设备1400和视频解码设备1500可将数据单元的大小扩展为4×4、8×8、16×16、32×32、64×64、128×128或更多。数据单元越大，那么包括在数据单元中的图像数据越多，并且数据单元中的各种图像特征越多。因此，仅通过使用一种编码手段来对具有各种大小的所有数据单元进行编码会效率低。因此，视频编码设备1400可根据图像数据的特征确定编码单元的深度以及编码手段的操作模式以提高编码效率，并且视频编码设备1400可对关于编码单元的深度、编码手段和操作模式之间的关系的信息进行编码。此外，视频解码设备1500可基于关于编码单元的深度、编码手段和操作模式之间的关系的信息，通过对接收的比特流进行解码来重构原始图像。因此，视频编码设备1400和视频解码设备1500可对大量图像数据(诸如高分辨率或高质量的图像)分别进行编码和解码。图18是用于描述根据示例性实施例的编码单元的大小、编码手段与操作模式之间的关系的示图。参照图18，根据示例性实施例，在视频编码设备1400或视频解码设备1500中，4×4的编码单元1610、8×8的编码单元1620、16×16的编码单元1630、32×32的编码单元1640、64×64的编码单元1650可被用作编码单元。如果最大编码单元是64×64的编码单元1650，则64×64的编码单元1650的深度为0、32×32的编码单元1640的深度为1，16×16的编码单元1630的深度为2，8×8的编码单元1620的深度为3，4×4的编码单元1610的深度为4。视频编码设备1400可根据编码单元的深度自适应地确定编码手段的操作模式。例如，如果第一编码手段TOOL1可按照第一操作模式TOOL1-11660、第二操作模式TOOL1-21662、第三操作模式TOOL1-3被执行，则视频编码设备1400可针对4×4的编码单元1610和8×8的编码单元1620按照第一操作模式TOOL1-11660执行第一编码手段TOOL1，针对16×16的编码单元1630和32×32的编码单元1640按照第二操作模式1662执行第一编码手段TOOL1，针对64×64的编码单元1650按照第三操作模式1664执行第一编码手段TOOL1。可在当前编码单元的编码期间，通过按照与编码手段相应的所有操作模式对当前编码单元进行编码，并在所述操作模式中检测引起具有最高编码效率的编码的结果的操作模式，来确定编码单元的大小、编码手段和操作模式之间的关系。在另一示例性实施例中，可通过例如编码系统的性能、用户需求或环境状况中的至少一个来预先确定编码单元的大小、编码手段和操作模式之间的关系。由于针对预定数据最大编码单元的大小是固定的，因此编码单元的大小与所述编码单元自身的深度相应。因此，可通过使用关于编码单元的深度、编码手段和操作模式之间的关系的信息，来对适应于编码单元的大小的编码手段和操作模式的之间的关系进行编码。关于编码单元的深度、编码手段与操作模式之间的关系的信息可以以编码单元的深度为单位分别指示编码手段的最佳操作模式。表2[表2][表]根据示例性的表2，第一编码手段和第二编码手段的操作模式可分别被可变地应用于具有深度4、3、2、1和0的编码单元。关于编码单元的深度、编码手段和操作模式之间的关系的信息可按照图像的序列单元、GOP单元、画面单元、帧单元或像条单元被编码并被发送。现在将详细描述编码单元的深度、编码手段和操作模式之间的关系的各种示例性实施例。图19是用于描述根据示例性实施例的编码单元的深度、编码手段(例如，帧间预测)和操作模式之间的关系的示图。如果根据示例性实施例的视频编码设备1400执行帧间预测，则可使用确定运动矢量的至少一种方法。因此，作为一种类型的编码手段的帧间预测的操作模式可根据确定运动矢量的方法被分类。例如，参照图19，在帧间预测的第一操作模式中，邻近编码单元A1710、B1720和C1730的运动矢量mvpA、mvpB和mvpC的中值被选择作为当前编码单元1700的预测运动矢量MVP，如以下的等式(4)中所示：MVP＝median(mvpA，mvpB，mvpC)…(4)。如果采用第一操作模式，则计算量低且不会使用开销比特。因此，即使按照第一操作模式对小尺寸的编码单元执行帧间预测，计算量或将被发送的比特量也较小。例如，在帧间预测的第二操作模式中，邻近编码单元A1710、B1720和C1730的运动矢量中的被选择作为当前编码单元1700的预测运动矢量的编码单元的运动矢量的索引被直接显示。例如，如果视频编码设备1400对当前编码单元1700执行帧间预测，则邻近编码单元A1710的运动矢量mvpA可被选择作为当前编码单元1700的最佳预测运动矢量，并且运动矢量mvpA的索引可被编码。因此，尽管在编码侧发生由表示预测运动矢量的索引造成的开销，但是在解码侧当按照第二操作模式执行帧间预测时的计算量较小。例如，在帧间预测的第三操作模式中，将当前编码单元1700上的预定位置上的像素1705与邻近编码单元A1710、B1720和C1730上的预定位置上的像素1715、1725和1735相比较，从像素1715、1725和1735中检测到失真程度最低的像素，并且包括检测到的像素的邻近编码单元的运动矢量被选择作为当前编码单元1700的预测运动矢量。因此，尽管为了检测失真程度最低的像素，对于解码侧计算量可能较大，但是编码侧不经历将被发送的比特的开销。具体地讲，如果按照第三操作模式对包括特定图像样式的图像序列执行帧间预测，则预测的结果比当使用邻近编码单元的运动矢量的中值时更准确。视频编码设备1400可对关于根据编码单元的深度确定的帧间预测的第一操作模式、第二操作模式和第三操作模式之间的关系的信息进行编码。根据示例性实施例的视频解码设备1500可通过从接收的比特流提取关于根据编码单元的深度确定的帧间预测的第一操作模式、第二操作模式和第三操作模式之间的关系的信息，并基于提取的信息执行与对编码深度的当前编码单元执行的运动补偿和帧间预测相关的解码手段，来对图像数据进行解码。视频编码设备1400检查在将被发送的比特中是否出现开销，以根据编码单元的大小或深度来确定帧间预测的操作模式。如果小编码单元被编码，则额外的开销可能极大地降低其编码效率，而如果大编码单元被编码，则编码效率并不显著地受额外开销的影响。因此，当对小编码单元进行编码时，按照不造成额外开销的第三操作模式执行帧间预测会是有效的。在这点上，编码单元的大小与帧间预测的操作模式之间的关系的示例在以下示例性的表3中被示出：表3[表3][表]图20是用于描述根据示例性实施例的编码单元的深度、编码手段(例如，帧内预测)与操作模式之间的关系的示图。根据示例性实施例的视频编码设备1400可通过使用邻近当前编码单元1800的被重构的像素1810来执行作为帧内预测的定向外插。例如，帧内预测的方向可被定义为tan-1(dx，dy)，根据多个(dx，dy)参数，可沿各种方向执行帧内预测。从当前编码单元1800中的将被预测的当前像素1820延伸的、并倾斜tan-1(dx，dy)角度的线上的邻近像素1830可被用作当前像素1820的预测因子，其中，由来自当前像素1820的值dx和dy来确定tan-1(dx，dy)。邻近像素1830可属于位于当前编码单元1800的上侧或左侧的、先前已被编码和重构的编码单元。如果帧内预测被执行，则视频编码设备1400可根据编码单元的大小调整帧内预测的方向的数量。因此，作为一种类型的编码手段的帧内预测的操作模式可根据帧内预测的方向的数量而被分类。帧内预测的方向的数量可根据编码单元的大小和分层树结构而变化。用于表示帧内预测模式的开销比特可能降低小编码单元的编码效率，但是不影响大编码单元的编码效率。因此，视频编码设备1400可对关于编码单元的深度和帧内预测的方向的数量之间的关系的信息进行编码。另外，根据示例性实施例的视频解码设备1500可通过从接收的比特流提取关于编码单元的深度与帧内预测的方向的数量之间的关系的信息，并基于提取的信息执行与对编码深度的当前编码单元执行的帧内预测相关的解码手段，以对图像数据进行解码。视频编码设备1400考虑当前编码单元的图像样式以根据编码单元的大小或深度确定帧内预测的操作模式。在图像包括细节成分的情况下，可通过使用线性外插执行帧内预测，因此，可使用大量的帧内预测方向。然而，在图像的平坦区域的情况下，帧内预测的方向的数量可能相对少。例如，使用重构的邻近像素的内插的普通模式或双线性模式可被用于对图像的平坦区域执行帧内预测。由于大编码单元很可能被确定处于图像的平坦区域中，因此当对所述大编码单元执行帧内预测模式时帧内预测的方向的数量可能相对少。另外，由于小编码单元很可能被确定处于包括图像的细节成分的区域中，因此当对所述小编码单元执行帧内预测模式时，帧内预测的方向的数量可能相对大。因此，编码单元的大小与帧内预测模式之间的关系可被视为编码单元的大小与帧内预测的方向的数量之间的关系。编码单元的大小与帧内预测的方向的数量之间的关系的示例在以下示例性表4中被示出：表4[表4][表]大编码单元可能包括按照各种方向布置的图像样式，因此可通过使用线性外插对所述大编码单元执行帧内预测。在这种情况下，编码单元的大小与帧内预测模式之间的关系可被设置为如以下示例性表5所示：表5[表5][表]根据示例性实施例，沿根据编码单元的大小而设置的各种帧内预测模式执行预测编码，从而根据图像的特征更有效地压缩图像。通过根据编码单元的深度执行各种帧内预测模式从视频编码设备1400输出的预测编码单元具有根据帧内预测模式的类型的预定方向性。由于这种被预测的编码单元中的方向性，预测的效率在将被编码的当前编码单元的像素具有预定的方向性时可能高，并且在当前编码单元的像素不具有预定的朝向时可能低。因此，通过使用这些像素和至少一个邻近像素，可通过改变使用帧内预测获得的被预测的编码单元中的像素的值产生新的被预测的编码单元来后处理所述使用帧内预测获得的被预测的编码单元，从而提高对图像进行预测的效率。例如，在图像的平坦区域的情况下，对使用帧内预测获得的被预测的编码单元执行用于平滑的后处理会是有效的。另外，在图像的具有细节成分的区域的情况下，对使用帧内预测获得的被预测的编码单元执行用于保持所述细节成分的后处理会是有效的。因此，视频编码设备1400可对关于编码单元的深度与指示使用帧内预测获得的被预测的编码单元是否将被后处理的操作模式之间的关系的信息进行编码。另外，视频解码设备1500可通过从接收的比特流提取关于编码单元的深度与指示使用帧内预测获得的被预测的编码单元是否将被后处理的操作模式之间的关系的信息，并基于提取的信息执行与对编码深度的当前编码单元执行的帧内预测相关的解码手段，来对图像数据进行解码。在视频编码设备1400中，可针对图像的平坦区域和图像的包括细节成分的区域，分别选择执行用于平滑的后处理的帧内预测模式和不执行用于平滑的后处理的帧内预测模式，作为指示使用帧内预测获得的被预测的编码单元是否将被后处理的操作模式。大编码单元可被确定处于图像的平坦区域中，小编码单元可被确定处于图像的包含细节成分的区域中。因此，视频编码设备1400可确定对所述大编码单元执行这样的帧内预测模式：在该帧内预测模式中执行用于平滑的后处理，并且视频编码设备1400可确定对所述小编码模式执行这样的帧内预测模式：在该帧内预测模式中不执行用于平滑的后处理。因此，编码单元的深度与指示通过帧内预测而获得的被预测的编码单元是否将被后处理的操作模式之间的关系可被视为编码单元的大小与是否将执行后处理之间的关系。在这点上，编码单元的大小与帧内预测的操作模式之间的关系的示例可在以下示例性的表6中被示出：表6[表6][表]如果视频编码设备1400执行作为一种类型的编码手段的变换，则可根据图像样式选择性地执行旋转变换。为了旋转变换的有效计算，用于旋转变换的数据矩阵可被存储在存储器中。如果视频编码设备1400执行旋转变换或者如果视频解码设备1500执行逆旋转变换，则可通过使用用于计算的旋转变换数据的索引从存储器调用相关数据。这样的旋转变换数据可按照编码单元或变换单元被设置，或者可根据序列的类型被设置。因此，视频编码设备1400可将由与编码单元的深度相应的旋转变换的矩阵的索引指示的变换模式设置为变换的操作模式。视频编码设备1400可对关于编码单元的大小与指示旋转变换的矩阵的索引的变换模式之间的关系的信息进行编码。视频解码设备1500可通过从接收的比特流提取关于编码单元的深度与指示旋转变换的矩阵的索引的变换模式之间的关系的信息，并基于提取的信息对编码深度的当前编码单元执行逆旋转变换，来对图像数据进行解码。因此，编码单元的深度、旋转变换和操作模式之间的关系可被视为编码单元的大小与旋转变换的矩阵的索引之间的关系。在这点上，编码单元的大小与旋转变换的操作模式之间的关系可在以下示例性的表7中被示出：表7[表7][表]如果视频编码设备1400执行作为一种类型的编码手段的量化，则表示当前量化参数与预定的代表性量化参数之间的差的量化参数变量增量可被使用。量化参数变量增量可根据编码单元的大小而变化。因此，在视频编码设备1400中，量化的操作模式可包括指示根据编码单元的大小而变化的量化参数变量增量是否将被使用的量化模式。因此，视频编码设备1400可将指示与编码单元的大小相应的量化参数变量增量是否将被使用的量化模式设置为量化的操作模式。视频编码设备1400可对关于编码单元的深度与指示量化参数变量增量是否将被使用的量化模式之间的关系的信息进行编码。视频解码设备1500可通过从接收的比特流提取关于编码单元的深度与指示量化参数变量增量是否将被使用的量化模式之间的关系的信息，并基于提取的信息对编码深度的当前编码单元执行反量化，来对图像数据进行解码。因此，编码单元的深度、量化和操作模式之间的关系可被视为编码单元的大小与量化参数变量增量是否将被使用之间的关系。在这点上，编码单元的大小与量化的操作模式之间的关系的示例可在以下示例性的表8中被示出：表8[表8][表]图21示出根据示例性实施例的序列参数集1900的语法，在所述语法中插入有关于编码单元的深度、编码手段与操作模式之间的关系的信息。在图21中，sequence_parameter_set表示用于当前像条的序列参数集1900的语法。参照图21，关于编码单元的深度、编码手段和操作模式之间的关系的信息被插入用于当前像条的序列参数集1900的语法。此外，在图21中，picture_width表示输入图像的宽度，picture_height表示输入图像的高度，max_coding_unit_size表示最大编码单元的大小，max_coding_unit_depth表示最大深度。根据示例性实施例，指示是否将按编码单元独立执行解码的语法use_independent_cu_decode_flag、指示是否将按编码单元独立执行解析的语法use_independent_cu_parse_flag、指示运动矢量是否将被精确控制的语法use_mv_accuracy_control_flag、指示帧内预测是否将沿任意方向被执行的语法use_arbitrary_direction_intra_flag、指示预测编码/解码是否将在频率变换域中被执行的语法use_frequency_domain_prediction_flag、指示旋转变换是否将被执行的语法use_rotational_transform_flag、指示是否将使用树重要映射执行编码/解码的语法use_tree_significant_map_flag、指示是否将使用多参数执行帧内预测编码的语法use_multi_parameter_intra_prediction_flag、指示是否将执行高级运动矢量预测的语法use_advanced_motion_vector_prediction_flag、指示是否将执行自适应环路滤波的语法use_adaptive_loop_filter_flag、指示是否将执行四叉树自适应环路滤波的语法use_quadtree_adaptive_loop_filter_flag、指示是否将使用量化参数变量增量执行量化的语法use_delta_qp_flag、指示是否将执行随机噪声产生的语法use_random_noise_generation_flag、指示是否将按照不对称预测单元执行运动估计的语法use_asymmetric_motion_partition_flag可被用作像条的序列参数的示例。可通过使用这些语法设置是否将使用以上操作来对当前像条进行有效编码或解码。具体地讲，自适应环路滤波器的长度alf_filter_length、自适应环路滤波器的类型alf_filter_type、用于量化自适应环路滤波器系数的参考值alf_qbits以及自适应环路滤波器的颜色分量的数量alf_num_color可基于use_adaptive_loop_filter_flag和use_quadtree_adaptive_loop_filter_flag而被设置在序列参数集1900中。在根据示例性实施例的视频编码设备1400和视频解码设备1500中使用的关于编码单元的深度、编码手段和操作模式之间的关系的信息可指示与编码单元的深度uiDepth相应的帧间预测的操作模式mvp_mode[uiDepth]和指示树重要映射中的重要映射的类型的操作模式significant_map_mode[uiDepth]。也就是说，帧间预测与根据编码单元的深度的相应操作模式之间的关系，或使用所述树重要映射的编码/解码与根据编码单元的深度的相应操作模式之间的关系可被设置在序列参数集1900中。输入采样的比特深度input_sample_bit_depth以及内部采样的比特深度internal_sample_bit_depth也可被设置在序列参数集1900中。由根据示例性实施例的视频编码设备1400编码的或由根据示例性实施例的视频解码设备1500解码的关于编码单元的深度、编码手段和操作模式之间的关系的信息不限于被插入到图21中示出的序列参数集1900中的信息。例如，所述信息可按照图像的最大编码单元、像条单元、帧单元、画面单元或GOP单元被编码或解码。图22是示出根据示例性实施例的基于考虑编码单元的大小的编码手段的视频编码方法的流程图。参照图22，在操作2010，当前画面被划分为至少一个最大编码单元。在操作2020，基于所述至少一个最大编码单元的至少一个编码单元的深度、编码手段和操作模式之间的关系，通过按照编码手段的操作模式以与深度相应的编码单元对所述至少一个最大编码单元分别进行编码，来确定编码深度。因此，所述至少一个最大编码单元包括与至少一个编码深度相应的编码单元。所述至少一个最大编码单元的至少一个编码单元的深度、编码手段和操作模式之间的关系可以以图像的像条、帧、GOP或帧序列为单位来预先设置。可在所述至少一个最大编码单元的编码期间，通过将按照与编码手段匹配的至少一个操作模式对与深度相应的编码单元进行编码的结果彼此进行比较，并从所述至少一个操作模式中选择具有最高编码效率的操作模式，来确定所述至少一个最大编码单元的至少一个编码单元的深度、编码手段和操作模式之间的关系。否则，可按照这样的方式确定所述至少一个最大编码单元的至少一个编码单元的深度、编码手段和操作模式之间的关系：与深度相应的编码单元可与不造成将被插入已编码的数据流的开销比特的操作模式相应，其他编码单元可与造成开销比特的操作模式相应，其中，所述与深度相应的编码单元的大小小于或等于预定大小，所述其他编码单元的大小大于所述预定大小。在操作2030，包括所述至少一个编码深度的已编码的图像数据、关于编码的信息、以及关于在所述至少一个最大编码单元中所述至少一个最大编码单元的至少一个编码单元的深度、编码手段和操作模式之间的关系的信息的比特流被输出。关于编码的信息可包括至少一个编码深度和关于所述至少一个最大编码单元中的编码模式的信息。关于所述至少一个最大编码单元的至少一个编码单元的深度、编码手段和操作模式之间的关系的信息可被插入图像的像条单元、帧单元、GOP或帧序列中。图23是示出根据示例性实施例的基于考虑编码单元的大小的编码手段的视频解码方法的流程图。参照图23，在操作2110，包括已编码的视频数据的比特流被接收并被解析。在操作2120，从所述比特流提取已编码的视频数据、关于编码的信息、以及关于编码单元的深度、编码手段和操作模式之间的关系的信息。可按照图像的最大编码单元、像条单元、帧单元、GOP单元或帧序列从所述比特流提取关于编码单元的深度、编码手段和操作模式之间的关系的信息。在操作2130，基于从所述比特流提取的关于编码的信息以及关于编码单元的深度、编码手段和操作模式之间的关系的信息，根据与相应于至少一个编码深度的编码单元匹配的编码手段的操作模式，按照最大编码单元对已编码的视频数据进行解码。尽管不限于此，但是一个或多个示例性实施例可被编写为可在通用数字计算机中执行的计算机程序，所述通用数字计算机使用计算机可读记录介质运行所述程序。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM或DVD)。此外，尽管不是在所有的示例性实施例中都是需要的，但是视频编码设备100或1400、视频解码设备200或1500、图像编码器400和图像解码器500中的一个或多个单元可包括运行存储在计算机可读介质中的计算机程序的处理器或微处理器。虽然以上已参照附图具体示出并描述了示例性实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的发明构思的精神和范围的情况下，可对其进行形式和细节上的各种改变。示例性实施例应被视为仅是说明的意义，而不是为了限制的目的。因此，发明构思的范围不是由示例性实施例的详细描述来限定，而是由权利要求来限定，并且在所述范围内的所有差别将被解释为包括在本发明构思中。