类似地，尺寸为32X32和深度为1的编码单元620的预测单元可W被分割为在编码 单元620中所包括的分区，即，尺寸为32 X 32的分区620、尺寸为32 X 16的分区622、尺寸为16 X 32的分区624 W及尺寸为16 X 16的分区626。
[0114] 类似地，尺寸为16X16和深度为2的编码单元630的预测单元可W被分割为在编码 单元630中所包括的分区，即，在编码单元630中所包括的尺寸为16 X 16的分区、尺寸为16 X 8的分区632、尺寸为8 X 16的分区634W及尺寸为8 X 8的分区636。
[0115] 类似地，尺寸为8X8和深度为3的编码单元640的预测单元可W被分割为在编码单 元640中所包括的分区，即，在编码单元640中所包括的尺寸为8 X 8的分区、尺寸为8 X 4的分 区642、尺寸为4 X 8的分区644 W及尺寸为4 X 4的分区646。
[0116] 最终，尺寸为4X4和深度为4的编码单元650是最小的编码单元和最低深度的编码 单元，并且其预测单元还可W仅被设定为尺寸为4X4的分区650。
[0117] 为了确定最大编码单元610的编码的深度，根据实施例的视频编码装置100的编码 单元确定器120需要针对在最大编码单元610中所包括的与每个深度相对应的编码单元执 行编码。
[0118] 随着深度增加，根据深度的包括相同范围和相同尺寸的数据的较深编码单元的数 量增加。例如，需要与深度2相对应的四个编码单元来覆盖在与深度1相对应的一个编码单 元中所包括的数据。因此，为了对根据深度的相同数据的编码结果进行比较，与深度1相对 应的编码单元和与深度2相对应的四个编码单元需要各自被编码。
[0119] 为了根据每个深度执行编码，可W通过沿着编码单元的层级结构600的水平轴、针 对较深的编码单元中的每个预测单元执行编码，来选择作为在相对应的深度中的最小编码 误差的代表性编码误差。可替换地，当深度沿着编码单元的层级结构600的垂直轴增加时， 通过针对每个深度执行编码来对根据深度的代表性编码误差进行比较，可W捜索到最小编 码误差。在最大编码单元610中具有最小编码误差的深度和分区可W被选择作为最大编码 单元610的编码的深度和分区类型。
[0120] 图7是根据本发明构思的实施例、用于描述编码单元与变换单元之间的关系的图。
[0121] 根据实施例的视频编码装置100或根据实施例的视频解码装置200针对每个最大 编码单元、根据具有小于或等于最大编码单元的尺寸的编码单元来对图像执行编码或解 码。可W基于不大于相对应的编码单元的数据单元，来选择在编码期间用于频率变换的变 换单元的尺寸。
[0122] 例如，在根据实施例的视频编码装置100或根据实施例的视频解码装置200中，如 果当前编码单元710的尺寸为64X64,则可W通过使用具有32X32的尺寸的变换单元来执 行频率变换。
[0123] 另外，可W通过对具有小于64X64的32X32、16X16、8X8W及4X4的尺寸的变换 单元中的每个执行频率变换可W对具有64X64的尺寸的编码单元710的数据进行编码，并 且然后，可W选择关于原始值(original)具有最小误差的变换单元。
[0124] 图8是根据本发明构思的实施例、用于描述根据深度的编码单元的编码信息的图。
[0125] 根据实施例的视频编码装置100的输出器130可W对作为关于编码模式的信息的、 针对与编码的深度相对应的每个编码单元的下述信息进行编码和传送:关于分区类型的信 息800、关于预测模式的信息810W及关于变换单元的尺寸的信息820。
[0126] 关于分区类型的信息800指示关于通过分割当前编码单元的预测单元所获得的分 区的形状的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，具有 2NX2N的尺寸的当前编码单元CU_0可W被分割为具有2NX2N的尺寸的分区802、具有2NXN 的尺寸的分区804、具有NX2N的尺寸的分区806W及具有NXN的尺寸的分区808中的任何一 个。运里，关于当前编码单元的分区类型的信息800被设定为指示具有2NXN的尺寸的分区 804、具有NX 2N的尺寸的分区806W及具有NXN的尺寸的分区808中的一个。
[0127] 关于预测模式的信息810指示每个分区的预测模式。例如，关于预测模式的信息 810可W指示对由信息800所指示的分区所执行的预测编码的模式，即，内部模式812、相互 模式814或跳过模式816.
[0128] 另外，关于变换单元的尺寸的信息820指示当对当前编码单元执行频率变换时要 基于的变换单元。例如，变换单元可W是第一内部变换单元822、第二内部变换单元824、第 一相互变换单元826或第二相互变换单元828。
[0129] 根据实施例的视频解码装置200的图像数据和编码信息提取器210可W提取并且 使用关于分区类型的信息800、关于预测模式的信息810W及关于变换单元的尺寸的信息 820，W用于根据每个较深的编码单元进行解码。
[0130] 图9是根据本发明构思的实施例、根据深度的编码单元的图。
[0131] 分割信息可W被用于指示深度的改变。分割信息指示当前深度的编码单元是否被 分割为较低深度的编码单元。
[0132] 用于具有0的深度和2N_0 X 2N_0的尺寸的编码单元900的预测编码的预测单元910 可W包括下述分区类型的分区：具有2N_0X2N_0的尺寸的分区类型912、具有2N_0XN_0的 尺寸的分区类型914、具有N_0X2N_0的尺寸的分区类型916W及具有N_0XN_0的尺寸的分 区类型918。图9仅示出了通过对称分割预测单元910所获得的分区类型912至918,但是分区 类型不限于此，并且预测单元910的分区可W包括不对称分区，具有预先确定的形状的分区 W及具有几何形状的分区。
[0133] 根据每个分区类型，需要对具有2N_0 X 2N_0的尺寸的一个分区、具有2N_0 X N_0的 尺寸的两个分区、具有N_0 X 2N_0的尺寸的两个分区W及具有N_0 XN_0的尺寸的四个分区 重复地执行预测编码。可W对具有2N_0 X 2N_0、N_0 X 2N_0、2N_0 X N_0 W及N_0 X N_0的尺寸 的分区执行采用内部模式和相互模式的预测编码。可W仅对具有2N_0X2N_0的尺寸的分区 执行采用跳过模式的预测编码。
[0134] 如果在具有2N_0 X 2N_0、2N_0 X N_0 W及N_0 X 2N_0的尺寸的分区类型912至916中 的一个中编码误差最小，则预测单元910可W不再被分割为较低深度。
[0135] 如果在具有N_0XN_0的尺寸的分区类型918中编码误差最小，则在操作920中，深 度可W从0被改变到IW分割分区类型918,并且可W对具有2的深度和N_0XN_0的尺寸的编 码单元930重复地执行编码W捜索最小编码误差。
[0136] 用于对具有1的深度和2N_1X2N_1(=N_0XN_0)的尺寸的编码单元930进行预测 编码的预测单元940可W包括下述分区类型的分区：具有2N_1 X 2N_1的尺寸的分区类型 942、具有2N_1XN_1的尺寸的分区类型944、具有N_1X2N_1的尺寸的分区类型946W及具有 N_1 XN_1的尺寸的分区类型948。
[0137] 如果在具有N_1XN_1的尺寸的分区类型948中编码误差最小，则在操作950中，深 度可W从1被改变到2W分割分区类型948,并且可W对具有2的深度和N_2XN_2的尺寸的编 码单元960重复地执行编码W捜索最小编码误差。
[0138] 当最大深度为加寸，根据每个深度的分割信息可W被设定直到深度变为d-1为止， 并且分割信息可W被设定直到深度变为d-2为止。换言之，当在操作970中与d-2的深度相对 应的编码单元被分割之后直到深度为d-1为止执行编码时，用于对具有d-1的深度和2N_(d- l)X2N_(d-l)的尺寸的编码单元980进行预测编码的预测单元990可W包括下述分区类型 的分区：具有2N_(d-l) X 2N_(d-l)的尺寸的分区类型992、具有2N_(d-l) X NJd-I)的尺寸 的分区类型994、具有NJd-I) X2N_(d-l)的尺寸的分区类型996W及具有NJd-I) XNJd-1)的尺寸的分区类型998。
[0139] 可W对分区类型之中的、具有2N_(d-l)X2N_(d-l)的尺寸的一个分区、具有2N_ (d-1) XNJd-I)的尺寸的两个分区、具有NJd-I) X 2N_(d-l)的尺寸的两个分区W及具有 N_(d-1) XNJd-I)的尺寸的四个分区重复地执行预测编码。
[0140] 即使当具有N_(d-l)XN_(d-l)的尺寸的分区类型998具有最小编码误差时，因为 最大深度为d，所W具有d-1的深度的编码单元CUJd-I)可W不再被分割为较低深度，用于 当前最大编码单元900的编码的深度可W被确定为d-1，并且当前最大编码单元900的分区 类型可W被确定为NJd-I) XN_(d-l)。另外，因为最大深度为d，所W用于具有d-1的深度的 编码单元952的分割信息不被设定。
[0141] 数据单元999可W被称为当前最大编码单元的"最小单元"。根据实施例的最小单 元可W是通过将具有最低编码的深度的最小编码单元分割为4个所获得的矩形数据单元。 通过重复地执行编码，根据实施例的视频编码装置100可W通过将编码单元900的根据深度 的编码误差进行比较来选择具有最小编码误差的深度W确定编码的深度，并且可W将相对 应的分区类型和预测模式设定为该编码的深度的编码模式。
[0142] 运样，在深度0、1、……、d的所有中对根据深度的最小编码误差进行比较，并且具 有最小编码误差的深度可W被确定为编码的深度。编码的深度、预测单元的分区类型、W及 预测模式可W作为关于编码模式的信息被编码并且被传送。另外，因为编码单元需要从深 度0被分割到该编码的深度，所W仅该编码的深度的分割信息需要被设定为0,并且除了该 编码的深度之外的深度的分割信息需要被设定为1。
[0143] 根据实施例的视频解码装置200的图像数据和编码信息提取器220可W提取并且 使用关于编码单元900的编码的深度和预测单元的信息W对编码单元912进行解码。根据实 施例的视频解码装置200通过使用根据深度的分割信息可W将在其中分割信息为0的深度 确定为编码的深度，并且可W使用关于相对应的深度的编码模式的信息W用于解码。
[0144] 图10至图12是根据本发明构思的实施例、用于描述编码单元、预测单元W及变换 单元之间的关系的图。
[0145] 编码单元1010是在最大编码单元中、与由根据实施例的视频编码装置100所确定 的编码的深度相对应的编码单元。预测单元1060是编码单元1010中的每个的预测单元的分 区，并且变换单元1070是编码单元中的每个的变换单元。
[0146] 当在编码单元1010中最大编码单元的深度为0时，编码单元1012和1054的深度为 1，编码单元 1014、1016、1018、1028、1050 W 及 1052 的深度为 2,编码单元 1020、1022、1024、 1026、1030、1032^及1048的深度为3，^及编码单元1040、1042、1044^及1046的深度为4。
[0147] 在预测单元1060中，通过分割编码单元来获得一些分区1014、1016、1022、1032、 1048、1050、1052 W及1054。换言之，分区1014、1022、1050 W及1054中的分区类型具有2NXN 的尺寸，分区1016、1048W及1052中的分区类型具有NX2N的尺寸，W及分区1032的分区类 型具有NXN的尺寸。编码单元1010的预测单元和分区小于或等于每个编码单元。
[0148] 在小于变换单元1070中的变换单元1052的数据单元中，对变换单元1052的图像数 据执行频率变换或逆频率变换。另外，变换单元1014、1016、1022、1032、1048、1050、1052 W 及1054就尺寸或形状而言与预测单元1060中的那些单元不同。换言之，根据实施例的视频 编码装置100和根据实施例的视频解码装置200可W对甚至在同一编码单元中的数据单元 单独地执行内部预测/运动估计/运动补偿W及频率变换/逆频率变换。
[0149] 因此，对最大编码单元的每个区域中具有层级结构的编码单元中的每个可W递归 地执行编码W确定最佳编码单元，并且因此可W获得具有递归树形结构的编码单元。编码 信息可W包括关于编码单元的分割信息、关于分区类型的信息、关于预测模式的信息W及 关于变换单元的尺寸的信息。表1示出了可W由根据实施例的视频编码装置100和根据实施 例的视频解码装置200所设定的编码信息。
[0150] [表 1]
[0153] 根据实施例的视频编码装置100的输出器130可W输出关于具有树形结构的编码 单元的编码信息，并且根据实施例的视频解码装置200的图像数据和编码信息提取器220可 W从所接收的比特流中提取关于具有树形结构的编码单元的编码信息。
[0154] 分割信息指示当前编码单元是否被分割为较低深度的编码单元。如果当前深度d 的分割信息为0,则其中当前编码单元不再被分割为较低深度的深度为编码的深度，并且因 此可W针对该编码的深度来定义关于分区类型、预测模式和变换单元的尺寸的信息。如果 当前编码单元根据分割信息进一步被分割，则需要对较低深度的四个分割的编码单元独立 地执行编码。
[0155] 预测模式可W是内部模式、相互模式W及跳过模式之一。可W在所有分区类型中 定义内部模式和相互模式，并且仅可W在具有2NX2N的尺寸的分区类型中定义跳过模式。
[0156] 关于分区类型的信息可W指示对称分区类型一一通过对称分割预测单元的高度 或宽度所获得的、具有2NX2N、2NXN、NX2NW及NXN的尺寸；W及不对称分区类型一一通 过不对称分割预测单元的高度或宽度所获得的、具有2NXnU、2NXnD、化X2NW及nRX2N的 尺寸。通过Wl:3和3:1对预测单元的高度进行分割来分别地获得具有2NXnU和2NXnD的尺 寸的不对称分区类型，W及通过W1:3和3:1对预测单元的宽度进行分割来分别地获得具有 化X 2N和nR X 2N的尺寸的不对称分区类型。
[0157] 变换单元的尺寸可W被设定为内部模式中的两个类型和相互模式中的两个类型。 换言之，如果变换单元的分割信息为0,则变换单元的尺寸被设定为2NX2N，其为当前编码 单元的尺寸。如果变换单元的分割信息为1，则可W通过对当前编码单元进行分割来获得变 换单元。另外，如果具有2NX2N的尺寸的当前编码单元的分区类型是对称分区类型，则变换 单元的尺寸可W被设定为NXN，并且如果当前编码单元的分区类型是非对称分区类型，贝U 变换单元的尺寸可W被设定为N/2XN/2。
[0158] 根据实施例，关于具有树形结构的编码单元的编码信息可W被指派给与编码的深 度相对应的编码单元、预测单元W及最小单元中的至少一个。与编码的深度相对应的编码 单元可W包括包含相同的编码信息的预测单元和最小单元中的至少一个。
[0159] 因此，通过对相邻数据单元的编码信息进行比较来确定相邻数据单元是否被包括 在与编码的深度相对应的相同的编码单元中。另外，可W通过使用数据单元的编码信息来 确定与编码的深度相对应的相应编码单元，并且因此，可W确定最大编码单元中的编码的 深度的分布。
[0160] 因此，如果通过参考相邻数据单元来预测当前编码单元，则可W直接地参考并且 使用在与当前编码单元相邻的较深编码单元中的数据单元的编码信息。
[0161] 可替换地，如果当前编码单元是通过参考邻居数据单元所编码的预测，则可W通 过使用数据单元的编码信息来捜索在较深的编码单元中与当前编码单元相邻的数据单元， 并且可W参考所捜索到的相邻编码单元W用于对当前编码单元进行预测编码。
[0162] 图13是根据表1的编码模式信息、用于描述编码单元、预测单元W及变