输出为反量化的数据。熵解码器520从比 特流获得与变换单元相关的元素，即，变换单元有效系数标记（cbf)、有效图、第一临界值标 记（coefT_abs_level_greaterl_flag)、第二临界值标记（coeff_abs_level_greather2_ flag)、变换系数的大小信息（coeff_abs_level_remaining)，并对获得的句法元素进行算 术编码以便重建句法元素，其中，cbf指示非0变换系数是否包括在变换单元中，有效图指 示非0变换系数的位置，第一临界值标记指示变换系数是否具有大于1的值，第二临界值标 记指示变换系数是否具有大于2的值，coeff_abs_level_remaining与基于第一临界值标 记和第二临界值标记确定的基本级别（baseLevel)和实际变换系数（abscoeff)之间的差 相应。
[0106] 逆变换器540将反量化的数据重建为空间域中的图像数据。针对空间域中的图像 数据，帧内预测器550对帧内模式下的编码单元执行帧内预测，运动补偿器560通过使用参 考帧585对帧间模式下的编码单元执行运动补偿。
[0107] 已经通过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块 滤波器570和环路滤波器580后处理之后被输出为重建帧595。另外，通过去块滤波器570 和环路滤波器580后处理的图像数据可被输出为参考帧585。
[0108] 为了将视频解码器500应用到视频解码设备200中，视频解码器500的所有元件 (即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器 560、去块滤波器570和环路滤波器580)针对每个最大编码单元，基于具有树结构的编码单 元执行操作。
[0109] 帧内预测器550和运动补偿器560确定具有树结构的每个编码单元的分区和预测 模式，逆变换器540必须确定每个编码单元的变换单元的尺寸。
[0110] 图6是示出根据本发明的实施例的根据深度的较深层编码单元以及分区的示图。
[0111] 视频编码设备1〇〇和视频解码设备200使用分层编码单元以考虑图像的特征。可 根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不 同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来 确定根据深度的较深层编码单元的尺寸。
[0112] 在根据本发明的实施例的编码单元的分层结构600中，编码单元的最大高度和最 大宽度均是64,最大深度是4。由于沿着分层结构600的垂直轴深度加深，因此较深层编码 单元的高度和宽度均被划分。另外，预测单元和分区沿着分层结构600的水平轴被示出，其 中，所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。
[0113] 换言之，在分层结构600中，编码单元610是最大编码单元，其中，深度为0,尺寸 (即，高度乘宽度）为64X64。深度沿着垂直轴加深，存在尺寸为32X32和深度为1的编 码单元620、尺寸为16X16和深度为2的编码单元630、尺寸为8X8和深度为3的编码单 元640、尺寸为4X4和深度为4的编码单元650。尺寸为4X4和深度为4的编码单元650 是最小编码单兀。
[0114] 编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换言之，如果尺寸 为64X64和深度为0的编码单元610是预测单元，则可将预测单元划分成包括在编码单元 610中的分区，S卩，尺寸为64X64的分区610、尺寸为64X32的分区612、尺寸为32X64的 分区614或尺寸为32X32的分区616。
[0115] 类似地，可将尺寸为32X32和深度为1的编码单元620的预测单元划分成包括在 编码单元620中的分区，S卩，尺寸为32X32的分区620、尺寸为32X16的分区622、尺寸为 16X32的分区624和尺寸为16X16的分区626。
[0116] 类似地，可将尺寸为16X16和深度为2的编码单元630的预测单元划分成包括在 编码单元630中的分区，S卩，包括在编码度单元630中的尺寸为16X16的分区630、尺寸为 16X8的分区632、尺寸为8X16的分区634和尺寸为8X8的分区636。
[0117] 类似地，可将尺寸为8X8和深度为3的编码单元640的预测单元划分成包括在编 码单元640中的分区，S卩，包括在编码单元640中的尺寸为8X8的分区、尺寸为8X4的分 区642、尺寸为4X8的分区644和尺寸为4X4的分区646。
[0118] 尺寸为4X4和深度为4的编码单元650是最小编码单元以及最低深度的编码单 元。编码单元650的预测单元仅被分配给尺寸为4X4的分区。
[0119] 为了确定构成最大编码单元610的编码单元的至少一个编码深度，视频编码设备 100的分层编码器120对包括在最大编码单元610中的与每个深度相应的编码单元执行编 码。
[0120] 随着深度加深，包括具有相同范围和相同尺寸的数据的根据深度的较深层编码单 元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在与深度1相应的一 个编码单元中的数据。因此，为了根据深度比较对相同数据进行编码的结果，与深度1相应 的编码单元和四个与深度2相应的编码单元均被编码。
[0121] 为了针对深度之中的当前深度执行编码，可沿着分层结构600的水平轴，通过对 与当前深度相应的编码单元中的每个预测单元执行编码，来针对当前深度选择最小编码误 差。可选地，随着深度沿着分层结构600的垂直轴加深，可通过针对每个深度执行编码，并 比较根据深度的最小编码误差，来搜索最小编码误差。在最大编码单元610中的具有最小 编码误差的深度和分区可被选为最大编码单元610的编码深度和分区类型。
[0122] 图7是用于描述根据本发明的实施例的在编码单元710和变换单元720之间的关 系的不图。
[0123] 视频编码设备100或视频解码设备200根据具有等于或小于最大编码单元的尺寸 的编码单元，对每个最大编码单元的图像进行编码或解码。可基于不大于相应的编码单元 的数据单元，来选择用于在编码期间进行变换的变换单元的尺寸。
[0124] 例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是 64X64,则可通过使用尺寸为32X32的变换单元720来执行变换。
[0125] 此外，可通过对小于64X64的尺寸为32X32、16X16、8X8和4X4的每个变换单 元执行变换，来对尺寸为64X64的编码单元710的数据进行编码，然后可选择具有最小编 码误差的变换单元。
[0126] 图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息 的示图。
[0127] 视频编码设备100的输出单元130可对与编码深度相应的每个编码单元的关于分 区类型的信息800、关于预测模式的信息810以及关于变换单元尺寸的信息820进行编码， 并将信息800、信息810和信息820作为关于编码模式的信息来发送。
[0128] 信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信 息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，可将尺寸为 2NX 2N的当前编码单元CU_0划分成以下分区中的任意一个：尺寸为2NX 2N的分区802、尺 寸为2NXN的分区804、尺寸为NX 2N的分区806以及尺寸为NXN的分区808。这里，关于 分区类型的信息800被设置来指示以下分区中的一个：尺寸为2NX2N的分区802、尺寸为 2NXN的分区804、尺寸为NX2N的分区806以及尺寸为NXN的分区808。
[0129] 信息810指示每个分区的预测模式。例如，信息810可指示对由信息800指示的 分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。
[0130] 信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元 可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间 变换单元828。
[0131] 视频解码设备200的图像数据和编码数据提取单元210可根据每个较深层编码单 元，提取并使用关于编码单元的信息、关于预测模式的信息810和关于变换单元的尺寸的 f目息820,以进彳丁编码。
[0132] 图9是根据本发明的实施例的根据深度的较深层编码单元的示图。
[0133] 划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是否被划分 成更低深度的编码单元。
[0134] 用于对深度为0和尺寸为2N_0X2N_0的编码单元900进行预测编码的预测单元 910可包括以下分区类型的分区：尺寸为2N_0X2N_0的分区类型912、尺寸为2N_0XN_0的 分区类型914、尺寸为N_0X2N_0的分区类型916和尺寸为N_0XN_0的分区类型918。图 9仅示出了通过对称地划分预测单元910而获得的分区类型912至918,但是分区类型不限 于此，并且预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状 的分区。
[0135] 根据每种分区类型，对尺寸为2N_0X2N_0的一个分区、尺寸为2N_0XN_0的两个 分区、尺寸为N_0X2N_0的两个分区和尺寸为N_0XN_0的四个分区重复地执行预测编码。 可对尺寸为2N_0X2N_0、N_0X2N_0、2N_0XN_0和N_0XN_0的分区执行帧内模式和帧间模 式下的预测编码。可仅对尺寸为2N_0X2N_0的分区执行跳过模式下的预测编码。
[0136] 如果在尺寸为2N_0X2N_0、2N_0XN_0和N_0X2N_0的分区类型912至916中的 一个分区类型中编码误差最小，则可不将预测单元910划分到更低深度。
[0137] 如果在尺寸为N_0XN_0的分区类型918中编码误差最小，则深度从0改变到1以 在操作920中划分分区类型918,并对深度为2和尺寸为N_0XN_0的分区类型编码单元重 复地执行编码来搜索最小编码误差。
[0138] 用于对深度为1和尺寸为2N_1X2N_1( =N_0XN_0)的（分区类型）编码单元 930进行预测编码的预测单元940可包括以下分区类型的分区：尺寸为2N_1X2N_1的分区 类型942、尺寸为2N_1XN_1的分区类型944、尺寸为N_1X2N_1的分区类型946以及尺寸 SN_1XN_1的分区类型948。
[0139] 如果在尺寸为N_1XN_1的分区类型948中编码误差最小，则深度从1改变到2以 在操作950中划分分区类型948,并对深度为2和尺寸为N_2XN_2的编码单元960重复地 执行编码来搜索最小编码误差。
[0140] 当最大深度是d时，根据每个深度的划分操作可被执行直到深度变成d-1，并且划 分信息可被编码直到深度为〇到d-2中的一个。换句话说，当编码被执行直到在与d-2的 深度相应的编码单元在操作970中被划分之后深度是d-1时，用于对深度为d-1和尺寸为 2N_(d-l)X2N_(d-l)的编码单元980进行预测编码的预测单元990可包括以下分区类型的 分区：尺寸为2N_(d-l)X2N_(d-l)的分区类型992、尺寸为2N_(d-l)XN_(d-l)的分区类 型994、尺寸为N_(d-l)X2N_(d-l)的分区类型996和尺寸SN_(d-l)XN_(d-l)的分区类 型 998。
[0141] 可对分区类型992至998中的尺寸为2N_(d-l)X2N_(d-l)的一个分区、尺寸 为21((1-1)\1((1-1)的两个分区、尺寸为1((1-1)\21((1-1)的两个分区、尺寸为1 (d-1)XN_(d-l)的四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。
[0142] 即使当尺寸为N_(d_l)XN_(d_l)的分区类型998具有最小编码误差时，由于最大 深度是d，因此深度为d-1的编码单元CU_(d-1)也不再被划分到更低深度，构成当前最大编 码单元900的编码单元的编码深度被确定为d-1，并且当前最大编码单元900的分区类型可 被确定为N_(d-1)XN_(d-1)。此外，由于最大深度是d，因此不设置最小编码单元952的划 分信息。
[0143] 数据单元999可以是用于当前最大编码单元的"最小单元"。根据本发明的实施例 的最小单元可以是通过将最小编码单元980划分成4份而获得的矩形数据单元。通过重复 地执行编码，视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具 有最小编码误差的深度以确定编码深度，并将相应分区类型和预测模式设置为编码深度的 编码模式。
[0144] 这样，在所有深度1至d中对根据深度的最小编码误差进行比较，并且具有最小编 码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型和预测模式可作为关 于编码模式的信息被编码并发送。另外，由于编码单元从〇的深度被划分到编码深度，因此 仅编码深度的划分信息被设置为0,并且除了编码深度以外的深度的划分信息被设置为1。
[0145] 视频解码设备200的熵解码器220可提取并使用关于编码单元900的编码深度和 预测单元的信息，来对编码单元912进行解码。视频解码设备200可通过使用根据深度的 划分信息，将划分信息为〇的深度确定为编码深度，并且使用关于相应深度的编码模式的 f目息来进行解码。
[0146] 图10至图12是用于描述根据本发明的实施例的编码单元1010、预测单元1060和 变换单元1070之间的关系的示图。
[0147] 编码单兀1010是最大编码单兀中的与由视频编码设备100确定的编码深度相应 的具有树结构的编码单元。预测单元1060是每个编码单元1010中的预测单元的分区，变 换单元1070是每个编码单元1010的变换单元。
[0148] 当在编码单元1010中最大编码单元的深度为0时，编码单元1012和1054的深度 是 1，编码单元 1014、1016、1018、1028、1050 和 1052 的深度是 2,编码单元 1020、1022、1024、 1026、1030、1032和1048的深度是3,编码单元1040、1042、1044和1046的深度是4。
[0149] 在预测单元1060中，通过划分编码单元来获得一些编码单元1014、1016、1022、 1032、1048、1050、1052和1054。换句话说，编码单元1014、1022、1050和1054中的分区类型 的尺寸是2NXN，编码单元1016、1048和1052中的分区类型的尺寸是NX2N，编码单元1032 的分区类型的尺寸就NXN。编码单元1010的预测单元和分区等于或小于每个编码单元。
[0150] 在小于编码单元1052的数