编码信息不仅需要关于编码深度的信息，还需 要与预测和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编 码深度，还确定预测单元中的分区类型、根据预测单元的预测模式和用于变换的变换单元 的尺寸。
[0061] 稍后将参照图3至图12详细描述根据示例性实施例的最大编码单元中的具有树 结构的编码单元W及确定编码单元和分区的方法。
[0062] 编码单元确定器120可通过使用基于拉格朗日乘数的率失真（RD)优化，来测量根 据深度的较深层编码单元的编码误差。
[0063] 输出单元130在比特流中输出最大编码单元的图像数据和关于根据编码深度的 编码模式的信息，其中，最大编码单元的图像数据是基于由编码单元确定器120确定的至 少一个编码深度而被编码的。
[0064] 可通过对图像的残差进行编码来获得编码的图像数据。
[0065] 关于根据编码深度的编码模式的信息可包括关于编码深度、预测单元中的分区类 型、预测模式和变换单元的尺寸的信息。
[0066] 可通过使用根据深度的划分信息来定义关于编码深度的信息，所述根据深度的划 分信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当 前深度是编码深度，则对当前深度的当前编码单元执行编码，因此可定义划分信息W不将 当前编码单元划分到更低深度。可选地，如果当前编码单元的当前深度不是编码深度，则对 更低深度的编码单元执行编码，因此可定义划分信息W对当前编码单元进行划分来获得更 低深度的编码单元。
[0067] 如果当前深度不是编码深度，则对被划分成更低深度的编码单元的编码单元执行 编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低 深度的每个编码单元重复执行编码，因此可对具有相同深度的编码单元递归地执行编码。
[0068] 由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编 码单元确定关于至少一个编码模式的信息，所W可针对一个最大编码单元确定关于至少一 个编码模式的信息。另外，由于根据深度对数据进行分层划分，因此最大编码单元的数据的 编码深度可根据位置而不同，因此可针对数据设置关于编码深度和编码模式的信息。
[0069] 因此，根据示例性实施例的输出单元130可将关于相应的编码深度和编码模式的 编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
[0070] 根据示例性实施例的最小单元是通过将构成最低深度的最小编码单元划分成4 份而获得的矩形数据单元。可选择地，最小单元可W是包括在最大编码单元中的所有编码 单元、预测单元、分区单元和变换单元中可包括的最大矩形数据单元。
[0071] 例如，通过输出单元130输出的编码信息可被分类为根据基于深度的较深层编码 单元的编码信息和根据预测单元的编码信息。根据基于深度的较深层编码单元的编码信息 可包括关于预测模式的信息和关于分区尺寸的信息。根据预测单元的编码信息可包括关于 帖间模式的估计方向的信息、关于帖间模式的参考图像索引的信息、关于运动矢量的信息、 关于帖内模式的色度分量的信息W及关于帖内模式的插值方法的信息。另外，针对每个画 面、条带或画面组（GO巧定义的关于编码单元的最大尺寸的信息和关于最大深度的信息可 被插入到比特流的头中。
[0072] 在根据最简单的实施例的视频编码设备100中，较深层编码单元是通过将更高深 度的编码单元（更高一层）的高度或宽度划分成两份而获得的编码单元。换言之，当当前 深度的编码单元的尺寸是2NX2N时，更低深度的编码单元的尺寸是NXN。另外，尺寸为 2NX2N的当前深度的编码单元可包括更低深度的最多4个编码单元。
[0073] 因此，根据示例性实施例的视频编码设备100可基于考虑当前画面的特征而确定 的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最优 尺寸的编码单元来形成具有树结构的编码单元。另外，由于可通过使用各种预测模式和变 换中的任意一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的图 像特征来确定最优编码模式。
[0074] 因此，如果W常规的宏块对具有高分辨率或大数据量的图像进行编码，则每个画 面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难W发送 压缩的信息，并且数据压缩效率降低。然而，通过使用根据示例性实施例的视频编码设备 100,由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，并同时在考虑图像的特征的 同时调整编码单元，因此可提高图像压缩效率。
[00巧]图2是根据本发明构思的示例性实施例的基于具有树结构的编码单元的视频解 码设备200的框图。
[0076] 根据示例性实施例的视频解码设备200包括接收器210、图像数据和编码信息提 取器220W及图像数据解码器230。在下文中，术语（诸如用于各种处理的编码单元、深度、 预测单元、变换单元和关于各种编码模式的信息）的定义与参照图1和视频编码设备100 描述的定义相同。
[0077] 接收器205接收和解析编码视频的比特流。图像数据和编码信息提取器220从解 析的比特流，针对每个编码单元提取编码的图像数据，并将提取的图像数据输出到图像数 据解码器230,其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息 提取器220可从关于当前画面的头提取关于当前画面的编码单元的最大尺寸的信息。
[0078] 另外，图像数据和编码信息提取器220从解析的比特流，根据每个最大编码单元， 提取关于具有树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编 码模式的信息被输出到图像数据解码器230。换言之，比特流中的图像数据被划分成最大编 码单元，使得图像数据解码器230针对每个最大编码单元对图像数据进行解码。
[0079] 可针对关于至少一个编码深度的信息来设置关于根据最大编码单元的编码深度 和编码模式的信息，关于根据每个编码深度的编码模式的信息可包括关于相应编码单元的 分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。另外，根据深度的划 分信息可被提取为关于编码深度的信息。
[0080] 由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深 度和编码模式的信息是关于运样的编码深度和编码模式的信息：该编码深度和编码模式被 确定为在编码器（诸如，视频编码设备100)根据每个最大编码单元对根据深度的每个较深 层编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产 生最小编码误差的编码模式对数据进行解码来重构图像。
[0081] 由于根据示例性实施例的关于编码深度和编码模式的编码信息可被分配给相应 的编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220 可根据预定数据单元，提取关于编码深度和编码模式的信息。当关于相应最大编码单元的 编码深度和编码模式的信息根据预定数据单元被记录时，可将具有相同的关于编码深度和 编码模式的信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。
[0082] 图像数据解码器230基于关于根据最大编码单元的编码深度和编码模式的信息， 通过对每个最大编码单元中的图像数据进行解码，来重构当前画面。换言之，图像数据解码 器230可基于提取的针对包括在每个最大编码单元中的具有树结构的编码单元之中的每 个编码单元的关于分区类型、预测模式和变换单元的信息，对编码的图像数据进行解码。解 码处理可包括预测（包含帖内预测和运动补偿）和逆变换。
[0083] 图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类 型和预测模式的信息，根据每个编码单元的分区和预测模式，执行帖内预测或运动补偿。
[0084] 另外，为了根据最大编码单元执行逆频率变换，图像数据解码器230可基于编码 单元中的每个变换单元执行逆频率变换。
[0085] 图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元 的编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深 度。因此，图像数据解码器230可通过使用当前最大编码单元的图像数据的关于预测单元 的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息，对当前深度的编 码数据进行解码。
[0086] 换言之，可通过观察分配给编码单元、预测单元和最小单元中的预定数据单元的 编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可 被认为是将由图像数据解码器230W相同编码模式进行解码的一个数据单元。
[0087] 根据示例性实施例的视频解码设备200可获得关于当针对每个最大编码单元递 归地执行编码时产生最小编码误差的编码单元的信息，并且可使用所述信息来对当前画面 进行解码。换言之，被确定为每个最大编码单元中的最优编码单元的具有树结构的编码单 元的编码的图像数据可被解码。
[0088] 因此，即使图像数据具有高分辨率和大数据量，也可使用从编码器接收到的关于 最优编码模式的信息，根据图像的特征自适应地确定的编码单元的尺寸和编码模式来高效 地对图像数据进行解码和重构。
[0089] 在下文中，将参照图3至图13描述根据本发明构思的示例性实施例的确定具有树 结构的编码单元、预测单元和变换单元的方法。
[0090] 图3是用于描述分层编码单元的概念的示图。
[0091] 编码单元的尺寸可被表示为"宽度X高度"，编码单元的尺寸的示例可包括 64X64、32X32、16X16 和 8X8。64X64 的编码单元可被划分成 64X64、64X32、32X64 或 32X32的分区，32X32的编码单元可被划分成32X32、32X16、16X32或16X16的分区， 16X16的编码单元可被划分成16X16、16X8、8X16或8X8的分区，8X8的编码单元可被 划分成8X8、8X4、4X8或4X4的分区。
[0092] 在视频数据310中，分辨率被设置为1920X1080,编码单元的最大尺寸被设置为 64,最大深度被设置为2。在视频数据320中，分辨率被设置为1920X1080,编码单元的最 大尺寸被设置为64,最大深度被设置为3。在视频数据330中，分辨率被设置为352X288， 编码单元的最大尺寸被设置为16,最大深度被设置为1。图3中示出的最大深度表示从最 大编码单元到最小解码单元的划分总次数。
[0093] 如果分辨率高或数据量大，则编码单元的最大尺寸可能较大，从而不仅提高编码 效率，而且准确地反映图像的特征。因此，具有比视频数据330更高分辨率的视频数据310 和320的编码单元的最大尺寸可W是64。
[0094] 由于视频数据310的最大深度是2,因此由于通过对最大编码单元划分两次，深度 加深至两层，因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元W及 长轴尺寸为32和16的编码单元。同时，由于视频数据330的最大深度是1，因此由于通过 对最大编码单元划分一次，深度加深至一层，因此视频数据330的编码单元335可包括长轴 尺寸为16的最大编码单元和长轴尺寸为8的编码单元。
[0095] 由于视频数据320的最大深度是3,因此由于通过对最大编码单元划分=次，深度 加深至3层，因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元W及 长轴尺寸为32、16和8的编码单元。随着深度加深，详细信息可被更精确地表达。
[0096] 图4是根据本发明构思的示例性实施例的基于编码单元的图像编码器的框图。
[0097] 根据示例性实施例的图像编码器400执行视频编码设备100的编码单元确定器 120的操作来对图像数据进行编码。换言之，帖内预测器410对当前帖405中的帖内模式下 的编码单元执行帖内预测，运动估计器420和运动补偿器425通过使用当前帖405和参考 帖495,对当前帖405中的帖间模式下的编码单元执行帖间估计和运动补偿。
[0098] 从帖内预测器410、运动估计器420和运动补偿器425输出的数据通过频率变换 器430和量化器440被输出为量化后的变换系数。具体地，当执行双向运动预测和补偿时， 根据本发明构思的示例性实施例的运动估计器420和运动补偿器425除了通过基于块执行 双向运动预测和补偿而获得的结果之外还W像素为单位执行双向运动补偿。下面将参照图 14详细描述运。
[0099] 量化后的变换系数通过反量化器460和逆变换器470被重构为空间域中的数据， 重构的空间域中的数据在通过去块单元480和环路滤波单元490后处理之后被输出为参考 帖495。量化后的变换系数可通过赌编码器450被输出为比特流455。
[0100] 为了将图像编码器400应用于根据示例性实施例的视频编码设备100中，图像编 码器400的所有元件（即，帖内预测器410、运动估计器420、运动补偿器425、频率变换器 430、量化器440、赌编码器450、反量化器460、逆变换器470、去块单元480和环路滤波单元 490)必须在考虑每个最大编码单元的最大深度的同时，基于具有树结构的编码单元中的每 个编码单元执行操作。
[0101] 具体地，帖内预测器410、运动估计器420和运动补偿器425必须在考虑当前最大 编码单元的最大尺寸和最大深度的同时，确定具有树结构的编码单元中的每个编码单元的 分区和预测模式，频率变换器430必须确定具有树结构的编码单元中的每个编码单元中的 变换单元的尺寸。
[0102] 图5是根据本发明构思的示例性实施例的基于编码单元的图像解码器的框图。
[0103] 解析器510从比特流505解析将被解码的编码的图像数据和解码所需的关于编码 的信息。编码图像数据通过赌解码器520和反量化器530被输出为反量化的数据，反量化 的数据通过逆变换器540被重构为空间域中的图像数据。
[0104] 针对空间域中的图像数据，帖内预测器550对帖内模式下的编码单元执行帖内预 ，运动补偿器560通过使用参考帖585对帖间模式下的编码单元执行运动补偿。具体地， 根据本发明构思的示例性实施例的运动补偿器560在执行双向运动补偿时，除了通过基于 块执行双向运动补偿而获得的结果之外还W像素为单位执行双向运动补偿。下面将参照图 14详细描述运。
[0105] 通过帖内预测器55