环路滤波单元580)基于针对每个最大编码单元的具有树结构的编码单元执 行操作。
[0123] 具体地讲，帧内预测器550和运动补偿器560基于每个具有树结构的编码单元的分 块和预测模式来执行操作，逆变换器540基于每个编码单元的变换单元的尺寸来执行操作。
[0124] 图6是示出根据本发明实施例的根据深度的更深的编码单元以及分块的示图。
[0125] 视频编码设备100和视频解码设备200使用分层编码单元，以考虑图像的特性。编 码单元的最大高度、最大宽度和最大深度可根据图像的特性被自适应地确定，或者可由用 户不同地设置。可根据编码单元的预定最大尺寸来确定根据深度的更深编码单元的尺寸。
[0126] 在根据本发明实施例的编码单元的分层结构600中，编码单元的最大高度和最大 宽度均是64，最大深度是3。这里，最大深度指不从最大编码单兀到最小编码单兀的根据深 度的编码单元的分割的总数。因为深度沿分层结构600的纵轴加深，所以更深的编码单元的 高度和宽度均被分割。另外，预测单元和分块沿分层结构600的横轴被示出，其中，所述预测 单元和分块是每个更深的编码单元的预测编码的基础。
[0127] 换句话说，编码单元610是分层结构600中的最大编码单元，其中，深度是0,尺寸 (即，高度乘以宽度)是64X64。深度沿纵轴加深，并且存在尺寸为32X32且深度为1的编码 单元620、尺寸为16 X 16且深度为2的编码单元630、尺寸为8X8且深度为3的编码单元640。 尺寸为8 X 8且深度为3的编码单兀640是最小编码单兀。
[0128] 编码单元的预测单元和分块根据每个深度沿横轴排列。换句话说，如果尺寸为64 X64且深度为0的编码单元610是预测单元，则预测单元可被分割为包括在编码单元610中 的分块，即，尺寸为64 X 64的分块610、尺寸为64 X 32的分块612、尺寸为32 X 64的分块614。 因为尺寸为64X64的编码单元610不是最小编码单元，所以不设置尺寸为32X32的分块。
[0129] 类似地，尺寸为32X32且深度为1的编码单元620的预测单元可被分割为包括在编 码单元620中的分块，即，尺寸为32 X 32的分块620、尺寸为32 X 16的分块622、尺寸为16 X 32 的分块624。因为尺寸为32X32的编码单元620不是最小编码单元，所以不设置尺寸为16X 16的分块。
[0130] 类似地，尺寸为16X16且深度为2的编码单元630的预测单元可被分割为包括在编 码单元630中的分块，即，包括在编码单元630中的尺寸为16 X 16的分块、尺寸为16 X 8的分 块632、尺寸为8X16的分块634。因为尺寸为16X16的编码单元630不是最小编码单元，所以 不设置尺寸为8X8的分块。
[0131 ] 最终，尺寸8 X 8且深度为3的编码单兀640的预测单兀是最小编码单兀并且具有最 低的深度，因此可被分割为包括在编码单元640中的分块，即，括在编码单元640中的尺寸为 8 X 8的分块、尺寸为8 X 4的分块642、尺寸为4 X 8的分块644以及尺寸为4 X 4的分块646。
[0132] 为了确定构成最大编码单元610的编码单元的至少一个编码深度，视频编码设备 100的编码单元确定器120针对与包括在最大编码单元610中的每个深度相应的编码单元执 行编码。
[0133] 根据深度的更深的编码单元的数量随着深度加深而增加，其中，所述根据深度的 更深的编码单元包括相同范围和相同大小的数据。例如，与深度2相应的四个编码单元需要 覆盖包括在与深度1对应的一个编码单元中的数据。因此，为了比较根据深度的相同数据的 编码结果，与深度1相应的编码单元和与深度2相应的四个编码单元均被编码。
[0134] 为了针对多个深度中的当前深度执行编码，可通过沿分层结构600的横轴对与当 前深度相应的编码单元中的每个预测单元执行编码，来针对当前深度选择最小编码误差。 可选择地，随着深度沿分层结构600的纵轴加深，可通过针对每个深度执行编码比较根据深 度的最小编码误差，来搜索最小编码误差。编码单兀610中具有最小编码误差的深度和分块 可被选择为编码单元610的编码深度和分块类型。
[0135] 图7是用于描述根据本发明实施例的编码单元710和变换单元720之间的关系的示 图。
[0136] 视频编码设备100或视频解码设备200针对每个最大编码单元，根据尺寸小于或等 于最大编码单元的编码单元对图像编码或解码。可基于不大于相应的编码单元的数据单元 来选择在编码期间用于变换的变换单元的尺寸。
[0137] 例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是64 X 64,则可通过使用尺寸为32X32的变换单元720来执行变换。
[0138] 此外，可通过对尺寸为小于64 X 64的32 X 32、16 X 16、8 X 8以及4 X 4的每个变换单 元执行变换来对尺寸为64 X 64的编码单元710的数据编码，随后可选择具有最小编码误差 的变换单元。
[0139] 图8是用于描述根据本发明实施例的与编码深度相应的编码单元的编码信息的示 图。
[0140]视频编码设备100的输出单元130可对关于分块类型的信息800、关于预测模式的 信息810和关于与编码深度相应的每个编码单元的变换单元的尺寸的信息820进行编码和 发送，作为关于编码模式的信息。
[0141] 信息800指示关于通过分割当前编码单元的预测单元获得的分块的形状的信息， 其中，所述分块是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2NX2N的当 前编码单元CU_0可被分割为尺寸为2N X 2N的分块802、尺寸为2N X N的分块804、尺寸为N X 2N的分块806中的任意一个。这里，关于分块类型的信息800被设置为指示尺寸为2NXN的分 块804以及尺寸为NX 2N的分块806中的一个。然而，当尺寸为2NX2N的当前编码单元CU_0是 最小编码单元时，关于分块类型的信息800可包括尺寸为N X N的分块808。
[0142] 信息810指示每个分块的预测模式。例如，信息810可指示对由信息800指示的分块 执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。
[0143] 信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可 以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换 单元828。
[0144] 视频解码设备200的图像数据和编码信息提取器220可根据每个更深的编码单元 提取并使用信息800、810和820以进行解码。
[0145] 图9是根据本发明实施例的根据深度的更深的编码单元的示图。
[0146] 分割信息可被用于指示深度的改变。分割信息指示当前深度的编码单元是否被分 割成更低深度的编码单元。
[0147] 用于对深度为0且尺寸为2N_0X2N_0的编码单元900进行预测编码的预测单元910 可包括尺寸为2N_0 X 2N_0的分块类型912的分块、尺寸为2N_0 X N_0的分块类型914的分块、 尺寸为N_0X2N_0的分块类型916的分块。图9仅示出了通过对称地分割预测单元910获得的 分块类型912至916,但是分块类型不限于此，并且预测单元910的分块可包括非对称的分 块、具有任意形状的分块和具有几何形状的分块。
[0148] 根据每个分块类型，对尺寸为2N_0 X 2N_0的一个分块、尺寸为2N_0 XN_0的两个分 块、尺寸为N_0 X 2N_0的两个分块重复执行预测编码。可对尺寸为2N_0 X 2N_0、N_0 X 2N_0、 2N_0 X N_0的分块执行帧内模式和帧间模式下的预测编码。可仅对尺寸为2N_0 X 2N_0的分 块执行跳过模式下的预测编码。
[0149] 如果在尺寸为21〇\21〇、1〇\21〇、21〇\1〇的分块类型912到分块类型916 的一个分块类型中编码误差最小，则预测单元910可以不被分割至更低的深度。然而，如果 在尺寸为N_0XN_0的编码单元930中编码误差最小，则深度从0改变到1，以执行分割(操作 920)，并对深度为1且尺寸为1^_0 XN_0的编码单兀920重复执行编码，以搜索最小编码误差。
[0150] 用于对深度为1且尺寸为211\211(=1〇\1〇)的编码单元930进行预测编码 的预测单元940可包括尺寸为2N_1X2N_1的分块类型942的分块、尺寸为2N_1XN_1的分块 类型944的分块、尺寸为【1 X 2N_1的分块类型946的分块。
[0151] 如果与尺寸为2N_1 X 2N_1、2N_1 XN_1、N_1 X 2N_1的分块类型942至946中的编码 误差相比，尺寸SN_2XN_2的编码单元960中编码误差最小，则深度从1改变到2以执行分割 (操作950)，并对深度为2且尺寸SN_2XN_2的编码单元960重复执行编码，以搜索最小编码 误差。
[0152] 当最大深度是d-1时，根据每个深度的编码单元可被分割，直到深度变为d-1，并且 分割信息可被编码，直到深度为〇至d-2之一。换句话说，在操作970中将与深度为d-2相应的 编码单元分割之后，当执行编码直到深度为d-1时，用于对深度为d-1且尺寸为2N_(d_l)X 2N_(d-l)的编码单元980进行预测编码的预测单元990可包括尺寸为2N_(d-l) X 2N_(d-l) 的分块类型992的分块、尺寸为2N_(d-1) X N_(d-1)的分块类型994的分块、尺寸为1 (d-1) X 2N_(d-l)的分块类型996的分块以及尺寸为N_(d-1) XN_(d-1)的分块类型998的分块。可 在分块类型992至分块类型998之中，对尺寸为2N_(d-l) X 2N_(d-l)的一个分块、尺寸为2N_ (d-l)XN_(d-l)的两个分块、尺寸为N_(d-l)X2N_(d-l)的两个分块、尺寸SN_(d-l)XN_ (d-1)的四个分块重复执行预测编码，以搜索具有最小编码误差的分块类型。
[0153] 即使当分块类型998具有最小编码误差时，因为最大深度为d-1，所以深度为d-1的 编码单元CU_(d-l)也不再被分割至更低深度，构成当前最大编码单元900的编码单元的编 码深度被确定为d-1，并且当前最大编码单元900的分块类型可被确定SN_(d-l)XN_(d- 1)。此外，因为最大深度为d-1，并且具有最低深度d-1的最小编码单元980不再被分割至更 低深度，所以不设置用于最小编码单元980的分割信息。
[0154] 因为深度为0且尺寸为2N_0X2N_0的编码单元900和深度为1且尺寸为2N_1 X2N_1 的编码单元930不是最小编码单元，所以尺寸为2N_0X2N_0的编码单元900的预测单元910 不会包括尺寸为N_0 XN_0的分块类型，尺寸为2N_1 X 2N_1的编码单元930的预测单元940不 会包括尺寸为N_1 X N_1的分块类型。
[0155] 然而，用于对作为最小编码单元的深度为d-1的编码单元980进行预测编码的预测 单元990可包括尺寸为N_(d-1) X N_(d-1)的分块类型998。
[0156] 数据单元999可以是用于当前最大编码单元的"最小单元"。根据本发明实施例的 最小单元可以是通过将最小编码单元980分割为4份而获得的矩形数据单元。通过重复地执 行编码，视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具有最小 编码误差的深度以确定编码深度，并且可将相应的分块类型和预测模式设置为编码深度的 编码模式。
[0157] 这样，在所有深度1至d中比较根据深度的最小编码误差，并且具有最小编码误差 的深度可被确定为编码深度。编码深度、预测单元的分块类型和预测模式可被编码和发送， 作为关于编码模式的信息。此外，因为从深度〇至编码深度来分割编码单元，所以只有编码 深度的分割信息被设置为〇,并且除了编码深度之外的深度的分割信息被设置为1。
[0158] 视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元 900的编码深度以及预测单元的信息，以对分块912解码。视频解码设备20