对图像编码的方法和设备及对图像解码的方法和设备的制作方法

对图像编码的方法和设备及对图像解码的方法和设备的制作方法
【专利摘要】提供了一种对图像编码的方法和设备及对图像解码的方法和设备。对图像进行编码的方法，所述方法包括：将当前画面划分为至少一个最大编码单位；通过基于根据深度的较深编码单位对所述至少一个最大编码单位的图像数据进行编码，确定所述至少一个最大编码单位的划分结构和每个编码单位的预测模式和分块；根据每个编码单位设置跳过信息和关于包括每个编码单位的上级深度的编码单位的划分的划分信息；对根据每个编码单位设置的划分信息和跳过信息进行编码。
【专利说明】对图像编码的方法和设备及对图像解码的方法和设备
[OOOU 本申请是申请日为2010年07月23日，申请号为"201080034035. 7"，标题为"对 图像编码的方法和设备及对图像解码的方法和设备"的发明专利申请的分案申请。

【技术领域】
[0002] 本发明设及对图像进行编码和解码。

【背景技术】
[0003] 图像预测编码方法的示例包括帖内预测方法和帖间预测方法。帖内预测方法是一 种基于单个帖中的相邻像素的相关性的预测方法。帖间预测方法是一种经由运动预测和补 偿来预测与从相邻帖编码的数据相似的区域的方法。
[0004] 通常，一个块的运动矢量与相邻块的运动矢量具有紧密相关性。因此，通过从相邻 块预测当前块的运动矢量，并仅对当前块的运动矢量与预测运动矢量之间的差别运动矢量 进行编码，可减少在编码期间产生的比特量。
[0005] 跳过模式是在宏块的运动矢量与通过使用相邻块的运动矢量预测的预测运动矢 量相同时并且预测错误足够小时选择的模式。当跳过模式被选择作为宏块的预测模式时， 编码器仅发送关于宏块的跳过模式的信息，且不发送残差数据。解码器可通过使用从与宏 块相邻的块预测的预测运动矢量对W跳过模式编码的宏块执行运动补偿来恢复所述宏块。
[0006] 技术问题
[0007] 本发明所要解决的技术问题是提供一种用于对图像进行编码和解码的方法和设 备，其中，所述方法和设备有效地发送关于基于不同大小的分层编码单位而编码的图像的 划分结构的信息W及关于每个编码单位的跳过模式的信息。
[000引技术方案
[0009] 本发明提供了一种用于对图像进行编码和解码的方法和设备，其中，所述方法和 设备有效地发送关于基于不同大小的分层编码单位而编码的图像的划分结构的信息W及 关于每个编码单位的跳过模式的信息。
[0010] 有益效果
[0011] 本发明可提供用于对图像进行编码和解码的方法和设备，其中，所述方法和设备 有效地发送关于基于不同大小的分层编码单位而编码的图像的划分结构的信息W及关于 每个编码单位的跳过模式的信息。

【专利附图】

【附图说明】
[0012] 图1是根据本发明的实施例的用于对图像编码的设备的框图；
[0013] 图2是根据本发明的实施例的用于对图像解码的设备的框图；
[0014] 图3是用于描述根据本发明的实施例的分层编码单位的概念的示图；
[0015] 图4是根据本发明的实施例的基于编码单位的图像编码器的框图；
[0016] 图5是根据本发明的实施例的基于编码单位的图像解码器的框图；
[0017] 图6是示出根据本发明的实施例的根据深度的较深编码单位w及预测单位的示 图；
[0018] 图7是用于描述根据本发明的实施例的编码单位和变换单位之间的关系的示图；
[0019] 图8是用于描述根据本发明的实施例的与编码深度相应的编码单位的编码信息 的示图；
[0020] 图9是根据本发明的实施例的根据深度的较深编码单位的示图；
[0021] 图10至图12是用于描述根据本发明的实施例的编码单位、预测单位和频率变换 单位之间的关系的示图；
[0022] 图13是用于描述根据本发明的实施例的在编码单位、预测单位或分块与变换单 位之间的关系的示图；
[0023] 图14是根据本发明的实施例的基于较深编码单位而确定的最大编码单位的划分 结构的示图；
[0024] 图15是用于描述图14的具有深度2的编码单位的划分信息的示图；
[0025] 图16是用于描述图14的具有深度3的编码单位的划分信息的示图；
[0026] 图17是用于描述根据本发明的实施例的编码单位的处理顺序的示图；
[0027] 图18是示出根据本发明的实施例的对图像进行编码的方法的流程图；
[002引图19是示出根据本发明的另一实施例的对图像进行编码的方法的流程图；
[0029] 图20是示出根据本发明的实施例的对图像进行解码的方法的流程图；
[0030] 图21是示出根据本发明的实施例的根据对图像进行解码的方法，对最大解码单 位进行划分的处理W及对跳跃信息进行解码的处理的流程图；
[0031] 图22是示出根据本发明的另一实施例的对图像进行解码的方法的流程图；
[0032] 图23是示出根据本发明的另一实施例的根据对图像进行解码的方法，对最大解 码单位进行划分的处理W及对跳跃信息进行解码的处理的流程图。
[0033] 最佳方式
[0034] 根据本发明的一方面，提供了一种对图像进行编码的方法，所述方法包括；将当前 画面划分为至少一个最大编码单位；通过基于随着深度加深而分层划分的根据深度的较深 编码单位对所述至少一个最大编码单位的图像数据进行编码，确定所述至少一个最大编码 单位的划分结构和每个编码单位的预测模式；根据每个编码单位设置关于包括每个编码单 位的上级深度的编码单位的划分的划分信息；根据每个编码单位设置表示确定的预测信息 是否是跳过模式的跳过信息；对根据每个编码单位设置的划分信息和跳过信息进行编码。
[0035] 根据本发明的另一方面，提供了一种对图像进行编码的方法，所述方法包括；将当 前画面划分为至少一个最大编码单位；通过基于随着深度加深而分层划分的根据深度的较 深编码单位对所述至少一个最大编码单位的图像数据进行编码，来确定所述至少一个最大 编码单位的划分结构和每个编码单位的预测模式；根据每个编码单位设置表示每个编码单 位的预测模式和包括每个编码单位的上级深度的预测模式中的每一个是否是跳过模式的 跳过信息；根据每个编码单位设置关于包括每个编码单位的上级深度的编码单位的划分的 划分信息；对根据每个编码单位设置的划分信息和跳过信息进行编码。
[0036] 根据本发明的另一方面，提供了一种对图像进行解码的方法，所述方法包括；从图 像数据提取关于包括将被解码的当前解码单位的上级深度的解码单位的划分的划分信息， 其中，基于随着深度加深而分层划分的根据深度的较深编码单位，根据最大编码单位对所 述图像数据进行编码；从图像数据提取表示当前解码单位的预测模式是否是跳过模式的跳 过信息；根据划分信息确定包括当前解码单位的最大解码单位的划分结构；根据跳过信息 确定当前解码单位的预测模式是否是跳过模式。
[0037] 根据本发明的另一方面，提供了一种对图像进行解码的方法，所述方法包括；从图 像数据提取表示将被解码的当前解码单位的预测模式和包括当前解码单位的上级深度的 解码单位的预测模式中的每一个是否是跳过模式的跳过信息，其中，基于随着深度加深而 分层划分的根据深度的较深编码单位，根据最大编码单位对所述图像数据进行编码；提取 关于包括当前解码单位的上级深度的解码单位的划分的划分信息；根据提取的跳过信息确 定当前解码单位的预测模式和上级深度的解码单位的预测模式中的每一个是否是跳过模 式；根据划分信息确定包括当前解码单位的最大解码单位的划分结构。
[003引根据本发明的另一方面，提供了一种对图像进行编码的设备，所述设备包括；最大 编码单位划分器，将当前画面划分为至少一个最大编码单位；编码深度确定器，通过基于随 着深度加深而分层划分的根据深度的较深编码单位对所述至少一个最大编码单位的图像 数据进行编码，确定所述至少一个最大编码单位的划分结构和每个编码单位的预测模式； 编码信息编码单元，根据每个编码单位设置关于包括每个编码单位的上级深度的编码单位 的划分的划分信息，根据每个编码单位设置表示确定的预测信息是否是跳过模式的跳过信 息，并对设置的划分信息和跳过信息进行编码。
[0039] 根据本发明的另一方面，提供了一种对图像进行编码的设备，所述设备包括；最大 编码单位划分器，将当前画面划分为至少一个最大编码单位；编码深度确定器，通过基于 随着深度加深而分层划分的根据深度的较深编码单位对所述至少一个最大编码单位的图 像数据进行编码，来确定所述至少一个最大编码单位的划分结构和每个编码单位的预测模 式；编码信息编码单元，根据每个编码单位设置表示每个编码单位的预测模式和包括每个 编码单位的上级深度的预测模式中的每一个是否是跳过模式的跳过信息；根据每个编码单 位设置关于包括每个编码单位的上级深度的编码单位的划分的划分信息；对设置的划分信 息和跳过信息进行编码。
[0040] 根据本发明的另一方面，提供了一种对图像进行解码的设备，所述设备包括；编码 信息提取器，从图像数据提取关于包括将被解码的当前解码单位的上级深度的解码单位的 划分的划分信息和表示当前解码单位的预测模式是否是跳过模式的跳过信息，其中，基于 随着深度加深而分层划分的根据深度的较深编码单位，根据最大编码单位对所述图像数据 进行编码；解码单元，根据划分信息确定包括当前解码单位的最大解码单位的划分结构并 根据跳过信息确定当前解码单位的预测模式是否是跳过模式。
[0041] 根据本发明的另一方面，提供了一种对图像进行解码的设备，所述设备包括；编码 信息提取器，从图像数据提取表示将被解码的当前解码单位的预测模式和包括当前解码单 位的上级深度的解码单位的预测模式中的每一个是否是跳过模式的跳过信息和关于包括 当前解码单位的上级深度的解码单位的划分的划分信息，其中，基于随着深度加深而分层 划分的根据深度的较深编码单位，根据最大编码单位对所述图像数据进行编码；解码单元， 根据提取的跳过信息确定当前解码单位的预测模式和上级深度的解码单位的预测模式中 的每一个是否是跳过模式，并根据划分信息确定包括当前解码单位的最大解码单位的划分 结构。

【具体实施方式】
[0042] 在下文中，将参照附图更充分地描述本发明，在附图中示出本发明的示例性实施 例。
[0043] 图1是根据本发明的实施例的图像编码设备100的框图。
[0044] 参照图1，根据当前实施例的图像编码设备100包括最大编码单位划分器110、编 码深度确定器120、图像数据编码单元130和编码信息编码单元140。
[0045] 最大编码单位划分器110可基于最大编码单位对当前画面（picture)或当前像条 (slice)进行划分。当前画面或当前像条被划分为至少一个最大编码单位。根据本发明的 实施例的最大编码单位可W是具有32X32、64X64、128X128、256X256等的大小的数据 单位，其中，所述数据单位的结构是具有2的平方的宽度和长度的正方形，所述宽度和长度 大于8。根据至少一个最大编码单位，图像数据可被输出到编码深度确定器120。
[0046] 根据本发明的实施例的编码单位可由最大编码单位和深度来表现。最大编码单位 表示当前画面的编码单位中具有最大大小的编码单位，所述深度表示从最大编码单位空间 划分编码单位的次数。随着深度加深，根据深度的较深编码单位（deeper coding unit)可 从最大编码单位被划分为最小编码单位。最大编码单位的深度是最上的深度，最小编码单 位的深度是最下的深度。由于与每个深度相应的编码单位的大小随着最大编码单位的深度 的加深而减小，因此与上级深度相应的编码单位可包括与下级深度相应的多个编码单位。
[0047] 如上所述，当前画面的图像数据根据编码单位的最大大小被划分为最大编码单 位，最大编码单位的每一个可包括根据深度而划分的较深编码单位。由于根据本发明的实 施例的最大编码单位根据深度被划分，因此可根据深度对包括在最大编码单位中的空域的 图像数据分层地分类。
[0048] 限制最大编码单位的高度和宽度被分层划分的总次数的编码单位的最大深度和 最大大小可被预先确定。该样的最大编码单位和最大深度可画面或像条单位被设置。 换句话说，可针对每个画面或像条设置不同的最大编码单位和不同的编码深度，并且包括 在最大编码单位中的最小编码单位的大小可根据最大深度而被不同的设置。该样，通过根 据画面或像条不同地设置最大编码单位和最大深度，可通过使用最大编码单位对平坦区域 的图像进行编码来提高编码效率，并且可通过使用具有比最大编码单位更小的大小的编码 单位对具有高复杂度的图像进行编码来提高图像的压缩效率。
[0049] 编码单位确定器120根据最大编码单位确定深度。可基于率失真（R-D)成本计算 来确定所述深度。详细地，编码深度确定器120对通过根据深度对最大编码单位的区域进 行划分而获得的至少一个划分区域进行编码，并根据所述至少一个划分区域来确定用于输 出最终编码的图像数据的深度。换句话说，编码深度确定器120通过根据当前画面的最大 编码单位，对根据深度的较深编码单位中的图像数据进行编码，并选择具有最小编码错误 的深度来确定编码深度。确定的最大深度被输出到编码信息编码单元140,并且根据最大编 码单位的图像数据被输出到图像数据编码单元130。
[0050] 基于与等于或小于最大深度的至少一个深度相应的较深编码单位来对最大编码 单位中的图像数据进行编码，并基于较深编码单位中的每一个来比较对图像数据进行编码 的结果。在对较深编码单位的编码错误进行比较之后可选择具有最小编码错误的深度。可 针对每个最大编码单位选择至少一个编码深度。
[0051] 随着编码单位根据深度被分层划分并且随着编码单位的数量增加，最大编码单位 的大小被划分。另外，通过单独测量图像数据的编码错误，一个最大编码单位中与相同深度 相应的编码单位可被划分为下级深度的编码单位。因此，即使图像数据被包括在一个最大 编码单位中，编码错误也会根据所述一个最大编码单位中的区域而不同，因此编码深度会 根据图像数据中的区域而不同。换句话说，最大编码单位可被划分为根据不同深度具有不 同大小的编码单位。因此，在一个最大编码单位中可确定一个或多个编码深度，并且可根据 至少一个编码深度的编码单位来划分最大编码单位的图像数据。
[0052] 因此，根据本发明的实施例的编码单位确定器120可确定包括在最大编码单位中 的具有树形结构的编码单位。根据本发明的实施例的"具有树形结构的编码单位"包括所 述最大编码单位中所包括的所有较深编码单位中与被确定为编码深度的深度相应的编码 单位。可在最大编码单位的相同区域中根据深度来分层确定编码深度的编码单位，并且可 在不同区域中独立确定编码深度的编码单位。类似地，当前区域中的编码深度可与另一区 域中的编码深度被相互独立地确定。
[0053] 根据本发明的实施例的最大深度是与从最大编码单位到最小编码单位的划分次 数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单位到最小编码单 位的总划分次数。根据本发明的实施例的第二最大深度可表示从最大编码单位到最小编码 单位的深度级（depth level)的总数。例如，当最大编码单位的深度为0时，最大编码单位 被划分一次的编码单位的深度可被设置为1，并且最大编码单位被划分两次的编码单位的 深度可被设置为2。该里，如果最小编码单位是最大编码单位被划分四次的编码单位，则存 在深度0、1、2、3和4的5个深度级，因此，第一最大深度可被设置为4,第二最大深度可被设 置为5。
[0054] 还可根据最大编码单位，基于根据等于或小于最大深度的深度的较深编码单位来 执行最大编码单位的预测编码和频率变换。换句话说，图像编码设备100可不同地选择用 于对图像数据进行编码的数据单位的大小和结构。为了对图像数据进行编码，执行诸如预 巧。、频率变换和滴编码的操作，并且同时可针对所有操作使用相同的数据单位或者针对每 个操作使用不同的数据单位。
[0055] 例如，图像编码设备100可选择与编码单位不同的数据单位，W预测编码单位。为 了 W最大编码单位执行预测编码，可基于与编码深度相应的编码单位（即，基于不再被划 分为与下级深度相应的编码单位的编码单位）来执行预测编码。在下文中，变为用于预测 的基本单位的编码单位现在将被称为"预测单位"。通过对预测单位进行划分获得的分块 (partition)可包括通过对预测单位的高度和宽度中的至少一个进行划分而获得的预测单 位或数据单位。
[0056] 例如，当2NX2N的编码单位（其中N是正整数）不再被划分并变为2NX2N的预 单位时，分块的大小可W是2NX2N、2NXN、NX2N或NXN。分块类型的示例可包括述过 对预测单位的高度或宽度进行对称划分而获得的对称分块、通过对预测单位的高度或宽度 进行非对称划分（诸如l:n或n:l)而获得的分块、通过对预测单位进行几何划分而获得的 分块、W及具有任意结构的分块。
[0057] 预测单位的预测模式可W是帖内模式、帖间模式和跳过模式中的至少一个。例如， 可对2NX 2N、2NX N、NX 2N或NX N的分块执行帖内模式或帖间模式。另外，可仅对2NX 2N 的预测单位执行跳过模式。如果编码单位包括多个预测单位，则对编码单位中的每个预测 单位独立地执行编码，从而选择具有最小编码错误的预测模式。
[005引可选择地，图像编码设备100可基于具有与编码单位不同大小的数据单位来频率 变换图像数据。为了频率变换编码单位，可基于具有小于或等于编码单位的大小的数据单 位来执行频率变换。在下文中，用作频率变换的基的数据单位现在将被称为"变换单位"。 与编码单位相似，编码单位中的变换单位可被递归地划分为较小大小的变换单位，因此，可 根据具有根据变换深度的树形结构的变换来对编码单位中的残差数据进行划分。
[0059] 还可在变换单位中设置根据本发明的实施例的变换深度，其中，所述变换深度指 示通过对编码单位的高度和宽度进行划分W达到变换单位的划分次数。例如，在当前的 2NX 2N的编码单位中，当变换单位的大小也是2NX 2N时，变换深度可W是0 ;当变换单位的 大小是NXN时，变换深度可W是1 ;当变换单位的大小是N/2XN/2时，变换深度可W是2。 换句话说，具有根据变换深度的树形结构的变换单位可被设置。根据编码深度的编码信息 不仅需要关于编码深度的信息、还需要关于与预测编码和频率变换相关的信息的信息。因 此，编码深度确定器120不仅确定具有最小编码错误的编码深度，还确定用于将预测单位 划分到分块的分块类型、根据预测单位的预测模式W及用于频率变换的变换单位的大小。
[0060] 编码深度确定器120可通过使用基于拉格朗日乘法（Lagrangian multiplier)的 率失真最优化，测量根据深度的较深编码单位的编码错误，W确定具有最优编码错误的最 大编码单位的划分结构。换句话说，编码深度确定器120可确定将从最大编码单位划分的 编码单位的结构，其中，编码单位的大小根据深度而不同。
[0061] 图像数据编码单元130 W比特流输出最大编码单位的图像数据，其中，基于由编 码深度确定器120确定的至少一个编码深度对最大编码单元的图像数据进行编码。由于已 通过编码深度确定器120执行了编码来测量最小编码错误，因此可通过使用最小编码错误 来输出编码的数据流。
[0062] 编码信息编码单元140 W比特流输出关于根据编码深度的编码模式的信息，其 中，基于由编码深度确定器120确定的至少一个编码深度对根据编码深度的编码模式的信 息进行编码。关于根据编码深度的编码模式的信息可包括关于编码模式的信息、关于用于 将预测单位划分至分块的分块类型的信息、根据预测单位的预测模式W及变换单位的大 小。
[0063] 可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，所述根据深 度的划分信息指示是否对下级深度而非当前深度的编码单位执行编码。如果当前编码单位 的当前深度是编码深度，则当前编码单位中的图像数据被编码并被输出，因此划分信息可 被定义为不将当前编码单位划分到下级深度。可选择地，如果当前编码单位的当前深度不 是编码深度，则对下级深度的编码单位执行编码，因此划分信息可被定义为将当前编码单 位划分至下级深度的编码单位。
[0064] 如果当前深度不是编码深度，则对被划分为下级深度的编码单位的编码单位执行 编码。由于在当前深度的一个编码单位中存在至少一个下级深度的编码单位，因此对下级 深度的每个编码单位重复执行编码，从而可对具有相同深度的编码单位递归地执行编码。
[00化]由于具有树形结构的编码单位被确定用于一个最大编码单位，并且关于至少一个 编码模式的信息被确定用于编码深度的编码单位，因此关于至少一个编码模式的信息可被 确定用于一个最大编码单位。另外，最大编码单位的图像数据的编码深度可根据位置而不 同，该是因为根据深度对图像数据进行分层划分，从而关于编码深度W及编码模式的信息 可被设置用于图像数据。
[0066] 因此，根据本发明的实施例的编码信息编码单元140可将关于相应的编码深度和 编码模式的编码信息分配给最大编码单位所包括的编码单位、预测单位和最小单位中的至 少一个。
[0067] 根据本发明的实施例的最小单位是通过将组成最低深度的最小编码单位划分为4 份而获得的矩形数据单位。可选择地，最小单位可W是可包括在最大编码单位所包括的所 有编码单位、预测单位、分块单位和变换单位中的最大矩形数据单位。例如，通过编码信息 编码单元140输出的编码信息可被分类为根据编码单位的编码信息和根据预测单位的编 码信息。根据编码单位的编码信息可包括关于预测模式的信息W及关于分块的大小的信 息。根据预测单位的编码信息可包括关于帖间模式的估计方向的信息、关于帖间模式的参 考图像索引的信息、关于运动矢量的信息、关于帖内模式的色度分量的信息、W及关于帖内 模式的插值方法的信息。另外，关于根据画面、像条或GOP定义的编码单位的最大大小的信 息W及关于最大深度的信息可被插入SPS(序列参数集合）或比特流的头。
[0068] 在图像编码设备100中，较深编码单位可W是通过将上级深度的编码单位（上一 层）的高度或宽度除W 2获得的编码单位。换句话说，在当前深度k的编码单位的大小是 2NX2N时，下级深度k+1的编码单位的大小是NXN。因此，当前深度的具有2NX2N的大小 的编码单位可包括最多4个NXN的下级深度的编码单位。
[0069] 因此，根据本发明的实施例的图像编码设备100可基于考虑当前画面的特性而确 定的最大编码单位的大小和最大深度，通过针对每个最大编码单位确定具有最优解构和最 优大小的编码单位，来形成具有树形结构的编码单位。另外，由于可通过使用各种预测模式 和频率变换中的任意一个来对每个最大编码单位执行编码，因此可考虑各种图像大小的编 码单位的特性来确定最优编码模式。
[0070] 如果在具有16X 16的大小的传统宏块中对具有高分辨率或大数据量的图像进行 编码，则每幅画面的宏块的数量急剧增加。因此，针对每个宏块产生的压缩信息的条数增 力口，从而难W发送压缩信息并且数据压缩效率降低。然而，通过使用图像编码设备100,由于 在考虑图像的大小的情况下增加编码单位的最大大小的同时，考虑图像的特性来调整编码 单位，因此图像压缩效率会增加。
[0071] 图2是根据本发明的实施例的图像解码设备200的框图。
[0072] 参照图2,图像解码设备200包括图像数据获得器210、编码信息提取器220和图 像数据解码单元230。针对图像解码设备200的各种操作的各种术语（诸如编码单位、深 度、预测单位、变换单位和关于各种编码模式的信息）的定义与参照图1和图像编码设备 100所描述的那些相同。图像数据获得器210接收由图像解码设备200接收的比特流并对 所述比特流进行解析来获得根据最大编码单位的图像数据，并将所述图像数据输出到图像 数据解码单元230。图像数据获得器210可从关于当前画面或像条的头提取关于当前画面 或像条的最大编码单位的信息。根据本发明的实施例的图像解码设备200根据最大编码单 位对图像数据解码。
[0073] 另外，编码信息提取器220通过对由图像解码设备200接收的比特流进行解析，提 取关于根据每个最大编码单位的，用于具有树形结构的编码单位的编码深度和编码模式的 信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码单元230。
[0074] 关于根据最大编码单位的编码深度和编码模式的信息可被设置用于关于与编码 深度相应的至少一个编码单位的信息，并且关于编码模式的信息可包括：关于与编码深度 相应的相应编码单位的分块类型的信息、关于预测模式的信息W及变换单位的大小。另外， 根据深度的划分信息可被提取作为关于编码深度的信息。
[0075] 由编码信息提取器220提取的关于根据每个最大编码单位的编码深度和编码模 式的信息是关于被确定为当编码器（诸如图像编码设备100)根据每个最大编码单位针对 根据深度的每个较深编码单位重复执行编码时产生最小编码错误的编码深度和编码模式 的信息。因此，图像解码设备200可通过根据产生最小编码错误的编码模式对图像数据进 行解码，来恢复图像。
[0076] 由于关于编码深度和编码模式的编码信息可被分配给相应编码单位、预测单位和 最小单位中的预定数据单位，因此编码信息提取器220可根据所述预定数据单位提取关于 编码深度和编码模式的信息。如果根据预定数据单位记录关于相应最大编码单位的编码深 度和编码模式的信息，则分配有相同的关于编码深度和编码模式的信息的预定数据单位可 被推断为是包括在同一最大编码单位中的数据单位。
[0077] 图像数据解码单元230通过基于由编码信息提取器220提取的关于根据最大编码 单位的编码深度和编码模式的信息对每个最大编码单位中的图像数据进行解码，来恢复当 前画面。换句话说，图像数据解码单元230可基于所提取的针对每个最大编码单位中所包 括的具有树形结构的编码单位中的每个编码单位的关于分块类型、预测模式W及变换单位 的信息，对已编码的图像数据进行解码。解码处理可包括帖内预测处理、包括运动补偿的运 动预测处理W及逆变换处理。
[007引图像数据解码单元230可基于关于根据编码深度的编码单位的预测单位的预测 模式和分块类型的信息，根据每个编码单位的分块和预测模式执行帖内预测或运动补偿。 另外，图像数据解码单元230可基于关于根据编码深度的编码单位的变换单位的大小的信 息，根据编码单位中的每个变换单位来执行逆变换，W根据最大编码单位执行逆变换。
[0079] 图像数据解码单元230可通过使用根据深度的划分信息，确定当前最大编码单位 的编码深度。如果划分信息指示图像数据在当前深度不再被划分，则当前深度是编码深度。 因此，图像数据解码单元230可通过使用关于预测单位的分块类型、预测模式和变换单位 的大小的信息，对当前最大编码单位中的已编码的数据的当前深度的编码单位进行解码。 换句话说，可通过观测为编码单位、预测单位和最小单位中的预定数据单位分配的编码信 息集合来收集包含编码信息的数据单位，其中，所述编码信息包括相同的划分信息，收集的 数据单位可被认为是将由图像数据解码单元230 W相同的编码模式解码的一个数据单位。
[0080] 图像解码设备200可获得关于当对每个最大编码单位递归执行编码时产生最小 编码单位错误的编码单位的信息，并且可使用所述信息W对当前画面进行解码。换句话说， 被确定为每个最大编码单位中的最优编码单位的具有树形结构的编码单位可被解码。因 此，即使图像数据具有高分辨率和大量数据，也可通过使用编码单位的大小和编码模式来 对所述图像数据进行有效解码，其中，通过使用从编码器接收的关于最优编码模式的信息， 根据图像数据的特性来自适应地确定编码单位的大小和编码模式。
[0081] 图3是用于描述根据本发明的实施例的分层编码单位的概念的示图。
[0082] 参照图3,可宽度X高度来表现编码单位的大小，并且编码单位的大小可W 是 64 X 64、32 X 32、16 X 16 和 8 X 8。64 X 64 的编码单位可被划分为 64 X 64、64 X 32、32 X 64 或32X32的分块，32X32的编码单位可被划分为32 X32、32X 16、16X32或16X16的分 块，16X16的编码单位可被划分为16X16、16X8、8X 16或8X8的分块，8X8的编码单位 可被划分为8X8、8X4、4X8或4X4的分块。
[0083] 在视频数据310中，分辨率是1920 X 1080,编码单位的最大大小是64并且最大深 度是2。在视频数据320中，分辨率是1920X1080,编码单位的最大大小是64并且最大深 度是3。在视频数据330中，分辨率是352X288,编码单位的最大大小是16并且编码深度 是1。图3中示出的最大深度是从最大编码单位到最小编码单位的划分总次数。
[0084] 如果分辨率高或者数据量大，则编码单位的最大大小可W较大，从而不仅提高编 码效率，还准确地反映图像的特性。因此，具有比视频数据330更高分辨率的视频数据310 和320的编码单位的最大大小可W是64。
[0085] 由于视频数据310的最大深度是2,因此视频数据310的编码单位315可包括具 有64的纵轴大小的最大编码单位W及具有32和16的纵轴大小的编码单位（该是因为通 过对最大编码单位划分两次，深度被加深至两层）。同时，由于视频数据330的最大深度是 1，因此视频数据330的编码单位335可包括具有16的纵轴大小的最大编码单位W及具有 8的纵轴大小的编码单位（该是因为通过对最大编码单位划分一次，深度被加深至一层）。
[0086] 由于视频数据320的最大深度是3,因此视频数据320的编码单位325可包括具 有64的纵轴大小的最大编码单位W及具有32、16和8的纵轴大小的编码单位（该是因为 通过对最大编码单位划分=次，深度被加深至3层）。随着深度加深，可精确地表现出详细 的信息。
[0087] 图4是根据本发明实施例的基于编码单位的图像编码器400的框图。
[008引根据本发明实施例的图像编码器400执行图像编码设备100的编码深度确定器 120的操作，W编码图像数据。
[0089] 参照图4,帖内预测器410对当前帖405中的帖内模式的预测单位执行帖内预测， 运动估计器420和运动补偿器425通过使用当前帖405 W及参考帖495对帖间模式的预测 单位执行帖间估计和运动补偿。
[0090] 基于从帖内预测器410、运动估计器420和运动补偿器425输出的预测单位产生残 差值，产生的残差值经由频率变换器430和量化器440作为量化的变换系数而输出。
[0091] 通过逆量化器460和频率逆变换器470将量化的变换系数恢复为残差值，恢复的 残差值在通过解块单元480和环路滤波单元490被后处理后被输出作为参考帖495。可通 过滴编码器450输出量化的变换系数作为比特流455。
[0092] 为了根据依照本发明实施例的图像编码方法执行编码，图像编码器400的所有部 件（即，帖内预测器410、运动估计器420、运动补偿器425、频率变换器430、量化器440、滴 编码器450、逆量化器460、频率逆变换器470、解块单元480和环路滤波单元490)在考虑每 个最大编码单位的最大深度的同时基于具有树结构的编码单位中的每个编码单位执行图 像编码操作。具体地，帖内预测器410、运动估计器420和运动补偿器425在考虑当前最大 编码单位的最大大小和最大深度的同时确定具有树结构的编码单位中的每个编码单位的 预测模式W及分块，频率变换器430确定具有树结构的编码单位中的每个编码单位中的变 换单位的大小。
[0093] 图5是根据本发明实施例的基于编码单位的图像解码器500的框图。
[0094] 参照图5,解析器510从比特流解析将被解码的图像数据W及关于解码所需的编 码的信息。编码的图像数据经由滴解码器520和逆量化器530作为逆量化的数据而输出， 逆量化的数据通过频率逆变换器540被恢复为残差值。通过将残差值与帖内预测器550的 帖内预测结果或运动补偿器560的运动补偿结果相加，来根据编码单位恢复残差值。恢复 的残差值通过解块单元570和环路滤波单元580 W用于预测随后的编码单位或画面。
[0095] 为了根据依照本发明实施例的图像解码方法执行解码，图像解码器500的所有部 件（即，解析器510、滴解码器520、逆量化器530、频率逆变换器540、帖内预测器550、运动 补偿器560、解块单元570和环路滤波单元580)基于最大编码单位、根据深度的编码单位、 预测单位W及变换单位来执行图像解码处理。具体地，帖内预测器550和运动补偿器560 通过考虑编码单位的最大大小和深度来确定编码单位的预测单位和预测模式，并且频率逆 变换器540通过考虑编码单位的最大大小和深度来确定变换单位的大小。
[0096] 图6是根据本发明实施例的根据深度的较深编码单位W及预测单位的框图。
[0097] 图像编码设备100和图像解码设备200使用分层编码单位，W考虑图像的特性。编 码单位的最大高度、最大宽度和最大深度可根据图像的特性被适应性地确定，或可被用户 不同地设置。根据深度的较深编码单位的大小可根据编码单位的预定最大大小被确定。 [009引在根据本发明实施例的编码单位的分层结构600中，编码单位的最大高度和最大 宽度均为64,最大深度为4。由于深度沿着分层结构600的竖直轴加深，所W较深编码单位 的高度和宽度均被划分。另外，沿着分层结构600的水平轴示出了预测单位和分块，预测单 位和分块是每个较深编码单位的预测编码的基础。
[0099] 编码单位610是分层结构600中的最大编码单位，其中，深度为0,大小（即高度 乘W宽度）为64X64。深度沿着竖直轴加深，存在大小为32X32且深度为1的编码单位 620、大小为16X16且深度为2的编码单位630、大小为8X8且深度为3的编码单位640 W 及大小为4X4且深度为4的编码单位650。大小为4X4且深度为4的编码单位650是最 小编码单位。
[0100] 此外，参照图6,根据每个深度沿着水平轴布置编码单位的预测单位和分块。换句 话说，如果大小为64X64且深度为0的编码单位610是预测单位，则预测单位可被划分为 包括在编码单位610中的分块，即，大小为64X64的分块610、大小为64X32的分块612、 大小为32X64的分块614 W及大小为32X32的分块616。
[0101] 类似地，大小为32X32且深度为1的编码单位620的预测单位可被划分为包括在 编码单位620中的分块，即，大小为32X32的分块620、大小为32X16的分块622、大小为 16X32的分块624 W及大小为16 X 16的分块626。
[0102] 大小为16 X 16且深度为2的编码单位630的预测单位可被划分为包括在编码单 位630中的分块，即，包括在编码单位630中的大小为16X 16的分块630、大小为16X8的 分块632、大小为8X 16的分块634 W及大小为8X8的分块636。
[0103] 大小为8X8且深度为3的编码单位640的预测单位可被划分为包括在编码单位 640中的分块，即，包括在编码单位640中的大小为8X8的分块640、大小为8X4的分块 642、大小为4X8的分块644 W及大小为4X4的分块646。
[0104] 大小为4 X 4且深度为4的编码单位650是最小编码单位，并且是最下级深度（the lowermost depth)的编码单位。编码单位650的预测单位仅被分配给大小为4X4的分块。 [01化]为了确定构成最大编码单位610的编码单位的至少一个编码深度，图像编码设备 100的编码深度确定器120对于与包括在最大编码单位610中的每个深度对应的编码单位 执行编码。
[0106] 包括相同范围和相同大小的数据的根据深度的较深编码单位的数量随着深度加 深而增大。例如，需要与深度2对应的四个编码单位来覆盖包括在与深度1对应的一个编 码单位中的数据。因此，为了根据深度比较相同数据的编码结果，与深度1对应的编码单位 W及与深度2对应的四个编码单位均被编码。
[0107] 为了对深度中的当前深度执行编码，可通过沿着分层结构600的水平轴对于与当 前深度对应的编码单位中的每个预测单位执行编码，来为当前深度选择最小编码错误。或 者，可通过随着深度沿分层结构600的竖直轴加深而对每个深度执行编码，通过根据深度 比较最小编码错误，来捜索最小编码错误。可选择编码单位610中的具有最小编码错误的 深度和分块作为编码单位610的编码深度和分块类型。
[0108] 图7是描述根据本发明实施例的编码单位710和变换单位720之间的关系的示 图。
[0109] 图像编码设备100或图像解码设备200对于每个最大编码单位根据具有小于或等 于最大编码单位的编码单位对图像编码或解码，所述编码单位的大小小于或等于最大编码 单位的大小。可基于不大于相应编码单位的数据单位来选择用于编码期间的频率变换的变 换单位的大小。例如，如果编码单位710的大小为64X64,则可使用大小为32X32的变换 单位720执行频率变换。另外，可通过对具有32X 32、16X16、8X8W及4X4大小的每个变 换单位执行频率变换来对具有64 X 64大小的编码单位710的数据执行编码（大小32 X 32、 16X 16、8X8 W及4X4小于64X64)，然后可选择具有最小编码错误的变换单位。
[0110] 图8是描述根据本发明实施例的与编码深度对应的编码单位的编码信息的示图。
[0111] 根据本发明实施例的图像编码设备100的图像数据编码单位130可针对与编码深 度对应的每个编码单位将关于分块类型的信息800、关于预测模式的信息810 W及关于变 换单位的大小的信息820编码为关于编码模式的信息，并将其发送。
[0112] 信息800指示关于通过划分当前编码单位的预测单位而获得的分块结构的信息， 其中，分块是用于对当前编码单位进行预测编码的数据单位。例如，大小为2NX2N的当前 编码单位CU_0可被划分为大小为2NX2N的分块802、大小为2NXN的分块804、大小为 NX2N的分块806 W及大小为NXN的分块808中的任何一个。该里，关于分块类型的信息 800被设置为指示大小为2NX2N的分块802、大小为2NXN的分块804、大小为NX2N的分 块806 W及大小为NXN的分块808中的一个。
[0113] 信息810指示每个分块的预测模式。例如，信息810可指示对由信息800所指示 的分块执行预测编码的模式，即，帖内模式812、帖间模式814或跳过模式816。
[0114] 信息820指示当对当前编码单位执行频率变换时所基于的变换单位的大小。例 如，变换单位可W是第一帖内变换单位822、第二帖内变换单位824、第一帖间变换单位826 或第二帖间变换单位828。
[0115] 图像解码设备200的编码信息提取器220可根据每个较深编码单位提取并使用用 于解码的信息800、810和820。
[0116] 图9是根据本发明实施例的根据深度的较深编码单位的示图。
[0117] 划分信息可用于指示深度的变化。划分信息指示当前深度的编码单位是否被划分 为下级深度的编码单位。
[0118] 用于对深度为0且大小为2N_0X2N_0的编码单位900进行预测编码的预测单位 910可包括大小为2N_0X2N_0的分块类型912、大小为2N_0XN_0的分块类型914、大小为 N_0X2N_0的分块类型916 W及大小为N_0XN_0的分块类型918的分块。图9仅示出了通 过对称地划分预测单位910而获得的分块类型912至918,但是分块类型不限于此，预测单 位910的分块可包括非对称分块、具有预定结构的分块W及具有几何结构的分块。
[0119] 根据每个分块类型，对大小为2N_0X2N_0的一个分块、大小为2N_0XN_0的两个 分块、大小为N_0X2N_0的两个分块W及大小为N_0XN_0的四个分块重复执行预测编码。 可对大小为2N_0 X 2N_0、N_0 X 2N_0、2N_0 XN_0和N_0 XN_0的分块执行帖内模式和帖间模 式的预测编码。仅对大小为2N_0X2N_0的分块执行跳过模式的预测编码。如果在分块类 型912至916中的一个中编码错误最小，则可不将预测单位910划分为下级深度。
[0120] 如果在分块类型918中编码错误最小，则在操作920中深度从0变为1 W划分分 块类型918,并且对深度为2且大小为N_0 XN_0的编码单位930重复执行编码，W捜索最小 编码错误。
[012U 用于对深度为1且大小为2N_1X2N_1 ( = N_0XN_0)的编码单位930进行预测编 码的预测单位940可包括大小为2N_1X2N_1的分块类型942、大小为2N_1XN_1的分块类 型944、大小为N_1X2N_1的分块类型946 W及大小为N_1XN_1的分块类型948的分块。
[0122] 如果在分块类型948中编码错误最小，则在操作950中深度从1变为2 W划分分 块类型948,并且对深度为2且大小为N_2 X N_2的编码单位960重复执行编码，W捜索最小 编码错误。
[0123] 当最大深度为d时，根据每个深度的划分操作可被执行直到深度变为d-1，并且 划分信息可被编码直到深度为0至d-2中的一个。换句话说，在操作970将与深度d-2 对应的编码单位划分之后，当执行编码直到深度为d-1时，用于对深度为d-1且大小为 2N_ (d-1) X 2N_ (d-1)的编码单位980进行预测编码的预测单位990可包括大小为2N_ (d-1) X2N_(d-l)的分块类型992、大小为2N_(d-l) XN_(d-l)的分块类型994、大小为N_ (d-1) X2N_ (d-1)的分块类型996 W及大小为N_ (d-1) XN_ (d-1)的分块类型998的分块。
[0124] 可对分块类型992至998中的大小为2N_(d-l) X2N_(d-l)的一个分块、大小 为2N_(d-1) XN_(d-1)的两个分块、大小为N_(d-1) X 2N_(d-1)的两个分块、大小为N_ (d-1) XN_(d-1)的四个分块重复执行预测编码，W捜索具有最小编码错误的分块类型。即 使当分块类型998具有最小编码错误时，由于最大深度为山所W深度为d-1的编码单位 CU_(d-1)不再被划分为下级深度，构成当前最大编码单位900的编码单位的编码深度被确 定为d-1，并且最大编码单位900的分块类型被确定为N_ (d-1) XN_ (d-1)。此外，由于最大 深度为山并且最低深度为d-1的最小编码单位980不再被划分为下级深度，所W不设置最 小编码单位980的划分信息。
[0125] 数据单位999可W是用于当前最大编码单位的"最小单位"。根据本发明实施例的 最小单位可W是通过将最小编码单位980划分为4部分而获得的矩形数据单位。通过重复 地执行编码，图像编码设备100可通过比较根据编码单位900的深度的编码错误来选择具 有最小编码错误的深度W确定编码深度，并且可将相应的分块类型和预测模式设置为编码 深度的编码模式。
[0126] 因此，在所有深度1至d中比较根据深度的最小编码错误，并且具有最小编码错误 的深度可被确定为编码深度。预测单位的分块类型、编码深度和预测模式可作为关于编码 模式的信息被编码和发送。此外，由于从深度0至编码深度来划分编码单位，所W只有编码 深度的划分信息被设置为0,并且除了编码深度之外的深度的划分信息被设置为1。
[0127] 根据本发明实施例的图像解码设备200的编码信息提取器220可提取并使用关于 编码单位900的编码深度W及预测单位的信息，W对编码单位900解码。根据本发明实施 例的图像解码设备200可通过使用根据深度的划分信息将划分信息为0的深度确定为编码 深度，并且可使用关于相应深度的编码模式的信息进行解码。
[0128] 图10至图12是描述根据本发明实施例的编码单位1010、预测单位1060和频率变 换单位1070之间的关系的示图。
[0129] 编码单位1010是最大编码单位中的与由图像编码设备100确定的编码深度对应 的编码单位。预测单位1060是每个编码单位1010的预测单位的分块，变换单位1070是每 个编码单位1010的变换单位。
[0130] 当最大编码单位的深度为0时，编码单位1012和1054的深度为1，编码单位1014、 1016、1018、1028、1050 和 1052 的深度为 2,编码单位 1020、1022、1024、1026、1030、1032 和 1048的深度为3,编码单位1040、1042、1044和1046的深度为4。
[0131] 在预测单位1060中，通过在编码单位1010中划分编码单位来获得一些编码单 位 1014、1016、1022、1032、1048、1050、1052 和 1054。换句话说，编码单位 1014、1022、1050 和1054中的分块类型的大小为2NXN，编码单位1016U048和1052的分块类型的大小为 NX 2N，编码单位1032的分块类型的大小为NXN。编码单位1010的预测单位和分块小于或 等于每个编码单位。
[0132] W小于编码单位1052和1054的数据单位对变换单位1070中的编码单位1052和 1054的图像数据执行频率变换和频率逆变换。另外，变换单位1070中的编码单位1014、 1016、1022、1032、1048、1050、1052 和 1054 与预测单位 1060 中的编码单位 1014、1016、 1022、1032、1048、1050、1052和1054在大小和结构上不同。换句话说，视频编码设备100和 视频解码设备200可基于各个数据单位对相同的编码单位执行预测、频率变换和频率逆变 换。因此，对每个编码单位递归地执行编码W确定最佳编码单位，因此可获得具有递归树结 构的编码单位。
[0133] 编码信息可包括关于编码单位的信息、关于分块类型的信息、关于预测模式的信 息W及关于变换单位的大小的信息。表1示出了可由图像编码设备100和图像解码设备 200设置的编码信息。
[0134] [表 U
[0135]

【权利要求】
1. 一种对图像进行解码的方法，所述方法包括： 从比特流提取指示是否将上级深度的编码单位划分为较深深度的编码单位的划分信 息； 根据划分信息确定最大编码单位的划分结构； 从比特流提取指示当前编码单位的预测模式是否是跳过模式的跳过信息； 当跳过信息指示当前编码单位的预测模式是跳过模式时，将当前编码单位确定为预测 模式是跳过模式的一预测单元； 当跳过信息指示当前编码单位的预测模式不是跳过模式时，根据当前编码单位的分区 类型从当前编码单位获得一个或更多个预测单元， 其中，分区类型包括对称地对当前块进行划分的对称分区类型和非对称地对当前块进 行划分的非对称分区类型。
【文档编号】H04N19/96GK104486620SQ201410841773
【公开日】2015年4月1日 申请日期:2010年7月23日 优先权日:2009年7月24日
【发明者】郑海庆, 千岷洙, 闵正惠, 金壹求 申请人:三星电子株式会社