专利名称：通过使用大型变换单元编码和解码图像的方法和设备的制作方法
技术领域：
示例性实施例涉及一种编码和解码图像的方法和设备，更具体地说，涉及一种通过将像素域的图像变换为频域的系数来对图像进行编码和解码的方法和设备。
背景技术：
为了执行图像压缩，多数图像编码和解码方法和设备通过将像素域的图像变换为频域的系数来对图像编码。作为频率变换技术之一的离散余弦变换(DCT)是广泛使用于图像和声音压缩中的公知技术。使用DCT的图像编码方法包括:对像素域的图像执行DCT，生成离散余弦系数,量化生成的离散余弦系数,对生成的离散余弦系数执行熵编码。
发明内容
技术方案示例性实施例提供一种通过使用更有效的离散余弦变换(DCT)来对图像进行编码和解码的方法和设备，还提供一种其上记录了用于执行所述方法的程序的计算机可读记录介质。有益效果 根据一个或多个示例性实施例，可以将变换单元设置为比预测单元大，并执行DCT,从而可有效地对图像进行压缩和编码。
通过参照附图详细描述本发明的示例性实施例，示例性实施例的以上和其它特点将变得更清楚，其中:图1是根据示例性实施例的图像编码设备的框图；图2是根据另一示例性实施例的图像解码设备的示图；图3是根据另一示例性实施例的层次编码单元；图4是根据另一示例性实施例的基于编码单元的图像编码器的框图；图5是根据另一示例性实施例的基于编码单元的图像解码器的框图；图6示出根据另一示例性实施例的最大编码单元、次级编码单元和预测单元；图7是根据另一示例性实施例的编码单元和变换单元的示图；图8A和图8B示出根据另一示例性实施例的最大编码单元、预测单元和变换单元的划分形状；图9是根据另一示例性实施例的图像编码设备的框图；图10是变换器的示图1lA到图1lC示出根据另一示例性实施例的变换单元的类型；图12示出根据另一示例性实施例的不同变换单元；图13是根据另一示例性实施例的图像解码设备的框图；图14是根据示例性实施例的图像编码方法的流程图；图15是根据另一示例性实施例的图像解码方法的流程图。最佳实施方式根据示例性实施例的一方面，提供了一种图像编码方法，包括以下操作:通过选择多个相邻预测单元来设置变换单元；根据变换单元将所述多个相邻预测单元变换为频域，并生成频率分量系数；量化频率分量系数；对量化的频率分量系数执行熵编码。可基于指示大小缩减的等级的深度来执行设置变换单元的操作，所述大小缩减从当前片段或当前图片的最大编码单元到包括所述多个相邻预测单元的次级编码单元逐级执行。可通过选择根据相同预测模式执行预测的多个相邻预测单元来执行设置变换单元的操作。相同预测模式可以是帧间预测模式或帧内预测模式。图像编码方法还可包括通过对不同的变换单元重复执行上述操作来设置最佳变换单元的操作，其中，上述操作包括以下操作:通过选择多个相邻预测单元来设置变换单元，根据变换单元将所述多个相邻预测单元变换为频域并生成频率分量系数，量化频率分量系数并对量化的频率分量 系数执行熵编码。根据示例性实施例的另一方面，提供了一种图像编码设备，包括:变换器，通过使用多个相邻预测单元来设置变换单元，根据变换单元将所述多个相邻预测单元变换为频域并生成频率分量系数；量化单元，量化频率分量系数；熵编码单元，对量化的频率分量系数执行熵编码。根据示例性实施例的另一方面，提供了一种图像解码方法，包括以下操作:根据变换单元对通过被变换到频域而生成的频率分量系数进行熵解码；反量化频率分量系数；将频率分量系数反变换为像素域，并重构包括在变换单元中的多个相邻预测单元。根据示例性实施例的另一方面，提供了一种图像解码设备，包括:熵解码器，根据变换单元对通过被变换到频域而生成的频率分量系数进行熵解码的；反量化单元，反量化频率分量系数；反变换器，将频率分量系数反变换为像素域，并重构包括在变换单元中的多个相邻预测单元。根据示例性实施例的另一方面，提供了一种记录了用于执行图像编码和解码方法的计算机可读记录介质。
具体实施例方式在下文，将参照附图详细描述示例性实施例。在示例性实施例中，根据上下文，“单元”可表示或可不表示单元的大小，“图像”可表示视频的静止图像或运动图像(即，视频本身)。图1是根据示例性实施例的用于编码图像的设备100的框图。参照图1，设备100包括最大编码单元划分单元110、编码深度确定单元120、图像数据编码器130以及编码信息编码器140。最大编码单元划分单元110可基于作为最大大小的编码单元的最大编码单元划分当前图片或片段。也就是说，最大编码单元划分单元110可划分当前图片或片段以获得至少一个最大编码单元。根据示例性实施例，可使用最大编码单元和深度来表示编码单元。如上所述，最大编码单元指示当前图片的编码单元中的具有最大大小的编码单元，深度指示通过层次地减小编码单元而获得的次级编码单元的大小。随着深度增加，编码单元可在大小上从最大编码单元减小到最小编码单元，其中，最大编码单元的深度被定义为最小深度，最小编码单元的深度被定义为最大深度。由于编码单元的大小随着深度增加从最大编码单元减小，因此第k深度的次级编码单元可包括多个第(k+n) (k和η是等于或大于I的整数)深度的次级编码单元。根据将要编码的图片的大小的增加，以更大的编码单元对图像编码可得到更高的图像压缩率。然而，如果固定采用更大的编码单元，则考虑到连续变化的图像特征的因素，不能高效地编码图像。例如，当对诸如大海或天空的平滑区域进行编码时，编码单元越大，压缩率就会越增加。然而，当对诸如人物或建筑物的复杂区域进行编码时，编码单元越小，压缩率就会越增加。因此，根据示例性实施例，对每个图片或片段设置不同最大图像编码单元和不同最大深度。由于最大深度表示编码单元可减小的倍数的最大数量，因此可根据最大深度不同地设置包括在最大图像编码单元中的每个最小编码单元的大小。编码深度确定单元120确定最大深度。可基于速率失真(R-D)成本的计算来确定最大深度。可为每个图片或 片段或每个最大编码单元不同地确定最大深度。确定的最大深度被提供到编码信息编码器140，根据最大编码单元的图像数据被提供到图像数据编码器130。最大深度表示可包括在最大编码单元中的具有最小大小的编码单元(即最小编码单元)。换句话说，最小编码单元可被划分为根据不同深度的具有不同大小的次级编码单元。稍后参照图8Α到图SB对此详细描述。此外，可基于具有不同大小的处理单元预测或变换包括在最大编码单元中的具有不同大小的次级编码单元。换句话说，设备100可基于具有不同大小和不同形状的处理单元执行用于图像编码的多种处理操作。为了对图像数据进行编码，执行诸如预测、变换和熵编码的处理操作，其中，具有相同大小的处理单元可用于每个操作，或者具有不同大小的处理单元可用于每个操作。例如，设备100可选择与编码单元不同的处理单元来预测所述编码单元。当编码单元的大小是2ΝΧ 2Ν(其中N是正整数)时，用于预测的处理单元可以是2ΝΧ2Ν、2ΝΧΝ、ΝΧ2Ν和ΝΧΝ。换句话说，可基于具有编码单元的高和宽中的至少一个被等分为二的形状的处理单元来执行运动预测。在下文，作为预测的基础的处理单元被定义为“预测单元”。预测模式可以是巾贞内模式(intra-mode)、巾贞间模式(inter-mode)、跳过模式和仅对具有特定大小或形状的预测单元执行的特定预测模式中的至少一个。例如，可仅对具有2NX2N和NXN的大小的形状为正方形的预测单元执行帧内模式。此外，仅对具有2NX2N的大小的预测单元执行跳过模式。如果多个预测单元存在于编码单元中，则可在对每个预测单元执行预测之后选择具有最少编码错误的预测模式。可选择地，设备100可基于具有与编码单元的大小不同大小的处理单元对图像数据执行频率变换。对于编码单元中的频率变换而言，可基于具有与编码单元的大小相同的大小或比编码单元的大小小的大小的处理单元执行频率变换。在下文，作为频率变换基础的处理单元被定义为“变换单元”。频率变换可以是离散余弦变换(DCT)或Karhunen-Loeve变换(KLT)。编码深度确定单元120可使用基于拉格朗日乘数的RD优化来确定包括在最大编码单元中的次级编码单元。换句话说，编码深度确定单元120可确定从最大编码单元划分的多个次级编码单元的形状，其中，所述多个次级编码单元根据它们的深度具有不同的大小。图像数据编码器130通过基于由编码深度确定单元120确定的划分形状(即，划分最大编码单元的形状)对最大编码单元进行编码来输出比特流。编码信息编码器140对与由编码深度确定单元120确定的最大编码单元的编码模式有关的信息进行编码。换句话说，编码信息编码器140通过对关于最大编码单元的划分形状的信息、关于最大深度的信息以及关于每个深度的次级编码单元的编码模式的信息进行编码来输出比特流。关于次级编码单元的编码模式的信息可包括:关于次级编码单元的预测单元的信息、关于每个预测单元的预测模式的信息以及关于次级编码单元的变换单元的信息。由于每个最大编码单元存在具有不同大小的次级编码单元，并且必须为每个次级编码单元确定关于编码模式的信息，因此可为一个最大编码单元确定关于至少一个编码模式的信息。设备100可根据深度的增加通过将最大编码单元的高和宽两者等分为二来生成次级编码单元。也就是说，当第k深度的编码单元的大小是2NX2N时，第(k+Ι)深度的编码单元的大小是NXN。 因此，根据示例性实施例的设备100可考虑到图像特征，基于最大编码单元的大小和最大深度确定每个最大编码单元的最佳划分形状。通过考虑到图像特征不同地调整最大编码单元的大小，并通过将最大编码单元划分为不同深度的次级编码单元来对图像编码，可更有效地对具有不同分辨率的图像进行编码。图2是根据示例性实施例的用于解码的设备200的框图。参照图2，设备200包括图像数据获得单元210、编码信息提取单元220以及图像数据解码器230。图像数据获得单元210通过解析由设备200接收的比特流来获得根据最大编码单元的图像数据，并将图像数据输出到图像数据解码器230。图像数据获得单元210可从当前图片或片段的头提取关于当前图片或片段的最大编码单元的信息。换句话说，图像数据获得单元210按照最大编码单元划分比特流，从而图像数据解码器230可根据最大编码单元对图像数据进行解码。编码信息提取单元220通过解析由设备200接收的比特流来从当前图片的头提取关于最大编码单元、最大深度、最大编码单元的划分形状以及次级编码单元的编码模式的信息。关于划分形状的信息和关于编码模式的信息被提供到图像数据解码器230。
关于最大编码单元的划分形状的信息可包括关于根据包括在最大编码单元中的深度具有不同大小的次级编码单元的信息，关于编码模式的信息可包括关于根据次级编码单元的预测单元的信息、关于预测模式的信息以及关于变换单元的信息。图像数据解码器230通过基于由编码信息提取单元220提取的信息对每个最大编码单元的图像数据进行解码来恢复当前图片。图像数据解码器230可基于关于最大编码单元的划分形状的信息对包括在最大编码单元中的次级编码单元进行解码。解码处理可包括指示帧内预测和运动补偿的预测处理以及反变换处理。为了预测预测单元，图像数据解码器230可基于关于预测单元的信息和关于预测模式的信息执行帧内预测或帧间预测。图像数据解码器230还可基于关于次级编码单元的变换单元的信息对每个次级编码单元执行反变换。图3示出根据示例性实施例的层次编码单元。参照图3，根据示例性实施例的层次编码单元可包括宽X高为64X64、32X32、16X16、8X8和4X4的编码单元。除了这些具有完美正方形形状的编码单元之外，还可存在宽 X 高为 64X32、32X64、32X16、16X32、16X8、8X16、8X4 和 4X8 的编码单元。参照图3，对于分辨率为1920X1080的图像数据310而言，最大编码单元的大小被设置为64 X 64，最大深度被设置为2。对于分辨率为1920X1080的图像数据320而言，最大编码单元的大小被设置为64 X 64，最大深度被设置为3。对于分辨率为352 X 288的图像数据330而言，最大编码单元的大小被设置为16X16，最大深度被设置为I。当分辨率高或者数据量大时，优选(但不必要)编码单元的最大大小较大以增加压缩率和精确地反映图像特征。因此，对于具有比图像数据330更高的分辨率的图像数据310和图像数据320而言，可选择64X64作为最大编码单元的大小。最大深度指示层次编码单元中的层的总数。由于图像数据310的最大深度是2，因此图像数据310的编码单元315可根据深度的增加包括长轴大小为64的最大编码单元以及长轴大小为32和16的次级编码单元。另一方面，由于图像数据330的最大深度为1，因此图像数据330的编码单元335可根据深度的增加包括长轴大小为16的最大编码单元以及长轴大小为8的编码单元。然而，由于图像数据320的最大深度为4，因此图像数据320的编码单元325可根据深度的增加包括长轴大小为64的最大编码单元以及长轴大小为32、16、8和4的次级编码单元。由于随着深度增加而基于较小次级编码单元对图像编码，因此示例性实施例适合于对在场景中包括更多微小细节的图像进行编码。图4是根据示例性实施例的基于编码单元的图像解码器400的框图。帧内预测器410对当前帧405中的帧内模式的预测单元执行帧内预测，运动估计单元420和运动补偿单元425使用当前帧405和参考帧495对帧间模式的预测单元执行帧间预测和运动补偿。基于从帧内预测器410、运动估计单元420和运动补偿单元425输出的预测单元生成残值，通过经过变换器430和量化单元440将生成的残值输出为量化的变换系数。 通过经过反量化单元460和频率反变换器470将量化的变换系数恢复为残值，通过经过数据分块单元480和环形滤波单元490后处理恢复的残值并将恢复的残值输出为参考帧495。可通过经过熵编码器450将量化的变换系数输出为比特流455。为了基于根据示例性实施例的编码方法执行编码，图像编码器400的部件(即，帧内预测器410、运动估计单元420、运动补偿单元425、变换器430、量化单元440、熵编码器450、反量化单元460、频率反变换器470、数据分块单元480和环形滤波单元490)基于最大编码单元、根据深度的次级编码单元、预测单元和变换单元执行图像编码处理。图5是根据示例性实施例的基于编码单元的图像解码器500的框图。比特流505经过解析单元510，从而将被解码的编码单元和解码所需的编码信息被解析。通过经过熵解码器520和反量化单元530，编码的图像数据被输出为反量化的数据，通过经过频率反变换器540，编码的图像数据被恢复为残值。通过被添加到帧内预测器550的帧内预测结果或添加到运动补偿单元560的运动补偿结果，残值根据编码单元被恢复。通过经过数据分块单元570和环形滤波单元580，恢复的编码单元用于预测其后的编码单元或其后的图片。为了基于根据示例性实施例的解码方法执行解码，图像解码器500的部件(即，解析单元510、熵解码器520、反量化单元530、频率反变换单元540、帧内预测器550、运动补偿单元560、数据分块单元570和环形滤波单元580)基于最大编码单元、根据深度的次级编码单元、预测单元和变换单元执行图像解码处理。具体地说，帧内预测器550和运动补偿单元560通过考虑最大编码单元和深度来在次级编码单元中确定预测单元和预测模式，频率反量化单元540通过考虑变换单元的大小来执行反变换。图6示出根据示例性实施例的最大编码单元、次级编码单元和预测单元。根据示例性实施例的设备100和设备200考虑到图像特征使用层次编码单元以执行编码和解码。可根据图像特征适应性地设置最大编码单元和最大深度，或根据用户的要求不同地设置最大编码单元和最大深度。根据示例性实施例的层次编码单元结构600示出高和宽为64且最大深度为4的最大编码单元610。深度沿着层次编码单元结构600的垂直轴增加，并且随着深度增加，次级编码单元620到650的高和宽减小。沿着层次编码单元结构600的水平轴示出了最大编码单元610和次级编码单元620到650的预测单元。最大编码单元610具有O的深度和64X64的编码单元的大小(即，高和宽)。深度沿垂直轴增加，并且存在大小为32X32且深度为I的次级编码单元620、大小为16X16且深度为2的次级编码单元630、大小为8X8且深度为3的次级编码单元640以及大小为4X4且深度为4的次级编码单元650。大小为4X4且深度为4的次级编码单元650是最小编码单元，并且最小编码单元可被划分为预测单元，每个预测单元小于最小编码单元。参照图6，根据每个深度沿着水平轴示出预测单元的示例。也就是说，深度为O的最大编码单元610的预测单元可以是大小等于编码单元610 (即64 X 64)的预测单元，或者是具有小于大小为64 X 64的编码单元610的大小为64 X 32的预测单元612、大小为32 X 64的预测单元614、或大小为32X32的预测单元616。深度为I且大小为32X32的编码单元620的预测单元可以是大小等于编码单元620 (即32X32)的预测单元，或者是具有小于大小为32X32的编码单元620的大小为32X16的预测单元622、 大小为16X32的预测单元624、或大小为16X16的预测单元626。
深度为2且大小为16X16的编码单元630的预测单元可以是大小等于编码单元630 (即16X16)的预测单元，或者是具有小于大小为16X16的编码单元630的大小为16X8的预测单元632、大小为8X16的预测单元634、或大小为8X8的预测单元636。深度为3且大小为8X8的编码单元640的预测单元可以是大小等于编码单元640 (即8X8)的预测单元，或者是具有小于大小为8X8的编码单元620的大小为8X4的预测单元642、大小为4X8的预测单元644、或大小为4X4的预测单元646。最后，深度为4且大小为4X4的编码单元650是最小编码单元并且是最大深度的编码单元，编码单元650的预测单元可以是大小为4X4的预测单元650、具有大小为4X2的预测单元652、具有大小为2X4的预测单元654或者具有大小为2X2的预测单元656。图7示出根据示例性实施例的编码单元和变换单元。根据示例性实施例的设备100和设备200利用最大编码单元本身或利用次级编码单元执行编码，所述次级编码单元从最大编码单元被划分，并等于或小于最大编码单元。在编码处理中，用于频率变换的变换单元的大小被选择为不大于对应编码单元的大小。例如，当编码单元710具有64X64的大小时，可使用具有32X32的大小的变换单元720执行频率变换。图8A和图SB示出根据示例性实施例的编码单元、预测单元和变换单元的划分形状。图8A示出根据示例性实施例的编码单元和预测单元。图8A的左侧示出根据示例性实施例的设备100为了对最大编码单元710进行编码而选择的划分形状。设备100将最大编码单元810划分为多个形状，执行编码，并通过基于R-D成本将多个划分形状的编码结果与彼此相比较来选择最佳划分形状。当按照最大编码单元810本身进行编码 是最佳时，可对最大编码单元810进行编码而不需要图8A和图8B所示划分最大编码单元810。参照图8A的左侧，通过将深度为O的最大编码单元810划分为深度等于或大于I的次级编码单元来对最大编码单元810进行编码。也就是说，将最大编码单元810划分为4个深度为I的次级编码单元，并且将所有或部分深度为I的次级编码单元划分为深度为2的次级编码单元。将深度为I的次级编码单元中的位于右上侧的次级编码单元和位于左下侧的次级编码单元划分为深度等于或大于2的次级编码单元。可将部分深度等于或大于2的次级编码单元划分为深度等于或大于3的次级编码单元。图8A的右侧示出最大编码单元810的预测单元的划分形状。参照图8A的右侧，可与最大编码单元810不同地划分最大编码单元810的预测单元860。换句话说，每个次级编码单元的预测单元可以小于对应的次级编码单元。例如，深度为I的次级编码单元中的位于右下侧的次级编码单元854的预测单元可以小于编码单元854。此外，深度为2的次级编码单元814、816、818、828、850和852中的一部分的预测单元(814、816、850和852)可以分别小于次级编码单元814、816、850和852。此外，深度为3的次级编码单元822、832和848的预测单元可以分别小于次级编码单元822、832和848。预测单元可具有各个次级编码单元在高方向或宽方向上被等分为二的形状，或具有各个次级编码单元在高和宽的方向上被等分为四的形状。
图8B示出根据示例性实施例的预测单元和变换单元。图8B的左侧示出在图8A的右侧示出的最大编码单元810的预测单元的划分形状，图8B的右侧示出最大编码单元810的变换单元的划分形状。参照图8B的右侧，可与预测单元860不同地设置变换单元870的划分形状。例如，即使将深度为I的编码单元854的预测单元选择为具有编码单元854的高被等分为二的形状，也可将变换单元选择为具有与编码单元854相同的大小。类似地，即使将深度为2的编码单元814和850的预测单元选择为具有编码单元814和850中的每个的高被等分为二的形状，也可将变换单元选择为具有与编码单元814和850中的每个的原始大小相等的大小。可将变换单元选择为具有小于预测单元的大小。例如，当将深度为2的编码单元852的预测单元选择为具有编码单元852的宽被等分为二的形状时，可将变换单元选择为具有编码单元852在高和宽的方向上被等分为四的形状，所述形状具有小于预测单元的形状的大小。图9是根据另一示 例性实施例的图像编码设备900的框图。参照图9，根据本示例性实施例的图像编码设备900包括变换器910、量化单元920以及熵编码器930。变换器910接收像素域的图像处理单元，并将图像处理单元变换为频域。变换器910接收包括由于帧内预测或帧间预测生成的残值的多个预测单元，并将预测单元变换为频域。作为变换到频域的结果，生成频率分量的系数。根据本示例性实施例，可通过离散余弦变换(DCT)或Karhunen-Loeve变换(KLT)发生到频域的变换，并且作为DCT或KLT的结果，生成频域的系数。在下文，到频域的变换可以是DCT，然而，对于本领域的一个普通技术人员而言，到频域的变换可以是包括将像素域的图像变换为频域的变换的任何变换。此外，根据本示例性实施例，变换器910通过组合多个预测单元来设置变换单元，并根据变换单元执行变换。将参照图10、图11A、图1lB和图12详细描述该处理。图10是变换器910的示图。参照图10，变换器910包括选择单元1010和变换执行单元1020。选择单元1010通过选择多个相邻预测单元设置变换单元。根据现有技术的图像编码设备根据具有预定大小的块(即，根据预测单元)执行帧内预测或帧间预测，并基于小于或等于预测单元的大小的大小执行DCT。换句话说，根据现有技术的图像编码设备通过使用小于或等于预测单元的变换单元来执行DCT。然而，由于多份头信息被添加到变换单元，随着变换单元的减小，额外的开销增力口。为了解决这个问题，根据本示例性实施例的图像编码设备900将多个相邻预测单元组合为变换单元，并根据通过组合生成的变换单元执行变换。相邻预测单元很可能包括相似残值，从而如果将相邻预测单元组合为一个变换单元然后在其上执行变换，可高度增加编码操作的压缩率。例如，选择单元1010选择将被组合为一个变换单元的相邻预测单元。将参照图1lA到图1lC和图12详细描述该处理。图1lA到图1lC示出根据另一示例性实施例的变换单元的类型。参照图1IA到图11C，相对于编码单元1110的预测单元1120可具有通过将编码单元1110的宽分半而获得的划分形状。编码单元1110可以是最大编码单元，或可以是具有小于最大编码单元的大小的次级编码单元。如图1lA中所示，变换单元1130的大小可小于预测单元1120，或如图1lB中所示，变换单元1140的大小可以等于预测单元1120。此外，如图1lC中所示，变换单元1150的大小可以大于预测单元1120。也就是说，可在变换单元1130到1150与预测单元1120没有关系的情况下设置变换单元1130到1150。此外，图1lC示出通过组合包括在编码单元1110中的多个预测单元1120来设置预测单元1120的示例。然而，可以以将多个预测单元设置为一个变换单元的方式来将变换单元设置为大于编码单元，其中，所述多个预测单元不是包括在一个编码单元中而是包括在多个编码单元中。换句话说，如参照图1lA到图1lC所述，可将变换单元设置为等于或小于编码单元的大小，或大于编码单元的大小。也就是说，可在变换单元与预测单元和编码单元没有关系的同时设置变换单元。虽然图1lA到图1lC示出具有正方形形式的变换单元的示例。然而，根据组合相邻预测单元的方法，变换单元可具有矩形形式。例如，在预测单元未被设置为具有如图1lA到图1lC所示的矩形形式，而被设置为具有通过将编码单元1110四等分而获得四个正方形形式的情况下，组合上和下预测单元或左和右预测单元，从而变换单元可具有水平侧或垂直侧是长的的矩形形式。参照图10，选择单元1010选择相邻预测单元的标准没有限制。然而，根据示例性实施例，选择单元1010可根据 深度选择变换单元。如上所述，深度指示从当前片段或当前图片的最大编码单元到次级编码单元逐级执行的大小缩减的等级。如以上参照图3到图6的描述，随着深度增加，次级编码单元的大小减小，从而包括在次级编码单元中的预测单元也减小。这种情况下，如果根据小于或等于预测单元的变换单元执行变换，则由于头信息被添加到每个变换单元而导致图像编码操作的压缩率下降。因此，对于预定值的深度的次级编码单元，优选(但不必要)将包括在次级编码单元中的预测单元组合和设置为变换单元，然后对其执行变换。为此，选择单元1010基于次级编码单元的深度设置变换单元。例如，在图1ic中的编码单元1110的深度大于k的情况下，选择单元1010组合预测单元1120并将预测单元1120设置为变换单元1150。此外，根据另一示例性实施例，选择单元1010可组合根据相同预测模式执行预测的多个相邻预测单元，并可将所述多个预测单元设置为一个变换单元。选择单元1010组合根据帧内预测或帧间预测执行预测的相邻预测单元，然后将所述相邻预测单元设置为一个变换单元。由于根据相同预测模式执行预测的相邻预测单元很可能包括相似残值，因此可将相邻预测单元组合为变换单元然后对所述相邻预测单元执行变换。当选择单元1010设置变换单元时，变换执行单元1020根据变换单元将相邻预测单元变换为频域。变换执行单元1020根据变换单元对相邻预测单元执行DCT，并生成离散余弦系数。返回参照图9,量化单兀920量化由变换器910生成的频率分量系数(例如，尚散余弦系数)。量化单元920可根据预定量化步长(quantization step)来量化输入的离散余弦系数。熵编码器930对由量化单元920量化的频率分量系数执行熵编码。熵编码器930可通过使用内容自适应变化算法编码(CABAC)或内容自适应变长编码(CAVLC)来对离散余弦系数执行熵编码。图像编码设备900可通过对不同变换单元重复执行DCT、量化和熵编码来确定最佳变换单元。可重复用于选择相邻预测单元的处理以确定最佳变换单元。可考虑到RD成本的计算来确定最佳变换单元，这将参照图12进行详细描述。图12示出根据另一示例性实施例的不同变换单元。参照图12，图像编码设备900对不同编码单元重复执行编码操作。如图12所示，可基于具有小于编码单元1210的大小的预测单元1220对编码单元1210进行预测和编码。对通过预测的结果生成的残值执行变换，这里，如图12中所示，可基于不同变换单元对残值执行DCT。第一示出的变换单元1230具有与编码单元相同的大小，并具有通过组合包括在编码单元1210中的所有预测单元而获得的大小。第二示出的变换单元1240分别具有通过将编码单元1210的宽分半而获得的大小，以及通过组合垂直方向上的每两个彼此相邻的预测单元而获得的大小。第三示出的变换单元1250分别具有通过将编码单元1210的高分半而获得的大小，以及通过组合水平方向上的每两个彼此相邻的预测单元而获得的大小。当基于具有与 预测单元1220相同的大小的第四示出变换单元1260执行变换时使用第四示出的变换单元1260。图13是根据另一示例性实施例的图像解码设备1300的框图。参照图13，根据本示例性实施例的图像解码设备1300包括熵解码器1310、反量化单元1320以及反变换器1330。熵解码器1310关于预定编码单元对频率分量系数执行熵解码。如以上参照图1lA到图1lC以及图12的描述，预定变换单元可以是通过组合多个相邻预测单元而生成的变换单元。如以上参照图像编码设备900的描述，可通过根据深度组合相邻预测单元来生成变换单元，或可通过组合根据相同预测模式(即根据帧内预测模式或帧间预测模式)执行预测的多个相邻预测单元来生成变换单元。多个预测单元可不包括在一个编码单元中而是包括在多个编码单元中。换句话说，如以上参照图1lA到图1lC的描述，可将通过熵解码器1310熵解码的变换单元设置为等于或小于编码单元的大小，或可将所述变换单元设置为大于编码单元的大小。此外，如以上参照图12的描述，变换单元可以是通过重复组合多个相邻预测单元的处理并且通过对不同变换单元重复执行变换、量化和熵编码而选择的最佳变换单元。反量化单元1320对由熵解码器1310熵解码的频率分量系数进行反量化。反量化单元1320根据用于变换单元的编码的量化步长对频率分量系数进行反量化和熵解码。反变换器1330将频率分量系数反变换和反量化为像素域。反变换器可对反量化后的离散余弦系数(即反量化后的频率分量系数)执行反DCT，然后可重构像素域的变换单元。重构的变换单元可包括相邻预测单元。图14是根据示例性实施例的图像编码方法的流程图。
参照图14，在操作1410，图像编码设备通过选择多个相邻预测单元来设置变换单元。图像编码设备可根据深度选择多个相邻预测单元，或可选择根据相同预测模式执行预测的多个相邻预测单元。在操作1420，图像编码设备根据在操作1420设置的变换单元将相邻单元变换为频域。图像编码设备组合相邻预测单元，对相邻预测单元执行DCT，从而生成离散余弦系数。在操作1430，图像编码设备根据量化步长对在操作1420生成的频率分量系数进行量化。在操作1440，图像编码设备对在操作1430量化的频率分量系数执行熵编码。图像编码设备通过使用CABAC或CAVLC对离散余弦系数执行熵编码。根据另一示例性实施例的图像编码方法还可包括通过对不同的变换单元重复执行操作1410到操作1440来设置最佳变换单元的操作。也就是说，通过如图12所示的对不同的变换单元重复执行变换、量化和熵编码，可设置最佳变换单元。图15是根据另一示例性实施例的图像解码方法的流程图。参照图15，在操作1510，图像解码设备关于预定变换单元对频率分量系数执行熵解码。频率分量系数可以是离散余弦系数。在操作1520，图像解码设备对在操作1510熵解码的频率分量系数进行反量化。图像解码设备通过使用用于编码操作的量化步长来对离散余弦系数进行反量化。在操作1530，图像解码设备将已经在操作1520反量化的频率分量系数反变换为像素域，然后重构变换单元。通过组合多个相邻预测单元来设置重构的变换单元。如上所述，可通过根据深度组合相邻预测单元来设置变换单元，或者可通过组合根据相同预测模式执行预测的相邻预测 单元来设置变换单元。根据一个或多个示例性实施例，可将变换单元设置为大于预测单元，并执行DCT从而图像可被有效地压缩和编码。示例性实施例还可被实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储数据的任何数据存储装置，所述数据之后可被计算机系统读取。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘以及光数据存储介质。计算机可读记录介质还可通过网络连接的计算机被分布，从而计算机可读代码可以以分布方式被存储和执行。例如，根据一个或多个示例性实施例的图像编码设备、图像解码设备、图像编码器和图像解码器中的每个可包括连接到如图1-2、图4-5、图9-10和图14示出的设备中的每个单元的总线以及连接到总线的至少一个处理器。此外，根据一个或多个示例性实施例的图像编码设备、图像解码设备、图像编码器和图像解码器中的每个可包括连接到与总线连接的至少一个处理器的存储器，以存储命令、接收的消息或生成的消息并执行命令。虽然参照本发明示例性实施例显示和描述了本发明，但是本领域普通技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以对其做出形式和细节上的各种改变。示例性实施例应被理解为仅仅是描述性而不是用于限制目的。因此，本发明的范围不是由本发明的详细描述限定，而是由权利要求限定，并且所述范围内的所有不同将被解释为包括在本发明中。
权利要求
1.一种图像解码方法，包括: 通过使用从接收的编码视频的比特流解析的关于编码单元的划分形状的信息、关于用于预测每个编码单元的至少一个预测单元的信息、关于用于对每个编码单元进行反变换的至少一个变换单元的信息，来确定具有用于解码图像的层次结构的编码单元、所述至少一个预测单元和所述至少一个变换单元； 从比特流解析通过根据通过划分编码单元产生的至少一个变换单元的变换而产生的变换系数，通过对解析的变换系数执行熵解码、反量化和反变换来重构所述至少一个预测单元的编码数据； 对重构的编码数据执行帧内预测或帧间预测并对编码视频进行重构， 其中，根据编码单元的深度层次地分割编码单元， 其中，所述至少一个变换单元包括具有比所述至少一个预测单元的大小大的大小的变换单元。
2.如权利要求1所述的图像解码方法，其中，所述至少一个预测单元包括多个预测单元， 其中，通过组合所述多个预测单元产生具 有更大大小的变换单元。
3.如权利要求1所述的图像解码方法，其中，所述至少一个变换单元的大小与所述至少一个预测单元的大小和所述编码单元的大小不同。
4.如权利要求1所述的方法，其中，基于关于编码单元的最大大小和编码单元的深度的信息将编码视频的视频编码为编码单元根据深度被层次地分割为编码深度的编码单元的视频， 当前深度的编码单元是从上层深度的编码单元分割的矩形数据单元之一， 其中，独立于相邻编码单元将当前深度的编码单元分割为下层深度的编码单元直到相应的编码深度的编码单元。
全文摘要
公开了一种用于通过将多个相邻预测单元组合为变换单元并将所述多个相邻预测单元变换为频域来编码图像的图像编码方法和设备，以及一种用于通过使用所述图像编码方法和设备来对编码的图像进行解码的图像解码方法和设备。
文档编号H04N7/26GK103220525SQ201310092700
公开日2013年7月24日 申请日期2010年8月13日 优先权日2009年8月13日
发明者李泰美, 韩宇镇, 陈建乐, 郑海庆 申请人:三星电子株式会社