通过使用大变换单元对图像进行编码和解码的方法和设备的制造方法
【专利说明】通过使用大变换单元对图像进行编码和解码的方法和设备
[0001]本申请是向中国知识产权局提交的申请日为2011年01月14日的标题为“通过使用大变换单元对图像进行编码和解码的方法和设备”的第201180013432.0号申请的分案申请。
技术领域
[0002]示例性实施例涉及一种用于对图像进行编码和解码的方法和设备，更具体地讲，涉及一种用于通过将像素域图像变换为频域的系数对图像进行编码和解码的方法和设备。
【背景技术】
[0003]在用于对图像进行编码和解码的大多数方法和设备中，像素域的图像被变换到频域，并且变换后的图像被编码以压缩图像。离散余弦变换(DCT)是用于对音频/视频(AV)数据压缩的公知技术。近年，已进行了找寻更有效编码方法的许多尝试。在音频编码中，参数编码比DCT执行得更好，并且在二维数据中，Karhunen Loeve变换(KLT)具有最小的比特大小但具有大开销(overhead)大小。
【发明内容】
[0004]技术方案
[0005]示例性实施例提供一种用于通过使用有效变换对图像进行编码和解码的方法和设备，以及其上记录有用于执行编码和解码的计算机程序的计算机可读记录介质。
[0006]有益效果
[0007]根据示例性实施例，由于变换单元可被设置为具有比预测单元更大的尺寸，并且可对所述变换单元执行变换，因此可对图像进行更有效地压缩和编码。
【附图说明】
[0008]通过参照附图描述特定示例性实施例，以上和/或其他方面将变得更加清楚，其中:
[0009]图1是根据示例性实施例的用于对图像进行编码的设备的框图；
[0010]图2是根据示例性实施例的用于对图像进行解码的设备的框图；
[0011]图3示出根据示例性实施例的分层编码单元；
[0012]图4是根据示例性实施例的基于编码单元的图像编码器的框图；
[0013]图5是根据示例性实施例的基于编码单元的图像解码器的框图；
[0014]图6示出根据示例性实施例的最大编码单元、子编码单元和预测单元；
[0015]图7示出根据示例性实施例的编码单元和变换单元；
[0016]图8a、图8b、图8c和图8d示出根据示例性实施例的编码单元、预测单元和变换单元的划分形状；
[0017]图9是根据另一示例性实施例的用于对图像进行编码的设备的框图；
[0018]图10是根据示例性实施例的用于描述预测方法的示图；
[0019]图11是根据示例性实施例的变换器的框图；
[0020]图12a到图12c是根据示例性实施例的变换单元的类型的示图；
[0021]图13a到图13d是根据其他示例性实施例的变换单元的类型的示图；
[0022]图14是根据示例性实施例的不同变换单元的示图；
[0023]图15是根据另一示例性实施例的用于对图像进行解码的设备的框图；
[0024]图16是示出根据示例性实施例的对图像进行编码的方法的流程图；
[0025]图17是示出根据示例性实施例的对图像进行解码的方法的流程图。
[0026]最佳实施方式
[0027]根据示例性实施例的一方面，提供一种对图像进行编码的方法，所述方法包括:对图像的多个编码单元执行预测，并基于预测的多个编码单元产生多个预测单元；将所述多个预测单元组合为变换单元；基于变换单元将包括在组合的多个预测单元中的残差值变换到频域，并变换为频域的频率分量系数；对频率分量系数进行量化；以及对量化的频率分量系数进行熵编码。
[0028]所述组合步骤可包括:基于指示将最大编码单元分层减小到所述多个编码单元的程度的所述多个预测单元的深度，组合所述多个预测单元。
[0029]所述组合步骤可包括:选择所述多个预测单元中的根据预测模式的类型被执行预测的相邻预测单元。
[0030]所述执行预测步骤可包括:通过基于所述多个预测单元中的至少一个相邻预测单元的预测值，对所述多个预测单元中被预测的预测单元进行帧内预测来产生所述多个编码单元的残差值。
[0031]所述执行预测步骤可包括:通过对包括在所述多个编码单元中的所有预测单元进行帧间预测来产生所述多个编码单元的残差值。
[0032]根据示例性实施例的另一方面，提供一种用于对图像进行编码的设备，所述设备包括:预测器，对图像的多个编码单元执行预测，并基于预测的多个编码单元产生多个预测单元；变换器，将所述多个预测单元组合为变换单元，基于变换单元将包括在组合的多个预测单元中的残差值变换到频域，并变换为频域的频率分量系数；量化器，对频率分量系数进行量化；以及熵编码器，对量化的频率分量系数进行熵编码。
[0033]根据示例性实施例的另一方面，提供一种对图像进行解码的方法，所述方法包括:对从变换单元的多个预测单元的变换的残差值产生的频域的频率分量系数进行熵解码，其中，所述多个预测单元包括在图像的多个编码单元中；对经过熵解码的频率分量系数进行反量化；将反量化的频率分量系数逆变换到像素域，作为包括在变换单元中的所述多个编码单元的恢复的残差值；以及基于恢复的残差值，恢复所述多个编码单元。
[0034]根据示例性实施例的另一方面，提供一种用于对图像进行解码的设备，所述设备包括:熵解码器，对从变换单元的多个预测单元的变换的残差值产生的频域的频率分量系数进行熵解码，其中，所述多个预测单元包括在图像的多个编码单元中；反量化器，对经过熵解码的频率分量系数进行反量化；逆变换器，将反量化的频率分量系数逆变换到像素域，作为包括在变换单元中的所述多个编码单元的恢复的残差值；以及恢复器，基于恢复的残差值，恢复所述多个编码单元。
[0035]根据示例性实施例的另一方面，提供一种其上记录有用于执行解码方法和编码方法的程序的计算机可读记录介质。
【具体实施方式】
[0036]以下，参照附图更详细地描述特定示例性实施例。诸如“…中的至少一个”的表达在元素列表之后时，修饰整个元素列表，而不修饰列表中的单个元素。在本说明书中，“图像”可表示视频的静止图像或运动图像(即，视频自身)。
[0037]在以下描述中，即使在不同附图中，相同的附图标号也用于表示相同的元件。提供描述中定义的内容(诸如详细的构造和元件)以帮助全面理解示例性实施例。然而，可在没有那些具体定义的内容的情况下实施示例性实施例。
[0038]图1是根据示例性实施例的用于对图像进行编码的图像编码设备100的框图。作为示例，图像编码设备100可实现为硬件设备(诸如计算机的处理器或者计算机系统)。图像编码设备100还可实现为驻存在计算机系统上的软件模块。
[0039]参照图1，图像编码设备100包括最大编码单元划分器110、编码深度确定器120、图像数据编码器130和编码信息编码器140，其中，以上项可实现为例如集成在图像编码设备100内或与图像编码设备100分离的硬件或者软件模块。
[0040]最大编码单元划分器110可基于作为具有最大尺寸的编码单元的最大编码单元划分当前帧或像条(slice)。也就是说，最大编码单元划分器110可将当前帧或像条划分为至少一个最大编码单元。
[0041]根据示例性实施例，编码单元可使用最大编码单元和深度来表示。如上所述，最大编码单元指示当前帧的编码单元之中具有最大尺寸的编码单元，深度指示分层减小编码单元的程度。随着深度增加，编码单元可从最大编码单元减小到最小编码单元，其中，最大编码单元的深度被定义为最小深度，最小编码单元的深度被定义为最大深度。由于随着深度增加编码单元的尺寸从最大编码单元减小，因此第k深度的子编码单元可包括第k+n(k和η是大于等于I的整数)深度的多个子编码单元。
[0042]根据将被编码的帧的尺寸的增大，以更大的编码单元对图像编码可导致更高的图像压缩率。然而，如果更大的编码单元被固定，则通过反映连续改变图像特征无法对图像进行有效地编码。
[0043]例如，当诸如海洋或天空的平滑区域被编码时，编码单元越大，压缩率可增加得越多。但是，当诸如人或建筑物的复杂区域被编码时，编码单元越小，压缩率可增加得越多。
[0044]因此，在示例性实施例中，为每个帧或像条设置不同的最大图像编码单元和不同的最大深度。由于最大深度指示编码单元可减小的最大次数，因此，包括在最大图像编码单元中的每个最小编码单元的尺寸可根据最大深度不同地设置。可为每个帧或像条或者为每个最大编码单元不同地确定最大深度。
[0045]编码深度确定器120确定最大编码单元的划分形状。可基于率失真(RD)代价的计算来确定划分形状。最大编码单元的确定的划分形状被提供给编码信息编码器140，根据最大编码单元的图像数据被提供给图像数据编码器130。
[0046]最大编码单元可被划分为根据不同深度具有不同尺寸的子编码单元，并且包括在最大编码单元中的具有不同尺寸的子编码单元可基于具有不同尺寸的处理单元被预测或进行频率变换。换言之，图像编码设备100可基于具有各种尺寸和各种形状的处理单元执行用于图像编码的多个处理操作。为了对图像数据进行编码，执行诸如预测、变换和熵编码的处理操作，其中，具有相同尺寸或不同尺寸的处理单元可被用于每个操作。
[0047]例如，图像编码设备100可选择与编码单元不同的处理单元以用于预测所述编码单元。
[0048]当编码单元的尺寸是2NX2N(其中，N是正整数)时，用于预测的处理单元可以是2NX2N、2NXN、NX2N和NXN。换言之，可基于具有编码单元的高和宽中的至少一个被二等分的形状的处理单元执行运动预测。以下，将作为预测的基础的处理单元定义为预测单元。
[0049]预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个，并且可仅针对具有特