专利名称：用于基于变换和反变换执行内插的方法和设备的制作方法
技术领域：
与示例性实施例一致的设备和方法涉及对图像进行内插，更具体地讲，涉及在整数像素单元的像素值之间进行内插。
背景技术：
在现有技术的图像编码和解码方法中，一幅画面被划分为多个宏块以对图像进行编码。然后，通过对宏块执行帧间预测或帧内预测来对所述多个宏块中的每个宏块执行预测编码。帧间预测是一种通过去除画面之间的时间冗余性来压缩图像的方法。帧间预测的代表性示例是运动估计编码。在运动估计编码中，通过使用至少一个参考画面来预测当前画面的每个块。通过使用预定的估计函数来在预定的搜索范围内搜索与当前块最相似的参考块。基于参考块预测当前块，并通过从当前块减去作为预测结果的预测的块来获得残差块，然后对所述残差块进行编码。在这种情况下，为了精确地预测当前块，通过在参考画面的搜索范围中执行内插来产生比整数像素单元更小的子像素，并基于子像素来执行帧间预测。
发明内容
技术方案一个或多个示例性实施例的多个方面提供了一种用于通过对整数像素单元的像素值进行内插来产生分数像素单元的像素值的方法和设备。—个或多个示例性实施例的多个方面还提供了一种其上记录有用于执行所述方法的计算机程序的计算机可读记录介质。有益效果根据本申请，可更准确地产生分数像素单元。
通过参照附图详细描述示例性实施例，上述和其他特征将变得更加清楚，其中图I是根据示例性实施例的用于对图像进行编码的设备的框图；图2是根据示例性实施例的用于对图像进行解码的设备的框图；图3示出根据示例性实施例的分层编码单元；图4是根据示例性实施例的基于编码单元的图像编码器的框图；图5是根据示例性实施例的基于编码单元的图像解码器的框图；图6示出根据示例性实施例的最大编码单元、子编码单元和预测单元；图7示出根据示例性实施例的编码单元和变换单元；图8a至图8d示出根据示例性实施例的编码单元、预测单元和变换单元的划分形状；图9是根据示例性实施例的图像内插设备的框图；图10是示出根据示例性实施例的由图9的图像内插设备执行的二维(2D)内插方 法的示图；图11是示出根据示例性实施例的内插区域的示图；图12是示出根据示例性实施例的一维(1D)内插方法的示图；图13是专门示出根据示例性实施例的由图9的图像内插设备执行的1D内插方法 的示图；图14是根据示例性实施例的图像内插设备的框图；图15示出根据示例性实施例的2D内插滤波器；图16a至图16f示出根据示例性实施例的1D内插滤波器；图17a至图17y示出根据示例性实施例的优化的1D内插滤波器；图18a和图18b示出根据示例性实施例的通过使用1D内插滤波器沿各方向对像 素值进行内插的方法；图19a示出根据示例性实施例的2D内插方法；图19b示出根据另一示例性实施例的使用1D内插滤波器的2D内插方法；图19c示出根据另一示例性实施例的使用1D内插滤波器的2D内插方法；图20是示出根据示例性实施例的图像内插方法的流程图；图21是示出根据另一示例性实施例的图像内插方法的流程图；图22是示出根据另一示例性实施例的图像内插方法的流程图；图23a至图23e示出根据示例性实施例的执行与1D内插滤波器相关的缩放和四 舍五入的方法。最优实施方式根据示例性实施例的一方面，提供了一种对图像进行内插的方法，所述方法包括 根据内插位置从多个不同的滤波器中选择用于在整数像素单元的像素值之间进行内插的 第一滤波器；以及通过使用选择的用于在整数像素单元的像素值之间进行内插的第一滤波 器，在整数像素单元的像素值之间进行内插来产生至少一个分数像素单元的至少一个像素 值。所述方法还可包括根据内插位置从多个不同的滤波器中选择用于在产生的所述 至少一个分数像素单元的至少一个像素值之间进行内插的第二滤波器；以及通过使用选择 的用于在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插的第二滤波 器，在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插。用于在整数像素单元的像素值之间进行内插的第一滤波器可以是下面的空间域 滤波器，其中，所述空间域滤波器通过使用具有不同频率的多个基函数来对整数像素单元 的像素值进行变换，并通过使用相位被移动的所述多个基函数，对通过对整数像素单元的 像素值进行变换而获得的多个系数进行反变换。用于在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插的第 二滤波器可以是下面空间域滤波器，其中，所述空间域滤波器通过使用具有不同频率的多 个基函数来对产生的所述至少一个分数像素单元的至少一个像素值进行变换，并通过使用相位被移动的所述多个基函数，对通过对产生的所述至少一个分数像素单元的至少一个像素值进行变换而获得的多个系数进行反变换。根据另一示例性实施例的一方面，提供了一种用于对图像进行内插的设备，所述设备包括滤波器选择器，根据内插位置从多个不同的滤波器中选择用于在整数像素单元的像素值之间进行内插的第一滤波器；以及内插器，通过使用选择的用于在整数像素单元的像素值之间进行内插的第一滤波器，在整数像素单元的像素值之间进行内插来产生至少一个分数像素单元的至少一个像素值。所述滤波器选择器可根据内插位置从多个不同的滤波器中选择用于在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插的第二滤波器，所述内插器可通过使用选择的用于在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插的第二滤波器，在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插。根据另一示例性实施例的一方面，提供了一种其上包含有用于执行上述方法的计算机程序的计算机可读记录介质。根据另一示例性实施例的一方面，提供了一种用于对图像进行内插的方法，所述方法包括通过使用具有不同频率的多个基函数，在空间域中对像素值进行变换；移动所述多个基函数的相位；通过使用相位被移动的所述多个基函数，对通过对所述像素值进行变换而获得的多个系数进行反变换。
具体实施例方式在下文中，将参照附图更充分地描述一个或多个示例性实施例。当诸如“…中的至少一个”的表述在一列元件之后时，所述表述修饰整列元件而不是修饰列表的各个元件。在本说明书中，“图像”可表示视频的静止图像或运动图像(即，视频本身)。图I是根据示例性实施例的用于对图像进行编码的设备100的框图。参照图1，用于对图像进行编码的设备100包括最大编码单元划分器110、编码深度确定器120、图像数据编码器130以及编码信息编码器140。最大编码单元划分器110可基于作为最大尺寸的编码单元的最大编码单元对当前帧或条带进行划分。也就是说，最大编码单元划分器110可将当前帧或条带划分为至少一个最大编码单元。根据示例性实施例，可使用最大编码单元和深度来表示编码单元。如上所述，最大编码单元指示在当前帧的编码单元中具有最大尺寸的编码单元，深度指示分层地减小编码单元的程度。随着深度增大，编码单元可从最大编码单元减小到最小编码单元，其中，最大编码单元的深度被定义为最小深度，最小编码单元的深度被定义为最大深度。由于编码单元的尺寸随着深度增大而从最大编码单元减小，因此第k深度的子编码单元可包括多个第(k+n)深度的子编码单元(其中，k和η是等于或大于I的整数)。根据将被编码的帧的尺寸的增加，按照更大的编码单元对图像进行编码可造成更高的图像压缩率。然而，如果更大的编码单元被固定，则可能不能通过反映连续改变的图像特性来有效地对图像进行编码。例如，当对诸如海洋或天空的平滑区域进行编码时，编码单元越大，压缩率会增加得越多。然而，当对诸如人或建筑物的复杂区域进行编码时，编码单元越小，压缩率会增加得越多。因此，根据示例性实施例，可针对每个帧或条带设置不同的最大图像编码单元和不同的最大深度。由于最大深度表示编码单元可减小的最大次数，因此包括在最大图像编码单元中的每个最小编码单元的尺寸可根据最大深度而被可变地设置。可针对每个帧或条带或者针对每个最大编码单元来不同地确定最大深度。编码深度确定器120确定最大编码单元的划分形状。可基于率失真(RD)代价的计算来确定划分形状。确定的最大编码单元的划分形状被提供给编码信息编码器140，根据最大编码单元的图像数据被提供给图像数据编码器130。可根据不同的深度将最大编码单元划分为具有不同尺寸的子编码单元，可基于具有不同尺寸的处理单元对包括在最大编码单元中的具有不同尺寸的子编码单元进行预测或变换。换句话说，用于对图像进行编码的设备100可基于具有多种尺寸和多种形状的处理单元来执行多个处理操作以进行图像编码。为了对图像数据进行编码，执行诸如预测、变换和熵编码中的至少一种的处理操作，其中，具有相同尺寸或不同尺寸的处理单元可分别用于多个处理操作。例如，用于对图像进行编码的设备100可选择与编码单元不同的处理单元，以预测编码单元。当编码单元的尺寸是2NX2N (其中，N是正整数)时，用于预测的处理单元可以是2NX2N、2NXN、NX2N和NXN。换句话说，可基于具有以下形状的处理单元来执行运动预测按照所述形状，编码单元的高度和宽度中的至少一个被二等分。在下文中，作为预测的基础的处理单元被定义为“预测单元”。预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个，并且可仅对具有特定尺寸或形状的预测单元执行特定的预测模式。例如，可仅对尺寸为2NX2N和NXN的预测单元(其形状为方形)执行帧内模式。此外，可仅对尺寸为2NX2N的预测单元执行跳过模式。如果在编码单元中存在多个预测单元，则在对每个预测单元执行预测之后，可选择具有最小编码误差的预测模式。可选择地，用于对图像进行编码的设备100可基于具有与编码单元不同尺寸的处理单元对图像数据执行变换。对于编码单元中的变换，可基于尺寸等于或小于编码单元的尺寸的处理单元来执行变换。在下文中，作为变换的基础的处理单元被定义为“变换单元”。所述变换可以是离散余弦变换(DCT)或Karhunen Loeve变换(KLT)，或者是任何其他定点空间变换。编码深度确定器120可通过使用基于拉格朗日乘子的RD最优化来确定包括在最大编码单元中的子编码单元。换句话说，编码深度确定器120可确定从最大编码单元划分的多个子编码单元具有哪种形状，其中，所述多个子编码单元根据子编码单元的深度而具有不同尺寸。图像数据编码器130通过基于由编码深度确定器120确定的划分形状对最大编码单元进行编码来输出比特流。编码信息编码器140对关于由编码深度确定器120确定的最大编码单元的编码模式的信息进行编码。换句话说，编码信息编码器140通过对关于最大编码单元的划分形状的信息、关于最大深度的信息以及关于每个深度的子编码单元的编码模式的信息进行编码来输出比特流。关于子编码单元的编码模式的信息可包括关于子编码单元的预测单元的信息、关于用于每个预测单元的预测模式的信息以及关于子编码单元的变换单元的信息。关于最大编码单元的划分形状的信息可以是指示每个编码单元是否被划分的信息，例如，标记信息。例如，当最大编码单元被划分并被编码时，指示最大编码单元是否被划分的信息被编码。此外，当从最大编码单元划分的子编码单元被划分并被编码时，指示子编码单元是否被划分的信息被编码。由于对于每个最大编码单元存在具有不同尺寸的子编码单元，并且必须针对每个子编码单元确定关于编码模式的信息，所以可针对一个最大编码单元确定关于至少一个编码模式的信息。用于对图像进行编码的设备100可根据深度的增加，通过将最大编码单元的高度和宽度两者二等分来产生子编码单元。也就是说，当第k深度的编码单元的尺寸是2NX 2N时，第(k+Ι)深度的编码单元的尺寸是NXN。因此，用于对图像进行编码的设备100可考虑图像特性，基于最大编码单元的尺寸和最大深度，确定每个最大编码单元的最佳划分形状。通过考虑图像特性来可变地调整最大编码单元的尺寸，并通过将最大编码单元划分为不同深度的子编码单元来对图像进行编码，具有各种分辨率的图像可以被更有效地编码。图2是根据示例性实施例的用于对图像进行解码的设备200的框图。参照图2，用于对图像进行解码的设备200包括图像数据获取单元210、编码信息提取器220和图像数据解码器230。图像数据获取单元210通过解析由用于对图像进行解码的设备200接收的比特流获取根据最大编码单元的图像数据，并将图像数据输出到图像数据解码器230。图像数据获取单元210可从当前帧或条带的头提取关于当前帧或条带的最大编码单元的信息。换句话说，图像数据获取单元210可根据最大编码单元划分比特流，从而图像数据解码器230可根据最大编码单元来对图像数据进行解码。编码信息提取器220通过解析由用于对图像进行解码的设备200接收的比特流，从当前帧的头提取关于最大编码单元、最大深度、最大编码单元的划分形状和子编码单元的编码模式的信息。关于划分形状的信息和关于编码模式的信息被提供给图像数据解码器230。关于最大编码单元的划分形状的信息可包括关于根据深度具有不同尺寸的且被包括在最大编码单元中的子编码单元的信息，并且可以是指示每个编码单元是否被划分的信息(例如，标记信息)。关于编码模式的信息可包括关于根据子编码单元的预测单元的信息、关于预测模式的信息以及关于变换单元的信息。图像数据解码器230通过基于由编码信息提取器220提取的信息，对每个最大编码单元的图像数据进行解码来恢复当前帧。图像数据解码器230可基于关于最大编码单元的划分形状的信息对包括在最大编码单元中的子编码单元进行解码。解码步骤可包括帧内预测、帧间预测(包括运动补偿)以及反变换。图像数据解码器230可基于关于预测单元的信息和关于预测模式的信息执行帧内预测或帧间预测，以便预测出预测单元。图像数据解码器230还可基于关于子编码单元的变换单元的信息对每个子编码单元执行反变换。
8
图3示出根据示例性实施例的分层编码单元。参照图3，分层编码单元可包括宽度和高度为64X64、32X32、16X16、8X8和4X4的编码单元。除了这些具有完美方形形状的编码单元以外，还可存在宽度和高度为64X32、32X64、32X16、16X32、16X8、8X16、8X4和4X8的编码单元。参照图3，对于分辨率为1920 X 1080的图像数据310，最大编码单元的尺寸被设置为64 X 64，最大深度被设置为2。对于分辨率为1920X1080的图像数据320，最大编码单元的尺寸被设置为64X64，最大深度被设置为3。对于分辨率为352X288的图像数据330，最大编码单元的尺寸被设置为16X 16，最大深度被设置为I。当分辨率高或者数据量大时，编码单元的最大尺寸可相对大，以增加压缩率并准确地反映图像特性。因此，对于具有比图像数据330更高分辨率的图像数据310和320，64 X 64可被选为最大编码单元的尺寸。最大深度指示分层编码单元中层的总数。由于图像数据310的最大深度为2，因此图像数据310的编码单元315根据深度的增加可包括较长轴尺寸为64的最大编码单元以及较长轴尺寸为32和16的子编码单元。另一方面，由于图像数据330的最大深度为1，因此图像数据330的编码单元335根据深度的增加可包括较长轴尺寸为16的最大编码单元以及较长轴尺寸为8和4的编码单元。然而，由于图像数据320的最大深度为3，因此图像数据320的编码单元325根据深度的增加可包括较长轴尺寸为64的最大编码单元以及较长轴尺寸为32、16、8和4的子编码单元。由于随着深度增加基于更小的子编码单元来对图像进行编码，因此当前示例性实施例适合用于对包括更多小场景的图像进行编码。图4是根据示例性实施例的基于编码单元的图像编码器400的框图。帧内预测单元410对当前帧405中的帧内模式的预测单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405以及参考帧495对帧间模式的预测单元执行帧间预测和运动补
\-ΖΧ ο基于从帧内预测单元410、运动估计器420和运动补偿器425输出的预测单元产生残差值，随后所述残差值经过变换器430和量化器440被输出为量化的变换系数。量化的变换系数经过反量化器460和反变换器470被恢复为残差值，经过去块单元480和环路滤波单元490被后处理并随后作为参考帧495被输出。量化的变换系数经过熵编码器450可被输出为比特流455。 为了基于根据示例性实施例的编码方法执行编码，图像编码器400的组件(S卩，帧内预测单元410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、反变换器470、去块单元480和环路滤波单元490)可基于最大编码单元、根据深度的子编码单元、预测单元和变换单元执行图像编码处理。图5是示出根据示例性实施例的基于编码单元的图像解码器500的框图。参照图5，比特流505被解析器510解析，从而获得将被解码的编码的图像数据和解码所必要的编码信息。编码的图像数据经过熵解码器520和反量化器530被输出为反量化的数据，并经过反变换器540被恢复为残差值。通过将残差值与帧内预测单元550的帧内预测结果或运
9动补偿器560的运动补偿结果相加，根据编码单元来恢复残差值。恢复的编码单元经过去块单元570和环路滤波单元580被用于预测下一编码单元或下一帧。为了基于根据示例性实施例的解码方法执行解码，图像解码器500的组件(S卩，解析器510、熵解码器520、反量化器530、反变换器540、帧内预测单元550、运动补偿器560、去块单元570和环路滤波单元580)可基于最大编码单元、根据深度的子编码单元、预测单元和变换单元执行图像解码处理。具体地讲，帧内预测单元550和运动补偿器560通过考虑最大编码单元和深度来确定子编码单元中的预测单元和预测模式，并且反变换器540通过考虑变换单元的尺寸来执行反变换。图6示出根据示例性实施例的最大编码单元、子编码单元和预测单元。图I中示出的的用于对图像进行编码的编码设备100和图2中示出的用于对图像进行解码的解码设备200考虑到图像特性，使用分层编码单元来执行编码和解码。可根据图像特性自适应地设置最大编码单元和最大深度，或者可根据用户的需求不同地设置最大编码单元和最大深度。在图6中，分层编码单元结构600具有最大编码单元610，其中，最大编码单元610的高度和宽度为64并且最大深度为4。深度沿着分层编码单元结构600的纵轴增加，并且随着深度增加，子编码单元620至650的高度和宽度减小。最大编码单元610和子编码单元620至650的预测单元沿着分层编码单元结构600的横轴被示出。最大编码单元610深度为O且编码单元的尺寸(即，高度和宽度)为64X64。深度沿着纵轴增加，并且存在尺寸为32X32且深度为I的子编码单元620、尺寸为16X16且深度为2的子编码单元630、尺寸为8 X 8且深度为3的子编码单元640以及尺寸为4 X 4且深度为4的子编码单元650。尺寸为4X4且深度为4的子编码单元650是最小编码单元，并且最小编码单元可被划分为预测单元，每个预测单元小于最小编码单元。参照图6，根据每个深度沿着横轴示出预测单元的示例。也就是说，深度为O的最大编码单元610的预测单元可以是尺寸等于编码单元610 (S卩，64X64)的预测单元，或者可以是尺寸小于编码单元610 (其尺寸为64X64)的尺寸为64X32的预测单元612、尺寸为32X64的预测单元614或尺寸为32X32的预测单元616。深度为I且尺寸为32X32的编码单元620的预测单元可以是尺寸等于编码单元620 (即，32X32)的预测单元，或者可以是尺寸小于编码单元620 (其尺寸为32 X 32)的尺寸为32X16的预测单元622、尺寸为16X32的预测单元624或尺寸为16X16的预测单元626。深度为2且尺寸为16X16的编码单元630的预测单元可以是尺寸等于编码单元630 (即，16X16)的预测单元，或者可以是尺寸小于编码单元630 (其尺寸为16X16)的尺寸为16X8的预测单元632、尺寸为8X16的预测单元634或尺寸为8X8的预测单元636。
深度为3且尺寸为8 X 8的编码单元640的预测单元可以是尺寸等于编码单元640(即，8 X 8 )的预测单元，或者可以是尺寸小于编码单元640 (其尺寸为8X8)的尺寸为8 X 4的预测单元642、尺寸为4X8的预测单元644或尺寸为4X4的预测单元646。最后，深度为4且尺寸为4X4的编码单兀650是最小编码单兀和最大深度的编码单元，编码单元650的预测单元可以是尺寸为4X4的预测单元650、尺寸为4X2的预测单元652、尺寸为2X4的预测单元654或尺寸为2X2的预测单元656。图7示出根据示例性实施例的编码单元和变换单元。图I中示出的用于对图像进行编码的设备100和图2中示出的用于对图像进行解码的设备200使用最大编码单元自身来执行编码和解码，或者使用从最大编码单元划分的等于或小于最大编码单元的子编码单元来执行编码和解码。在编码和解码处理中，用于变换的变换单元的尺寸可被选择为不大于相应编码单元的尺寸。例如，参照图7，在当前编码单元710的尺寸为64X64时，可使用尺寸为32X32的变换单元720来执行变换。图8a至图8d示出根据示例性实施例的编码单元、预测单元和变换单元的划分形状。具体地讲，图8a和图Sb示出根据示例性实施例的编码单元和预测单元。图8a示出由图I中示出的用于对图像进行编码的设备100选择的划分形状，以对最大编码单元810进行编码。用于对图像进行编码的设备100将最大编码单元810划分为各种形状，对其执行编码，并通过基于R-D代价将各种划分形状的编码结果彼此进行比较来选择最佳划分形状。当最大编码单元810被原样编码最优时，可在没有如图8a至图8d中所示划分最大编码单元810的情况下对最大编码单元810进行编码。参照图8b，通过将深度为O的最大编码单元810划分为深度等于或大于I的子编码单元来对最大编码单元810进行编码。也就是说，最大编码单元810被划分为四个深度为I的子编码单元，所有或部分深度为I的子编码单元被划分为深度为2的子编码单元。在深度为I的子编码单元中位于右上方的子编码单元和位于左下方的子编码单元被划分为深度等于或大于2的子编码单元。一些深度等于或大于2的子编码单元可被划分为深度等于或大于3的子编码单元。图8b示出用于最大编码单元810的预测单元的划分形状。参照图8b，用于最大编码单元810的预测单元860可以与最大编码单元810不同地被划分。换句话说，每个子编码单元的预测单元可小于相应的子编码单元。例如，在深度为I的子编码单元中位于右下方的子编码单元854的预测单元可小于子编码单元854。此外，深度为2的子编码单元814、816、818、828、850和852中的一些子编码单元814、816、850和852的预测单元可分别小于子编码单元814、816、850和852。此外，深度为3的子编码单元822、832和848的预测单元可分别小于子编码单元822,832和848。预测单元可具有以下形状按照所述形状，各个子编码单元沿着高度或宽度的方向被二等分；或者预测单元可具有以下形状按照所述形状，各个子编码单元沿着高度和宽度的方向被四等分。图8c和图8d示出根据示例性实施例的预测单元和变换单元。图8c示出图8b中示出的最大编码单元810的预测单元的划分形状，图8d示出最大编码单元810的变换单元的划分形状。参照图8d，变换单元870的划分形状可与预测单元860不同地被设置。例如，即使深度为I的编码单元854的预测单元被选择为具有以下形状按照所述形状，编码单元854的高度被二等分，变换单元也可被选择为具有与编码单元854相同的尺寸。同样地，即使深度为2的编码单元814和850的预测单元被选择为具有以下形状按照所述形状，编码单元814和850中的每一个的高度被二等分，变换单元也可被选择为具有与编码单元814和850中的每一个的原始尺寸相同的尺寸。
变换单元可以被选择为具有比预测单元更小的尺寸。例如，当深度为2的编码单元852的预测单元被选择为具有以下形状时按照所述形状，编码单元852的宽度被二等分，变换单元可被选择为具有比预测单元的形状更小尺寸的以下形状按照所述形状，编码单元852沿着高度和宽度的方向被四等分。图9是根据示例性实施例的图像内插设备900的框图。图像内插可被用于将具有低分辨率的图像转换为具有高分辨率的图像。此外，图像内插可被用于将隔行扫描的图像转换为渐进图像，或者可被用于将具有低分辨率的图像上采样到更高的分辨率。当图4的图像编码器400对图像进行编码时，运动估计器420和运动补偿器425可通过使用经过内插的参考帧执行帧间预测。也就是说，参照图4，可通过对参考帧495进行内插来产生具有高分辨率的图像，并可基于具有高分辨率的图像执行运动估计和补偿，从而增加帧间预测的精确度。同样，当图5的图像解码器500对图像进行解码时，运动补偿器550可通过使用经过内插的参考帧来执行运动补偿，从而增加帧间预测的精确度。参照图9，图像内插设备900包括变换器910和反变换器920。变换器910通过使用具有不同频率的多个基函数来对像素值进行变换。所述变换可以是将空间域中的像素值变换为频域系数的各种处理之一，并且可以是例如如上所述的DCT0使用所述多个基函数来对整数像素单元的像素值进行变换。所述像素值可以是亮度分量的像素值或色度分量的像素值。所述多个基函数的类型不受限制，并且可以是用于将空间域中的像素值变换为频域值的各种类型的函数之一。例如，所述多个基函数可以是用于执行DCT或反DCT的余弦函数。此外，可使用各种类型的基函数，诸如正弦基函数或多项式基函数。DCT的示例可包括改进的DCT以及使用窗的改进的DCT。反变换器920对变换器910用于执行变换的多个基函数的相位进行移动，并通过使用相位被移动的所述多个基函数，对变换器910产生的多个系数(B卩，频域值)进行反变换。现在将通过使用二维(2D)DCT和一维(1D)DCT来描述变换器910执行的变换以及反变换器920执行的反变换。〈2D DCT 和 2D 反 DCT>图10是示出根据示例性实施例的由图9的图像内插设备900执行的2D内插方法的示图。参照图10，图像内插设备900通过在空间域中的整数像素单元的像素值(例如，块1000中的位置O上的像素值)之间进行内插来产生位置X (即，内插位置)上的像素值。位置X上的像素值是分数像素单元的像素值，其中，所述像素值的内插位置由“ α x”和“ a y”来确定。尽管图10示出块1000具有4X4的尺寸的情况，但块1000的尺寸不限于4X4，对于本领域普通技术人员而言显而易见的是，可通过对比块1000更小或更大的块执行2DDCT和2D反DCT来产生分数像素单元的像素值。首先，变换器910对整数像素单元的像素值执行2D DCT。可根据以下等式来执行2D DCT C=D (x)XREFXD (y)…(I),其中，“C”表示包括通过执行2D DCT而获得的频域系数的块，“REF”表示对其执行T DCT的块1000，“D (X)”是用于沿X轴的方向(即，水平方向)执行DCT的矩阵，“D (y)”表示用于沿Y轴的方向(即，垂直方向)执行DCT的矩阵。这里，“D (X)”和“D (y)”可由以下等式(2)来限定
权利要求
1.一种对图像进行内插的方法，所述方法包括根据内插位置从多个不同的滤波器中选择用于在整数像素单元的像素值之间进行内插的第一滤波器；以及通过使用选择的第一滤波器，在整数像素单元的像素值之间进行内插来产生至少一个分数像素单元的至少一个像素值。
2.如权利要求I所述的方法，还包括根据内插位置从多个不同的滤波器中选择用于在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插的第二滤波器；以及通过使用选择第二滤波器，在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插。
3.如权利要求2所述的方法，其中，用于在整数像素单元的像素值之间进行内插的第一滤波器是下面的空间域滤波器，其中，所述空间域滤波器通过使用具有不同频率的多个基函数来对整数像素单元的像素值进行变换，并通过使用相位被移动的所述多个基函数，对通过对整数像素单元的像素值进行变换而获得的多个系数进行反变换。
4.如权利要求3所述的方法，其中，用于在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插的第二滤波器是下面的空间域滤波器，其中，所述空间域滤波器通过使用具有不同频率的多个基函数来对产生的所述至少一个分数像素单元的至少一个像素值进行变换，并通过使用相位被移动的所述多个基函数，对通过对产生的所述至少一个分数像素单元的至少一个像素值进行变换而获得的多个系数进行反变换。
5.一种用于对图像进行内插的设备，所述设备包括滤波器选择器，根据内插位置从多个不同的滤波器中选择用于在整数像素单元的像素值之间进行内插的第一滤波器；以及内插器，通过使用选择的第一滤波器，在整数像素单元的像素值之间进行内插来产生至少一个分数像素单元的至少一个像素值。
6.如权利要求5所述的设备，其中所述滤波器选择器根据内插位置从多个不同的滤波器中选择用于在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插的第二滤波器；所述内插器通过使用选择的第二滤波器，在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插。
7.如权利要求6所述的设备，其中，用于在整数像素单元的像素值之间进行内插的第一滤波器是下面的空间域滤波器，其中，所述空间域滤波器通过使用具有不同频率的多个基函数来对整数像素单元的像素值进行变换，并通过使用相位被移动的所述多个基函数，对通过对整数像素单元的像素值进行变换而获得的多个系数进行反变换。
8.如权利要求7所述的设备，其中，用于在产生的所述至少一个分数像素单元的至少一个像素值之间进行内插的第二滤波器是下面的空间域滤波器，其中，所述空间域滤波器通过使用具有不同频率的多个基函数来对产生的所述至少一个分数像素单元的至少一个像素值进行变换，并通过使用相位被移动的所述多个基函数，对通过对产生的所述至少一个分数像素单元的至少一个像素值进行变换而获得的多个系数进行反变换。
9.一种其上包含有用于执行权利要求I至4中的一项权利要求的方法的计算机程序的计算机可读记录介质。
10.如权利要求I所述的方法，其中通过将选择的滤波器的系数乘以缩放因子来对选择的滤波器进行缩放，产生所述至少一个分数像素单元的所述至少一个像素值的步骤包括通过使用经过缩放的选择的滤波器来在整数像素单元的像素值之间进行内插。
11.如权利要求I所述的方法，其中，选择第一滤波器的步骤包括根据包括整数像素单元的块的尺寸和用于进行内插的滤波的方向中的至少一个以及内插位置来选择第一滤波器。
全文摘要
本发明提供了一种用于对图像进行内插的方法和设备。所述方法包括根据内插位置从多个不同的滤波器中选择用于在整数像素单元的像素值之间进行内插的第一滤波器；以及通过使用选择的第一滤波器，在整数像素单元的像素值之间进行内插来产生至少一个分数像素单元的至少一个像素值。
文档编号H04N7/32GK102939760SQ201180027840
公开日2013年2月20日 申请日期2011年4月5日 优先权日2010年4月5日
发明者艾林娜·阿尔辛娜, 亚历山大·阿尔辛, 尼古拉·斯利亚科夫, 崔秉斗, 洪允美, 韩宇镇, 李泰美 申请人:三星电子株式会社