使用非对称插值滤波器的图像插值的方法及其设备与流程

使用非对称插值滤波器的图像插值的方法及其设备本申请是申请日为2012年6月28日，申请号为“201280042479.4”，标题为“使用非对称插值滤波器的图像插值的方法及其设备”的发明专利申请的分案申请。技术领域本发明涉及使用运动补偿的预测编码。

背景技术：
在典型的图像编码和解码方法中，为了对图像编码，一个画面被划分为宏块。之后，通过使用帧间预测或帧内预测对每个宏块执行预测编码。帧间预测表示通过去除画面之间的时间冗余来压缩图像的方法，其代表性示例是运动估计编码。在运动估计编码中，通过使用至少一个参考画面来预测当前画面的每个块。通过使用预定的评价函数在预定的搜索范围内找到与当前块最相似的参考块。基于参考块预测当前块，并且通过从当前块减去作为预测结果产生的预测块所获得的残差块被编码。在此情况下，为了更加精确地执行预测，对搜索参考画面的范围执行插值，产生小于整像素单元(integer-pel-unit)像素的子像素单元(sub-pel-unit)像素，并且对产生的子像素单元像素执行帧间预测。

技术实现要素：
技术问题本发明提供一种用于确定对称或非对称插值滤波器的滤波器系数以便通过对整像素单元像素进行插值来产生子像素单元像素的方法和设备。技术方案根据本发明的一方面，提供一种使用基于变换的插值滤波器的图像插值方法，所述方法包括：根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称或非对称插值滤波器；以及通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值。有益效果为了有效地执行图像插值，从用于产生子像素单元像素值的插值滤波器中，基于子像素单元插值位置不同地选择插值滤波器。插值滤波器可以是奇数或偶数抽头(tap)插值滤波器以进行子像素单元插值。插值滤波器可以根据插值位置被选择为对称或非对称插值滤波器。附图说明图1是根据本发明的实施例的图像插值设备的框图；图2是用于描述整像素单元和子像素单元之间的关系的示图；图3是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的邻近整像素单元像素的示图；图4A至图4C是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的整像素单元像素的示例的示图；图5A是用于描述根据本发明的实施例的使用相对于插值位置不对称设置的参考像素以确定子像素单元像素值的插值滤波方法的示图；图5B是用于描述根据本发明的实施例的使用包括奇数个滤波器系数的插值滤波器以确定子像素单元像素值的插值方法的示图；图6是根据本发明的实施例的基于平滑插值滤波器的平滑参数的平滑因子的曲线图；图7是根据本发明的实施例的插值滤波器的幅频响应曲线图；图8是根据本发明的实施例的图像插值方法的流程图；图9A至图9D分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的3抽头至6抽头插值滤波器的滤波器系数；图10A至图10C分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的7抽头插值滤波器的滤波器系数；图11A至图11C分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的8抽头插值滤波器的滤波器系数；图12A和图12B分别示出根据本发明的实施例的正则化的亮度插值滤波器和正则化的色度插值滤波器的滤波器系数；图13A是根据本发明的实施例的使用插值滤波器的视频编码设备的框图；图13B是根据本发明的实施例的使用插值滤波器的视频解码设备的框图；图14A是根据本发明的实施例的使用插值滤波器的图像编码方法的流程图；图14B是根据本发明的实施例的使用插值滤波器的图像解码方法的流程图；图15是用于描述根据本发明的实施例的编码单元的构思的示图；图16是根据本发明的实施例的基于编码单元的图像编码器的框图；图17是根据本发明的实施例的基于编码单元的图像解码器的框图；图18是示出根据本发明的实施例的根据深度的更深的编码单元和分区的示图；图19是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图；图20是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图；图21是根据本发明的实施例的根据深度的更深的编码单元的示图；图22至图24是用于描述根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的示图；图25是用于描述根据表1的编码模式信息的编码单元、预测单元或分区和变换单元之间的关系的示图；图26是根据本发明的实施例的基于具有树结构的编码单元的使用插值滤波器的视频编码方法的流程图；图27是根据本发明的实施例的基于具有树结构的编码单元的使用插值滤波器的视频解码方法的流程图。最佳实施方式根据本发明的一方面，提供一种使用基于变换的插值滤波器的图像插值方法，所述方法包括：根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值。对称插值滤波器可在由对称插值滤波器支持的区域中的插值位置的两侧包括相同数量的滤波器系数，非对称插值滤波器可在由非对称插值滤波器支持的区域中的插值位置的两侧包括不同数量的滤波器系数。产生至少一个子像素单元像素值的操作可包括：如果非对称插值滤波器被选择，则通过使用非对称插值滤波器的滤波器系数执行滤波，以支持非对称地位于由非对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素；以及如果对称插值滤波器被选择，则通过使用对称插值滤波器的滤波器系数执行滤波，以支持对称地位于由对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素。产生至少一个子像素单元像素值的操作可包括：如果包括奇数个滤波器系数的非对称奇数抽头插值滤波器从插值滤波器中被选择，则通过使用非对称奇数抽头插值滤波器的奇数个滤波器系数来执行滤波，以支持位于由非对称奇数抽头插值滤波器支持的区域中的插值位置的两侧的奇数个整像素单元像素；以及如果包括偶数个滤波器系数的对称偶数抽头插值滤波器从插值滤波器中被选择，则通过使用对称偶数抽头插值滤波器的偶数个滤波器系数来执行滤波，以支持位于由对称偶数抽头插值滤波器支持的区域中的插值位置的两侧的偶数个整像素单元像素。为了对空域中的整像素单元像素进行插值，每个插值滤波器可包括通过将使用用于变换和逆变换的多个基函数的滤波器和非对称或对称窗口滤波器进行组合所获得的滤波器系数。选择插值滤波器的操作可包括：从插值滤波器中选择被正则化的用于使作为使用所选择的插值滤波器的插值结果产生的频率响应误差最小化的插值滤波器，被正则化的插值滤波器可包括：i)包括7抽头滤波器系数{-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii)包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。根据本发明的另一方面，提供一种使用基于变换的插值滤波器的图像插值设备，所述设备包括：滤波器选择器，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及插值器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值。根据本发明的另一方面，提供一种使用图像插值滤波器的视频编码设备，所述设备包括：编码器，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中针对输入画面的每个块分别选择相对于由选择的插值滤波器支持的区域中的插值位置的对称插值滤波器或非对称插值滤波器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值，执行预测编码，并对根据预测编码的预测结果执行变换和量化；输出单元，输出通过对量化的变换系数和编码信息执行熵编码所产生的比特流；以及存储单元，存储插值滤波器的滤波器系数。根据本发明的另一方面，提供一种使用图像插值滤波器的视频解码设备，所述设备包括：接收器和提取器，接收视频的编码的比特流，执行熵解码和解析，并提取视频的画面的编码信息和编码数据；解码器，对画面的当前块的编码数据的量化的变换系数执行反量化和逆变换，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值，并执行预测解码以恢复画面；以及存储单元，存储插值滤波器的滤波器系数。根据本发明的另一方面，提供一种其上记录有用于执行上述的方法的程序的计算机可读记录介质。具体实施方式在下面的描述中，“图像”可全面地表示诸如视频的运动图像以及静止图像。参照图1至图12B公开根据本发明的实施例的考虑平滑的使用非对称插值滤波器和对称插值滤波器的插值。此外，参照图13A至图27公开根据本发明的实施例的使用非对称插值滤波器和对称插值滤波器的视频编码和解码。具体地讲，参照图15至图25公开根据本发明的实施例的基于具有树结构的编码单元的使用非对称插值滤波器和对称插值滤波器的视频编码和解码。现在将参照图1至图12B详细地描述根据本发明的实施例的考虑平滑的使用非对称插值滤波器和对称插值滤波器的插值。图1是根据本发明的实施例的图像插值设备10的框图。使用对称插值滤波器和非对称插值滤波器的图像插值设备10包括滤波器选择器12和插值器14。图像插值设备10的滤波器选择器12和插值器14的操作可由视频编码处理器、中央处理单元(CPU)和图形处理器协同控制。图像插值设备10可接收输入图像，并可通过对整像素单元像素进行插值来产生子像素单元像素值。输入图像可以是视频的画面序列、画面、帧或块。滤波器选择器12可基于子像素单元插值位置不同地选择用于产生位于整像素单元之间的至少一个子像素单元像素值的插值滤波器。插值器14可通过使用滤波器选择器12所选择的插值滤波器对与子像素单元插值位置邻近的整像素单元像素进行插值，从而产生子像素单元像素值。对整像素单元像素进行插值滤波以产生子像素单元像素值的操作可包括：对包括与由插值滤波器支持的区域中的子像素单元插值位置邻近的整像素单元像素的整像素单元参考像素值进行插值滤波。插值滤波器可包括用于基于多个基函数对整像素单元参考像素进行变换以及用于对作为变换结果产生的多个系数进行逆变换的滤波器系数。插值滤波器可以是一维滤波器或二维滤波器。如果所选择的插值滤波器是一维滤波器，则插值器14可通过在两个或更多个方向上使用一维插值滤波器连续地执行滤波，从而产生当前的子像素单元像素值。滤波器选择器12可根据子像素单元插值位置分别选择插值滤波器。插值滤波器可包括对称插值滤波器和非对称插值滤波器，其中，对称插值滤波器在由对称插值滤波器支持的区域中的插值位置的两侧包括相同数量的滤波器系数，非对称插值滤波器在由非对称插值滤波器支持的区域中的插值位置的两侧包括不同数量的滤波器系数。滤波器选择器12可根据子像素单元插值位置分别选择对称插值滤波器和非对称插值滤波器。例如，7抽头插值滤波器可在由7抽头插值滤波器支持的区域中的插值位置的两侧包括三个滤波器系数和四个滤波器系数。在此情况下，7抽头插值滤波器可被视为非对称插值滤波器。例如，8抽头插值滤波器可在由8抽头插值滤波器支持的区域中的插值位置的两侧包括四个滤波器系数和四个滤波器系数。在此情况下，8抽头插值滤波器可被视为对称插值滤波器。如果滤波器选择器12选择了非对称插值滤波器，则插值器14可对相对于插值位置不对称设置的整像素单元像素执行滤波。否则，如果对称插值滤波器被选择，则插值器14可对相对于插值位置对称设置的整像素单元像素执行滤波。插值滤波器可包括非对称奇数抽头插值滤波器和对称偶数抽头插值滤波器，其中，非对称奇数抽头插值滤波器包括奇数个滤波器系数，对称偶数抽头插值滤波器包括偶数个滤波器系数。滤波器选择器12可根据子像素单元插值位置分别选择非对称奇数抽头插值滤波器和对称偶数抽头插值滤波器。例如，1/2像素单元插值滤波器和1/4像素单元插值滤波器可被分别不同地选择。因此，8抽头插值滤波器(即，对称偶数抽头插值滤波器)可被选择为1/2像素单元插值滤波器，7抽头插值滤波器(即，非对称奇数抽头插值滤波器)可被选择为1/4像素单元插值滤波器。为了对空域中的整像素单元像素进行插值，可通过将用于通过使用多个基函数执行变换和逆变换的滤波器系数和用于执行低通滤波的窗口滤波器系数进行组合来获得每个插值滤波器。可基于相对于插值位置非对称的窗口滤波器或者相对于插值位置对称的窗口滤波器来产生插值滤波器。还可通过将用于基于多个基函数执行变换和逆变换的滤波器和非对称窗口滤波器进行组合来产生非对称插值滤波器。如果奇数抽头插值滤波器被选择，则插值器14可通过使用奇数抽头插值滤波器的奇数个滤波器系数来对相对于插值位置设置的奇数个整像素单元像素执行滤波。如果偶数抽头插值滤波器被选择，则插值器14可通过使用偶数抽头插值滤波器的偶数个滤波器系数来对相对于插值位置设置的偶数个整像素单元像素执行滤波。奇数抽头插值滤波器可在相应支持区域中的插值位置的两侧包括不同数量的滤波器系数，因此可以是非对称插值滤波器。偶数抽头插值滤波器可以是在相应支持区域中的插值位置的两侧包括相同数量的滤波器系数的对称插值滤波器。滤波器选择器12可选择被正则化以使作为使用插值滤波器的插值结果产生的频率响应误差最小化的插值滤波器。例如，被正则化的插值滤波器可包括：i)包括7抽头滤波器系数{-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii)包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。此外，滤波器选择器12可根据颜色分量分别不同地选择插值滤波器。例如，被正则化的用于亮度像素的插值滤波器可被确定为1/4像素单元7抽头插值滤波器和1/2像素单元8抽头插值滤波器。被正则化的用于色度像素的插值滤波器可被确定为1/8像素单元、1/4像素单元和1/2像素单元4抽头插值滤波器。确定的被正则化的用于色度像素的插值滤波器可包括：i)包括用于1/8插值位置的4抽头滤波器系数{-2,58,10,-2}并具有0.012的平滑度的1/8像素单元插值滤波器；ii)包括用于1/4插值位置的4抽头滤波器系数{-4,54,16,-2}并具有0.016的平滑度的1/4像素单元插值滤波器；iii)包括用于3/8插值位置的4抽头滤波器系数{-6,46,28,-4}并具有0.018的平滑度的1/8像素单元插值滤波器；以及iv)包括用于1/2插值位置的4抽头滤波器系数{-4,36,36,-4}并具有0.020的平滑度的1/2像素单元插值滤波器。插值滤波器可以是镜面反射对称滤波器，其中，插值位置α的滤波器系数f(α)和插值位置(1-α)的滤波器系数fl(1-α)可以相同。用于亮度像素的1/4像素单元插值滤波器可以是镜面反射对称滤波器。因此，用于1/4插值位置的插值滤波器和用于3/4插值位置的插值滤波器可包括对称相同的系数。如果1/4像素单元7抽头亮度插值滤波器包括1/4插值位置的滤波器系数{-1,4,-10,58,17,-5,1}，则其可包括3/4插值位置的滤波器系数{1,-5,17,58,-10,4,-1}。用于色度像素的1/8像素单元插值滤波器可以是镜面反射对称滤波器。因此，用于1/8插值位置的插值滤波器和用于7/8插值位置的插值滤波器可包括对称相同的系数。类似地，用于3/8插值位置的插值滤波器和用于5/8插值位置的插值滤波器可包括对称相同的系数。可基于包括通过使用多个基函数确定的滤波器系数的基于变换的插值滤波器来确定插值滤波器。此外，从基于变换的插值滤波器修改的平滑插值滤波器可被用于通过根据插值位置和整像素单元像素之间的距离改变其平滑度来执行滤波。可基于插值位置和整像素单元像素之间的距离来确定平滑插值滤波器的平滑度。插值滤波器可根据其平滑度和子像素单元插值位置而包括不同的滤波器系数。还可基于插值位置和与插值位置邻近的整像素单元像素之间的距离来确定平滑插值滤波器的平滑度。此外，插值滤波器可包括用于允许远离插值位置的整像素单元参考像素被平滑的滤波器系数。通过将用于执行变换和逆变换的滤波器系数和用于执行低通滤波的窗口滤波器系数进行组合所获得的平滑插值滤波器可包括用于将大权重给予接近于插值位置的整像素单元参考像素并将小权重给予远离插值位置的整像素单元参考像素的滤波器系数。平滑插值滤波器可包括用于对整像素单元参考像素进行平滑、通过使用多个基函数对平滑后的整像素单元参考像素进行变换并且对作为变换结果产生的多个系数进行逆变换的滤波器系数。平滑插值滤波器可根据其长度以及其平滑度和子像素单元插值位置而包括不同的滤波器系数。此外，平滑插值滤波器可根据作为插值结果的缩放比例以及其平滑度、其长度和子像素单元插值位置而包括不同的滤波器系数。滤波器选择器12可选择滤波器系数增加到整数的平滑插值滤波器。插值器14对通过使用滤波器选择器12所选择的平滑插值滤波器而产生的像素值进行正则化。此外，滤波器选择器12可根据像素特性不同地选择插值滤波器。插值器14可通过使用根据像素特性不同地选择的插值滤波器来产生子像素单元像素值。可由滤波器选择器12选择的插值滤波器可包括平滑插值滤波器和不考虑平滑的一般插值滤波器。因此，根据图像特性，滤波器选择器12可选择完全不考虑平滑的一般插值滤波器。例如，根据另一实施例，图像插值设备10可根据颜色分量通过使用不同的插值滤波器来执行图像插值。根据另一实施例，滤波器选择器12可基于当前像素的子像素单元插值位置和颜色分量不同地选择插值滤波器。根据另一实施例，插值器14可通过使用所选择的插值滤波器对整像素单元像素进行插值，从而产生至少一个子像素单元像素值。例如，滤波器选择器12可不同地确定用于亮度分量的插值滤波器和用于色度分量的插值滤波器。为了对色度像素进行插值，滤波器选择器12可选择具有比用于亮度像素的插值滤波器的平滑度大的平滑度的平滑插值滤波器。此外，为了对色度像素进行插值，可选择包括基于平滑参数确定的滤波器系数的插值滤波器或包括与窗口滤波器组合的滤波器系数的插值滤波器，其中，所述平滑参数具有比用于亮度像素的插值滤波器的平滑度大的平滑度，所述窗口滤波器比用于亮度像素的插值滤波器去除更多的高频分量。为了获得色度分量的平滑插值结果，可选择通过将用于基于多个基函数执行变换和逆变换的滤波器系数和用于执行低通滤波的窗口滤波器系数进行组合所获得的平滑插值滤波器。图像插值设备10可包括用于全面地控制滤波器选择器12和插值器14的CPU(未示出)。可选地，滤波器选择器12和插值器14可被各个处理器(未示出)驱动，并且处理器可彼此协同操作，从而操作整个图像插值设备10。可选地，在图像插值设备10外部的处理器(未示出)可控制滤波器选择器12和插值器14。图像插值设备10可包括用于存储滤波器选择器12和插值器14的输入/输出(I/O)数据的一个或更多个数据存储单元(未示出)。图像插值设备10还可包括用于控制数据存储单元(未示出)的数据I/O的存储器控制器(未示出)。图像插值设备10可包括包含用于执行图像插值的电路的另外的处理器。可选地，图像插值设备10可包括其上记录有图像插值模块的存储介质，CPU可调用并驱动图像插值模块以执行图像插值。图像插值用于将低质量图像变换为高质量图像，将隔行扫描图像变换为逐行扫描图像，或者将低质量图像上采样为高质量图像。此外，当视频编码设备对图像编码时，运动估计器和补偿器可通过使用插值的参考帧执行帧间预测。可通过对参考帧进行插值以产生高质量图像并基于高质量图像执行运动估计和补偿来提高帧间预测的精确度。类似地，当图像解码设备对图像解码时，运动补偿器可通过使用插值的参考帧执行运动补偿，从而提高帧间预测的精确度。此外，由图像插值设备10使用的平滑插值滤波器可通过使用插值滤波器减少插值结果中的高频分量来获得平滑的插值结果。由于高频分量降低了图像压缩的效率，因此还可通过执行平滑度可调的图像插值来提高图像编码和解码的效率。此外，滤波器系数相对于插值位置对称设置的对称插值滤波器或滤波器系数相对于插值位置非对称设置的非对称插值滤波器可被选择性地使用。此外，作为插值滤波器，奇数抽头插值滤波器或偶数抽头插值滤波器可根据插值位置被选择性地使用。因此，图像插值设备10可对相对于插值位置非对称设置的整像素单元像素以及相对于插值位置对称设置的整像素单元像素执行图像插值滤波。现在将参照图2至图7B详细地描述根据本发明的实施例的使用通过将用于基于多个基函数执行变换和逆变换的滤波器系数和窗口滤波器系数进行组合所获得的插值滤波器的插值。图2是用于描述整像素单元和子像素单元之间的关系的示图。参照图2，图像插值设备10通过对空域中的预定块20的位置“O”的整像素单元像素值进行插值来产生位置“X”的像素值。位置“X”的像素值是由αx和αy确定的插值位置的子像素单元像素值。虽然图2示出了预定块20是4×4块，但是本领域的普通技术人员将理解，块尺寸不限于4×4，可以大于或小于4×4。在视频处理中，运动矢量用于对当前图像执行运动补偿和预测。根据预测编码，参考先前解码的图像以预测当前图像，并且运动矢量指示参考图像的预定点。因此，运动矢量指示参考图像的整像素单元像素。然而，将被当前图像参考的像素可以位于参考图像的整像素单元像素之间。这样的位置被称为子像素单元位置。由于像素不存在于子像素单元位置，因此仅仅通过使用整像素单元像素值预测子像素单元像素值。换言之，通过对整像素单元像素进行插值来估计子像素单元像素值。现在将参照图3和图4A至图4C详细地描述对整像素单元像素进行插值的方法。图3是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的邻近整像素单元像素的示图。参照图3，图像插值设备10通过对空域中的整像素单元像素值31和33进行插值来产生插值位置的子像素单元像素值35。插值位置由α确定。图4A至图4C是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的整像素单元像素的示例的示图。参照图4A，为了通过对两个整像素单元像素值31和33进行插值来产生子像素单元像素值35，使用包括整像素单元像素值31和33的多个邻近整像素单元像素值37和39。换言之，可通过对从第-(M-1)像素值到第M像素值的2M个像素值执行一维插值滤波来对第0像素和第1像素进行插值。此外，虽然图4A示出了对水平方向上的像素值进行插值，但是可通过使用垂直方向或对角线方向上的像素值执行一维插值滤波。参照图4B，可通过对垂直方向上的彼此邻近的像素P041和P143进行插值来产生插值位置α的像素值P(α)。当将图4A和图4B比较时，它们的插值滤波方法相似，其差异仅在于在图4B中对沿垂直方向排列的像素值47和49进行插值，而在图4A中对沿水平方向排列的像素值37和39进行插值。参照图4C，类似地，通过对两个邻近的像素值40和42进行插值来产生插值位置α的像素值44。与图4A的差异仅在于使用沿对角线方向排列的像素值46和48，而非沿水平方向排列的像素值37和39。除了图4A至图4C中示出的方向之外，可沿各种方向执行一维插值滤波。可执行插值滤波以对用于产生子像素单元像素值的整像素单元像素进行插值。插值滤波可由下面的等式表示。通过根据2M个整像素单元参考像素{pm}＝{p-M+1,p-M+2,...,p0,p1,...,pM}的矢量p和滤波器系数{fm}＝{f-M+1,f-M+2,...,f0,f1,...,fM}的矢量f(x)的点积执行插值来产生像素值p(x)。由于滤波器系数f(α)根据插值位置α变化并且根据滤波器系数f(α)确定通过执行插值所获得的像素值p(α)，因此所选择的插值滤波器(即，确定的滤波器系数f(x))极大地影响插值滤波的性能。现在将详细地描述使用基于基函数的变换和逆变换的图像插值以及确定插值滤波器的方法。使用变换和逆变换的插值滤波器首先通过使用具有不同频率分量的多个基函数来变换像素值。变换可包括从空域中的像素值到变换域中的系数的所有类型的变换，并且可以是离散余弦变换(DCT)。通过使用多个基函数变换整像素单元像素值。像素值可以是亮度像素值或色度像素值。基函数不限于特定的基函数，可包括用于将空域中的像素值变换为变换域中的像素值的所有基函数。例如，基函数可以是用于执行DCT和逆DCT(IDCT)的余弦或正弦函数。可选地，可使用诸如样条函数和多项式基函数的各种基函数。此外，DCT可以是修改的DCT(MDCT)或具有窗口的MDCT。使用变换和逆变换的插值滤波器对用于执行变换的基函数进行移相，并对通过使用移相后的基函数产生的多个系数的值(即，变换域中的值)进行逆变换。作为逆变换结果，空域中的像素值被输出，并且输出的值可以是插值位置的像素值。<使用基于正交基函数的正交变换和逆变换的滤波器系数>现在将详细地描述插值器14使用基于正交基函数的变换和逆变换执行插值的情况。具体地讲，DCT被描述为变换的示例。例如，参照图4A，为了通过使用包括整像素单元像素值31和33的多个邻近的整像素单元像素值37和39对两个整像素单元像素值31和33进行插值来产生子像素单元像素值35，可通过对从第-(M-1)像素值到第M像素值的2M个像素值执行一维DCT并基于移相后的基函数执行一维IDCT来对第0像素和第1像素进行插值。插值器14首先对整像素单元像素值执行一维DCT。一维DCT可如等式38中所表示的被执行。[等式38]0≤k≤2M-1p(l)表示从第-(M-1)像素值到第M像素值的像素值37和39，Ck表示通过对像素值37和39执行一维DCT所产生的频域中的多个系数。在此情况下，k是满足上面等式38的条件的正整数。在通过使用等式38对像素值37和39执行一维DCT之后，插值器14对如等式39中表示的系数执行逆变换。[等式39]α表示如图13中所示的两个像素值之间的插值位置，并可具有各种分数值，诸如1/2、1/4、3/4、1/8、3/8、5/8、7/8、1/16等。分数值不限于特定值，α可以是实值而非分数值。P(α)表示作为一维IDCT结果产生的插值位置α的子像素单元像素值35。当等式39与等式38比较时，作为用于执行IDCT的基函数的余弦函数的相位根据分数α而非整数l被确定，因此，与用于执行一维DCT的基函数的相位不同。换言之，用于执行逆变换的每个基函数(即，余弦函数)的相位根据2α被移动。如果插值器14根据等式39基于移相后的余弦函数执行IDCT，则产生插值位置α的子像素单元像素值35，即，P(α)。根据等式38的DCT由等式40中表示的行列式表示。[等式40]C＝D×REF这里，C是以上结合等式38描述的2M个系数的2M×1矩阵，REF是以上结合等式38描述的整像素单元像素值(即，P-(M-1),...PM像素值)的2M×1矩阵。用于执行插值的整像素单元像素值的数量(即，2M)表示一维插值滤波器的抽头的数量。D是用于执行一维DCT的方阵并可如等式4中表示的被定义。[等式4]0≤k≤2M-1-(M-1)≤l≤Mk和l是满足以上条件的整数，Dkl表示用于执行等式40中的DCT的方阵D的行k和列l。M与等式40中的M相同。使用根据等式39的多个移相后的基函数的IDCT由等式5中表示的行列式表示。[等式5]P(α)＝W(α)×C这里，P(α)与等式39的P(α)相同，W(α)是用于通过使用多个移相后的基函数执行一维IDCT的1×2M矩阵，并可如等式6中表示的被定义。[等式6]1≤k≤2M-1k是满足以上条件的整数，Wk(α)表示以上结合等式5描述的矩阵W(α)的列k。用于使用基于等式3和5的多个移相后的基函数执行一维DCT和一维IDCT的滤波器F(α)可如等式7中表示的被定义。[等式7]P(α)＝F（α)×REF0≤k≤2M-1-(M-1)≤l≤Mk和l是满足以上条件的整数，Fl(α)表示F(α)的列l，W(α)和D与等式40的W(α)和D相同。<用于缩放插值的插值滤波器系数>根据本发明的实施例的各种插值滤波器产生方法基于用于产生浮点数(而非整数)的算术表达，并且滤波器系数的绝对值通常不大于1。具体地讲，可通过子像素单元插值位置α产生实数(而非整数)的计算结果。基于整数的计算的效率大于基于浮点数的计算的效率。如此，图像插值设备10可通过使用缩放比例将滤波器系数缩放为整数来提高插值滤波的计算效率。此外，由于像素值的比特深度增加，因此插值滤波的精确度也可被提高。图像插值设备10可将滤波器系数fm(α)乘以预定值，并可通过使用大的滤波器系数Fm(α)来执行图像插值。例如，滤波器系数Fm(α)可如等式8中所示从滤波器系数fm(α)被缩放。[等式8]Fm(α)＝int(fm(α)·2n)为了计算的效率，缩放比例可以是2n的形式。n可以是0或正整数。使用被缩放了2n的滤波器系数的插值滤波结果与通过使用原始滤波器系数获得的结果相比可具有被缩放了n比特的比特深度。使用缩放的滤波器系数Fm(α)的整数计算插值滤波可满足等式9。换言之，在通过使用缩放的滤波器系数Fm(α)执行插值滤波之后，缩放的比特深度必须被恢复到原始比特深度。[等式9]在此情况下，偏移可以是2n-1。换言之，由于使用缩放的插值滤波器的缩放滤波结果必须被减小缩放比例(即，2n)以被恢复到原始比特，因此缩放滤波结果的比特深度可被减小n比特。如果通过在水平方向上执行一维插值滤波并在垂直方向上执行一维插值滤波来执行两步插值滤波，则可减小总共2n比特。因此，如果第一一维插值滤波器被缩放n1比特并且第二一维插值滤波器被缩放n2比特，则在通过使用第一和第二一维插值滤波器执行两步插值滤波之后，可减小n1和n2之和，即，2n比特。第一一维插值滤波器可以是未被缩放的插值滤波器。由于滤波器系数fm(α)之和是1，则[等式10]用于对缩放的插值滤波器的滤波器系数Fm(α)进行正则化的条件需要满足等式11。[等式11]然而，根据等式11的正则化条件可引起舍入误差。图像插值设备10可基于根据等式11的正则化条件对缩放的滤波器系数Fm(α)进行舍入。对于正则化，可在原始值的预定范围内调整缩放的滤波器系数Fm(α)中的一些系数。例如，可在±1的范围内调整缩放的滤波器系数Fm(α)中的一些系数，以校正舍入误差。对于具有奇数个参考像素的插值滤波器或相对于插值位置的非对称插值滤波器，插值器14可使用基于多个基函数的变换和逆变换来改变插值滤波器。下面将描述使用包括奇数个滤波器系数的奇数抽头插值滤波器的图像插值，所述奇数抽头插值滤波器作为使用基于多个基函数的变换和逆变换的插值滤波器。<非对称插值滤波器>图5A是用于描述根据本发明的实施例的使用相对于插值位置不对称设置的参考像素以确定子像素单元像素值的插值滤波方法的示图。假设为了计算子像素单元插值位置α的像素p(α)50，使用相对于插值位置α的左参考像素52和右参考像素54来执行插值滤波。左参考像素52的数量是3，右参考像素54的数量是5。由于插值滤波支持奇数像素，因此左参考像素52和右参考像素54相对于插值位置α非对称设置。如以上结合等式38至40以及等式4至7所述，通过使用相对于插值位置α对称分布的2M个整像素单元参考像素p-M+1,p-M+2,...,p0,p1,...,pM来执行插值滤波。即，如果参考像素被表示为pl，则整数l的范围被表示为-M+1≤l≤M。如果等式38至40以及等式4至7的插值位置α被平移到α-h，则可通过使用等式38至40以及等式4至7来产生使用如图5A中所示的相对于插值位置α非对称设置的参考像素的插值滤波器的滤波器系数。换言之，如果非对称的左参考像素52和右参考像素54被表示为pl，则整数l的范围是-M+1+h≤l≤M+h。在此情况下，M是4，h是1。左参考像素52的数量小于在2M个参考像素相对于插值位置α对称分布的情况下的数量。根据等式38至40以及等式4至7的插值滤波器是一维滤波器。为了通过使用一维滤波器执行二维滤波，在垂直方向上并在水平方向上执行插值滤波。换言之，一维插值滤波被执行两次。从执行一维插值滤波两次的操作中，对于执行运动补偿，第二一维插值滤波使用滤波器抽头的数量增加一半的滤波器，第一一维插值滤波针对扩展块被执行。当对块的左边界执行插值滤波时，块必须从左边界向左扩展。如果使用相对于插值位置α对称设置的2M个参考像素的对称插值滤波器被使用，则为了执行插值滤波，块必须向左扩展M个像素。然而，如果使用相对于插值位置α非对称设置的参考像素的非对称插值滤波器被使用，则为了执行插值滤波，滤波区域必须向块的左边扩展M-h个像素。类似地，如果h是负方向，则当对块的右边界执行插值滤波时，滤波区域必须向块的右边扩展M+h个像素。换言之，如果对块的边界执行插值滤波，则与使用对称插值滤波器的情况相比，当使用非对称插值滤波器时，块的将被扩展的区域可以减小。如此，用于存储扩展区域的像素值的存储空间可以减小，并且用于扩展块的计算的量也可以减小。<奇数抽头插值滤波器>图5B是用于描述根据本发明的实施例的使用包括奇数个滤波器系数的插值滤波器以确定子像素单元像素值的插值方法的示图。假设为了计算子像素单元插值位置α的像素p(α)55，插值滤波器使用参考像素{p-2,p-1,p0,p1,p2}。参考像素的数量是5，即，奇数，并且相对于插值位置α的三个左参考像素51和两个右参考像素53可被参考以执行插值滤波。由于左参考像素51和右参考像素53相对于插值位置α非对称设置，并且右参考像素53的数量小于左参考像素51的数量，因此图5B中示出的插值滤波器可以对块的右边界有效执行插值滤波。首先，根据等式12至15，使用整数l的范围是-M+1≤l≤M-1的参考像素{pl}并具有2M-1的滤波器尺寸Size(即，滤波器抽头的数量)的插值滤波器的滤波器系数{p(α)}被确定。[等式12]0≤k≤Size-1[等式13]0≤k≤Size-1[等式14][等式15]如果M是3，则可根据等式15确定图5B的插值滤波器系数。可选地，根据等式16至19，使用整数l的范围是-M+2≤l≤M的参考像素{pl}并具有2M-1的滤波器尺寸Size(即，滤波器抽头的数量)的插值滤波器的滤波器系数{p(α)}可被确定。[等式16]-M+2≤l≤M；0≤k≤Size-1[等式17][等式18][等式19]可对从图5B的参考像素向右平移1的像素执行使用根据等式19确定的滤波器系数的插值滤波。在等式12至19中，α不限于等于或大于0并且等于或小于1的值。换言之，α可具有小于0的值或大于1的值。因此，基于等式12至19，可获得具有奇数个滤波器抽头的奇数抽头插值滤波器。由于滤波器抽头的数量是奇数，因此可对奇数个参考像素执行使用插值滤波器的插值滤波。还可通过将使用相对于插值位置非对称设置的参考像素的插值滤波器和奇数抽头插值滤波器进行组合来获得插值滤波器。即，用于对相对于插值位置非对称设置的奇数个像素执行插值滤波的插值滤波器也是可用的。如果等式12至15中的参考像素的中心被概括，则可根据等式20和21推导出插值滤波器的滤波器系数。[等式20][等式21]这里，Mmax和Mmin分别表示参考像素中的最小索引值和最大索引值，并可表示参考像素的范围。因此，滤波器尺寸Size可被确定为Mmax-Mmin+1。例如，在7抽头插值滤波器中，如果Mmax＝3并且Mmin＝-3，则参考像素的中心索引Center可以是0。换言之，Center具有Mmax和Mmin的平均值。此外，如果用于根据等式20和21的插值滤波器的基函数被表示为余弦变换函数的基函数Wk，则推导出等式22和23。[等式22][等式23]1≤k≤Size-1因此，插值滤波器可以是使用相对于插值位置非对称设置的参考像素的非对称插值滤波器，并可包括滤波器系数的数量是奇数的奇数抽头插值滤波器。如以上结合等式38至40以及等式4至7所述，插值滤波器还可包括对称插值滤波器和偶数抽头插值滤波器。通常，奇数抽头插值滤波器可以是非对称插值滤波器。然而，偶数抽头插值滤波器可以是对称插值滤波器或非对称插值滤波器。例如，如果8抽头插值滤波器在由对称的偶数抽头插值滤波器支持的区域中的插值位置的两侧包括四个滤波器系数和四个滤波器系数，则该8抽头插值滤波器可以是对称的偶数抽头插值滤波器，而如果其在非对称的偶数抽头插值滤波器支持的区域中的插值位置的两侧包括三个滤波器系数和五个滤波器系数，则其可以是非对称偶数抽头插值滤波器。插值滤波器可包括通过根据插值位置调整插值滤波器的响应的平滑度所产生的滤波器系数。现在将详细地描述窗口滤波器用于确定各种平滑插值滤波器的情况。<使用窗口滤波器的平滑插值滤波器>现在将详细地描述通过使用窗口滤波器对插值滤波器系数进行平滑的方法。窗口滤波器可使用汉明(hamming)窗函数、余弦窗函数、指数窗函数、汉宁(hanning)窗函数、布莱克曼窗函数和三角窗函数。虽然为了方便解释，下面将描述通过使用特定窗函数对基于变换和逆变换的插值滤波器进行平滑的情况，但是本领域的普通技术人员将理解，除了所描述的窗函数之外，还可使用具有相似频率响应的其他窗函数。根据汉明窗函数的窗口系数满足等式24。[等式24]在包括汉明窗函数的各种窗函数中，输入n相对于N/2对称，并且频率响应与低通滤波器的频率响应相似。从窗函数的输入中，仅由窗函数所形成的窗口覆盖的输入可被输出。窗口尺寸N可被设置为大于原始插值滤波器的长度的正整数。例如，为了将窗函数应用于产生子像素单元像素(诸如1/2或1/4像素)的插值滤波器，窗函数的中心位置可被移动1/2或1/4像素。即，由于窗函数的中心位置被移动到插值位置，因此窗函数可以相对于插值位置对称。例如，等式25和26分别示出用于1/2像素单元和1/4像素单元插值滤波器的汉明窗函数的窗口系数。[等式25][等式26]等式27依次示出作为用于根据子像素单元插值位置α产生的插值滤波器的窗函数的汉明窗函数、余弦窗函数和指数窗函数的窗口系数。[等式27]wα(n)＝exp{-β(α-m)2}通过将根据等式27的窗口系数与原始插值滤波器fk(α)进行组合，可根据等式28确定平滑插值滤波器系数。[等式28]由于通过使用窗口滤波器确定平滑插值滤波器，因此可基于整像素单元参考像素和插值位置之间的距离来调整插值滤波器系数的权重。例如，可以以如下方式确定平滑插值滤波器：通过窗函数，在插值滤波器的滤波器系数中，对远离插值位置的整像素单元参考像素的滤波器系数进行极大地平滑，而接近插值位置的整像素单元参考像素的滤波器系数没有很大地改变。此外，如果通过使用窗口滤波器确定平滑插值滤波器，则可在整像素单元参考像素被平滑之后执行插值滤波。输入的整像素单元参考像素Ref＝{p-M+1,p-M+2,...,p0,p1,...,pM}可能包括噪声，或者可由于诸如量化误差的误差而被损坏。如此，如果整像素单元参考像素在插值滤波被执行之前被平滑，则图像插值设备10可提高插值效果。<使用非对称窗口滤波器的插值滤波器>非对称窗口滤波器相对于滤波器的中心非对称。因此，用于插值滤波器的非对称窗口滤波器可被用于相对于插值位置非对称地执行插值滤波。等式29示出最简形式的非对称窗口滤波器的滤波器系数wl。[等式29]N表示窗口尺寸，Mmin和Mmax表示距插值位置最远的位置的参考像素。可通过改变窗口尺寸N调整窗口滤波器的滤波器特性。窗口尺寸N可等于或大于插值滤波器的滤波器尺寸Size，并且可等于或小于滤波器尺寸Size的两倍(Size≤N≤2×Size)。例如，当等式38至40以及等式4至7与等式29组合时，如果M是4的对称插值滤波器的滤波器系数被确定，则由于参考像素的数量(2M)是8，因此8抽头插值滤波器被获得。如果窗口尺寸N＝13的窗函数被使用，则1/4像素单元插值滤波器和1/2像素单元插值滤波器的滤波器系数被如下表示。这里，使用的缩放因子S是64。1/4像素单元插值滤波器系数{pl}＝{-1,4,-10,57,19,-7,3,-1}1/2像素单元插值滤波器系数{pl}＝{-1,4,-11,40,40,-11,4,-1}类似地，当等式38至40以及等式4至7与等式29组合时，如果Mmin和Mmax被不同地调整，则可通过使用非对称窗口滤波器来确定非对称插值滤波器的滤波器系数。<使用两个参数的平滑插值滤波器>平滑插值滤波器可基于两个参数确定滤波器系数的平滑度。通过将平滑矩阵S和基于变换和逆变换的插值滤波器系数进行组合所获得的子像素单元平滑插值滤波器系数满足等式30。[等式30]等式31示出平滑矩阵S的示例。[等式31]sij＝0；{sii＝1-σi；si，i+1＝σi}；i＝-M+1{sii＝1-2σi；si，i±1＝σi}；-M+1≤i≤M{sii＝1-σi；si，i-1＝σi}；i＝M根据等式31的平滑矩阵S是3-对角矩阵。换言之，在平滑矩阵S的分量中，除了一条中心对角线和两条彼此相应且与中心对角线邻近的对角线上的分量之外的分量都为0。在平滑矩阵S中，可不管距将被插值的整像素单元像素的距离(i-α)而确定平滑度σi。在此情况下，根据平滑矩阵S的平滑可被称为均匀平滑。此外，在平滑矩阵S中，可根据整像素单元像素位置的索引l来改变平滑度σi。在此情况下，根据平滑矩阵S的平滑可被称为非均匀平滑。例如，平滑度σi可满足等式32。[等式32]σi＝β(i-α)1如果插值位置和整像素单元参考像素之间的距离大，则正索引l可增加平滑效果。因此，正索引l可根据插值位置和整像素单元参考像素之间的距离来控制平滑的速度。平滑参数β可控制插值位置周围的平滑的范围。如果平滑参数β小于0，则根据等式13的平滑矩阵S可被改变为锐化滤波器。因此，如果小于0的平滑矩阵S与使用变换和逆变换的插值滤波器组合，则可产生用于放大高频分量的滤波器。为了执行子像素单元预测，图像插值设备10可使用预先存储在存储器中的平滑插值滤波器系数数据。图6是根据本发明的实施例的基于平滑插值滤波器的平滑参数β的平滑因子的曲线图67。第一曲线68和第二曲线69示出用于基于离散变换对插值滤波器进行平滑的平滑因子。如果m大，即，如果距将被插值的整像素单元像素的距离增加，则平滑因子接近0。这里，与平滑参数β大的情况下的第二曲线69相比，平滑参数β小的情况下的第一曲线68具有相对大的平滑因子的宽度。换言之，如果平滑插值滤波器的平滑参数β大，则低频分量可被主要过滤，因此，可产生相对强的平滑子像素单元像素值。如果平滑插值滤波器的平滑参数β相对小，则相对地高频分量可保持并被插值，因此，可产生子像素单元像素值。以上描述了各种插值滤波器和滤波器系数。具体地讲，作为用于确定插值滤波器的滤波器系数的函数，窗函数、样条函数、多项式函数等可被使用。对于插值滤波器，函数的频率响应可根据频率变化，但是函数的频率响应的滤波器增益可接近1。因此，即使当频率变化时，图像插值设备10也可通过使用频率响应的滤波器增益最接近1的函数来确定滤波器系数，并可选择包括这些滤波器系数的插值滤波器。<正则化的插值滤波器>如果插值滤波器的滤波器尺寸增加，则插值的精确度可被提高。然而，如果滤波器尺寸增加，则高频分量保持在滤波结果中，因此，插值滤波器易受噪声影响。插值滤波器可通过使用具有插值位置α作为其中心的余弦窗函数来平滑参考像素值{pl}，从而减小插值滤波结果中的噪声。通过使用余弦窗函数平滑参考像素值{pl}的操作满足等式33。[等式33]N表示用于平滑的窗口尺寸，但是可以不必是整数。因此，如果根据等式7的使用变换和逆变换的滤波与根据等式33的窗口滤波组合，则能够进行用于子像素单元插值位置α的平滑插值滤波。可通过使用有限脉冲响应(FIR)滤波器来执行平滑插值滤波，并且平滑插值滤波满足等式34和35。[等式34][等式35]在等式34和35中，pα表示作为平滑插值滤波结果产生的像素值，Filterl(α)表示平滑插值滤波器的滤波器系数。Mmin和Mmax表示参考像素的范围。在用于色度像素的平滑插值滤波器中，可调整平滑插值滤波器的平滑参数以更多地去除高频分量的影响。使用平滑参数的色度插值滤波器的滤波器系数可被确定为等式36和37所示。[等式36]1≤k≤Size-1[等式37]图7是根据本发明的实施例的插值滤波器的幅频响应曲线图70。如果具有尺寸为1的谐波信号被输入到插值滤波器，则插值滤波器的幅频响应曲线图70可示出执行插值滤波的结果。幅频响应曲线图70示出根据本发明的实施例的使用基于基函数的DCT和IDCT的8抽头平滑插值滤波器的第一频率响应71、根据本发明的实施例的正则化的8抽头平滑插值滤波器的第二频率响应72以及根据H.264视频编码标准的6抽头插值滤波器的第三频率响应73。在第一频率响应71至第三频率响应73中，山丘711、715、721和731表示信号在相应频率处被放大，山谷713表示信号在相应频率处被抑制。输入信号被放大或被抑制的效果在插值滤波中是不合适的。在理想的幅频响应74中，滤波器增益在所有频率处保持为1不变，因此，根本不存在山丘或山谷。这表示没有发生由于插值滤波导致的失真。如果插值滤波器的频率响应接近于理想的幅频响应74，则插值滤波结果更加精确。与理想的幅频响应74相比插值滤波器的频率响应中的失真可被表示为插值滤波器的频率响应与理想的幅频响应74之差的平方，即，差区域的面积。例如，与理想的幅频响应74相比正则化的平滑插值滤波器的频率响应中的失真可通过调整其窗口滤波器尺寸N和其平滑度σ而被最小化。与理想的幅频响应74相比正则化的平滑插值滤波器的频率响应中的失真对应于在幅频响应曲线图70中理想的幅频响应74和第二频率响应72之间的阴影区域的面积。即，如果阴影区域的面积小，则通过使用正则化的平滑插值滤波器执行的插值的精确度可被提高。此外，由于随着频率接近π，FIR滤波器的频率响应接近0，因此FIR滤波器可不产生高频分量。此外，如果插值滤波器的截止水平(cutlevel)低，则插值滤波器可不恢复参考图像的详细信息。通常，如果滤波器的长度大，则高截止水平可被分配。在幅频响应曲线图70中，由于平滑插值滤波器和正则化的平滑插值滤波器的第一频率响应71和第二频率响应72的截止水平719和729高于H.264插值滤波器的第三频率响应73的截止水平739，因此平滑插值滤波器和正则化的平滑插值滤波器与H.264插值滤波器相比可更加精确地恢复参考图像的详细信息。因此，与H.264插值滤波器相比，平滑插值滤波器可在执行插值滤波之后剩下输入信号的高频分量。此外，与H.264插值滤波器相比，平滑插值滤波器的失真区域相对小，因此，插值结果中的失真相对小。从平滑插值滤波器中，正则化的平滑插值滤波器的第二频率响应72接近于理想的幅频响应74，并且未正则化的平滑插值滤波器的第一频率响应71具有由于山丘和山谷导致的相对大的失真区域。换言之，与正则化的平滑插值滤波器相比，未正则化的平滑插值滤波器的滤波结果可包括更多的不期望的伪影。因此，作为根据本发明的实施例的插值滤波器的滤波器系数，与理想的幅频响应74相比，用于使失真区域最小化的正则化的平滑插值滤波器的滤波器系数可被选择。换言之，如果窗口滤波器尺寸N和平滑插值滤波器的平滑度σ被调整并且平滑插值滤波器的滤波器系数被正则化，则可确定用于使平滑插值滤波器的频率响应的失真区域最小化的滤波器系数。因此，图像插值设备10的插值滤波器可包括考虑平滑所确定的滤波器系数。<相移α&运动矢量值>用于典型运动补偿的精确度是诸如1/2像素单元或1/4像素单元的1/2p像素单元的子像素单元。然而，根据本发明的实施例的用于确定子像素单元插值滤波器的滤波器系数的插值位置α不限于1/2p像素单元。为了以除了1/2像素单元或1/4像素单元之外的子像素单元对插值位置α执行运动补偿，可使用1/2像素单元或1/4像素单元运动矢量的部分矢量。例如，假设1/2像素单元运动矢量MV的子像素单元分量集为{α,1/2,1-α}。由于在α小于1/4的情况下运动矢量MV的编码单元分量的长度减小，因此用于运动补偿的插值滤波的稳定性可被提高，并且可节省差分运动矢量的编码比特。在视频编码中最通用的颜色格式是4:2:0格式。在此情况下，与亮度样本的数量的一半相应的色度样本可被编码。如果相同的运动矢量在亮度样本和色度样本之间共享，则色度运动矢量的尺寸是亮度运动矢量的尺寸的一半。因此，亮度插值滤波器的相移可与色度插值滤波器的相移同步。例如，如果亮度插值滤波器的相移是{αi}，则色度插值滤波器的相移可被同步到{αi/2}∪{1-αi/2}∪{1/2}。例如，当通过使用运动矢量MV的子像素单元分量集执行运动补偿时，如果亮度插值滤波器的相移是{α,1/2,1-α}，则色度插值滤波器的相移可被同步到{α/2,(1-α)/2,1/2,1-α/2,1-(1-α)/2}。作为根据本发明的实施例的插值滤波器，以上描述了使用基于多个基函数的变换和逆变换的插值滤波器、用于以子像素单元执行插值的插值滤波器、对称或非对称插值滤波器、奇数或偶数抽头插值滤波器、使用窗口滤波器的插值滤波器、考虑平滑的插值滤波器和正则化的插值滤波器。上面提到的插值滤波器可分开操作或者可被组合。例如，根据本发明的实施例的插值滤波器可以以子像素单元执行插值，并可不管参考像素相对于插值位置是对称设置还是非对称设置来执行插值滤波。此外，由于滤波器系数的数量可以是偶数或奇数，因此插值滤波器可对奇数个整像素单元像素以及偶数个整像素单元像素执行插值滤波。此外，由于正则化的平滑插值滤波器的滤波器系数可被选择，因此参考像素的详细信息可保持，并且诸如噪声的不期望的高频分量可被最小化，从而使由于插值滤波导致的失真最小化。图8是根据本发明的实施例的图像插值方法的流程图。在操作81，从用于产生位于画面的整像素单元之间的至少一个子像素单元像素值的插值滤波器中，根据子像素单元插值位置分别选择对称或非对称插值滤波器。所选择的非对称插值滤波器可以是奇数抽头插值滤波器。所选择的对称插值滤波器可以是偶数抽头插值滤波器。为了对空域中的整像素单元像素进行插值，插值滤波器可包括通过将使用基于多个基函数的变换和逆变换的滤波器和非对称或对称窗口滤波器进行组合所获得的滤波器系数。被正则化的使作为当使用所选择的插值滤波器时的插值结果产生的频率响应误差最小化的插值滤波器被选择。此外，为了防止诸如噪声的高频分量被恢复，可选择包括用于平滑参考像素的滤波器系数的插值滤波器。在操作83，通过使用在操作81选择的插值滤波器对整像素单元像素值进行插值，从而产生至少一个子像素单元像素值。如果在操作81非对称插值滤波器被选择，则在操作83，可对相对于插值位置非对称设置的整像素单元像素执行滤波。如果在操作81对称插值滤波器被选择，则在操作83，可对相对于插值位置对称设置的整像素单元像素执行滤波。此外，如果在操作81非对称奇数抽头插值滤波器被选择，则在操作83，可通过使用非对称奇数抽头插值滤波器的奇数个滤波器系数对相对于插值位置设置的奇数个整像素单元像素执行滤波。如果在操作81对称偶数抽头插值滤波器被选择，则在操作83，可通过使用对称偶数抽头插值滤波器的偶数个滤波器系数对相对于插值位置设置的偶数个整像素单元像素执行滤波。现在将参照图9A至图12B描述根据子像素单元插值位置选择性地确定的对称或非对称插值滤波器的滤波器系数的各种示例。根据上述原理，图9A至图12B中示出的插值滤波器是通过将使用基于多个基函数的变换和逆变换的子像素单元插值滤波器和用于平滑高频分量的窗口滤波器进行组合所获得的滤波器，并且包括窗口尺寸和平滑度被调整以使插值结果中的失真最小化的滤波器系数。此外，下面将描述各种对称和非对称插值滤波器以及奇数抽头和偶数抽头插值滤波器。由于插值滤波器是镜面反射对称滤波器，因此可通过使用插值位置α的滤波器系数fm(α)来确定插值位置(1-α)的滤波器系数fm(1-α)。因此，在图9A至图12B示出的表格中，虽然仅示出了在运动矢量MV的子像素单元等于或小于1/2的情况下的插值滤波器系数{fm(α)}，但是本领域的普通技术人员将理解，可确定在运动矢量MV的子像素单元大于1/2的情况下的其他插值滤波器系数{fm(α)}。首先，在图9A至图11C中示出的表格中，第一列中的“FracMV”表示用于1/2p像素单元运动补偿的运动矢量MV的子像素单元。为了执行子像素单元插值滤波，“FracMV”的值可与第二列中的滤波器系数组合。第三列中的插值位置α是用于定义子像素单元插值位置的参数，并可表示从整像素单元起的相移量。第四列中的窗口滤波器尺寸N可以不必是整数。插值滤波器的缩放比特是6比特。图9A至图9D分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的3抽头至6抽头插值滤波器的滤波器系数。图9A示出作为3抽头插值滤波器并包括滤波器系数{p-1,p0,p1}的非对称插值滤波器。因此，图9A中示出的插值滤波器可对相对于插值位置非对称设置的整像素单元像素执行插值滤波。例如，如果执行水平插值，则可对相对于插值位置的两个左整像素单元参考像素和一个右整像素单元参考像素执行插值滤波。图9B示出作为4抽头插值滤波器并包括滤波器系数{p-1,p0,p1,p2}的对称插值滤波器。因此，图9B中示出的插值滤波器可对相对于插值位置对称设置的整像素单元像素执行插值滤波。例如，如果执行水平插值，则可通过使用相对于插值位置的两个左整像素单元参考像素和两个右整像素单元参考像素执行插值滤波。图9C示出作为5抽头插值滤波器并包括滤波器系数{p-1,p0,p1,p2,p3}的非对称插值滤波器。因此，如果执行水平插值，则可对相对于插值位置非对称设置的两个左整像素单元参考像素和三个右整像素单元参考像素执行插值滤波。图9D示出作为6抽头插值滤波器并包括滤波器系数{p-2,p-1,p0,p1,p2,p3}的对称插值滤波器。因此，如果执行水平插值，则可通过使用相对于插值位置对称设置的三个左整像素单元参考像素和三个右整像素单元参考像素执行插值滤波。图10A至图10C分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的7抽头插值滤波器的滤波器系数。图10A示出包括滤波器系数{p-3,p-2,p-1,p0,p1,p2,p3}的非对称插值滤波器。因此，如果通过使用图10A中示出的插值滤波器执行水平插值，则可对相对于插值位置非对称设置的四个左整像素单元参考像素和三个右整像素单元参考像素执行插值滤波。图10B示出包括滤波器系数{p-2,p-1,p0,p1,p2,p3,p4}的非对称插值滤波器。因此，如果通过使用图10B中示出的插值滤波器执行水平插值，则可对相对于插值位置非对称设置的三个左整像素单元参考像素和四个右整像素单元参考像素执行插值滤波。图10C示出包括滤波器系数{p-1,p0,p1,p2,p3,p4,p5}的非对称插值滤波器。因此，如果通过使用图10C中示出的插值滤波器执行水平插值，则可对相对于插值位置非对称设置的两个左整像素单元参考像素和五个右整像素单元参考像素执行插值滤波。图11A至图11C分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的8抽头插值滤波器的滤波器系数。图11A示出包括滤波器系数{p-3,p-2,p-1,p0,p1,p2,p3,p4}的对称插值滤波器。因此，如果通过使用图11A中示出的插值滤波器执行水平插值，则可对相对于插值位置对称设置的四个左整像素单元参考像素和四个右整像素单元参考像素执行插值滤波。图11B示出包括滤波器系数{p-2,p-1,p0,p1,p2,p3,p4,p5}的非对称插值滤波器。因此，如果通过使用图11B中示出的插值滤波器执行水平插值，则可对相对于插值位置非对称设置的三个左整像素单元参考像素和五个右整像素单元参考像素执行插值滤波。图11C示出包括滤波器系数{p-4,p-3,p-2,p-1,p0,p1,p2,p3}的非对称插值滤波器。因此，如果通过使用图11C中示出的插值滤波器执行水平插值，则可对相对于插值位置非对称设置的五个左整像素单元参考像素和三个右整像素单元参考像素执行插值滤波。图12A和图12B分别示出根据本发明的实施例的正则化的亮度插值滤波器和正则化的色度插值滤波器的滤波器系数。图12A和图12B示出所选择的如以上在<正则化的插值滤波器>中所描述的使失真区域最小化的正则化的插值滤波器的滤波器系数。根据图12A，调整窗口滤波器尺寸N以对亮度插值滤波器进行正则化。从图9A至图11C中示出的各种插值滤波器中，具有8.7的窗口尺寸的7抽头插值滤波器{-1,4,-10,58,17,-5,-1}可被选择为用于执行1/4像素单元插值滤波的正则化的亮度插值滤波器。此外，具有9.5的窗口尺寸的8抽头插值滤波器{-1,4,-11,40,40,-11,4,-1}可被选择为用于执行1/2像素单元插值滤波的正则化的亮度插值滤波器。换言之，非对称插值滤波器可被选择为正则化的1/4像素单元亮度插值滤波器，对称插值滤波器可被选择为正则化的1/2像素单元亮度插值滤波器。根据图12B，调整平滑度σ以对色度插值滤波器进行正则化。1/8像素单元4抽头对称插值滤波器可被选择为正则化的色度插值滤波器。下面参照图13A至图27描述根据本发明的实施例的使用插值滤波器的视频编码和解码。下面参照图15至图25描述根据本发明的实施例的基于具有树结构的编码单元的视频编码和解码。下面参照图26和图27描述根据本发明的实施例的使用插值滤波器的视频编码和解码方法。当对图像数据执行各种操作时，可将图像数据划分为数据组，并且可对相同数据组的数据执行相同操作。在下面的描述中，根据预定标准形成的数据组被称为“数据单元”，并且通过使用包括在数据单元中的数据来对每个“数据单元”执行操作。<使用插值滤波器的视频编码和解码>图13A是根据本发明的实施例的使用插值滤波器的视频编码设备100的框图。视频编码设备100的编码器120和输出单元130的操作可由视频编码处理器、CPU和图形处理器协同控制。为了对输入视频的当前画面进行编码，视频编码设备100将当前画面划分为具有预定尺寸的数据单元，并对每个数据单元进行编码。例如，当前画面包括空域中的像素。为了同时对当前画面的在空间上邻近的像素进行编码，可以以如下方式将当前画面划分为具有预定尺寸的像素组：在预定范围内的邻近像素形成一个组。通过对划分的像素组的像素执行一系列编码操作，当前画面可被编码。由于将被编码的画面的初始数据是空域中的像素值，因此每个像素组可被用作将被编码的数据单元。此外，当通过对空域中的像素组的像素值执行用于视频编码的变换而产生变换域中的变换系数时，变换系数被包括在具有与空域中的像素组...