使用非对称插值滤波器的图像插值的方法及其设备的制作方法
【专利摘要】一种使用基于变换的插值滤波器的子像素单元图像插值方法包括：根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值。
【专利说明】使用非对称插值滤波器的图像插值的方法及其设备
【技术领域】
[0001]本发明涉及使用运动补偿的预测编码。
【背景技术】
[0002]在典型的图像编码和解码方法中，为了对图像编码，一个画面被划分为宏块。之后，通过使用帧间预测或帧内预测对每个宏块执行预测编码。
[0003]帧间预测表示通过去除画面之间的时间冗余来压缩图像的方法，其代表性示例是运动估计编码。在运动估计编码中，通过使用至少一个参考画面来预测当前画面的每个块。通过使用预定的评价函数在预定的搜索范围内找到与当前块最相似的参考块。
[0004]基于参考块预测当前块，并且通过从当前块减去作为预测结果产生的预测块所获得的残差块被编码。在此情况下，为了更加精确地执行预测，对搜索参考画面的范围执行插值，产生小于整像素单元(integer-pel-unit)像素的子像素单元(sub-pel-unit)像素,并且对产生的子像素单元像素执行帧间预测。
【发明内容】
[0005]技术问题
[0006]本发明提供一种用于确定对称或非对称插值滤波器的滤波器系数以便通过对整像素单元像素进行插值来产生子像素单元像素的方法和设备。
[0007]技术方案
[0008]根据本发明的一方面，提供一种使用基于变换的插值滤波器的图像插值方法，所述方法包括:根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称或非对称插值滤波器；以及通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值。
[0009]有益效果
[0010]为了有效地执行图像插值，从用于产生子像素单元像素值的插值滤波器中，基于子像素单元插值位置不同地选择插值滤波器。插值滤波器可以是奇数或偶数抽头(tap)插值滤波器以进行子像素单元插值。插值滤波器可以根据插值位置被选择为对称或非对称插值滤波器。
【专利附图】
【附图说明】
[0011]图1是根据本发明的实施例的图像插值设备的框图；
[0012]图2是用于描述整像素单元和子像素单元之间的关系的示图；
[0013]图3是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的邻近整像素单元像素的示图；
[0014]图4A至图4C是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的整像素单元像素的示例的示图；
[0015]图5A是用于描述根据本发明的实施例的使用相对于插值位置不对称设置的参考像素以确定子像素单元像素值的插值滤波方法的示图；
[0016]图5B是用于描述根据本发明的实施例的使用包括奇数个滤波器系数的插值滤波器以确定子像素单元像素值的插值方法的示图；
[0017]图6是根据本发明的实施例的基于平滑插值滤波器的平滑参数的平滑因子的曲线图；
[0018]图7是根据本发明的实施例的插值滤波器的幅频响应曲线图；
[0019]图8是根据本发明的实施例的图像插值方法的流程图；
[0020]图9A至图9D分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的3抽头至6抽头插值滤波器的滤波器系数；
[0021]图1OA至图1OC分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的7抽头插值滤波器的滤波器系数；
[0022]图1lA至图1lC分别示出根据本发明的实施例的基于插值位置和窗口滤波器尺寸确定的8抽头插值滤波器的滤波器系数；
[0023]图12A和图12B分别示出根据本发明的实施例的正则化的亮度插值滤波器和正则化的色度插值滤波器的滤波器系数；
[0024]图13A是根据本发明的实施例的使用插值滤波器的视频编码设备的框图；
[0025]图13B是根据本发明的实施例的使用插值滤波器的视频解码设备的框图；
[0026]图14A是根据本发明的实施例的使用插值滤波器的图像编码方法的流程图；
[0027]图14B是根据本发明的实施例的使用插值滤波器的图像解码方法的流程图；
[0028]图15是用于描述根据本发明的实施例的编码单元的构思的示图；
[0029]图16是根据本发明的实施例的基于编码单元的图像编码器的框图；
[0030]图17是根据本发明的实施例的基于编码单元的图像解码器的框图；
[0031]图18是示出根据本发明的实施例的根据深度的更深的编码单元和分区的示图；
[0032]图19是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图；
[0033]图20是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图；
[0034]图21是根据本发明的实施例的根据深度的更深的编码单元的示图；
[0035]图22至图24是用于描述根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的不图；
[0036]图25是用于描述根据表I的编码模式信息的编码单元、预测单元或分区和变换单兀之间的关系的不图；
[0037]图26是根据本发明的实施例的基于具有树结构的编码单元的使用插值滤波器的视频编码方法的流程图；
[0038]图27是根据本发明的实施例的基于具有树结构的编码单元的使用插值滤波器的视频解码方法的流程图。
[0039]最佳实施方式[0040]根据本发明的一方面，提供一种使用基于变换的插值滤波器的图像插值方法，所述方法包括:根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值。
[0041]对称插值滤波器可在由对称插值滤波器支持的区域中的插值位置的两侧包括相同数量的滤波器系数，非对称插值滤波器可在由非对称插值滤波器支持的区域中的插值位置的两侧包括不同数量的滤波器系数。
[0042]产生至少一个子像素单元像素值的操作可包括:如果非对称插值滤波器被选择，则通过使用非对称插值滤波器的滤波器系数执行滤波，以支持非对称地位于由非对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素；以及如果对称插值滤波器被选择，则通过使用对称插值滤波器的滤波器系数执行滤波，以支持对称地位于由对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素。
[0043]产生至少一个子像素单元像素值的操作可包括:如果包括奇数个滤波器系数的非对称奇数抽头插值滤波器从插值滤波器中被选择，则通过使用非对称奇数抽头插值滤波器的奇数个滤波器系数来执行滤波，以支持位于由非对称奇数抽头插值滤波器支持的区域中的插值位置的两侧的奇数个整像素单元像素；以及如果包括偶数个滤波器系数的对称偶数抽头插值滤波器从插值滤波器中被选择，则通过使用对称偶数抽头插值滤波器的偶数个滤波器系数来执行滤波，以支持位于由对称偶数抽头插值滤波器支持的区域中的插值位置的两侧的偶数个整像素单元像素。
[0044]为了对空域中的整像素单元像素进行插值，每个插值滤波器可包括通过将使用用于变换和逆变换的多个基函数的滤波器和非对称或对称窗口滤波器进行组合所获得的滤波器系数。
[0045]选择插值滤波器的操作可包括:从插值滤波器中选择被正则化的用于使作为使用所选择的插值滤波器的插值结果产生的频率响应误差最小化的插值滤波器，被正则化的插值滤波器可包括:i)包括7抽头滤波器系数{-1，4，-10，58，17，-5，1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii)包括8抽头滤波器系数{-1，4，-11，40，40，-11，4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。
[0046]根据本发明的另一方面，提供一种使用基于变换的插值滤波器的图像插值设备，所述设备包括:滤波器选择器，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及插值器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值。
[0047]根据本发明的另一方面，提供一种使用图像插值滤波器的视频编码设备，所述设备包括:编码器，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中针对输入画面的每个块分别选择相对于由选择的插值滤波器支持的区域中的插值位置的对称插值滤波器或非对称插值滤波器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值，执行预测编码，并对根据预测编码的预测结果执行变换和量化；输出单元，输出通过对量化的变换系数和编码信息执行熵编码所产生的比特流；以及存储单元，存储插值滤波器的滤波器系数。
[0048]根据本发明的另一方面，提供一种使用图像插值滤波器的视频解码设备，所述设备包括:接收器和提取器，接收视频的编码的比特流，执行熵解码和解析，并提取视频的画面的编码信息和编码数据；解码器，对画面的当前块的编码数据的量化的变换系数执行反量化和逆变换，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生至少一个子像素单元像素值，并执行预测解码以恢复画面；以及存储单元，存储插值滤波器的滤波器系数。
[0049]根据本发明的另一方面，提供一种其上记录有用于执行上述的方法的程序的计算机可读记录介质。
【具体实施方式】
[0050]在下面的描述中，“图像”可全面地表示诸如视频的运动图像以及静止图像。
[0051]参照图1至图12B公开根据本发明的实施例的考虑平滑的使用非对称插值滤波器和对称插值滤波器的插值。此外，参照图13A至图27公开根据本发明的实施例的使用非对称插值滤波器和对称插值滤波器的视频编码和解码。具体地讲，参照图15至图25公开根据本发明的实施例的基于具有树结构的编码单元的使用非对称插值滤波器和对称插值滤波器的视频编码和解码。
[0052]现在将参照图1至图12B详细地描述根据本发明的实施例的考虑平滑的使用非对称插值滤波器和对称插值滤波器的插值。
[0053]图1是根据本发明的实施例的图像插值设备10的框图。
[0054]使用对称插值滤波器和非对称插值滤波器的图像插值设备10包括滤波器选择器12和插值器14。图像插值设备10的滤波器选择器12和插值器14的操作可由视频编码处理器、中央处理单元(CPU)和图形处理器协同控制。
[0055]图像插值设备10可接收输入图像，并可通过对整像素单元像素进行插值来产生子像素单元像素值。输入图像可以是视频的画面序列、画面、帧或块。
[0056]滤波器选择器12可基于子像素单元插值位置不同地选择用于产生位于整像素单元之间的至少一个子像素单元像素值的插值滤波器。
[0057]插值器14可通过使用滤波器选择器12所选择的插值滤波器对与子像素单元插值位置邻近的整像素单元像素进行插值，从而产生子像素单元像素值。对整像素单元像素进行插值滤波以产生子像素单元像素值的操作可包括:对包括与由插值滤波器支持的区域中的子像素单元插值位置邻近的整像素单元像素的整像素单元参考像素值进行插值滤波。
[0058]插值滤波器可包括用于基于多个基函数对整像素单元参考像素进行变换以及用于对作为变换结果产生的多个系数进行逆变换的滤波器系数。
[0059]插值滤波器可以是一维滤波器或二维滤波器。如果所选择的插值滤波器是一维滤波器，则插值器14可通过在两个或更多个方向上使用一维插值滤波器连续地执行滤波，从而产生当前的子像素单元像素值。[0060]滤波器选择器12可根据子像素单元插值位置分别选择插值滤波器。插值滤波器可包括对称插值滤波器和非对称插值滤波器，其中，对称插值滤波器在由对称插值滤波器支持的区域中的插值位置的两侧包括相同数量的滤波器系数，非对称插值滤波器在由非对称插值滤波器支持的区域中的插值位置的两侧包括不同数量的滤波器系数。滤波器选择器12可根据子像素单元插值位置分别选择对称插值滤波器和非对称插值滤波器。
[0061]例如，7抽头插值滤波器可在由7抽头插值滤波器支持的区域中的插值位置的两侧包括三个滤波器系数和四个滤波器系数。在此情况下，7抽头插值滤波器可被视为非对称插值滤波器。
[0062]例如，8抽头插值滤波器可在由8抽头插值滤波器支持的区域中的插值位置的两侧包括四个滤波器系数和四个滤波器系数。在此情况下，8抽头插值滤波器可被视为对称插值滤波器。
[0063]如果滤波器选择器12选择了非对称插值滤波器，则插值器14可对相对于插值位置不对称设置的整像素单元像素执行滤波。否则，如果对称插值滤波器被选择，则插值器14可对相对于插值位置对称设置的整像素单元像素执行滤波。
[0064]插值滤波器可包括非对称奇数抽头插值滤波器和对称偶数抽头插值滤波器，其中，非对称奇数抽头插值滤波器包括奇数个滤波器系数，对称偶数抽头插值滤波器包括偶数个滤波器系数。滤波器选择器12可根据子像素单元插值位置分别选择非对称奇数抽头插值滤波器和对称偶数抽头插值滤波器。例如，1/2像素单元插值滤波器和1/4像素单元插值滤波器可被分别不同地选择。因此，8抽头插值滤波器(S卩，对称偶数抽头插值滤波器)可被选择为1/2像素单元插值滤波器，7抽头插值滤波器(S卩，非对称奇数抽头插值滤波器)可被选择为1/4像素单元插值滤波器。
[0065]为了对空域中的整像素单元像素进行插值，可通过将用于通过使用多个基函数执行变换和逆变换的滤波器系数和用于执行低通滤波的窗口滤波器系数进行组合来获得每个插值滤波器。
[0066]可基于相对于插值位置非对称的窗口滤波器或者相对于插值位置对称的窗口滤波器来产生插值滤波器。
[0067]还可通过将用于基于多个基函数执行变换和逆变换的滤波器和非对称窗口滤波器进行组合来产生非对称插值滤波器。
[0068]如果奇数抽头插值滤波器被选择，则插值器14可通过使用奇数抽头插值滤波器的奇数个滤波器系数来对相对于插值位置设置的奇数个整像素单元像素执行滤波。
[0069]如果偶数抽头插值滤波器被选择，则插值器14可通过使用偶数抽头插值滤波器的偶数个滤波器系数来对相对于插值位置设置的偶数个整像素单元像素执行滤波。
[0070]奇数抽头插值滤波器可在相应支持区域中的插值位置的两侧包括不同数量的滤波器系数，因此可以是非对称插值滤波器。偶数抽头插值滤波器可以是在相应支持区域中的插值位置的两侧包括相同数量的滤波器系数的对称插值滤波器。
[0071]滤波器选择器12可选择被正则化以使作为使用插值滤波器的插值结果产生的频率响应误差最小化的插值滤波器。例如，被正则化的插值滤波器可包括:i)包括7抽头滤波器系数{_1，4，-10，58，17,-5, 1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii)包括8抽头滤波器系数{-1，4，-11，40，40，-11，4，-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。
[0072]此外，滤波器选择器12可根据颜色分量分别不同地选择插值滤波器。例如，被正则化的用于亮度像素的插值滤波器可被确定为1/4像素单元7抽头插值滤波器和1/2像素单元8抽头插值滤波器。被正则化的用于色度像素的插值滤波器可被确定为1/8像素单元、1/4像素单元和1/2像素单元4抽头插值滤波器。
[0073]确定的被正则化的用于色度像素的插值滤波器可包括:i)包括用于1/8插值位置的4抽头滤波器系数{_2，58，10，-2}并具有0.012的平滑度的1/8像素单元插值滤波器；
ii)包括用于1/4插值位置的4抽头滤波器系数{_4，54，16，-2}并具有0.016的平滑度的1/4像素单元插值滤波器；iii)包括用于3/8插值位置的4抽头滤波器系数{-6，46，28，-4}并具有0.018的平滑度的1/8像素单元插值滤波器；以及iv)包括用于1/2插值位置的4抽头滤波器系数{_4，36，36，-4}并具有0.020的平滑度的1/2像素单元插值滤波器。
[0074]插值滤波器可以是镜面反射对称滤波器，其中，插值位置α的滤波器系数f(a)和插值位置(1-a)的滤波器系数A(1-Ci)可以相同。
[0075]用于亮度像素的1/4像素单元插值滤波器可以是镜面反射对称滤波器。因此，用于1/4插值位置的插值滤波器和用于3/4插值位置的插值滤波器可包括对称相同的系数。如果1/4像素单元7抽头亮度插值滤波器包括1/4插值位置的滤波器系数{-1，4，-10，58，17，-5，1}，则其可包括3/4插值位置的滤波器系数{1,-5, 17，58，-10，4，-1}。
[0076]用于色度像素的1/8像素单元插值滤波器可以是镜面反射对称滤波器。因此，用于1/8插值位置的插值滤波器和用于7/8插值位置的插值滤波器可包括对称相同的系数。类似地，用于3/8插值位置的插值滤波器和用于5/8插值位置的插值滤波器可包括对称相同的系数。可基于包括通过使用多个基函数确定的滤波器系数的基于变换的插值滤波器来确定插值滤波器。此外，从基于变换的插值滤波器修改的平滑插值滤波器可被用于通过根据插值位置和整像素单元像素之间的距离改变其平滑度来执行滤波。
[0077]可基于插值位置和整像素单元像素之间的距离来确定平滑插值滤波器的平滑度。插值滤波器可根据其平滑度和子像素单元插值位置而包括不同的滤波器系数。
[0078]还可基于插值位置和与插值位置邻近的整像素单元像素之间的距离来确定平滑插值滤波器的平滑度。
[0079]此外，插值滤波器可包括用于允许远离插值位置的整像素单元参考像素被平滑的滤波器系数。
[0080]通过将用于执行变换和逆变换的滤波器系数和用于执行低通滤波的窗口滤波器系数进行组合所获得的平滑插值滤波器可包括用于将大权重给予接近于插值位置的整像素单元参考像素并将小权重给予远离插值位置的整像素单元参考像素的滤波器系数。
[0081]平滑插值滤波器可包括用于对整像素单元参考像素进行平滑、通过使用多个基函数对平滑后的整像素单元参考像素进行变换并且对作为变换结果产生的多个系数进行逆变换的滤波器系数。
[0082]平滑插值滤波器可根据其长度以及其平滑度和子像素单元插值位置而包括不同的滤波器系数。
[0083]此外，平滑插值滤波器可根据作为插值结果的缩放比例以及其平滑度、其长度和子像素单元插值位置而包括不同的滤波器系数。滤波器选择器12可选择滤波器系数增加到整数的平滑插值滤波器。插值器14对通过使用滤波器选择器12所选择的平滑插值滤波器而产生的像素值进行正则化。
[0084]此外，滤波器选择器12可根据像素特性不同地选择插值滤波器。插值器14可通过使用根据像素特性不同地选择的插值滤波器来产生子像素单元像素值。
[0085]可由滤波器选择器12选择的插值滤波器可包括平滑插值滤波器和不考虑平滑的一般插值滤波器。因此，根据图像特性，滤波器选择器12可选择完全不考虑平滑的一般插值滤波器。
[0086]例如，根据另一实施例，图像插值设备10可根据颜色分量通过使用不同的插值滤波器来执行图像插值。
[0087]根据另一实施例，滤波器选择器12可基于当前像素的子像素单元插值位置和颜色分量不同地选择插值滤波器。根据另一实施例，插值器14可通过使用所选择的插值滤波器对整像素单元像素进行插值，从而产生至少一个子像素单元像素值。
[0088]例如，滤波器选择器12可不同地确定用于亮度分量的插值滤波器和用于色度分量的插值滤波器。
[0089]为了对色度像素进行插值，滤波器选择器12可选择具有比用于亮度像素的插值滤波器的平滑度大的平滑度的平滑插值滤波器。
[0090]此外，为了对色度像素进行插值，可选择包括基于平滑参数确定的滤波器系数的插值滤波器或包括与窗口滤波器组合的滤波器系数的插值滤波器，其中，所述平滑参数具有比用于亮度像素的插值滤波器的平滑度大的平滑度，所述窗口滤波器比用于亮度像素的插值滤波器去除更多的高频分量。
[0091]为了获得色度分量的平滑插值结果，可选择通过将用于基于多个基函数执行变换和逆变换的滤波器系数和用于执行低通滤波的窗口滤波器系数进行组合所获得的平滑插值滤波器。
[0092]图像插值设备10可包括用于全面地控制滤波器选择器12和插值器14的CPU(未示出)。可选地，滤波器选择器12和插值器14可被各个处理器(未示出)驱动，并且处理器可彼此协同操作，从而操作整个图像插值设备10。可选地，在图像插值设备10外部的处理器(未示出)可控制滤波器选择器12和插值器14。
[0093]图像插值设备10可包括用于存储滤波器选择器12和插值器14的输入/输出(I/O)数据的一个或更多个数据存储单元(未示出)。图像插值设备10还可包括用于控制数据存储单元(未示出)的数据I/O的存储器控制器(未示出)。
[0094]图像插值设备10可包括包含用于执行图像插值的电路的另外的处理器。可选地，图像插值设备10可包括其上记录有图像插值模块的存储介质，CPU可调用并驱动图像插值模块以执行图像插值。
[0095]图像插值用于将低质量图像变换为高质量图像，将隔行扫描图像变换为逐行扫描图像，或者将低质量图像上采样为高质量图像。此外，当视频编码设备对图像编码时，运动估计器和补偿器可通过使用插值的参考帧执行帧间预测。可通过对参考帧进行插值以产生高质量图像并基于高质量图像执行运动估计和补偿来提高帧间预测的精确度。类似地，当图像解码设备对图像解码时，运动补偿器可通过使用插值的参考帧执行运动补偿，从而提高帧间预测的精确度。
[0096]此外，由图像插值设备10使用的平滑插值滤波器可通过使用插值滤波器减少插值结果中的高频分量来获得平滑的插值结果。由于高频分量降低了图像压缩的效率，因此还可通过执行平滑度可调的图像插值来提高图像编码和解码的效率。
[0097]此外，滤波器系数相对于插值位置对称设置的对称插值滤波器或滤波器系数相对于插值位置非对称设置的非对称插值滤波器可被选择性地使用。此外，作为插值滤波器，奇数抽头插值滤波器或偶数抽头插值滤波器可根据插值位置被选择性地使用。因此，图像插值设备10可对相对于插值位置非对称设置的整像素单元像素以及相对于插值位置对称设置的整像素单元像素执行图像插值滤波。
[0098]现在将参照图2至图7B详细地描述根据本发明的实施例的使用通过将用于基于多个基函数执行变换和逆变换的滤波器系数和窗口滤波器系数进行组合所获得的插值滤波器的插值。
[0099]图2是用于描述整像素单元和子像素单元之间的关系的示图。
[0100]参照图2，图像插值设备10通过对空域中的预定块20的位置“O”的整像素单元像素值进行插值来产生位置“X”的像素值。位置“X”的像素值是由％和CIy确定的插值位置的子像素单元像素值。虽然图2示出了预定块20是4X4块，但是本领域的普通技术人员将理解，块尺寸不限于4X4，可以大于或小于4X4。
[0101]在视频处理中，运动矢量用于对当前图像执行运动补偿和预测。根据预测编码，参考先前解码的图像以预测当前图像，并且运动矢量指示参考图像的预定点。因此，运动矢量指示参考图像的整像素单元像素。
[0102]然而，将被当前图像参考的像素可以位于参考图像的整像素单元像素之间。这样的位置被称为子像素单元位置。由于像素不存在于子像素单元位置，因此仅仅通过使用整像素单元像素值预测子像素单元像素值。换言之，通过对整像素单元像素进行插值来估计子像素单元像素值。
[0103]现在将参照图3和图4A至图4C详细地描述对整像素单元像素进行插值的方法。
[0104]图3是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的邻近整像素单元像素的示图。
[0105]参照图3，图像插值设备10通过对空域中的整像素单元像素值31和33进行插值来产生插值位置的子像素单元像素值35。插值位置由α确定。
[0106]图4Α至图4C是示出根据本发明的实施例的将被参考的以确定子像素单元像素值的整像素单元像素的示例的示图。
[0107]参照图4Α，为了通过对两个整像素单元像素值31和33进行插值来产生子像素单元像素值35，使用包括整像素单元像素值31和33的多个邻近整像素单元像素值37和39。换言之，可通过对从第-(M-1)像素值到第M像素值的2Μ个像素值执行一维插值滤波来对第O像素和第I像素进行插值。
[0108]此外，虽然图4Α示出了对水平方向上的像素值进行插值，但是可通过使用垂直方向或对角线方向上的像素值执行一维插值滤波。
[0109]参照图4Β，可通过对垂直方向上的彼此邻近的像素Pq41和P03进行插值来产生插值位置α的像素值PU)。当将图4Α和图4Β比较时，它们的插值滤波方法相似，其差异仅在于在图4B中对沿垂直方向排列的像素值47和49进行插值，而在图4A中对沿水平方向排列的像素值37和39进行插值。
[0110]参照图4C，类似地，通过对两个邻近的像素值40和42进行插值来产生插值位置α的像素值44。与图4Α的差异仅在于使用沿对角线方向排列的像素值46和48，而非沿水平方向排列的像素值37和39。
[0111]除了图4Α至图4C中示出的方向之外，可沿各种方向执行一维插值滤波。
[0112]可执行插值滤波以对用于产生子像素单元像素值的整像素单元像素进行插值。插值滤波可由下面的等式表示。
[0113]ρ(?) = ?(α) X P =fm.pm
[0114]通过根据2M个整像素单元参考像素{pj = {p_M+1, p_M+2,..., Po, Pi,..., Pm!的矢量P和滤波器系数{fJ = {f-M+1，f-?+2,..., f0, fi, - - - , f?l的矢量f (X)的点积执行插值来产生像素值P(X)。由于滤波器系数f(a )根据插值位置α变化并且根据滤波器系数f(a )确定通过执行插值所获得的像素值Ρ(α )，因此所选择的插值滤波器(即，确定的滤波器系数f(x))极大地影响插值滤波的性能。
[0115]现在将详细地描述使用基于基函数的变换和逆变换的图像插值以及确定插值滤波器的方法。
[0116]使用变换和逆变换的插值滤波器首先通过使用具有不同频率分量的多个基函数来变换像素值。变换可包括从空域中的像素值到变换域中的系数的所有类型的变换，并且可以是离散余弦变换(DCT)。通过使用多个基函数变换整像素单元像素值。像素值可以是亮度像素值或色度像素值。基函数不限于特定的基函数，可包括用于将空域中的像素值变换为变换域中的像素值的所有基函数。例如，基函数可以是用于执行DCT和逆DCT (IDCT)的余弦或正弦函数。可选地，可使用诸`如样条函数和多项式基函数的各种基函数。此外，DCT可以是修改的DCT (MDCT)或具有窗口的MDCT。
[0117]使用变换和逆变换的插值滤波器对用于执行变换的基函数进行移相，并对通过使用移相后的基函数产生的多个系数的值(即，变换域中的值)进行逆变换。作为逆变换结果，空域中的像素值被输出，并且输出的值可以是插值位置的像素值。
[0118]<使用基于正交基函数的正交变换和逆变换的滤波器系数>
[0119]现在将详细地描述插值器14使用基于正交基函数的变换和逆变换执行插值的情况。具体地讲，DCT被描述为变换的示例。
[0120]例如，参照图4A，为了通过使用包括整像素单元像素值31和33的多个邻近的整像素单元像素值37和39对两个整像素单元像素值31和33进行插值来产生子像素单元像素值35，可通过对从第-(M-1)像素值到第M像素值的2M个像素值执行一维DCT并基于移相后的基函数执行一维IDCT来对第O像素和第I像素进行插值。
[0121]插值器14首先对整像素单元像素值执行一维DCT。一维DCT可如等式38中所表示的被执行。
【权利要求】
1.一种使用基于变换的插值滤波器的图像插值方法，所述方法包括: 根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及 通过使用所选择的插值滤波器对整像素单元像素进行插值来产生所述至少一个子像素单元像素值。
2.根据权利要求1所述的方法，其中，为了对空域中的整像素单元像素进行插值，每个插值滤波器包括通过将使用用于变换和逆变换的多个基函数的滤波器和非对称或对称窗口滤波器进行组合所获得的滤波器系数， 其中，对称插值滤波器在由对称插值滤波器支持的区域中的插值位置的两侧包括相同数量的滤波器系数，非对称插值滤波器在由非对称插值滤波器支持的区域中的插值位置的两侧包括不同数量的滤波器系数。
3.根据权利要求1所述的方法，其中，产生所述至少一个子像素单元像素值的操作包括: 如果非对称插值滤波器被选择，则通过使用非对称插值滤波器的滤波器系数执行滤波，以支持非对称地位于由非对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素；以及 如果对称插值滤波器被选择，则通过使用对称插值滤波器的滤波器系数执行滤波，以支持对称地位于由对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素。
4.根据权利要求1所述的方法，其中，产生所述至少一个子像素单元像素值的操作包括: 如果包括奇数个滤波器系数的非对称奇数抽头插值滤波器从插值滤波器中被选择，则通过使用非对称奇数抽头插值滤波器的奇数个滤波器系数来执行滤波，以支持位于由非对称奇数抽头插值滤波器支持的区域中的插值位置的两侧的奇数个整像素单元像素；以及 如果包括偶数个滤波器系数的对称偶数抽头插值滤波器从插值滤波器中被选择，则通过使用对称偶数抽头插值滤波器的偶数个滤波器系数来执行滤波，以支持位于由对称偶数抽头插值滤波器支持的区域中的插值位置的两侧的偶数个整像素单元像素。
5.根据权利要求1所述的方法，其中，选择插值滤波器的操作包括:从插值滤波器中选择被正则化的用于使作为使用所选择的插值滤波器的插值结果产生的频率响应误差最小化的插值滤波器， 其中，被正则化的插值滤波器包括:i)包括7抽头滤波器系数{-1，4，-10，58，17，-5，1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii)包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。
6.一种使用基于 变换的插值滤波器的图像插值设备，所述设备包括: 滤波器选择器，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器；以及 插值器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生所述至少一个子像素单元像素值。
7.根据权利要求6所述的设备，其中，对称插值滤波器相对于插值位置包括相同数量的滤波器系数，非对称插值滤波器相对于插值位置包括不同数量的滤波器系数， 其中，为了对空域中的整像素单元像素进行插值，每个插值滤波器包括通过将使用用于变换和逆变换的多个基函数的滤波器和非对称或对称窗口滤波器进行组合所获得的滤波器系数。
8.根据权利要求6所述的设备，其中，插值器进行如下操作: 如果非对称插值滤波器被选择，则通过使用非对称插值滤波器的滤波器系数执行滤波，以支持非对称地位于由非对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素；以及 如果对称插值滤波器被选择，则通过使用对称插值滤波器的滤波器系数执行滤波，以支持对称地位于由对称插值滤波器支持的区域中的插值位置的两侧的整像素单元像素。
9.根据权利要求6所述的设备，其中，插值器进行如下操作: 如果包括奇数个滤波器系数的非对称奇数抽头插值滤波器从插值滤波器中被选择，则通过使用非对称奇数抽头插值滤波器的奇数个滤波器系数来执行滤波，以支持位于由非对称奇数抽头插值滤波器支持的区域中的插值位置的两侧的奇数个整像素单元像素；以及 如果包括偶数个滤波器系数的对称偶数抽头插值滤波器从插值滤波器中被选择，则通过使用对称偶数抽头插值滤波器的偶数个滤波器系数来执行滤波，以支持位于由对称偶数抽头插值滤波器支持的区域中的插值位置的两侧的偶数个整像素单元像素。
10.根据权利要求6所述的设备，其中，滤波器选择器从插值滤波器中选择被正则化的用于使作为使用所选择的插值滤`波器的插值结果产生的频率响应误差最小化的插值滤波器， 其中，被正则化的插值滤波器包括:i)包括7抽头滤波器系数{-1，4，-10，58，17，-5，1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii)包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。
11.一种使用图像插值滤波器的视频编码设备，所述设备包括: 编码器，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中针对输入画面的每个块分别选择相对于由选择的插值滤波器支持的区域中的插值位置的对称插值滤波器或非对称插值滤波器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生所述至少一个子像素单元像素值，执行预测编码，并对根据预测编码的预测结果执行变换和量化； 输出单元，输出通过对量化的变换系数和编码信息执行熵编码所产生的比特流；以及 存储单元，存储插值滤波器的滤波器系数。
12.根据权利要求11所述的设备，其中，存储单元存储如下插值滤波器的滤波器系数:i)包括7抽头滤波器系数{-1，4，-10，58，17，-5，1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii)包括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。
13.一种使用图像插值滤波器的视频解码设备，所述设备包括: 接收器和提取器，接收视频的编码的比特流，执行熵解码和解析，并提取视频的画面的编码信息和编码数据；解码器，对画面的当前块的编码数据的量化的变换系数执行反量化和逆变换，根据在由用于产生位于整像素单元像素之间的至少一个子像素单元像素值的插值滤波器支持的区域中的子像素单元插值位置，从插值滤波器中分别选择相对于插值位置的对称插值滤波器或非对称插值滤波器，通过使用所选择的插值滤波器对整像素单元像素进行插值来产生所述至少一个子像素单元像素值，并执行预测解码以恢复画面；以及 存储单元，存储插值滤波器的滤波器系数。
14.根据权利要求13所述的设备，其中，存储单元存储如下插值滤波器的滤波器系数:i)包括7抽头滤波器系数{-1，4，-10，58，17，-5，1}并具有8.7的窗口尺寸的1/4像素单元插值滤波器；ii)包 括8抽头滤波器系数{-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素单元插值滤波器。
15.一种其上记录有用于执行权利要求1所述的方法的程序的计算机可读记录介质。
【文档编号】H04N19/80GK103765884SQ201280042479
【公开日】2014年4月30日 申请日期:2012年6月28日 优先权日:2011年6月28日
【发明者】艾琳娜·阿尔辛娜, 亚历山大·阿尔辛 申请人:三星电子株式会社