专利名称：用于在视频编码中选择插值滤波器类型的方法和系统的制作方法
技术领域：
本发明总体上涉及图像编码，尤其涉及用于压缩数字图像序列的系统。
背景技术：
典型的视频编解码器建立在运动补偿预测和预测误差编码基础之上。通过分析和编码视频帧之间的运动，并使用运动信息重构图像片段而获得运动补偿预测。利用预测误差编码来对运动补偿图像片段与在原始图像中的对应片段之间的差进行编码。可以根据所编码视频的可用带宽和所要求的质量来调整预测误差编码的精确度。在一个典型的基于离散余弦变换(DCT)的系统中，这通过将量化器参数(QP)变为规定的精确度来进行，所述的量化器参数是量化DCT系数时所用的参数。
编码系统通常提供一组参数来表示已编码信号。将这些参数熵编码并发送到解码器，用于对已编码信号的解码和重构。为了改进熵编码器的压缩性能，该参数通常从编码器和解码器都能得到的信息中预测。通过这样做，熵编码器只需对实际参数值和预测参值值之间的小的变化差(variance differences)进行编码，从而带来了编码增益。
数字图像常常由等间隔样本来表示，这些等间隔样本如下所示地以N×M阵列的形式排列，其中阵列的每个元素都是一个离散量。该阵列的元素F(x，y)被称为图象元素，图片元素，像素或象素。坐标(x，y)代表像素在图像中的位置，并且只对x，y的整数值给出了像素值F(x，y)。
典型的视频编码器采用三种类型的图片内部图片(I图片)，预测图片(P图片)和双向预测或双预测图片(B图片)。
图1a示出了一个典型的由I图片和P图片组成的视频序列的例子。I图片中的块不依赖于任何的参考图片，在这种意义上，I图片可以独立地被解码。P图片可依赖于可得到的参考图片，以便P图片中的块可以是I块，或者是依赖于一个参考图片的P块。图1b示出了一个典型的由I图片、B图片和P图片组成的视频序列的例子。B图片可依赖于时间上在前或在后的图片。P图片中的块可以是I块，P块或者是依赖于两个参考图片的B块。
P图片利用在视频序列的连续帧之间的时间冗余。当原始视频序列的图片被编码成P图片时，它被划分成矩形区域(块)，并从以前编码并发射的叫作参考图片的帧Fref之一中预测。块的预测信息由二维运动矢量(Δx，Δy)来表示，其中Δx为水平位移量，而Δy为垂直位移量。在运动补偿期间，运动矢量连同参考图片一起被用来重构预测图片Fpred中的样本Fpred(x，y)＝Fref(x+Δx，y+Δy)在运动估计处理期间找出运动矢量。预测误差，即原始图片和预测图片Fpred之间的差，通过将它的值表示成离散变换的一组加权基本函数来对其进行压缩。变换一般是在8×8或4×4块的基础上进行的。作为变换系数的加权随后被量化。由于量化系数比原始系数具有更低的精确度，所以量化引入了信息损耗。
量化变换系数连同运动矢量和某些控制信息，形成了完整的编码的P图片表示。这些不同形式的信息总称为语法(syntax)元素。在从编码器传输到解码器之前，所有的语法(syntax)元素被熵编码，这进一步减少了表示它们所需的比特数目。熵编码为低损耗(loss-less)的运算，目标在于通过利用它们的分布特性(某些码元比其它码元出现得更加频繁)，来最小化要求用来表示发射的或存储码元的比特数。
在解码器中，通过首先以与在编码器中相同的方式构成预测图片，并通过将压缩的预测误差添加到预测图片来获得P图片。所述压缩的预测误差通过使用量化变换系统来加权变换基本函数而得出。重构图片Frec和原始图片之间的差称为重构误差。
由于运动矢量(Δx，Δy)可以具有非整数值，运动补偿预测要求在非整数位置(x`，y`)＝(x+Δx，y+Δy)评估参考图片Fref的图片值。在非整数位置的图片值称为亚像素(sub-pixel)值，并且确定该值的方法叫做插值(interpolation)。亚像素值F(x，y)的计算通过对周围像素滤波来进行F(x′,y′)=Σk=-K+1KΣl=-L+1Lf(k,l)F(n+k,m+l)]]>其中f(k，l)是滤波器系数，并且通过分别对x`，y`截尾为整数值而得到n和m。滤波器系数一般依x`，y`值而定。所用的插值滤波器通常是可分离的，在此情况下，可以如下计算亚像素值F(x`，y`)F(x′,y′)=Σk=-K+1Kf(k)Σl=-L+1Lf(l)F(n+k,m+l)]]>在B图片的情况下，可能从两个不同的参考图片来预测一个块。对于每个块存在两组运动矢量(Δx1，Δy1)和(Δx2，Δy2)，一个用于所使用的每个参考图片。预测是来自两个图片的像素值的组合。典型地，对两个参考图片的像素值取平均Fpred(x，y)＝(F1(x+Δx1，y+Δy1)+F2(x+Δx2，y+Δy2))/2通过对相邻的像素值施加滤波器来执行在非整数位置插入像素。通常，高阶滤波器产生更好的结果。当使用多图片预测时(比如在B图片中)，必须对每个图片(像素从该图片取出)执行插入。因此，从两个参考图片的预测与只从一个图片预测相比，要求双倍次数的插入。因此，多图片预测的复杂度明显高于单个图片预测的复杂度。
在本发明的图像编码系统中，用于运动补偿的所有运动信息与在现有的诸如H.263和H.264之类视频编码标准中规定的相似。例如，根据T.Wiegand在“Joint Committee Draft(CD)of Joint VideoSpecification(ITU-T.rec.H.264 ISO/IEC14496-10 AVC”，Doc.VT-C167，Joint Video Team(JVT)of ISO/IEC MPEG and ITU-T VCEG(2002年5月)文献中提出的H.264视频编码标准的草案，用带有系数(1，-5，20，20，-5，1)/32的6抽头插值滤波器和一个双线性滤波器的组合对所有的P块进行预测。现结合图2来描述该滤波方案。在图中，标上“A”的位置表示整数位置的参考图片样本。其它符号表示在分数样本位置的插入值。
根据H.264视频编码标准，对图片的亮度分量和色度分量都可以运用亚像素值插入。然而，为了简化，在此只描述在亮度分量中的亚像素值插入。根据运动补偿处理的复杂度和分辨率要求，在亮度分量中的亚像素值插入可以1/4样本分辨率或者1/8分辨率执行。另外，为了简化，下面只描述1/4样本插入，但是应当理解，亚像素值插入处理的精确细节以及插入的分辨率不影响根据本发明的方法的适用性。
根据按H.264定义的1/4样本分辨率亚像素值插入方法，在1/4样本位置的预测值由在整数和1/2样本位置的样本取平均而生成。对每个位置的处理在下面参照图2来描述。
通过将6抽头滤波器(上面所述)应用于水平方向最接近的整数位置中的样本“A”来首先计算一个中间值b，而获得标上“bh”的在1/2样本位置的样本。“bh”的最终值根据下式来计算bh＝clip1((b+16)＞＞5)其中x＞＞n表示x的二进制补码整数表示被算术右移n个二进制位，而数学函数“clip1”如下定义clip1(c)＝clip3(0，255，c)clip3(a，b，c)＝a如果c＜a＝b如果c＞b，或者＝c其它标注“bv”的在1/2样本位置的样本通过应用于垂直方向的滤波器而同样地获得。
标注“cm”的在1/2样本位置的样本通过将6抽头滤波器在垂直或水平方向施加到最接近1/2样本位置的中间值b以形成中间结果c而获得。使用下列关系式来计算最终值cm＝clip1((c+512)＞＞10)标注“d”，“g”，“e”和“f”的在1/4样本位置的样本，通过如下对在整数或者在1/2样本位置的两个最接近的样本取平均并截尾来获得d＝(A+bh)＞＞1g＝(bv+c)＞＞1e＝(A+bv)＞＞1f＝(bh+cm)＞＞1标注“h”的在1/4样本位置的样本，通过在对角线方向对最接近的样本“bh”和“bv”使用如下关系式取平均并截尾从而获得h＝(bh+bv)＞＞1标注“i”的在1/4样本位置的样本使用在整数位置的四个最靠近的样本并使用如下关系式计算i＝(A1+A2+A3+A4+2)＞＞2在现有的视频编码标准，诸如MEPG-1，MPEG-2，MPEG-3，H.263和H.264之中，运用相同的插值滤波器而不管预测的类型。已经发现这样运用插值滤波器并不总是有效的。因此提供一种降低了图片预测的复杂度的数字图像编码方法和系统是有利的并且是合乎需要的。
发明概述根据本发明的第一个方面，提供了一种编码视频序列的方法，视频序列包括多个图片，其中视频序列的图片被划分成多个块，并且所述图片的块使用多种不同类型的运动补偿预测之一来编码，至少包括单图片预测类型和多图片预测类型，单图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中的单个参考图片像素值上操作，而多图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中多于一个参考图片的像素值上操作。该方法的特征在于用来为块产生预测像素值的插值滤波器的复杂度依所述块的特征而定。
插值滤波器的复杂度依编码该块所用的运动补偿预测类型而定。
通过改变滤波器的类型来改变插值滤波器的复杂度。
当使用所述的多图片预测类型来为块生成预测像素值时，降低了插值滤波器的复杂度。
当通过使用较短的滤波器而使用所述的多图片预测类型，或者通过使用具有较少系数的滤波器而使用所述的多图片预测类型时，降低了插值滤波器的复杂度。
可根据块的大小或者块的形状来改变插值滤波器的复杂度。
优选的，在多余一个参考图片像素值上操作的插值滤波器比运行在单个参考图片像素值的插值滤波器短。
有利的，在多余一个参考图片像素值上操作的插值滤波器包括4抽头滤波器，而在单个参考图片像素值上操作的插值滤波器包括6抽头滤波器。
有利的，在多余一个参考图片像素值上操作的插值滤波器依在计算亚像素值时的分数像素位置而定。
有利的，所述方法还包括定义一组滤波器来结合特定的预测类型来使用，并提供用于块运动补偿预测的所述组中的特定的一个插值滤波器的指示。
根据本发明的第二个方面，提供一种编码视频序列的编码系统，该视频序列包括多个图片，其中视频序列的图片被划分成多个块，并且所述图片的块使用多种不同类型的运动补偿预测之一来编码，包括至少一个单图片预测类型和一个多图片预测类型，单图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中的单个参考图片像素值上操作，而多图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中多于一个参考图片的像素值上操作，该系统包括选择装置，用来选择用于块的运动补偿预测编码的预测类型；和改变装置，用来基于选定的预测类型改变插值滤波器。
所述的改变装置还根据块的特征，块的大小，或者块的形状来改变插值滤波器。
根据本发明的第三个方面，提供一种用于视频编码系统的运动补偿预测方法，在该系统中视频序列包括多个图片，其中视频序列的图片被划分成多个块，并且所述图片的块使用多种不同类型的运动补偿预测之一来编码，包括至少一个单图片预测类型和一个多图片预测类型，单图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中的单个参考图片像素值上操作，而多图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中多于一个参考图片的像素值上操作。该方法包括确定运动补偿的类型；以及根据确定的运动补偿的类型来改变插值滤波器。
根据本发明的第四方面，提供一种运动补偿预测的方法，其中在图片块的运动补偿预测期间所使用的插值滤波器依所使用的运动补偿预测的类型而定。
所述的方法能够在视频编码器或者在视频解码器中实现。
如果所使用的运动补偿预测类型为多图片预测类型，即使用多于一个参考图片来形成对图片块的预测，所选择的插值滤波器与在所使用的运动补偿预测类型预测为单图片预测类型时相比，具有更少的系数，所述单图片预测是使用单个参考图片来形成对图片块的预测。
根据图片块的特征，图片块的大小，或者图片块的形状来选择插值滤波器。
根据本发明的第五个方面，提供一种用来执行运动补偿预测的设备，包括用来选择插值滤波器的装置，该插值滤波器是在图片块的运动补偿期间依所使用的运动补偿预测类型而确定使用的插值滤波器。
所述设备能够在视频编码器中或者在视频解码器中实现。
如果所使用的运动补偿预测类型为多图片预测类型，其中使用多于一个参考图片来形成对图片块的预测，所述用来选择插值滤波器的选择装置可操作地选择与在所使用的运动补偿预测类型预测为单图片预测类型时相比，具有更少的系数的插值滤波器，单图片预测是使用单个参考图片来形成对图片块的预测。
用于选择插值滤波器的选择装置可操作地根据图片块的特征来选择插值滤波器。
用于选择插值滤波器的选择装置可操作地根据图片块的大小来选择插值滤波器。
根据本发明的第六个方面，提供一种视频编码器，其包括用来执行运动补偿的设备，其中所述用来执行运动补偿的设备包括选择装置，其用来根据所使用的运动补偿预测的类型，选择在图片块运动补偿预测期间所使用的插值滤波器。
根据本发明的第七个方面，提供一种视频解码器，其包括用来执行运动补偿的设备，其中所述用来执行运动补偿的设备包括选择装置，其用于根据所使用的运动补偿预测的类型，选择在图片块运动补偿预测期间所使用的插值滤波器。
在本发明的一个优选实施例中，不同的运动插值滤波器用于不同的预测类型。滤波器类型根据块预测的类型以块的级别(1evel)改变。
更具体地，当使用多图片预测时，本发明使用较短的滤波器。这种方法明显地降低了运动插入处理所要求的复杂度。同时，当恬当地选择较短的滤波器时，由于两个预测的加权所提供的附加滤波的效果，所以对插入质量的影响是可忽略的。
通过阅读结合附图3-8所做的描述，本发明将变得明显。
附图简述图1a为图解从以前的图片数据中预测的P图片中的两个P块的示意性表示。
图1b为图解从两个参考图片中预测的B图片中的两个B块的示意性表示。
图2为根据现有技术对1/4样本亮度插入图解整数样本和分数样本位置的示意性表示。
图3为图解在水平方向的亚像素值插入的示意性表示。
图4为图解在垂直方向的亚像素值插入的示意性表示。
图5为图解通过在水平方向和垂直方向插值来构成亚像素值两维阵列的处理过程的示意性表示。
图6为图解根据本发明的滤波器选择的流程图。
图7为图解根据本发明优选实施例的视频编码器的框图，其中插值滤波器按照运动补偿预测的类型来选择。
图8为图解根据本发明优选实施例的视频解码器的框图，其中插值滤波器按照运动补偿预测的类型来选择。
发明详述根据本发明的优选实施例，为了降低插值的复杂度，对双向预测B块使用更短的插值滤波器。例如，在特定的实施例中，下列4抽头滤波器用来获得位于不同分数像素位置的亚像素的值0/4(0，16，0，0)/161/4(-2，14，5，-1)/162/4(-2，10，10，-2)/163/4(-1，5，14，-2)/16现在将参照图3和图4详细描述上面在计算亚像素值时定义的插值滤波器的使用。两个图都示出了表示在其中执行插值的图像块的一部分的像素的一个小的阵列。图3图解了在水平方向使用以前定义的插值滤波器，而图4图解了滤波器在垂直方向的运用。遵循在图2中引入的惯例，在两个图中，位于整数像素位置并被插值滤波器使用的像素值由符号“A“表示。另外，为每个像素提供了数字下标(即(A1，A2，A3，A4)，表示了插值滤波器系数，特定的像素值将与之相乘。在图3中，将插入包括像素A1，A2，A3，A4的水平行的亚像素值分别由x1/4，x2/4，x3/4表示。相似地，在图4中，将插入包括像素A1，A2，A3和A4的垂直列的亚像素值分别由y1/4，y2/4，y3/4表示。
现在详细地考虑图3，通过应用插值滤波器(1/4)(如上所定义的)到像素值A1，A2，A3，A4来计算亚像素值x1/4。因此x1/4由下式给出x1/4＝((-2·A1)+(14·A2)+(5·A3)+(-1·A4))/16亚像素值x2/4以类似的方式通过将插值滤波器(2/4)应用于像素值A1，A2，A3，A4来计算，并且相似地，通过运用插值滤波器(3/4)来计算亚像素值x3/4，如下所示x2/4＝((-2·A1)+(10·A2)+(10·A3)+(-2·A4))/16x3/4＝((-1·A1)+(5·A2)+(14·A3)+(-2·A4))/16现在参照图4，在垂直方向的亚像素值插入以与结合水平方向插值来描述的完全相同的方式来执行。因此，如图4中所定义的，分别使用运用到整数位置像素值A1，A2，A3，A4的插值滤波器(1/4)，(2/4)和(3/4)来计算亚像素值y1/4，y2/4，y3/4。更具体地，则为y1/4＝((-2·A1)+(14·A2)+(5·A3)+(-1·A4))/16y2/4＝((-2·A1)+(10·A2)+(10·A3)+(-2·A4))/16y3/4＝((-1·A1)+(5·A2)+(14·A3)+(-2·A4))/16为了完整，插值滤波器(0/4)包括在插值滤波器组中，并且纯粹是象征性的，因为它表示了与在整数位置的像素一致的亚像素值的计算，并且具有与整数位置的像素相同的值。经验性地选择其它4抽头插值滤波器(1/4)，(2/4)和(3/4)的系数，以便提供最佳的可能的主观(subjective)亚像素值插入。首先在水平方向插入亚像素值行(图5中所示的步骤1和步骤2)，然后在垂直方向一列一列地插入(图5中的步骤3)，可以获得在整数位置像素之间的每个亚像素位置的值。
图6为图解根据本发明的优选实施例的亚像素值预测方法的流程图。如图6的流程600所示，当根据本发明的优选实施例实现的视频编码器接收视频图片的一个块来编码时(步骤610)，所述视频编码器在步骤620确定用来编码块的预测类型。如果编码器确定该快要被编码为I块，即不使用运动补偿预测，所述块被编码成INTRA格式(步骤630)。
如果该块要被编码为P块，使用关于单个参考图片(即，在视频序列中先前编码的图片)的运动补偿预测对其编码。视频编码器选择第一插值滤波器，该插值滤波器将用于计算在运动补偿处理过程中所要求的任何亚像素值(步骤640)，然后使用参考图片来形成对块的预测，如所要求的使用选择的(第一)插值滤波器来计算任何亚像素值(步骤S642)。如果视频编码器根据ITU-T视频编码建议H.264来实现，例如，有利地，为P块确定亚像素值的处理过程与H.264标准中提议的处理过程是一致的。
如果所述块要使用从两个参考图片的双向预测被编码成B块，视频编码器选择与第一滤波器不同的第二插值滤波器，在计算亚像素值时使用(步骤650)。在本发明的优选实施例中，第二滤波器具有比第一滤波器长度(系数的数目)小的长度(系数的数目)。当编码双向预测B块时，视频编码器为该块形成两个独立的预测，一个来自每个参考图片(步骤652和654)，并使用第二插值滤波器来按要求计算亚像素值。之后形成两个预测的平均值并用该平均值来作为对块的最终预测(步骤656)。由于第二插值滤波器的系数个数要比第一插值滤波器系数数目少，使用第二插值滤波器来在双向B块预测中生成亚像素值，与使用第一插值滤波器相比，这明显地降低了插值处理的复杂度。更具体地，在这样的情况下，例如第一插值滤波器为6抽头滤波器(即，它具有6个系数)并且第二插值滤波器为4抽头滤波器(4个系数)，双向B块插值包括在4×4阵列像素(所形成的每个预测一个)上的两个滤波操作而不是在6×6像素阵列上执行的两个滤波操作。由于两个4×4滤波操作代替6×6滤波操作，B图片编码的复杂度明显地减少，同时仅仅最低程度地影响了插值精度。
图7为示出根据本发明能够执行选择插值滤波器类型的视频编码器框图。如图所示，编码器700包括形成框710，减法器714，控制框720，预测类型选择框730，插值滤波器选择框750和预测框740。
形成框720接收包括将被编码的视频图片序列的视频输入信号，并将每个收到的图片划分成块，每个块具有预定的大小和形状。
控制框720可操作地为每个块确定最佳的预测类型。虽然预测类型的选择可以多种不同的方式执行，根据本发明的实施例，安排控制框720来依次检查每个可用的预测类型，并基于一种量度做出关于为特定块所选择的预测类型的判决，所述的量度既考虑了使用给定的预测类型而引起的图像失真的程度，又考虑了使用该预测类型编码该块所需的信息量。这种量度统称为“成本函数”。在本发明的替换实施例中可以使用其它等效的量度。
在于此考虑的本发明实施例中，可用的预测类型是(a)无预测，在此情况下，图像块编码成INTRA格式；(b)P块预测，其中对块的预测使用单个参考帧形成；和(c)B块预测，在此情况下，使用从两个参考帧的双向预测。控制框720进而通过指示预测类型选择框730将编码器设置成特定的编码模式(I块，P块，或B块)，从而选择每个预测类型。控制框720计算使用每个预测类型得出的成本函数值，并按照得出最低成本函数的编码模式(I，P或者B)选出所选的块预测类型以及相关的用于块预测的插值滤波器类型。
下面将更详细地描述特定块的各种预测的形成，以及选定的预测类型的选择。在于此描述的本发明的实施例中，其中有三种可用的预测类型，控制框720首先指示预测类型选择框730将视频编码器设置成P块编码模式，其中使用单个的参考帧形成对块的预测。在P块预测处理期间，预测类型选择框730进而指示插值滤波器选择框750选择插值滤波器来计算亚像素值。接着使用选择的预测类型和插值滤波器在预测框740中形成对块的预测。接下来，在减法器714中形成预测误差的量度。这通过比较刚形成的对块的预测与从形成框710输入的所述块的图像数据来做出。控制框720接收来自减法器714的预测误差的量度，并计算使用当前选择的预测类型(P块预测)而得出的成本函数值。如前面所说明的，成本函数考虑预测误差的大小以及表示块预测和预测误差所需数据的量(实际上是在相应的视频解码器中发射重构块所必需的信息所要求的数据量)。控制框720接着将成本函数值存储在视频编码器的存储器中(图7中未示出)。
控制框720接下来指示预测类型选择框730将视频编码器设置成B块编码模式。在该模式中，对块的预测通过使用从两个参考帧的双向预测而形成。预测类型选择框730指示插值滤波器选择框750选择一个插值滤波器，以在B块预测处理过程中使用，并且预测框740使用选择的预测类型和插值滤波器形成对块的预测。有利的是，根据本发明，在B块编码模式中选择的插值滤波器不同于为在P块预测中使用而选择的插值滤波器。更具体地，为B块预测所选择的插值滤波器与用于P块预测的插值滤波器相比具有更少的系数。一旦在预测框740中作出了对块的预测，则预测误差由减法器714形成并传递到控制框720，对应的成本函数值在此计算并且存储在视频编码器的存储器中。
最后，控制框720指示预测类型选择框730将视频编码器设置成I块(INTRA)编码模式。在此模式中，不使用任何预测，从而不需要任何插值滤波器。预测类型选择框730适当地指示插值滤波器选择框750，并且视频编码器对INTRA格式的块进行编码。然后控制框720计算相应的成本函数值并将其存储在视频编码器的存储器中。
控制框720在此检查存储在存储器中的三个成本函数值，并根据得出最小成本函数值的预测类型为所述块选择一个选定的编码模式。基于该选择，控制框720输出选定的预测类型。在本发明的优选实施例中，不必提供选定的插值滤波器的指示，因为这是由预测类型的选择明确地确定的。换言之，当接收表示特定块的已编码信息时，根据本发明实现的视频解码器能够解码并确定块的预测类型，并从而直接推断在运动补偿期间在所述的解码器使用的插值。在本发明的替换实施例中，所要使用的插值滤波器的特定指示可由控制框720提供并包括在表示所述块的已编码信息中。
图8示出了根据本发明的优选实施例实现的视频编码器800的图。从图中可以看出，解码器包括一个解复用框810，预测误差解码框，运动补偿预测框830，插值滤波器选择框840，控制框850，加法器860和视频输出870。解码器被安排来接收并解码由前述的视频编码器700产生的已编码视频比特流。
特别地，已编码比特流包括与所述的已编码块有关的已编码运动信息，预测误差信息和控制信息。已编码视频比特流由解复用器810接收并被分成它的组成部分。解复用器810从比特流中提取与运动补偿预测的类型有关的控制信息，并将它传递到控制框850，所述的运动补偿预测的类型在编码器中用来编码给定块。与所述块有关的任何运动信息被传递到运动补偿预测框830，并且相关联的预测误差信息被转发到预测误差解码框820。
如果控制框850在控制信息的基础上确定所讨论的块被编码成I块，即没有使用运动补偿预测，那么它将视频解码器800切换到INTRA解码模式，从而然后解码该块。另一方面，如果控制信息指示所述块编码为P块或者双向B块，则控制框850指示插值滤波器选择框840选择适于运动补偿预测类型的插值滤波器，接着使运动补偿预测框830使用相应运动信息来解码所述的块，所述的运动信息是由解复用器810从视频比特流中提取出来的。在解码所述块期间，运动补偿预测框830使用一个或多个参考帧(在P块的情况下是一个，在双向B块的情况下是两个)为块形成一个预测(预测的像素值)，使用选定的插值滤波器如所要求的构成亚像素值。对块的预测像素值接着被传递到加法器860，其在此与由预测误差解码框820形成的解码的预测误差信息组合，以形成像素值的完整重构块。之后其经由视频输出870输出以便显示或者存储。
实现的替换方案本发明可以各种方式实现可以选择不同的插值滤波器来代替上述的滤波器，即可以使用不同长度和/或滤波器系数值。
除了块的预测模式之外，插值滤波器还依块的其它特征(即，大小，形状或亮度信息)而定。例如，在本发明的一个替换实施例中，6抽头的滤波器用于具有8×8维像素的块，4抽头的滤波器用于具有4×4维像素的块。在另一个替换实施例中，用矩形的块而不用正方形的块，(比如，在水平维(dimension)8个像素，垂直维(dimension)4个像素)较长的滤波器用于水平维的亚像素值插入(比如6抽头滤波器)，而较短的滤波器用于垂直维的亚像素值插入(比如4抽头滤波器)。在另一个替换实施例中，不同的插值滤波器可用于图像信息的亮度和色度分量。人的视觉系统对图像的亮度和色度分量有不同的灵敏度(对于色度信息中的空间变化比较不敏感)，从而在某种情况下使用不同类型的插值滤波器在亮度和色度分量上操作也是恬当的。
块的块模式或其它特征没有明确地限定滤波器，但是该信息可以用来定义滤波器组，并且最合适的滤波器可由其它装置(比如通过发送选择信息)来识别。如上结合根据本发明优选实施例的编码器描述所提到的，在为每个可用的预测类型提供一个插值滤波器的情况下，特定预测类型的选择暗示了使用给定的插值滤波器。然而，在本发明的其它实施例中，其中为每个预测类型定义了多于一个插值滤波器，关于插值滤波器的选择的信息在已编码的视频比特流中提供，并且被发送到相应的解码器，以便使所述编码器能够选择正确的插值滤波器来用于在解码器中的运动补偿预测。
本发明可以运用在任意数目的参考帧上，所述参考帧是在预测图片块时所使用的参考帧。应当指出，在理论上，对能够使用的参考帧的数目基本上没有限制。明显地，应当存在某些实际/合理的限制。
本发明可以应用于在图片块预测中使用的两个或多个参考帧的组合。
因此，虽然已经针对其优选实施例对本发明进行了描述，但本领域的普通技术人员应当理解，可以做出其前述的以及其它形式上的以及细节上的各种改变、删减和偏差而不脱离本发明的精神和范围。
权利要求
1.一种编码视频序列的方法，该视频序列包括多个图片，其中视频序列的图片被划分成多个块，并且所述图片的块使用多种不同类型的运动补偿预测之一来编码，所述多种不同类型的运动补偿预测至少包括单图片预测类型和多图片预测类型，单图片预测类型通过使用在所述视频序列中的单个参考图片的像素值上操作的插值滤波器利用运动补偿预测来为块生成预测像素值，而多图片预测类型通过使用在所述视频序列中的多于一个参考图片的像素值上操作的插值滤波器利用运动补偿预测来为块生成预测像素值，其中，用来为块产生预测像素值的插值滤波器的复杂度依所述块的特征而定。
2.根据权利要求1的方法，其中，插值滤波器的复杂度依编码该块所用的运动补偿预测类型而定。
3.根据权利要求1的方法，其中，通过改变滤波器的类型来改变插值滤波器的复杂度。
4.根据权利要求1的方法，其中，当使用所述多图片预测类型来为块生成预测像素值时，降低了插值滤波器的复杂度。
5.根据权利要求3的方法，其中，当通过使用较短的滤波器而使用所述多图片预测类型时，降低了插值滤波器的复杂度。
6.根据权利要求3的方法，其中，当通过使用具有较少系数的滤波器而使用所述多图片预测类型时，降低了插值滤波器的复杂度。
7.根据权利要求1的方法，其中，根据块的大小来改变插值滤波器的复杂度。
8.根据权利要求1的方法，其中，根据块的形状来改变插值滤波器的复杂度。
9.根据权利要求1的方法，其中，在多于一个参考图片的像素值上操作的插值滤波器比在单个参考图片的像素值上操作的插值滤波器短。
10.根据权利要求1的方法，其中，在多于一个参考图片的像素值上操作的插值滤波器包括4抽头滤波器，而在单个参考图片的像素值上操作的插值滤波器包括6抽头滤波器。
11.根据权利要求1的方法，其中，在多于一个参考图片的像素值上操作的插值滤波器依在计算亚像素值时的分数像素位置而定。
12.根据权利要求1的方法，包括定义一组插值滤波器以结合特定的预测类型来使用。
13.根据权利要求12的方法，包括提供一个指示，指示用于块的运动补偿预测的所述插值滤波器组的一个特定插值滤波器。
14.一种用于编码视频序列的编码系统，该视频序列包括多个图片，其中视频序列的图片被划分成块，并且所述图片的块使用多种不同类型的运动补偿预测之一来编码，所述多种不同类型的运动补偿预测至少包括单图片预测类型和多图片预测类型，单图片预测类型通过使用在所述视频序列中的单个参考图片的像素值上操作的插值滤波器利用运动补偿预测来为块生成预测像素值，而多图片预测类型通过使用在所述视频序列中的多于一个参考图片的像素值上操作的插值滤波器利用运动补偿预测来为块生成预测像素值，所述的系统包括选择装置，用来选择在块的运动补偿预测编码中使用的预测类型；和改变装置，用来根据选定的预测类型改变插值滤波器。
15.根据权利要求14的编码系统，其中，所述改变装置还根据块的特征来改变插值滤波器。
16.根据权利要求14的编码系统，其中，所述改变装置还基于块的大小来改变插值滤波器。
17.根据权利要求14的编码系统，其中，所述改变装置还基于块的形状来改变插值滤波器。
18.根据权利要求14的编码系统，其中，在多于一个参考图片的像素值上操作的插值滤波器比在单个参考图片的像素值上操作的插值滤波器短。
19.根据权利要求14的编码系统，其中，在多于一个参考图片的像素值上操作的插值滤波器比在单个参考图片的像素值上操作的插值滤波器具有更少的系数。
20.根据权利要求14的编码系统，其中，在多于一个参考图片的像素值上操作的插值滤波器包括4抽头滤波器，而在单个参考图片的像素值上操作的插值滤波器包括6抽头滤波器。
21.根据权利要求14的编码系统，其中，在多于一个参考图片的像素值上操作的插值滤波器依在计算亚像素值时的分数像素位置而定。
22.一种用于视频编码系统的运动补偿预测方法，在该系统中视频序列包括多个图片，其中视频序列的图片被划分成块，并且所述图片的块使用多种不同类型的运动补偿预测之一来编码，所述多种不同类型的运动补偿预测至少包括单图片预测类型和多图片预测类型，单图片预测类型通过使用在所述视频序列中单个参考图片的像素值上操作的插值滤波器利用运动补偿预测来为块生成预测像素值，而多图片预测类型通过使用在所述视频序列中多于一个参考图片的像素值上操作的插值滤波器利用运动补偿预测来为块生成预测像素值，所述的方法包括确定运动补偿预测的类型；以及根据确定的运动补偿预测的类型来改变插值滤波器。
23.一种运动补偿预测的方法，其中，在图片块的运动补偿预测期间所使用的插值滤波器根据所使用的运动补偿预测的类型来选择。
24.根据权利要求23的方法，在视频编码器中实现。
25.根据权利要求23的方法，在视频解码器中实现。
26.根据权利要求23的方法，其中，如果所使用的运动补偿类型为多图片预测类型，其中使用多于一个参考图片来形成对图片块的预测，所选择的插值滤波器与在所使用的运动补偿预测类型为单图片预测类型时所选择的插值滤波器相比，具有更少的系数，在所述单图片预测中使用单个参考图片来形成对图片块的预测。
27.根据权利要求23的方法，其中，根据图片块的特征来选择插值滤波器。
28.根据权利要求23的方法，其中，根据图片块的大小来选择插值滤波器。
29.根据权利要求23的方法，其中，根据图片块的形状来选择插值滤波器。
30.根据权利要求23的方法，其中，所述用来选择插值滤波器的装置可操作用来根据图片块的大小来选择插值滤波器。
31.一种用来执行运动补偿预测的设备，包括选择装置，用于根据所用运动补偿预测类型选择将在图片块的运动补偿预测期间使用的插值滤波器。
32.根据权利要求31的设备，在视频编码器中实现。
33.根据权利要求31的设备，在视频解码器中实现。
34.根据权利要求31的设备，其中，如果所使用的运动补偿类型为多图片预测类型，其中使用多于一个参考图片来形成对图片块的预测，所述用来选择插值滤波器的选择装置可操作用来选择与在所使用的运动补偿预测类型为单图片预测类型时选择的插值滤波器相比，具有更少系数的插值滤波器，在单图片预测类型中，使用单个参考图片来形成对图片块的预测。
35.根据权利要求31的设备，其中，所述用于选择插值滤波器的选择装置可操作用来根据图片块的特征来选择插值滤波器。
36.根据权利要求31的设备，其中，所述用于选择插值滤波器的选择装置可操作用来根据图片块的大小来选择插值滤波器。
37.一种视频编码器，包括用来执行运动补偿预测的设备，其中所述用来执行运动补偿预测的设备包括选择装置，用来根据所使用的运动补偿预测的类型选择将在图片块的运动补偿预测期间使用的插值滤波器。
38.一种视频解码器，包括用来执行运动补偿预测的设备，其中所述用来执行运动补偿预测的设备包括选择装置，用来根据所使用的运动补偿预测的类型，选择将在图片块的运动补偿预测期间使用的插值滤波器。
全文摘要
一种根据运动补偿预测来编码视频序列的方法和系统，其中，插值滤波器被用来为视频序列中的图片块产生预测像素值。与结合单图片类型使用的插值滤波器相比，结合多图片类型使用的插值滤波器更短或者具有更少的系数。因此，可以降低多图片类型的插值滤波器的复杂度。而且，可以根据块的特征，块的大小和/或形状改变插值滤波器。
文档编号H04N7/12GK1666429SQ03816157
公开日2005年9月7日 申请日期2003年7月9日 优先权日2002年7月9日
发明者A·哈拉普罗, J·莱恩马, M·卡策维茨 申请人:诺基亚有限公司