专利名称：混合视频解码器、混合视频编码器及数据流的制作方法
技术领域：
本发明的实施方式涉及混合视频解码器。本发明的其他实施方式涉及混合视频编码器、数据流、用于编码视频的方法及用于解码视频的方法。
背景技术：
在先前技术或现有技术(混合)视频编码中，利用先前图像的重建组分通过运动补偿预测或利用相同图像的先前重建区块通过帧内预测来预测视频帧的组分(例如参考 Thomas WiegancU Gary J.Sullivan、GisleBjontegaard 及 Ajay Luthra:Overviewof the H.2641AVC Video CodingStandard, IEEE Tran, on Circuits and Systems forVideo Technology,第13卷第7期,第560至576页,2003年7月)。例如，如果视频巾贞使用YUV色彩空间表示，则该视频帧之组分为三个Y、U及V色彩组分。残余信号(residualsignal)，即原组分与相对应的预测信号之间的差，通常使用变换编码来编码(解相关变换、变换系数的量化、以及所得量化符号的熵编码的组合)。当图像是由多个组分(平面)组成时，预测可分开进行或通过共享预测信息而群组化(平面群组化)进行。运动补偿预测可针对图像的某些子区进行(例如参考Thomas WiegancUMarkus Flierl及BerndGirod:Entropy-Constrained Design of Quadtree Video Coding Schemes, Proc.6thIEEIntern.Conf.0n Image Processing and its Applications,爱尔兰都柏林，1997 年 7 月2日)。通常子区为矩形样本区块。但于在概念上也可使用相同运动参数用于任意组的样本。运动参数包括在位流中并传输至解码器。可以使用任意运动模型。常见地，用平移运动模型来模型化运动，该种情况下，指定位移的运动向量(2参数)被传输给各区。其它常见运动模型包括仿射运动模型(6参数)、3-、4_及8-参数模型。运动参数可以任意准确度传输。例如，针对平移运动模型，运动向量可使用全样本准确度或子样本准确度(例如四分之一样本准确度)编码。在第一情况下，预测样本可直接从重建图像拷贝。在子样本准确运动向量(或一般运动参数)情况下，使用重建样本来内插预测样本。针对运动补偿预测的现有子样本产生方法使用FIR滤波。最近，提出了自适应FIR滤波器(例如参见ThomasWedi，Adaptive Interpolation Filter for Motion Compensated Hybrid VideoCoding, Proc.Picture Coding SymposiumCPSC 2001),韩国首尔2001年4月)，用于改善运动补偿预测。任何先前传输的图像皆可用于运动补偿(例如参见Thomas Wiegand、Xiaozheng Zhang及Bernd Girod:Long-TermMemory Motion-Compensated Prediction,IEEE Transactions onCircuits andSystems for Video Technology, Vol.9, N0.1,第 70 至 84 页，1999 年 2 月)。如果参考图像未被高级参数固定，则参考指数可被传输以识别所使用的参考图像。也可以使用加权因子及偏移值(通称加权预测)或任何其它加权函数来修改预测信号，从而获得最终预测信号。此外，可组合若干预测信号来获得最终预测信号。这通常称为多假设预测(例如参见Sullivan,G.；Mult1-hypothesis motion compensation for low bit-rate videocoding, IEEEInternational Conference on Acoustics, Speech and Signal Proc.Vol.5,1993)。组合预测信号例如可通过不同预测信号的加权和而获得。个别预测信号可基于相同或相异的升取样参考图像。如果组合两个预测信号，则多假设预测也称作为双预测(如现代视频编码标准的B切片(B-slices)中支持的)。但也可使用多于两个假设。量化变换系数的熵编码例如可通过可变长度编码或(自适应)算术编码完成(例如参见Detlev Marpe,Heiko Schwarz及 Thomas Wiegand:Context-Based Adaptive Binary Arithmetic Codingin theH264fAVC Video Compression Standard, IEEE Tran, on Circuits and SystemsforVideo Technology, Vol.13，N0.7，第 620 至 636 页，2003 年 7 月)。但是，在混合视频编码中，期望提高传输信息的压缩效率。
发明内容
本发明的目的是提供一种于混合视频编码中提高传输信息的压缩效率的构想。根据权利要求1、23、33所述的混合视频解码器、根据权利要求16、30、34所述的混合视频编码器、根据权利要求20所述的数据流、根据权利要求21、22、31、32、35、36所述的方法、及根据权利要求37所述的计算机程序可解决此项目的。本发明的若干实施方式中，提供一种混合视频解码器。该混合视频解码器包括提取器，被配置为从数据流提取当前图像的区块的运动信息(motion information)和残余信息(residual information)。该混合视频解码器进一步包括预测器,被配置为依据运动信息，使用无限脉冲响应(IIR)滤波器与有限脉冲响应(FIR)滤波器的组合，通过内插参考图像来提供用于该当前图像的区块的预测。该混合视频解码器进一步包括重建器，被配置为使用该区块的预测及该区块的残余信息重建在该区块的当前图像。本发明的另外一些实施方式提供一种混合视频编码器。该混合视频编码器包括升取样器，被配置为使用IIR滤波器与FIR滤波器的组合以子样本分辨率(sub-sampleresolution)来升取样参考图像，从而获得该参考图像的升取样版本(upsampledversion)。该混合视频编码器进一步包括预测器，被配置为通过使用该参考图像的升取样版本，对应于当前图像的区块的运动信息，确定与该当前图像的所述区块的运动补偿预测。该混合视频编码器还包括残余信息确定器，被配置为通过使用该当前图像的区块的运动补偿预测及该当前图像的区块，确定该当前图像的区块的残余信息。该混合视频编码器还包括数据流插入器，被配置为将该当前图像的区块的运动信息及残余信息插入数据流。本发明的思想是，如果将IIR滤波器与FIR滤波器组合使用来内插重建样本或图像而获得升取样的参考样本或参考图像，则可提高在混合视频编码中的压缩效率。已发现若有IIR滤波器与FIR滤波器的组合，则可实现得自升取样参考图像的信号值的更准确估算。该改良的升取样可显著减少运动补偿预测误差。因此，与只使用FIR滤波器来升取样重组图像而获得升取样参考图像的情况相比，所得表示预测残余之视频信号(即，例如量化变换系数)可以更佳速率/失真折衷呈现。与只仰赖FIR滤波器的升取样系统相比，即便采用紧支撑FIR滤波器内核(filterkernel)，本发明的实施方式仍可提供整个升取样系统的频率响应的锐截止。一方面，实施方式可提供只有FIR的系统时难以实现或无法实现的频率响应。另一方面，对于相似的频率响应，与只有FIR的系统相比，使用本发明的实施方式可实现复杂度的显著降低。依据本发明的若干实施方式中，混合视频解码器的预测器可被配置用于内插参考图像，使得参考图像系用IIR滤波器滤波而获得该参考图像的IIR滤波版本。然后将FIR滤波器应用于该参考图像的IIR滤波版本来获得用于该当前图像的该区块的预测。换言之，IIR滤波器可为前置滤波器且可被设计用来保有参考图像的分辨率，FIR滤波器可为针对该参考图像的IIR滤波样本的后置滤波器或后置内插滤波器。根据另外一些实施方式，混合视频编码器可进一步包括重建器，被配置用于获得作为先前编码图像的重建版本的参考图像。
将参考附图更详细的说明本发明的实施方式，其中:图1示出了根据本发明一个实施方式的混合视频解码器的框图；图2a示出了根据本发明一个实施方式的混合视频解码器的框图；图2b示出了可用在图2a的混合视频解码器的升取样器的框图；图3示出了根据本发明又一实施方式的混合视频解码器的框图；图4示出了根据本发明又一实施方式的混合视频编码器的框图；图5示出了根据本发明又一实施方式的混合视频编码器的框图；图6示出了根据本发明又一实施方式的混合视频编码器的框图；图7示出了参考图像的区块的实例，样本位置以大写字母指示，而子样本位置以小与字母指不;图8a至图8c示出了用于选择FIR滤波器的基函数的示图；图9示出了根据本发明又一实施方式的混合视频解码器的框图；图10示出了在图9的混合视频解码器中采用的FIR滤波器的可能的基函数的示图；及图11示出了可用在本发明的实施方式中的、IIR滤波器的一种可能的实施方案的框图。
具体实施例方式在下文中基于附图进一步详细说明本发明的实施方式之前，须指出相同的组件或功能上相当的组件在各幅图中标示以相同的组件符号且省略这些组件的重复描述。因此，标示以相同组件符号之各组件的描述在各个实施方式间可彼此互换和/或使用。图1示出了混合视频解码器100的框图。混合视频解码器100包含提取器110、预测器120及重建器130。预测器120包含IIR滤波器122及FIR滤波器124。提取器110被配置为从数据流112提取当前图像的区块(block)的运动信息114和残余信息116。预测器120被配置为依据当前图像的区块的运动信息114，提供当前图像的区块的预测126。预测器120被配置为通过使用IIR滤波器122与FIR滤波器124之组合而内插参考图像132来提供预测。重建器130被配置为使用该区块的预测126及该当前图像的区块的残余信息116重建在该区块的当前图像。数据流112包含当前图像的区块的运动信息114及当前图像的区块的残余信息116，且可进一步包含其他辅助信息。运动信息114及残余信息116可使用熵编码来编码。残余信息116可在变换域内编码，即以谱分解方式编码。运动信息114例如可使用两个参数确定运动向量，一个参数用于当前图像的区块的水平方向而一个参数用于垂直方向。或者，运动信息114可基于更高阶运动模型，其实例已经陈述于本申请的引言部分。运动信息114之精度可为任意的。在子样本分辨率的情况下，这意味着运动信息114以小于参考图像132的样本间距的单位定义，参考图像132必需被内插(使用IIR滤波器122与FIR滤波器124的组合)。如前文说明，预测器120基于运动信息114及参考图像132(例如为先前编码图像的重建图像)，提供当前图像的区块的预测126。残余信息116也包含在数据流112中，确定当前图像的区块的预测126与当前图像的区块的原先版本之间的量化差。图像的区块的预测126与图像的区块之间的类似性愈高，则当前图像的区块的残余信息116愈小。较小的残余信息116使得数据流112中的残余信息116的复杂度减低，并且可以在数据流112中用较少位(bit)表示。如前所述，本发明的实施方式通过使用IIR滤波器122与FIR滤波器124之组合可实现(参考图像132的)升取样参考图像的信号值的更准确估算。参考图像132的改良后的升取样显著减少运动补偿预测误差，因此，减少要在残余信息116内传输的信息。因此，预测器120与仅仅使用FIR滤波相比，能够获得当前图像的区块的改善的预测126，原因在于参考图像132的改善的升取样。由于IIR滤波器122与FIR滤波器124的组合，可以适度数目的滤波器抽头的IIR滤波器获得的锐截止频率响应改善参考图像132的升取样。运算负载没有显著增高，特别是考虑到对于通过IIR滤波器122与FIR滤波器124的组合可获得的类似的频率响应，必需采用更加复杂的只含FIR的系统，其涉及更高数目的FIR滤波器抽头。图像的区块的样本或图像的样本例如可为该区块的像素或该图像的像素。重建器130可包含滤波部分134，例如，滤波部分134执行例如能在显示器上显示的重建图像数值的舍入或截短(clip)。例如如果残余信息116及预测126的位分辨率高于重建图像的位分辨率，则参考图像132可以是重建图像、或该重建图像的未截短或未滤波的版本。图2a更详细地示出了图1的混合视频解码器100的一部分的框图。图2a中并未示出混合视频解码器100的提取器110。图2a的框图示出了预测器120可划分成运动补偿区块214及升取样器(upsampler) 210。重建器130可分成预测及残余信息组合器216及回路内处理区块134。如前所述，参考图像132例如可为在回路内处理区块134经截短、滤波或舍入后的重建图像，或可为直接由预测及残余信息组合器216获得的该重建图像的高位深度或位分辨率版本218。重建图像的高分辨率版本218在后文也可称作为高位分辨率重建图像218。参考图像132供给升取样器210，其中通过使用IIR滤波器122与FIR滤波器124的组合进行升取样来确定升取样参考图像212。升取样参考图像在下文中也称作为参考图像的升取样版本。换言之，升取样参考图像212是通过对参考图像132升取样而产生，该参考图像132可为重建图像或重建图像的高位分辨率版本218。因此，升取样参考图像212为先前解码的图像(参考图像132，其先前已经解碼)的空间升取样版本，当前图像的区块的运动信息114涉及先前解码的图像的空间升取样版本。运动补偿区块214将当前图像的区块的运动信息114施加至升取样参考图像212 (其为先前解码的图像的升取样版本)来确定该当前图像的区块的预测126。然后预测126供给预测及残余信息组合器216来获得(当前图像的)高分辨率重建图像218。如下文的详述，使用IIR滤波器122及FIR滤波器124之组合的升取样并施加运动信息114的阶段可整合成一个内插步骤，其中升取样仅仅在由运动信息114所界定的子样本位置进行。在高位分辨率重建图像218在回路内处理区块134的回路内处理而获得重建(当前)图像后，该图像可供给图像输出装置例如显示器。然后重建图像或高分辨率重建图像218可用作为后续图像的参考图像132。如上文所述，运动信息114及残余信息116可与当前图像的某个区块相对应。因此，在运动补偿区块214中的运动补偿可针对当前图像之相对应区块进行。因此，预测126也与当前图像的该区块相对应，使得预测及残余信息组合器216针对该当前图像的各区块组合各个预测126及各个残余信息116来获得高位分辨率重建图像218。图像的区块例如可为方形或任意形状。区块例如可含有16X16样本、8X8样本或4X4样本或16X8样本或其它任意数值。特别地，当前图像的不同区块的大小在当前图像内可相异。图2b示出了可用在根据图2a的混合视频解码器100中的升取样器210的框图。根据部分实施方式，HR滤波器122可为在FIR滤波器124前方的前置滤波器，利用FIR滤波器124进行实际内插，如图2b所示。换言之，本发明的实施方式采用IIR滤波器122(图2b中标示为前置滤波器)与FIR滤波器124 (图2b中标示为内插滤波器)的组合。换言之，作为初始步骤执行用IIR滤波器122对参考图像132的IIR滤波获以得参考图像132的IIR滤波版本220。然后于初始步骤之后将FIR滤波器124应用于参考图像132的IIR滤波版本220。假设参考图像132的大小为WXH，参考图像132的IIR滤波版本220的大小也为WXH。因此，由于实际上空间分辨率不变及IIR滤波允许滤波期间直接操作样本，故无需额外存储器用来存储参考图像132的IIR滤波版本220。升取样参考图像212之大小(含有在参考图像132的IIR滤波版本220的升取样样本位置的数值)可为MXN，该大小大于参考图像132的大小或参考图像132的IIR滤波版本220的大小。一般而言，在升取样样本位置的数值可为在原图像的样本部分的原图像的原样本的数值，其已经被内插或是与原图像相同(若该数值尚未被内插)，或者可为介于原图像的原样本之间的值，该原样本已经在原图像的子样本位置被内插。升取样参考图像212的大小可取决于运动信息114的分辨率。假设平移运动信息114具有四分之一样本准确度的分辨率，对于参考图像132的各个样本位置必需通过FIR滤波器124计算四个升取样样本位置来确定升取样参考图像212。假设4X4样本的参考图像大小，则完整升取样参考图像212的大小至少为16X16样本。根据另外一些实施方式，FIR滤波器124可被配置为使得在升取样参考图像212的样本位置的样本值(所谓的整数像素值)不被计算或内插。在升取样参考图像212，这些值将与参考图像132中的值相同。此外，FIR滤波器124可被配置用于例如基于运动补偿、模糊或亮度变化等，决定是否计算/内插升取样参考图像212的整数像素值。若进行计算，则它们可能与参考图像132中的样本值不同。根据部分实施方式，FIR滤波器124可被即时(on-the-fly)应用。这意味着使用FIR滤波器124对参考图像132的IIR滤波版本220的样本进行FIR滤波可于需要时进行，即，在运动补偿预测(运动补偿区块214)试图访问由运动信息114所确定的在升取样参考图像212中的一个或多个特定样本时进行。这使得用于(在升取样器210中的)升取样处理的存储量及复杂度减小。
因此，只有当需要访问特定参考图像样本时用FIR滤波器124进行FIR滤波才要求存储IIR滤波输出(参考图像132的IIR滤波版本220)，其大小为WXH(与参考图像132相同大小)。与此相比较，事先产生整个升取样参考图像212要求存储FIR滤波输出(完整升取样参考图像212)，其具有MXN的大小。对于即时进行FIR滤波情况下的存储要求与升取样因素独立无关(尤其是独立于运动信息114的分辨率)。通常，升取样参考图像大小MXN大于重建图像大小WXH。因此只存储参考图像132的IIR滤波版本220将会节省存储器。此外，通过由只计算升取样参考图像212的所选样本，与FIR滤波器进行参考图像132的完整FIR滤波相比，FIR滤波器124进行即时FIR滤波将耗用更少的时间。因此即时FIR滤波不仅会节省存储器，同时也会节省时间并降低复杂度。在解码器(诸如混合视频解码器100)中，通常只有升取样参考图像212的样本子集被访问以计算运动补偿预测126。此种情况下，当进行即时滤波时，可省除由于参考图像132的IIR滤波版本220的FIR滤波来产生未被访问的升取样参考图像212的样本所导致的复杂度。这样导致存储器及时间的节省。换言之，预测器120 (包含IIR滤波器122及FIR滤波器124)被配置为依据运动信息114而将FIR滤波器124选择性应用至参考图像132的IIR滤波版本220。因此，预测器120只在(升取样参考图像212的)的(可能的)升取样样本位置的子集处内插参考图像132的IIR滤波版本220。如上文所述，此子集通过运动信息114确定。举个实例，假设参考图像132的一个区块有四个样本A (O ;0)，B (I ;0)，C (O ；1)及D (I ;1)，及运动信息114 (或所谓的运动向量)m (0.5 ；0.25)，具有涉及参考图像132的区块的当前图像的第一区块的四分之一样本准确度。使用FIR滤波器，其不进行你跟即时FIR滤波，需要计算升取样参考图像212的多达四个样本位置。例如，在A与B间，需要计算位置(O ;0)、(0.25 ;0)、(0.5 ;0)及(0.75 ；O)。必需针对参考样本132的该区块的全部样本位置进行这样的计算以确定参考图像132的该区块的升取样板本。通过由使用进行即时FIR滤波的FIR滤波器124，只须计算升取样参考图像212的升取样样本位置的第一子集。参考实例，只须计算升取样样本位置a (0.5 ；0.25)、b (1.5；
0.25)、c (0.5;1.25)及(1 (1.5 ; 1.25)来获得第一区块的预测 126。为了获得当前图像之又一区块(例如当前图像的第一区块的相邻区块)的又一预测，依据该又一区块的另外的运动信息(further motioninformation,又一运动信息)，FIR滤波器124可重新应用于参考图像132的IIR滤波版本220。又一区块的另外的运动信息可与第一区块的运动信息114不同。因此，参考图像132的IIR滤波版本220在升取样参考图像212的升取样样本位置的又一子集被内插。又一子集通过当前图像的又一区块的另外的运动信息114确定。第一区块的第一子集可与又一区块的又一子集重叠。换言之，根据部分实施方式，预测器120可被配置为:依据另外的运动信息，在为当前图像的另一区块提供预测中，重新将FIR滤波器124选择性应用至参考图像132的IIR滤波版本220。FIR滤波器124依据另外的运动信息应用于在升取样样本位置的又一子集内插参考图像132的IIR滤波版本220。如前文所述，升取样样本位置的又一子集通过另外的运动信息确定。又一子集可至少部分重叠针对当前图像的另一先前区块计算的升取样样本位置的子集。这意味着，在当前图像的第一区块的内插期间，只计算升取样参考图像212的升取样样本位置的一个子集。为了进一步预测当前图像的又一区块，计算升取样参考图像212的更多升取样样本位置，这样产生又一子集，该又一子集可至少部分重叠第一子集。图3示出了根据本发明的一实施方式的混合视频解码器300的框图。图3所示混合视频解码器300与图1所示混合视频解码器100的差异在于提取器110被配置为从数据流112提取当前图像的区块的滤波信息310。此外，预测器120被配置为使用滤波信息310而调适(adapt)IIR滤波器122和/或FIR滤波器124。IIR滤波器122和/或FIR滤波器124可在混合视频编码器(例如根据图5及图6的混合视频编码器)被自适应估计，且可被传输至混合视频解码器300在数据流112内做为滤波信息310。数据流112也可称作为位流。这可导致四种不同的可能性:固定的IIR系数及固定的FIR系数(在滤波器非自适应的情况下)、固定的IIR系数及自适应(adaptive) FIR系数、自适应IIR系数及固定的FIR系数、自适应IIR系数及自适应FIR系数。因此，滤波信息310可取决于为IIR滤波器122及FIR滤波器124选用所述四项可能性中之哪一个。根据部分实施方式，预测器120可包含存储器，在该存储器中存储有IIR滤波器122和/或FIR滤波器124的两个不同滤波参数。取决于滤波信息310，预测器120可被配置用于从至少两个滤波参数中选出一个而基于所选的滤波参数来调适IIR滤波器122和/或FIR滤波器124。换言之，一组可能的滤波器可存储在编码器及混合视频解码器300。滤波信息310可确定可能的滤波器中的哪一个用来升取样或滤波当前图像的区块。例如，滤波信息310可从该组确定所使用的滤波器指数(index)。这些指数可被预测或发信号做为数据流112中的滤波信息310。存储器例如可为查找表。例如，滤波参数可为IIR滤波器122和/或FIR滤波器124的移转函数或极零值(pole zero value)或增益值。根据另外一些实施方式，滤波信息310指示IIR滤波器122的移转函数的极零值和/或FIR滤波器124的滤波器抽头系数，预测器120被配置为经由将该极零值插入IIR滤波器122的参数化(parameterization)和/或将滤波器抽头系数插入FIR滤波器124的参数化而调适IIR滤波器122和/或FIR滤波器124。换言之，IIR滤波器122和/或FIR滤波器124之极零值及最终增益值可作为滤波信息310而于数据流112中传输，预测器120可被配置用于基于此极零值及最终增益值而调适IIR滤波器122和/或FIR滤波器124。关于所采用的滤波器(IIR滤波器122和/或FIR滤波器124)的此滤波信息310的传输可以多种方式进行。下面提及几种可能的方式。例如，所采用的滤波系数可直接传输，或滤波系数可被预测，而预测残余(prediction residual)可在位流或数据流112中传输。或者，如上文所述，可传输极零值和/或增益值。此外，如上文所述，一组可能的滤波器可存储在编码器及解码器中，来自该组中所使用的滤波器指数可被预测或在位流或数据流112中发出信号。滤波信息310可与当前图像的区块或完整当前图像或任何子集(例如当前图像的切片(slice))相对应。在重建图像是由多个彩色平面所组成之情况下，可考虑组群的主平面或者组群的平面子集或全部平面，完成滤波器的确定(滤波系数的确定)。例如，自适应滤波器可用亮度平面样本估计，且可应用于全部平面(亮度平面及色度平面)。此外，自适应滤波器可选择性地应用至仅某些平面，同时维持其它平面的升取样滤波器(IIR滤波器122和/或FIR滤波器124)被固定。例如，亮度升取样滤波器可被调适，而色度升取样滤波器被固定，或其它可能的组合。
根据部分实施方式，IIR前置滤波器124只可用于亮度平面，并无任何IIR前置滤波器可用于色度平面，或其它可能的组合。根据部分实施方式，IIR滤波器122和/或FIR滤波器124可为二维滤波器。在此情况下二维IIR滤波器和/或FIR滤波器可设计为分开，通过卷积(convolve)在第一方向(例如水平方向)的一个一维滤波器及在第二方向(例如垂直方向)上的一个一维滤波器，可实现运算复杂度显著降低。滤波设计处理的结果例如为近似某个期望的滤波器作为可分开滤波器或作为可分开滤波器之和。IIR滤波器122和/或FIR滤波器124的分开结构使得更简单地实现例如在混合视频编码器或混合视频解码器中的滤波器。换言之，根据部分实施方式，预测器120可被配置为使得IIR滤波器122包含沿第
一方向(例如沿水平方向)的第--维IIR滤波器的级联和沿第二方向(例如沿垂直方向)的
第二一维IIR滤波器的级联(concatenation)。根据部分实施方式，沿第一方向的第--维IIR滤波器可等于沿第二方向的第
二一维IIR滤波器。依据另外一些实施方式，第--维IIR滤波器和/或第二一维IIR滤波器的一维
移转函数可基于一阶因果IIR滤波器和/或基于一阶反因果IIR滤波器。前述滤波器的分离性可用在本发明的实施方式中，用于各方向中的大量并列处理。因此，为了达成大量并行操作可在各个方向对多个样本同时应用一维滤波器，因而实现计算时间的显著缩短。图4示出了根据本发明一实施方式的混合视频编码器400的框图。混合视频编码器400包含升取样器210，升取样器210被配置为使用IIR滤波器122与FIR滤波器124的组合以子样本分辨率来升取样参考图像132而获得参考图像132的升取样版本212。升取样器210类似于根据图2a及图2b的升取样器210。混合视频编码器400进一步包含预测器410，其使用参考图像132的升取样版本212，对应于当前图像的区块的运动信息114，确定当前图像412的区块的运动补偿预测126。混合视频编码器400进一步包含残余信息确定器420，其被配置为通过使用当前图像412的区块的运动补偿预测126 (由预测器410确定)及该当前图像412的区块来确定当前图像412的区块的残余信息116。混合视频编码器400进一步包含数据流插入器430 ，其被配置为将当前图像412的区块的运动信息114及当前图像412的区块的残余信息416插入数据流112。混合视频编码器400可如后文所述地工作。将被编码的当前图像412被供给预测器410。预测器410比较当前图像412的区块与参考图像132的升取样版本212。参考图像132可为先前编码的图像(在当前图像412之前的图像)的重建版本。参考图像132已经通过升取样器210将IIR滤波器122与FIR滤波器124的组合应用于参考图像132来获得参考图像132的升取样版本212。与所述先前技术相比，IIR滤波器122与FIR滤波器124的组合提供参考图像132的升取样版本212的改良版本，这在先前技术中已知。将当前图像412与参考图像132的升取样版本212进行比较的预测器410与在较差分辨率情况下相t匕，可确定较佳的移动信息，因而确定当前图像412的区块的较佳预测126。预测器410将当前图像412的区块与参考图像132的升取样版本212做比较，取决于当前图像412的区块最佳地拟合到参考图像132的升取样版本212而确定运动信息114。预测器410可对可能的运动信息及在搜寻中对最佳运动信息限制其搜寻空间。预测器410可应用可能的运动信息的一子集作为支持点来确定所得残余信息。最后，预测器410组合用参考图像132的升取样版本212确定的运动信息114，从确定当前图像412的区块的运动补偿预测126。残余信息确定器420从当前图像412的区块减去当前图像412的区块的运动补偿预测126来确定当前图像的区块的残余信息116。如上文所述，通过在参考图像132的升取样处理中采用IIR滤波器122组合FIR滤波器124，与只使用FIR的系统相比，可获得当前图像412的区块的更佳预测126。因此，当前图像412的区块的残余信息116可较小，因此可以在数据流112中以较少位表示。然后，当前图像412的区块的残余信息116及当前图像412的区块的运动信息114通过数据流插入器430而插入数据流112。在数据流插入器430内部，残余信息116和运动信息114及当前图像412的区块的部分可选的其他辅助信息可被熵编码。残余信息116可被变换，所得变换系数可在无损编码之量化。所示混合视频编码器400的质量损失可只发生在变换系的量化处理(若有)。从参考编号可知，混合视频编码器400的若干部分与根据图1的混合视频解码器100相同。此种情况之原因在于当前图像412的区块的运动信息114及残余信息116被用在混合视频解码器100来重建当前图像，然后它可用作后续图像的参考图像132。混合视频编码器及相对应混合视频解码器100中通过使用IIR滤波器122与FIR滤波器124的组合进行参考图像132的升取样的升取样器210也可相同，使得在混合视频编码器400确定的参考图像132的升取样版本212与在混合视频解码器100确定的参考图像132的升取样版本212相同。根据部分实施方式，如图4所示，混合视频编码器400可包含重建器440，其被配置为获得参考图像132作为先前编码图像的重建版本。因此，重建器440可从数据流112中提取运动信息114及残余信息116。但是，作为替代，重建器440可被配置为从数据流插入器430内的接口 432获得残余信息116及运动信息114，接口 432分开数据流插入器430的有损耗部分及无损部分，在接口 432中，例如运动信息114及残余信息116尚未被编码，例如熵编码。如上文所述，IIR滤波器122和/或FIR滤波器124可为自适应的。IIR滤波器122和/或FIR滤波器124的参数对于要编码的不同图像或要编码的图像的区块或切片可以为例如不同的。将(FIR滤波器124的)FIR滤波器内核应用在位于或接近图像边界的样本上可要求图像的延伸。此种延伸也称作填充(padding)。要填充的额外样本数目(加在图像边界)取决于滤波器支持(例如取决于FIR滤波器所包含的抽头数目)。根据本发明的部分实施方式，要被FIR滤波的图像可使用镜对称性边界条件延伸。另外一些实施方式可假设在边界外侧的全部样本皆为零或等于在边界的最接近样本，该图像被周期性重复或其它可能的延伸。此种在图像边界的填充也可应用于IIR滤波器122。因此，在应用IIR滤波器122之前参考图像132可在其边界被填充。根据本发明的另外一些实施方式，重建图像(参考图像132)可分成较小区域，各区域可分开升取样(在使用IIR滤波器122与FIR滤波器124的组合的升取样器210中)。例如，区域可为图像的区块或图像的切片。区域的大小或形状可为任意的，图像的不同区域可具有不同大小或形状。各区域与邻近区域有重叠，用于处理边界样本(位于区域边界上或在区域边界的样本)。如上文所述，含图像边界的区域可使用填充延伸超过边界。此外，可在运动补偿预测期间即时进行区域的升取样，即，当运动补偿预测(例如预测器120或编码器400的预测器410的运动补偿区块214)尝试访问参考图像132的区域时，参考图像132的区域可按需要而升取样。因此，使用IIR滤波器122的IIR滤波及使用FIR滤波器124的IIR滤波均在即时(按需要)进行。通过此方式，可实现IIR和/或FIR阶段(滤波器)的逐区域并列处理，即，参考图像的不同区域可并行升取样，因此当前图像的不同区块的预测可并行确定。此外，通过此方式，也可采用IIR滤波器122和/或FIR滤波器124的逐区域自适应。图5示出了根据本发明的又一实施方式的混合视频编码器500。混合视频编码器500采用自适应滤波，其中滤波器的参数基于当前图像的区块的运动信息而产生。混合视频编码器500与根据图4的混合视频编码器400的差异在于混合视频编码器500的预测器520进一步被配置为基于参考图像132的初步升取样版本516确定当前图像412的区块的初步运动信息526。参考图像132的初步升取样版本516在下文中也可称作为初步升取样参考图像516。此外，升取样器510被配置为基于当前图像412的区块的初步运动信息526确定当前图像412的区块的滤波信息310。升取样器510进一步被配置为基于滤波信息310调适IIR滤波器122和/或FIR滤波器124。此外，数据流插入器430被配置为将滤波信息310插入数据流112。换言之，首先在预测器520的运动信息确定器522中用参考图像132的初步升取样版本516估计当前图像412的区块或当前图像412的初步运动信息526。参考图像132的初步升取样版本516通过使用IIR滤波器122与FIR滤波器124的组合由升取样器510产生。IIR滤波器122及FIR滤波器124的参数可被固定。然后由预测器520的运动信息确定器522所确定的当前图像412的区块的初步运动信息526可被用来调谐(调适)升取样滤波器(IIR滤波器122和/或FIR滤波器124)。随后，参考图像132再度使用新的(已调适的)滤波器而在升取样器510升取样。如之前针对根据图3的混合视频解码器300所述，滤波器自适应性的任何可能性都是可能的。这意味着IIR滤波器122可为自适应性或不是自适应性的，并且FIR滤波器124也可为自适应性或不是自适应性的。因此滤波信息310可包括IIR滤波信息和/或FIR滤波信
肩、O然后参考图像132的(改良的)升取样版本212用来在运动信息确定器522中确定当前图像412的区块的(改良的)运动信息114。然后当前图像412的区块的运动信息114结合参考图像132的升取样版本212由预测器520的提供器524用来获得当前图像412的区块的预测126。换言之，当前图像被重新编码以利用改良的升取样参考图像(通过升取样器510使用自适应IIR滤波器122和/或自适应FIR滤波器124确定)。通过升取样器510确定的滤波信息310连同残余信息116及运动信息114通过数据流插入器430插入数据流112。如上文所述，解码器(例如根据图3的混合视频解码器300)可从数据流112中提取滤波信息310来调适其IIR滤波器122和/或FIR滤波器124。通过基于运动信息114调适升取样器510的滤波器，残余信息116可被选择为最小值，因此在数据流112中需要较少的位。插入数据流112作为辅助信息(sideinformation)的滤波信息310尤其可包含比通过应用自适应滤波器而在残余信息116节省的位更少位。虽然在前述实施方式中，使用参考图像132的(改良的)升取样版本212，获得被插入数据流112的运动信息114，这意味着运动信息被重新计算(因为在使用初步升取样版本516之前已经计算过)，根据另外一些实施方式，运动信息可以不重新计算。此种情况下，运动信息114可由初步运动信息526置换,并被插入数据流112。因此,没有再次进行运动信息的确定，而减少计算开销。当前图像412的区块的预测126然后可通过使用初步运动信息526及参考图像132的(改良的)升取样版本212由提供器524确定。根据本发明的另外一些实施方式，所产生的滤波参数(滤波信息310)可不用于改善当前图像412的区块的预测126。但是，当前图像412的区块的所确定的滤波信息310然后可用来在升取样器510中改善当前图像412的后续图像的升取样参考图像产生。此种情况下，当前图像无需重新编码，因此不会确定当前图像412的区块的初步升取样参考图像和初步运动信息。然后可使用滤波信息在升取样器510从参考图像132确定参考图像132的升取样版本212，所述滤波信息用于调适已基于先前编码的图像的区块的运动信息确定的IIR滤波器122和/或FIR滤波器124。图6示出了根据本发明的另一实施方式的混合视频编码器600的框图。混合视频编码器600实现混合视频编码器600的升取样器610中自适应滤波的另一可能性。升取样器610被配置为确定当前图像412的区块的滤波信息310，其独立于当前图像412的区块的运动信息114。升取样器610例如可取决于参考图像132和/或原图像来确定滤波信息310。升取样器610进一步被配置为基于滤波信息310调适IIR滤波器122和/或FIR滤波器124。升取样器610进一步被配置为通过使用IIR滤波器122及FIR滤波器124的组合(其中两个滤波器中至少一个为自适应的)可确定参考图像132的升取样版本212。由于升取样器610的滤波器中至少一个的自适应性，参考图像132的升取样版本212与根据图4的混合视频编码器400相比被改良，其中对于每个参考图像132，IIR滤波器122的系数及FIR滤波器124的系数可是固定的。然后通过使用当前图像412的区块及参考图像132的升取样版本212，预测器410确定当前图像412的区块的预测126及当前图像412的区块的运动信息114。如在先前实施方式中那样，数据流插入器430被配置为将当前图像412的区块的滤波信息310插入数据流112。换言之，在图6所示实施方式中，升取样器610的滤波器(IIR滤波器122和/或FIR滤波器124)(或升取样器610的滤波器中的至少一个)被调适，使得当前重建图像(参考图像132通过重建器440而重建)的升取样被改善。这导致使用当前升取样图像作为参考针对随后图像的运动补偿预测改善。根据部分实施方式，滤波器可取决于参考图像132而被调适。这意味着如果重建图像用作针对多个后续图像的参考图像132 (这意味着后续图像的运动信息114全部涉及参考图像132)，则滤波器的滤波信息310对于全部后续图像可保持相同。因此IIR滤波及最终FIR滤波(如果不进行选择性FIR滤波)针对涉及参考图像132的全部后续图像只在参考图像132上执行一次。除了前述图像自适应结构外，滤波器的自适应性也可被用于表示图像的区块、切片或群组等之的一组样本。如上文所述，对于解码器，滤波信息310可被直接传输，或者滤波系数可被预测，并且预测残余可在数据流112中传输。或者，极零值及增益值可在滤波信息310内传输，此夕卜，一组可能的滤波器可存储在混合视频编码器(例如混合视频编码器500或600)及混合视频解码器(例如混合视频解码器300)中，并且来自该组的所用滤波器的(所用IIR滤波器122及/或FIR滤波器124的)指数可被预测或在数据流112中发出信号作为滤波信息310。如前文所述，根据部分实施方式，滤波器的自适应性对于图像的不同色彩平面可为不同。根据部分实施方式，IIR滤波器122可为前置滤波器，FIR滤波器124可为后置滤波器，如同对根据图2b的升取样器210的描述。因此，参考图像132可为使用IIR滤波器122进行IIR滤波，从而确定参考图像132的IIR滤波版本220。然后FIR滤波器124应用于参考图像132的IIR滤波版本220来确定升取样参考图像212。根据部分实施方式，混合视频编码器也可被配置为进行即时FIR滤波而节省存储器，如同前文对混合视频解码器的描述。因此，FIR滤波器124可逐区块(block-wise)应用于参考图像132、或参考图像132的IIR滤波版本220 (如果IIR滤波器122应用做为前置滤波器)。在下文中，假设FIR滤波器124逐区块应用在参考图像132的IIR滤波版本220上。参考图像132的IIR滤波版本220的区块(在其上应用FIR滤波器124)的区块大小可通过当前图像412的区块的运动信息114的搜寻区来确定。然后用FIR滤波器124的FIR滤波将导致参考图像132的IIR滤波版本220的该区块的升取样版本。通过使用即时FIR滤波，可只产生及存储升取样参考图像212的升取样样本位置的子集，这减少了根据本发明的实施方式的混合视频编码器的升取样器中对存储器的需求。例如，当前图像的区块的运动信息114的搜寻区可通过运动信息114的最大范围来确定。例如，假设当前图像的一区块为具有坐标A (0;0)、B (1;0)、C (0;1)及D (I ;1)的2X2样本并且运动信息114或运动向量114具有在第一方向最大+/-10且在第二方向最大+/-10的搜寻区。这意味着样本A能在第一方向最大移动+/-10样本位置,及能在第二方向最大移动+/-10样本位置。同样对应于当前图像的其它样本，例如样本D在第一方向移位+/-10样本位置，而在第二方向移位+/-10样本位置。因此，当前图像412的区块连同当前图像412的该区块的运动信息114的搜寻区一起确定参考图像132的IIR滤波版本220的区块大小，FIR滤波器124逐区块应用于参考图像132的IIR滤波版本220。例如，上述实例的参考图像132的IIR滤波版本220的区块可具有角隅坐标F (-10;-10)、G (11;-10)、H (_10;11)及I (11;11)。因此，参考图像132的IIR滤波版本220的区块可比当前图像412的区块大，但小于完整升取样参考图像212。与当前图像的区块相对应的参考图像132的IIR滤波版本220的区块可至少部分重叠与当前图像的又一区块相对应的参考图像132的IIR滤波版本220的又一区块。换言之，升取样器可被配置为，在对当前图像412的又一区块提供升取样参考图像212的又一区块中，取决于当前图像的又一区块的另外的运动信息，重新在参考图像132的IIR滤波版本220的又一区块逐区块应用FIR滤波器124。参考图像132的IIR滤波版本220的该又一区块的区块大小可通过该当前图像的又一区块的另外的运动信息的搜寻区来确定。因此，升取样器210确定参考图像132的IIR滤波版本220的该又一区块的升取样版本。如上文所述，参考图像132的IIR滤波版本220的又一区块可与针对当前图像的先前编码的区块或先前编码的图像所确定的参考图像132的IIR滤波版本220的另一区块至少部分重叠。在下文中，将进一步详细说明用在根据本发明实施方式的混合视频编码器或混合视频解码器中的升取样器的示例实施方案。在小数点之后具有固定位数之实际数据的整数精度表示法在本章节称作为固定点表示法，可用在编码器及解码器中用于快速硬件实现和/或快速软件实现。当执行处理器/硬件不具有浮点单元时，固定点数目用来表示分数值，通常是以2为底或以10为底。大部分低成本嵌入式微处理器及微控制器不具有浮点单元。固定点实施方案也更容易保障在编码器和解码器中(例如在编码器和解码器平台中的架构不同的情况下)匹配值。因此，在固定表示法中IIR滤波器及FIR滤波器之实施方案尤其优选用于标准化目的。重建图像132 (或参考图像132)可使用M1位表示，通常表示自O至2 -1范围的无符号样本值。升取样处理s之输出，是指升取样参考图像212，使用M2位表示。在已知整数网格样本(在FIR滤波器124中)之间的样本估计期间，输出可超过输入范围。因此，在输出信号(在升取样参考图像212)中需要符号位及溢出位以包括这些情况。因此，在升取样参考图像212的剩余位的数目为:Q = M2-M1J.(2)这些额外Q位可用来提高(升取样参考图像212的)输出信号的精度。这协助改善运动补偿。根据部分实施方式，(参考图像132的)重建图像r的样本在IIR滤波(用IIR滤波器122)前左移Q位。这示于如下方等式:rl [x, y] = r [x, y] << Q.(3)其中[x,y]表示图像坐标，r表示重建图像或参考图像132,r’表示移位Q的重建图像或参考图像132。考虑具有一对共轭对称极的2D可分离IIR滤波器(IIR滤波器122)，一维移转函数可定义为:
权利要求
1.种混合视频解码器，包括: 提取器(110)，被配置为从数据流(112)提取当前图像的第一区块的运动信息(114)和残余信息(I 16)； 预测器(120)，被配置为取决于所述当前图像的第一区块的运动信息(114)，通过使用IIR滤波器(122)与FIR滤波器(124)的组合内插参考图像(132)来提供所述当前图像的第一区块的预测(126);及 重建器(130)，被配置为使用所述预测(126)及所述当前图像的第一区块的残余信息(116)来重建在所述第一区块的当前图像。
2.据权利要求1所述的混合视频解码器， 其中，所述预测器(120)被配置为内插参考图像(132)，使得所述参考图像(132)用所述IIR滤波器(122)滤波而获得所述参考图像(132)的IIR滤波版本(220)，并且所述FIR滤波器(124)被应用于所述参考图像(132)的IIR滤波版本(220)而获得所述当前图像的第一区块的预测(126)。
3.据权利要求2所述的混合视频解码器， 其中，所述预测器(120)被配置为取决于所述当前图像的第一区块的运动信息(114)选择性应用所述FIR滤波器(124)至所述参考图像(132)的IIR滤波版本(220)，从而在升取样样本位置的子集内插所述参考图像(132)的IIR滤波版本(220)，所述子集是由所述当前图像的第一区块的运动信息(114)确定。
4.据权利要求3所述的混合视频解码器， 其中，所述预测器(120)被配置为，在为所述当前图像的另一区块提供预测时，取决于所述当前图像的另一区块的又一运动信息，重新选择性地应用FIR滤波器(124)至所述参考图像(132)的IIR滤波版本(220)，取决于所述又一运动信息，在升取样样本位置的又一子集内插所述参考图像(132)的IIR滤波版本(220)，所述又一子集与由所述当前图像的第一区块的运动信息(114)所确定的所述升取样样本位置的所述子集至少部分重叠。
5.据权利要求1至4中任一项所述的混合视频解码器， 其中，所述提取器(110)被配置为从所述数据流提取所述当前图像的第一区块的IIR滤波信息(310)，并且其中，所述预测器被配置为使用所述IIR滤波信息(310)调适所述IIR滤波器(122)。
6.据权利要求5所述的混合视频解码器， 其中，所述预测器(120)包括存储器，在所述存储器中存储有所述IIR滤波器(122)的至少两个不同滤波参数；及 其中，所述预测器(120)被配置为取决于所述IIR滤波信息(310)而从存储在所述存储器的至少两个不同滤波参数中选出一个，从而基于所选滤波参数来调适所述IIR滤波器(122)。
7.据权利要求5或6所述的混合视频解码器， 其中，所述IIR信息(310 )指示所述IIR滤波器(122 )的移转函数的极零值，并且其中，所述预测器(120)被配置为通过将所述极零值插入所述IIR滤波器(122)的参数化而调适所述IIR滤波器(122)。
8.据权利要求1至7中任一项所述的混合视频解码器，其中，所述预测器(120)被配置为使得所述IIR滤波器(122)包括沿第一方向的第一一维IIR滤波器和沿第二方向的第二一维IIR滤波器的级联。
9.据权利要求8所述的混合视频解码器， 其中，所述预测器(120)被配置为使得所述第一一维IIR滤波器等于所述第二一维IIR滤波器。
10.据权利要求8或9所述的混合视频解码器， 其中，所述预测器(120)被配置为使得所述第一一维IIR滤波器和/或所述第二一维IIR滤波器的一维移转函数基于一阶因果IIR滤波器以及基于一阶反因果IIR滤波器。
11.据权利要求10所述的混合视频解码器， 其中，所述一维移转函数系定义为:
12.据权利要求10所述的混合视频解码器， 其中，所述一维移转函数系定义为:
13.据权利要求1至12中任一项所述的混合视频解码器， 其中，所述IIR滤波器(122)包括因果IIR滤波器和反因果IIR滤波器，及其中，所述预测器(120)被配置为同时应用所述因果IIR滤波器和所述反因果IIR滤波器至所述参考图像(132)。
14.据权利要求1至13中任一项所述的混合视频解码器， 其中，所述预测器(120)被配置为使得所述FIR滤波器(124)为4抽头FIR滤波器。
15.据权利要求1至14中任一项所述的混合视频解码器， 其中，所述FIR滤波器(120)是由与
16.种混合视频编码器，包括:升取样器(210，510，610)，被配置为使用IIR滤波器(122)与FIR滤波器(124)的组合以子样本分辨率来升取样参考图像(132)，从而获得所述参考图像(132)的升取样版本(212)； 预测器(410，520)，被配置为使用所述参考图像(132)的所述升取样版本(212)来确定与当前图像(412)的第一区块的运动信息(114)相对应的、所述当前图像(412)的第一区块的运动补偿预测(126); 残余信息确定器(420)，被配置为使用所述当前图像(412)的第一区块的运动补偿预测(126)和所述当前图像(412)的所述区块确定所述当前图像(412)的第一区块的残余信息(116);及 数据流插入器(430)，被配置为将所述当前图像(412)的第一区块的运动信息(114)和残余信息(116)插入数据流(112)。
17.据权利要求16所述的混合视频编码器，还包括重建器(440)以获得所述参考图像(132)作为先前编码的图像的重建版本。
18.据权利要求16或17所述的混合视频编码器， 其中，所述预测器(520)被配置为基于所述参考图像(132)的初步升取样版本(516)来确定所述当前图像(412)的第一区块的初步运动信息(526)； 其中，所述升取样器(510)被配置为基于所述当前图像(412)的第一区块的所述初步运动信息(526)来确定所述当前图像(412)的第一区块的IIR滤波信息(310)，以及基于所述IIR滤波信息(310)来调适所述IIR滤波器(122);及 其中，所述数据流插入器(430)还被配置为将所述IIR滤波信息(310)插入所述数据流(112)。
19.据权利要求16至18中任一项所述的混合视频编码器， 其中，所述升取样器(210)被配置为使得所述参考图像(132)被所述IIR滤波器(122)进行IIR滤波而确定所述参考图像(132)的IIR滤波版本(220)，并在所述参考图像(132)的IIR滤波版本(220)的第一区块逐区块应用所述FIR滤波器(124)，所述参考图像(132)的IIR滤波版本(220)的第一区块的区块大小由所述当前图像(412)的第一区块的运动信息(114)的搜寻区确定，从而获得所述参考图像的IIR滤波版本(220)的第一区块的升取样版本； 其中，所述升取样器(210)还被配置为，在为所述当前图像的另一区块提供预测时，取决于所述当前图像的另一区块的又一运动信息，重新在所述参考图像(132)的IIR滤波版本(220)的又一区块逐区块应用所述FIR滤波器(124)，取决于所述又一运动信息，所述又一区块的区块大小由所述又一运动信息的搜寻区确定，从而获得所述参考图像(132)的IIR滤波版本(220)的又一区块的升取样版本；以及 其中，所述参考图像(132)的IIR滤波版本(220)的又一区块至少部分地与所述参考图像(132)的IIR滤波版本(220)的第一区块重叠。
20.种数据流，包括当前图像的区块的运动信息、残余信息及IIR滤波信息。
21.种用于解码视频的方法，包括: 从数据流提取当前图像的区块的运动信息和残余信息； 取决于所述运动信息、通过使用IIR滤波器与FIR滤波器的组合内插参考图像来提供所述当前图像的区块的预测；及 使用所述区块的预测和所述区块的残余信息而重建在所述区块的当前图像。
22.种用于编码视频的方法，包括: 使用IIR滤波器与FIR滤波器的组合以子像素分辨率升取样参考图像而获得所述参考图像的升取样版本； 使用所述参考图像的所述升取样版本，确定对应于当前图像的区块的运动信息的、所述当前图像的所述区块的运动补偿预测； 使用所述当前图像的所述区块的运动补偿预测和所述当前图像的所述区块确定所述当前图像的所述区块的残余信息；及 将所述当前图像的所述区块的所述运动信息和所述残余信息插入数据流。
23.种混合视频解码器，包括: 提取器(110)，被配置为从数据流(112)提取当前图像的第一区块的运动信息(114)和残余信息(I 16)； 预测器(120)，被配置为取决于所述当前图像的第一区块的运动信息(114)，通过使用IIR滤波器(122)与FIR滤波器(124)的组合内插参考图像(132)来提供所述当前图像的第一区块的预测(126); 其中，所述IIR滤波器的极值P被选定为:其中，N1SN2^ONm; 其中，N1, N2,…，Nm为大于O的自然数； 其中，所述FIR滤波器(124)的滤波参数被选择为使得在所述参考图像(132)的全像素位置的IIR滤波值的偏差，与内插前在所述参考图像(132)中的它们的相关值相比，通过所述FIR滤波器(124)减少至少50% ;及 重建器(130)，被配置为使用所述当前图像的第一区块的预测(126)和残余信息(116)而重建在所述第一区块的当前图像。
24.据权利要求23所述的混合视频解码器， 其中，所述IIR滤波器(122)的极值P被选定为:
25.据权利要求23或24所述的混合视频解码器， 其中，所述FIR滤波器(124)的滤波参数为所述FIR滤波器(124)的基函数，其中，所述基函数被选择为使得所述基函数将在所述参考图像的全像素位置的IIR滤波值的偏差减至零。
26.据权利要求23或24所述的混合视频解码器， 其中，所述FIR滤波器(124)的滤波参数通过取样基函数而获得，其中，所述基函数被选择为使得使用在所述基函数的全像素位置的样本进行的IIR滤波值的FIR滤波将在所述参考图像的全像素位置的所得值的偏差减至零或接近零。
27.据权利要求23至26中任一项所述的混合视频解码器， 其中，所述FIR滤波器(124)的基函数为B-样条函数与B-样条函数导数的组合。
28.据权利要求23至27中任一项所述的混合视频解码器， 其中，所述IIR滤波器的极值为-0.5。
29.据权利要求23至28中任一项所述的混合视频解码器， 其中，所述IIR滤波器(122)不用乘法、而只使用移位运算和加法运算实现。
30.种混合视频编码器，包括: 升取样器(210，510，610)，被配置为使用IIR滤波器(122)与FIR滤波器(124)的组合以子样本分辨率来升取样参考图像(132)，从而获得所述参考图像(132)的升取样版本(212)； 其中，所述IIR滤波器(122)的极值P被选定为:
31.种用于解码视频的方法，包括: 从数据流提取当前图像的区块的运动信息和残余信息； 取决于所述运动信息，使用IIR滤波器与FIR滤波器的组合通过内插参考图像来提供所述当前图像的所述区块的预测； 其中，所述IIR滤波器的极值P被选定为:
32.种用于编码视频的方法，包括: 使用IIR滤波器与FIR滤波器的组合以子像素分辨率来升取样参考图像，从而获得所述参考图像的升取样版本； 其中，所述IIR滤波器的极值P被选定为:
33.种混合视频解码器，包括: 提取器(110)，被配置为从数据流(112)提取当前图像的第一区块的运动信息(114)和残余信息(I 16)； 预测器(920)，被配置为取决于所述当前图像的第一区块的所述运动信息(114)，使用由B-样条函数与至少一个B-样条函数导数的组合所形成的FIR滤波器(924)，通过内插参考图像(132)来提供所述当前图像的第一区块的预测(126);及 重建器，被配置为使用所述当前图像的第一区块的所述预测(126)和所述残余信息(126)重建在所述第一区块的当前图像。
34.种混合视频编码器，包括: 升取样器，被配置为使用由B-样条函数与至少一个B-样条函数导数的组合所形成的FIR滤波器以子样本分辨率来升取样参考图像，从而获得所述参考图像的升取样版本；预测器，被配置为使用所述参考图像的所述升取样版本，确定与所述当前图像的第一区块的运动信息相对应的、所述当前图像的第一区块的运动补偿预测； 残余信息确定器，被配置为使用所述当前图像的第一区块的所述运动补偿预测和所述当前图像的所述区块来确定所述当前图像的第一区块的残余信息；及 数据流插入器，被配置为将所述当前图像的第一区块的所述运动信息和所述残余信息插入数据流。
35.种用于解码视频的方法，包括: 从数据流提取当前图像的区块的运动信息和残余信息； 取决于所述运动信息，使用由B-样条函数与至少一个B-样条函数导数的组合所形成的FIR滤波器，通过内插参考图像来提供所述当前图像的所述区块的预测；及使用所述区块的所述预测和所述残余信息重建在所述区块的当前图像。
36.种用于编码视频的方 法，包括: 使用由B-样条函数与至少一个B-样条函数导数的组合所形成的FIR滤波器以子像素分辨率来升取样参考图像，从而获得所述参考图像的升取样版本； 使用所述参考图像的所述升取样版本，确定与当前图像的区块的运动信息相对应的、所述当前图像的所述区块的运动补偿预测； 使用所述当前图像的所述区块的所述运动补偿预测和所述当前图像的所述区块确定所述当前图像的所述区块的残余信息；及 将所述当前图像的所述区块的所述运动信息和所述残余信息插入数据流。
37.种计算机可读数字存储介质，其上存储有具有程序代码的计算机程序，用于在计算机上运行时，执行根据权 利要求21、22、31、32、35或36所述的方法。
全文摘要
一种混合视频解码器包括提取器、预测器及重建器。该提取器被配置为从数据流提取当前图像的第一区块的运动信息及残余信息。该预测器被配置为依据运动信息，通过使用IIR滤波器与FIR滤波器的组合内插参考图像来提供当前图像的区块的预测。该重建器被配置为利用该区块的预测及该区块的残余信息而重建在该区块的当前图像。此外，描述了混合视频编码器、数据流、编码视频的方法及解码视频的方法。
文档编号H04N7/36GK103098476SQ201180029209
公开日2013年5月8日 申请日期2011年4月8日 优先权日2010年4月13日
发明者哈里查兰·拉克希曼, 本杰明·布罗斯, 海科·施瓦茨, 托马斯·维甘徳 申请人:弗兰霍菲尔运输应用研究公司