专利名称：使用自适应运动补偿时间滤波的完全可分级3－d过完整小波视频编码的制作方法
此申请要求2002年10月16日提交的U.S.临时申请序列号60/418,961根据35 USC 119(e)的权益，并在此将其结合以供参考。
本发明涉及视频压缩，并且更具体地涉及使用自适应运动补偿时间滤波的过完整小波视频编码。
当前的视频编码算法主要基于带有运动补偿预测编码的混合编码方案。在这种混合方案中，使用运动补偿来降低时间冗余度，并通过变换编码运动补偿的剩余量来降低空间分辨率。但是，这些混合编码方案易于产生错误传播，并且对于提供真正的可分级比特流缺乏灵活性，即缺乏由同一压缩比特流解压缩为不同质量、分辨率和帧速率的层的能力。
相反，3D子带/小波编码能够提供非常灵活的可分级比特流和较高的错误恢复力.就所允许的不同可分级类型来说，基于小波的可分级视频编码方案允许很大的灵活性。因此，对于经不同的无线和有线网络将视频传输至各种具有不同性能的装置，它们特别有用。
目前，有两种基于小波的视频编码方案过完整小波和帧间小波。在过完整(OW)小波视频编码中，首先对每帧执行空间小波变换，随后是通过预测小波系数值或通过在熵编码中定义时间上下文来利用帧间冗余度。在帧间小波视频编码中，小波滤波沿时间轴执行，随后是2D空间小波变换。
目前的帧间小波视频编码方案使用运动补偿时间滤波(MCTF)来降低时间冗余度。在执行空间分解之前沿运动的时间方向执行MCTF。这种视频编码方案在这里称为空间域MCTF(SDMCTF)。但是，由运动估计算法提供的匹配质量固有地限制了SDMCTF视频编码方案。例如，有些帧间小波编码序列看起来有轻微的模糊，因为不完全的运动估计造成帧细节移动到时间高频子带中，并从其移动到空间高频子带中。这些人为失真降低了未量化和空间分级的序列的视觉性能。进一步的测试已经表明，降低时间分解等级的数目能够减少人为失真。
在目前的OW视频编码方案中，小波滤波用于将每个视频帧在空间上分解为多个子带，并且使用运动估计去除每个子带的时间相关性。
已经有许多尝试来在小波域中通过运动补偿预测小波系数。但是，小波域中的运动补偿高度地依赖于信号和为分析而选择的分立网格的对准。在原始图像和平移一个像素的图像的小波系数之间有很大差别。此平移变化特性经常在图像边缘附近发生，所以小波系数的运动补偿很困难。
现有的OW视频编码方案通过在预测中还利用奇相位小波系数克服了小波域中运动估计的低效率。获得奇相位系数的便利方法是执行带移。因为解码的先前帧也可在解码器处得到，所以从过完整扩展的预测不需要任何附加的开销。此外，就分数像素精度来说，在小波域中搜索最佳相位和运动向量的计算复杂度与空间域中的传统运动估计的计算复杂度相当。
但是，由于运动估计/补偿的原因，所以传统OW结构受到漂移的影响，导致SNR可分级中的性能损失。此外，仅有限范围的时间可分级能够使用B帧实现。
因此，需要具有改善的SNR和时间可分级的基于小波的视频编码方案。
本发明致力于一种用于编码视频的方法和装置。按照本发明的第一方面，视频信号被空间分解为至少两个不同频率子带的信号。对每个子带信号应用个性化运动补偿时间滤波方案。然后对每个运动补偿时间滤波的子带信号应用纹理编码。按照本发明的第二方面，一个包括了视频信号的至少两个编码运动补偿时间滤波的、不同频率子带信号的信号被解码。对解码的至少两个子带信号的每一个，独立地应用逆运动补偿时间滤波。该至少两个子带信号被空间重组，并且从该至少两个空间重组子带信号的至少一个中重建视频信号。
图1是按照本发明示例性实施例的可用于执行本发明的IBMCTF方法的3-D过完整小波视频编码器的框图。
图2是在本发明中使用的自适应高阶内插滤波器的框图。
图3说明了从小波系数的过完整扩展产生按照本发明用于运动估计的扩展参考帧的过程。
图4A说明了产生模糊图像的传统MCTF的分解方案。
图4B说明了在本发明中使用的分解方案。
图5是按照本发明示例性实施例的3-D过完整小波视频解码器的框图。
图6示出了对两级分解使用LBS算法的过完整小波扩展。
图7是使用LBS方法获得的2级过完整小波变换的视频。
图8说明了对于一级分解的1-D情况的本发明的交织方案。
图9示出了执行本发明的交织过程以后的图7视频第一帧的过完整小波系数。
图10是LBS算法形成的小波块。
图11示出了说明时间高子带帧的小波域中的MAD的表。
图12-17绘出了对于整数和1/8像素精度运动估计的几个测试序列的本发明的IBMCTF视频编码方案和SDMCTF的速率失真性能。
图18是可以用于实施本发明原理的系统的示例性实施例。
本发明是一种完全可分级三维(3-D)过完整小波视频编码方案，它利用新颖的带内运动补偿时间滤波(IBMCTF)方法。本发明的IBMCTF克服了先前IBMCTF编码方法的缺点，并且显示出与利用空间域运动补偿时间滤波的传统帧间小波编码方法相当的或更优于它的编码效率。
图1是按照本发明示例性实施例的可用于执行本发明的IBMCTF方法的3-D过完整小波视频编码器的框图。视频编码器100包括3-D小波变换单元110，它使用传统3-D过完整小波滤波过程来将输入视频的每个视频帧空间分解为任意希望数目的多个子带1、2、…和N。
视频编码器100进一步包括用于由小波变换单元110产生的每个子带的分割单元120a、120b、120c。每个分割单元120a、120b、120c将其关联的子带的小波系数划分为帧组(GOF)，以作为组进行编码。
视频编码器100还包括用于每个子带的运动补偿时间滤波(MCTF)单元130a、130b、130c，其包含运动估计器131a、131b、131c和时间滤波器132a、132b、132c。每个MCTF 130a、130b、130c使用运动补偿时间滤波(MCTF)过程分别从每个子带的GOF去除时间相关性或冗余度。按照本发明，每个子带的分立MCTF单元的使用使得运动补偿时间滤波过程适合于每个子带而与其它子带无关。此外，为特定子带选择的时间滤波过程可以基于不同的标准。
此外，编码器还包括用于每个子带的纹理编码器140a、140b、140c，其允许使用任何最佳纹理编码过程对由每个子带的MCTF单元130a、130b、130c产生的剩余信号和运动信息(运动向量)独立地进行纹理编码。纹理编码的剩余信号和运动信息然后由多路复用器150合并为一个单个的比特流。另一个纹理编码的实施例是实际大小的剩余帧的整体变换，这在由每个子带的MCTF单元130a、130b、130c产生的所有剩余信号和运动信息都被合并以产生实际大小的剩余帧以后进行应用。
正如本领域普通技术人员认识到的，已知IBMCTF方法中的临界取样小波分解仅是周期性地平移不变的。因此，在小波域中执行运动估计和补偿是低效率的，并且会导致编码损失。为了解决此问题，每个运动补偿滤波单元130a、130b、130c利用如图2所示的自适应高阶内插滤波器200来最大化运动估计器131a、131b、131c的性能。本发明的内插滤波器200包括执行低频带平移的低频带平移(LBS)单元210、执行过完整小波系数交织的交织单元220和内插单元230。LBS过程在LBS单元210中以一个或多个已知LBS算法实施，该算法有效地产生原始小波系数的过完整表示，它现在是平移不变量。LBS使用一个或多个类似LBS算法有利地在编码器和解码器处产生原始小波系数的过完整扩展，因此，与传统帧间小波编码方案相比，不需要编码和传输附加信息。
由交织单元220执行的交织过程合并由过完整小波系数提供的不同相位信息来产生扩展参考帧。因此，不需要象在以前的基于IBMCTF的视频编码方法中一样分别编码相位信息。由于本发明的交织过程，所以相位信息作为高精度运动向量的一部分被固有地编码。
内插单元230从扩展参考帧产生分数像素，例如1/2、1/4、1/8、1/16像素，它被运动估计器131a、131b、131c用于运动估计。内插可以以传统一维内插滤波器实施。为了最大化运动估计和MCTF的性能，可以对每个子带使用具有不同抽头的独立优化内插滤波器。图3说明了从小波系数的过完整扩展产生按照本发明用于运动估计的扩展参考帧的过程。为了在HH子带过完整扩展300中实现运动估计的高阶内插，例如通过以(1，0)、(0，1)和(1，1)的量平移低子带来从原始小波系数310产生小波系数的另外三个相位。然后，小波系数的四个相位310、320、330、340交织，以产生扩展参考帧350。
本发明的基于IBMCTF的3-D过完整小波视频编码方法，与已知的基于空间域运动补偿时间滤波(SDMCTF)的视频编码方法相比，提供了改善的空间可分级性能。这是因为对每个子带(分辨率)都执行时间滤波，因此，更精细分辨率的子带的信息损失不会在时间方向导致任何平移。
如前所述，对每个子带使用分立MCTF单元130a、130b、130c使得可以在不同的分辨率使用不同的时间滤波技术。例如，在一个实施例中，双向时间滤波技术可以用于低分辨率子带，而前向时间滤波技术可以用于高分辨率子带。时间滤波技术可以根据最小化失真或复杂度测量(例如低分辨率子带具有较少的像素，因此可以采用双向和多参考时间滤波，而对于具有较大量像素的高分辨率子带，仅执行前向估计)来选择。这种灵活的时间滤波选项的选择使本发明脱离了如MCTF所执行的严格1D+2D分解方案，而趋向更普遍的在整个时间级别都降低了空间尺寸的3-D分解方案，其中从较长期时间滤波中省略了较高的空间频率子带。
对每个子带使用分立分割单元120a、120b、120c使得能够对每个子带自适应地确定GOF。例如，LL子带可能有很大的GOF，而H子带可以使用有限的GOF。GOF的尺寸可以根据序列特性、复杂度或恢复力要求来改变。如前所述，传统MCTF的分解方案，如图4A所示，产生模糊图像，但是，不同时间分解等级和GOF尺寸的使用使得本发明的3-D小波可分级视频编码方案能够克服这种缺点。如图4B所示，LL LH(HL)和HH的GOF尺寸可以分别是8、4和2帧，其分别允许3、2和1的最大分解等级。这样，从较长期时间滤波中省略了较高的空间频率子带。
不同子带的时间分解等级数目可以根据内容或减少特定失真度量或者仅根据希望的每个分辨率中的时间可分级来确定。例如，如果在CIF(352×288)尺寸的分辨率时希望30、15和7.5Hz帧速率，而在SD(704×576)尺寸分辨率时仅希望30和15，则对于LL空间子带使用三级时间分解，而对于LH、HL和HH子带仅能应用两级时间分解。
而且如前所述，对每个子带使用分立纹理编码单元140a、140b、140c允许不同空间子带的自适应纹理编码。例如，可以使用小波或基于DCT的纹理编码方案。如果使用基于DCT的纹理编码，则帧内编码块可以有利地插入GOF内的任何地方以有效地处理覆盖和未覆盖情况。而且能够容易地利用MPEG-4/H.26L的“自适应帧内刷新”概念来提供改善的恢复力，并且可以对不同的子带使用不同的刷新速率来获得不同的恢复力。这特别有利，因为低分辨率子带可以用于隐藏高分辨率子带，因而它们的恢复力更重要。
本发明的另一优点涉及解码器的复杂度可分级。如果有许多具有不同计算能力和表现的解码器，通过SNR/空间/时间可分级，同一可分级比特流可用于支持所有这些解码器。例如，由本发明的编码器产生的可分级比特流可以用低复杂度的解码器解码，该解码器仅能解码低分辨率的空时分解等级，这导致仅有很小的计算负担。类似地，由本发明的编码器产生的可分级比特流也能用具有复杂解码能力的解码器解码，该解码器能够解码整个比特流，以实现完全的空时分辨率。
图5是按照本发明示例性实施例的3-D过完整小波视频解码器的框图。解码器可以用于解码由本发明的编码器产生的比特流。视频解码器400可以包括解复用器410，它处理比特流以从运动信息分离编码的小波系数。
第一纹理解码器420按照在编码器侧执行的纹理编码技术的相反方式将小波系数解码为它们各自分开的子带1、2、…和N。由第一纹理解码器420产生的子带小波系数对应于该子带的每个GOF。运动向量解码器430按照在编码器侧执行的纹理编码技术的相反方式解码每个子带的运动信息。使用解码的运动向量和剩余纹理信息，由MCTF单元440a、440b、440c对每个子带独立应用逆MCTF，并且逆小波变换单元450空间重组每个子带，以重建低、中和高级图像。低频带平移块读取重组的子带图像以组合实际尺寸的图像，然后应用低频带平移小波分解来为逆MCTF单元440a、440b、440c提供扩展参考帧。根据显示分辨率，一个视频重建单元(未示出)可以使用子带之一来产生低分辨率视频，或者使用两个子带来产生中分辨率视频，或者使用所有子带来产生高分辨率、完全质量的视频。
现在将在下面更详细地说明在本发明的视频方案中利用的各种过程。
过完整小波域中的运动估计和补偿1.低频带平移方法(LBS)在小波变换中执行的抽取(decimation)过程产生不再是平移不变的小波系数。因此，空间域中的平移运动不能根据小波系数精确地估计，其进而又产生编码效率的明显的损失。在本发明中利用的LBS算法提供了一种克服小波变换的平移变化特性的方法。在第一级，原始和平移信号被分解为低子带和高子带信号。随后，低子带信号以与第一级相同的方式进一步被分解。
图6示出了对两级分解使用LBS算法的过完整小波扩展。一维(1-D)表示可以很容易地扩展为具有多级的小波分解以及也扩展为二维(2-D)图像信号。一个对(m，n)表示该子带内的小波系数分别通过x方向的m像素和y方向的n像素平移来产生。LBS算法对输入子带的所有可能平移产生整组的小波系数。因此，这种表示精确地传达了空间域中的任意平移。如将进一步讨论的，在特定空间位置处对应于同一分解等级的不同平移的小波系数被称为“交叉相位”小波系数。
图7是使用LBS方法获得的2级过完整小波变换的视频。注意，对于n级分解，过完整小波表示需要原始图像的3n+1倍的存储空间。
2.小波系数的交织本发明新颖的交织方案以与图6和7所述的方式不同地来存储过完整小波系数。如说明了一级分解的1-D情况的本发明交织方案的图8所示，系数的平移交织被执行，从而过完整域中的新坐标对应于原始空间域中的相关平移。
交织方案可以在每个分解级递归地使用，并且可以直接对2-D信号扩展。图9示出了执行本发明的交织过程以后的图7视频第一帧的过完整小波系数。如可从图9看到的，交织低子带信号是使用过完整小波低通滤波器的原始帧的低通滤波形式。本发明的交织过程使本发明的IBMCTF方法能够提供子像素精度的运动估计和补偿。先前提出的IBMCTF方案不能提供最佳子像素精度的运动估计和补偿，因为它们没有考虑邻近小波系数之间的交叉相位依赖关系。此外，交织过程使得本发明的IBMCTF方法能够使用分级可变尺寸块匹配、后向运动补偿和块内的自适应插入。
小波块的产生如本领域众所周知的，在小波分解中，除了最高频率子带中的那些外，给定等级的每个系数都与更精细等级的相同取向的一组系数有关。在许多小波编码器中，该关系通过将系数表示为称作小波树的数据结构来利用。在LBS算法中，固定在最低子带中的每个小波树的系数被重新排列以形成小波块，如图10所示。小波块的目的是提供小波系数和它们在图像中空间上表示的内容之间的直接关联。所有等级和取向的相关系数都包括在每个决中。
运动估计的结构在空间域中，基于块的运动估计通常将图像划分为小块，然后寻找能使当前帧的每个块的平均绝对差(MAD)最小化的参考帧的块。LBS算法的运动估计寻找一个在当前小波块和参考小波块之间产生最小MAD的运动向量(dx，dy)。例如，如果输入图像被分解直至第三级(即输入图像可以分解为总共十个子带)，并且位移向量是(dx，dy)，则图10中第k个小波块的MAD如下计算MADk(dx,dy)=Σi=13Σxi=x1,kxi,k+M/2iΣyi=y1,kyi,k+N/2i{]]> 其中xi，k＝x0，k/2i，而yi，k＝y0，k/2i；以及(x0，k，y0，k)表示空间域中的第k个小波块的初始位置，如图10所示，而 表示不超过x的最大整数。这里，例如，参考帧的第i级HL子带由HLref(i)(m，n；x，y)表示，其中(m，n)表示空间域中沿x和y方向平移的数目，而(x，y)是子带信号的位置。运动估计的最佳标准现在是寻找能使此MAD最小化的最佳(dx，dy)。注意，在原始LBS算法中，对于(dx，dy)的非整数值不可能使用上述公式计算MAD。更具体地，传统IBMCTF视频编码方案中的MAD仅基于相同相位的小波系数，并且所得的子像素精度运动估计和补偿不是最佳的。
但是，在本发明的IBMCTF方法中，交织过程使得MAD计算能够象SDMCTF视频编码方案一样地执行，甚至对于子像素精度也如此。更具体地，本发明的IBMCTF方法的位移向量(dx，dy)的MAD如下计算MADk(dx,dy)=Σi=13Σxi=xi,kxi,k+M/2iΣyi=yi,kyi,k+N/2i{]]>|HLcur(i)(xi,yi)-LBS_HLref(i)(2ixi+dx,2iyi+dy)|+|LHcur(i)(xi,yi)-LBS_LHref(i)(2ixi+dx,2iyi+dy)|]]>+|HHcur(i)(xi,yi)-LBS_HHref(i)(2ixi+dx,2iyi+dy)|}]]>+Σxi=xi,kxi,k+M/2iΣyi=yi,kyi,k+N/2I|LLcur(i)(xi,yi)-LBS_LLref(i)(2ixi+dx,2iyi+dy)|]]>其中，例如LBS_HLref(i)(x，y)表示使用本发明的交织过程的参考帧的扩展HL子带。注意，即使(dx，dy)是非整数值，与SDMCTF使用的相同的内插技术也可以容易地用于每个扩展子带从而产生非整数偏移的MAD。因此，与现有的IBMCTF编码方案相比，本发明的IBMCTF视频编码方案提供更有效和实际上最佳的子像素运动估计。而且，在具有小波块结构的本发明的IBMCTF视频编码方案中不会导致任何运动向量开销，因为要编码的运动向量的数目和SDMCTF的一样。由于运动估计与剩余编码紧密匹配，所以可以使用更复杂的运动估计标准(例如剩余信号的熵)来改善编码性能。
仿真结果为了检验在过完整小波域中按照本发明的运动估计和运动补偿在小波域产生低残余能量，使用一级时间分解，并对IBMCTF和SDMCTF计算MAD。注意，在帧间小波编码中，MAD在空间域中被计算，但是实际需要被最小化的是小波域中的残余能量。图11示出了说明时间高子带帧的小波域中的MAD的表。MAD值对时间高子带的前50帧进行平均。对于SDMCTF的情况，小波域中的相应MAD值在剩余信号的小波变换后被计算。注意，IBMCTF的MAD总是小于SDMCTF的MAD，这表明本发明的IBMCTF视频编码方案的可能编码增益超过SDMCTF的可能编码增益。
图12-17绘出了对整数和1/8像素精度运动估计的几个测试序列的本发明的IBMCTF视频编码方案和SDMCTF的速率失真性能。MCTF的带内结构用由Daubechies 9/7滤波器执行的两级空间分解来计算，而对于时间方向则使用四级分解。用在S.T.Hsiaug等人的标题为Invertible Three-Dimensional Analysis/Synthesis System ForVideo Coding With Half-Pixel Accurate Motion Compensation(用于带半像素精度运动补偿的视频编码的可逆三维分析/合成系统)，VCIP 1999，SPIE Vol.3653，pp.537-546的文章中描述的EZBC算法执行纹理编码。与SDMCTF类似，使用1/8像素的子像素运动估计很大地改善了IBMCTF的编码性能。IBMCTF和SDMCTF的整个编码性能相当。但是，有些序列，例如“Coastguard”、“Silent”和“Stefan”呈现高达0.5dB的性能增益，而对于“Mobile”序列可以观察到0.3dB的性能下降。可见，本发明的IBMCTF算法不受运动估计的块失真的影响，因为运动估计和滤波在每个子带中执行，并且使用小波重组滤波器滤除了运动的边界。
图18是可以用于实施本发明原理的系统500的示例性实施例。系统500可以代表电视、机顶盒、桌上、膝上和掌上电脑、个人数字助理(PDA)、视频/图像存储装置，例如盒式录像机(VCR)、数字录像机(DVR)、TiVO装置等，以及这些和其它装置的部分和组合。系统500包括一个或多个视频/图像源501、一个或多个输入/输出装置502、处理器503和存储器504。视频/图像源501可以代表例如电视接收机、VCR或其它视频/图像存储装置。源501可替代地代表一个或多个网络连接，用于经例如诸如因特网之类的全球计算机通信网络、广域网、城域网、局域网、地面广播系统、有线网、卫星网、无线网或电话网以及这些和其它类型网络的部分或组合来从服务器接收视频。
输入/输出装置502、处理器503和存储器504可以经通信介质505通信。通信介质505可以代表例如总线、通信网络、一个或多个电路、电路卡或其它装置的内部连接以及这些和其它通信介质的部分和组合。按照存储器504中存储的并由处理器503执行的一个或多个软件程序处理来自源501的输入视频数据，以便产生提供给显示装置506的输出视频/图像。
在优选实施例中，本发明的编码和解码原理可以通过由系统执行的计算机可读代码来实现。代码可以存储在存储器504中，或从诸如CD-ROM或软盘之类的存储介质读取/下载。在其它实施例中，可以使用硬件电路代替或组合软件指令来实现发明。例如，图1、2和5所示的功能单元也可以以分立硬件单元实施。
虽然以上已经就特定实施例描述了本发明，但是应当理解，本发明不限于这里公开的实施例。例如，除了DCT，还可以使用其它变换，包括但不限于小波或匹配跟踪。这些和所有其它这类修改和变化被认为在所附权利要求书的范围内。
权利要求
1.一种编码视频的方法，该方法包括下列步骤提供视频信号；将视频信号空间分解(110)为至少两个不同频率子带的信号；对每个子带信号应用个性化运动补偿时间滤波方案(130a、130b、130c)；以及纹理编码(140a、140b、140c)每个运动补偿时间滤波子带信号。
2.按照权利要求1的方法，其中空间分解步骤(110)通过小波滤波执行。
3.按照权利要求1的方法，其中视频信号规定了多个帧，空间分解步骤(110)包括将每帧视频信号空间分解为至少两个不同频率子带的信号。
4.按照权利要求1的方法，其中在应用运动补偿时间滤波方案(130a、130b、130c)的步骤(130a、130b、130c)之前，进一步包括下述步骤将每个子带信号分成一个表示一组具有一定内容的时间帧的信号。
5.按照权利要求4的方法，其中对每个子带信号所应用的个性化运动补偿时间滤波方案(130a、130b、130c)是按照帧组的内容而被个性化的。
6.按照权利要求1的方法，其中在应用运动补偿时间滤波方案的步骤之前，进一步包括下述步骤将每个子带信号分成一个表示一组帧(120a、120b、120c)的信号，在至少一个帧信号组中的帧数目是自适应地确定的。
7.按照权利要求1的方法，其中对每个子带信号所应用的个性化运动补偿时间滤波方案(130a、130b、130c)是按照子带信号的空间分辨率而被个性化的。
8.按照权利要求1的方法，其中对每个子带信号应用个性化运动补偿时间滤波方案(130a、130b、130c)的步骤是通过使用取决于信号内容的可变精度运动估计来执行的。
9.按照权利要求1的方法，其中对每个子带信号所应用的个性化运动补偿时间滤波方案(130a、130b、130c)是按照子带信号的时间相关性而被个性化的。
10.按照权利要求1的方法，其中对每个子带信号应用个性化运动补偿时间滤波方案(130a、130b、130c)的步骤是通过使用个性化内插滤波器(200)来最大化运动估计性能而执行的。
11.按照权利要求1的方法，其中对每个子带信号应用的个性化运动补偿时间滤波方案(130a、130b、130c)是按照子带信号的特性而被个性化的。
12.按照权利要求1的方法，其中对每个子带信号所应用个性化运动补偿时间滤波方案(130a、130b、130c)的步骤是通过使用从由多方向时间滤波器和单方向时间滤波器组成的组中选择的一个时间滤波器来执行的。
13.按照权利要求1的方法，其中对每个子带信号应用个性化运动补偿时间滤波方案(130a、130b、130c)的步骤包括下列步骤平移(210)子带信号至少三次，以产生小波系数的三个附加相位，该子带信号来自在空间分解步骤中产生的小波系数的一个相位；交织(220)小波系数的所述四个相位以产生扩展参考帧；以及使用扩展参考帧来估计运动(131a、131b、131c)。
14.按照权利要求13的方法，其中执行空间分解步骤(110)来提供多个分解等级，每个分解等级包括不同频率子带，并且其中通过执行平移(210)、交织(220)和估计步骤(131a、131b、131c)来应用个性化运动补偿时间滤波方案(130a、130b、130c)的步骤被递归地应用于每个分解等级。
15.按照权利要求1的方法，其中对每个子带信号应用个性化运动补偿时间滤波方案(130a、130b、130c)的步骤包括下列步骤平移(210)子带信号至少三次，以产生小波系数的三个附加相位，该子带信号来自在空间分解步骤中产生的小波系数的一个相位；组合(220)小波系数的所述四个相位以产生扩展参考帧；从扩展帧中产生分数像素(230)；以及按照分数像素来估计运动(131a、131b、131c)。
16.按照权利要求14的方法，其中执行空间分解步骤(110)来提供多个分解等级，每个分解等级包括不同频率子带，并且其中通过执行平移(210)、组合(220)、产生(230)和估计步骤(131a、131b、131c)来应用个性化运动补偿时间滤波方案(130a、130b、130c)的步骤被递归地应用于每个分解等级。
17.一种用于编码视频的存储介质，该存储介质包括用于将视频信号空间分解(110)为至少两个不同频率子带信号的代码；用于对每个子带信号应用个性化运动补偿时间滤波方案(130a、130b、130c)的代码；以及用于纹理编码(140a、140b、140c)每个运动补偿时间滤波子带信号的代码。
18.一种用于编码视频的装置，该装置包括小波变换单元(110)，用于将视频信号空间分解为至少两个不同频率子带的信号；用于至少两个子带信号中每一个的运动补偿时间滤波单元(130a、130b、130c)，每个运动补偿时间滤波单元对其关联的子带信号应用个性化运动补偿时间滤波方案；以及用于至少两个子带信号中每一个的纹理编码单元(140a、140b、140c)，每个纹理编码单元纹理编码其关联的运动补偿时间滤波子带信号。
19.按照权利要求18的装置，进一步包括用于每个子带信号的分割单元(120a、120b、120c)，每个分割单元将其关联的子带信号分成表示具有一定内容的一组时间帧的信号。
20.按照权利要求18的装置，其中每个运动补偿时间滤波单元(130a、130b、130c)包括低频带平移单元(210)，用于平移其关联的子带信号至少三次，以产生小波系数的三个附加相位，该子带信号来自小波系数的一个相位；和交织单元(220)，用于交织小波系数的所述四个相位，以产生扩展参考帧。
21.按照权利要求20的装置，其中每个运动补偿时间滤波单元(130a、130b、130c)进一步包括一个内插单元(230)，用于从扩展帧中产生分数像素。
22.按照权利要求21的装置，其中每个运动补偿时间滤波单元(130a、130b、130c)进一步包括一个运动估计单元(131a、131b、131c)，用于按照分数像素来估计运动。
23.一种解码视频的方法，该方法包括下列步骤解码(420)一个包括视频信号的至少两个编码运动补偿时间滤波的不同频率子带信号的信号；对解码的至少两个子带信号中的每个独立地应用逆运动补偿时间滤波(440a、440b、440c)；空间重组(450)至少两个子带信号；以及从该至少两个空间重组子带信号中的至少一个重建视频信号。
24.按照权利要求23的方法，其中视频信号从所有的该至少两个空间重组的子带信号来进行重建。
25.一种用于解码视频的存储介质，该存储介质包括用于解码一个包括视频信号的至少两个编码运动补偿时间滤波的不同频率子带信号的信号(420)的代码；用于对解码的至少两个子带信号中的每个独立地应用逆运动补偿时间滤波(440a、440b、440c)的代码；用于空间重组(450)至少两个子带信号的代码；以及用于从至少两个空间重组子带信号中的至少一个重建视频信号的代码。
26.一种用于解码视频的装置，该装置包括纹理解码单元(420)，用于解码一个包括视频信号的至少两个编码运动补偿时间滤波的不同频率子带信号的信号；用于该至少两个子带信号的每一个的逆运动补偿时间滤波单元(440a、440b、440c)，每个逆运动补偿时间滤波单元对其关联的解码的至少两个子带信号独立地应用逆运动补偿时间滤波；逆小波变换单元(450)，用于空间重组至少两个子带信号；以及视频重建单元，用于从该至少两个空间重组子带信号中的至少一个重建视频信号。
全文摘要
一种用于编码视频的方法和装置，其中视频信号被空间分解为至少两个不同频率子带的信号，按照信号内容自适应地对每个子带信号应用个性化运动补偿时间滤波方案，并按照信号内容自适应地对每个运动补偿时间滤波的子带信号应用纹理编码。
文档编号H04N7/26GK1706197SQ200380101519
公开日2005年12月7日 申请日期2003年10月8日 优先权日2002年10月16日
发明者J·C·叶, M·范德沙尔 申请人:皇家飞利浦电子股份有限公司