专利名称：视频编码和解码方法及其相应设备的制作方法
技术领域：
本发明总体涉及视频压缩的领域，例如更特别涉及MPEG族(MPEG-1、MPEG-2、MPEG-4)的视频标准和ITU H26X族(H.261、H.263和扩展)的视频编码推荐。更特别地，本发明涉及一种应用于帧的输入序列的视频编码方法，其中每个帧被细分为任意大小的块，所述方法包括对于当前帧的所述各块的至少一部分执行以下步骤-在块的基础上生成经运动补偿的帧，每一个经运动补偿的帧都是从每个当前原始帧和先前重建帧获得的；-从所述经运动补偿的帧生成残留信号；-利用所谓的匹配追踪(MP)算法将每个所述生成的残留信号分解为被称作原子的编码的字典函数，当前帧的其他块通过其他编码技术来处理；-编码所述原子和在运动补偿步骤期间确定的运动矢量，以生成输出编码比特流。
背景技术：
在当前的视频标准中(直到视频编码MPEG-4标准和H.264推荐)，按照一个亮度通道和两个色度通道来描述的视频可以被压缩，这是由于应用于每个通道的两种编码模式“内部(intra)”模式，其在给定通道中利用每个图像中的像素(图像单元)的空间冗余度；以及“帧间(inter)”模式，其利用各单独的图像(或帧)之间的时间冗余度。依靠运动补偿操作，帧间模式允许从一个(或多个)先前解码的图像描述图像，这是通过编码像素从一个(或多个)图像到另一个图像的运动来实现的。通常，要被编码的当前图像被划分为独立的块(例如，在MPEG-4中的大小为8×8或16×16像素，或者在H.264中的大小为4×4、4×8、8×4、8×8、8×16、16×8和16×16)，其中每一个块都被分配一个运动矢量(三个通道共享这种运动描述)。根据与每个块相关的运动矢量集，随后可以通过从参考图像对各像素块进行位移来构造对所述图像的预测。最后，在将要被编码的当前图像及其经运动补偿的预测之间的差异或残留信号可以通过内部模式来编码(MPEG-4的8×8离散余弦变换(或DCT)，或者在主要等级分布图(main level profile)中的H.264的4×4的DCT)。
DCT或许是最广泛使用的变换，因为它在多种编码情况中提供了良好的压缩效率，特别是在中间的和高的比特率下。然而，在低比特率下，由于两个原因，混合的经运动补偿的DCT结构可能无法提供无伪像序列。首先，经运动补偿的帧间预测栅格的结构变为可见的，因此具有块状伪像。此外，DCT基函数的块边缘在图像栅格中变得可见，这是因为太少的系数被量化(并且太粗糙)，以致无法弥补这些块状伪像以及在图像中重建平滑的对象。
文献“Very low bit-rate video coding based on matching pursuits(基于匹配追踪的非常低比特率的视频编码)”(R.Neff和A.Zakhor，IEEE Transactions onCircuits and Systems for Video Technology，第7卷，n○1，1997年2月，第158-171页)描述了一种新的经运动补偿的系统，其包括基于所谓的匹配追踪(MP)算法的视频压缩算法，这是一种大约十年前开发的技术(参见文件“Matchingpursuits with time-frequency dictionaries(具有时间-频率字典的匹配追踪)”，S.G.Mallat和Z.Zhang，IEEE Transactions on Signal Processing，第41卷，n○12，1993年12月，第3397-3414页)。所述技术提供了一种将任意函数或信号(例如图像、视频…)迭代地分解为波形的线性展开的方式，其属于基函数的冗余字典，并且在时间和频率上都良好地局部化，因而被称为原子。时间-频率原子的普通族可以通过缩放、平移和调制单个函数g(t)∈L2(R)而创建，其应该是实数的并且连续可微分。这些字典函数可以如下表示gγ(t)∈G(G＝字典集)(1)γ(＝灰度系数)，其是与每个特定字典元素(或原子)相关的索引参数。正如在第一个引用的文献中所描述的那样，假定函数gγ(t)具有单位范数，也就是<gγ(t)，gγ(t)>＝1，则对一维时间信号f(t)的分解通过选择γ而开始，以便最大化以下内积的绝对值p＝<f(t)，gγ(t)>(2)其中p被称为信号f(t)到字典函数gγ(t)上的展开系数。残留信号R接着被如下计算R(t)＝f(t)-p·gγ(t)(3)并且该残留信号以与原始信号f(t)相同的方式被展开。实际上，原子是每对γk，pk的给定名称，其中k是在匹配追踪程序中的迭代的排序。在总共M级的该迭代程序之后(其中每级n产生由γn、展开系数pn和残留Rn指定的字典结构，其被传递到下一级)，原始信号f(t)可以由信号 近似，该 是如此获得的字典元素的线性组合。当预定义条件满足时停止该迭代程序，该预定义条件例如是生成所设定数量的展开系数或者达到残留的某个能量阈值。
在上述的第一文献中描述了—种基于所述MP算法的系统，并且其在低比特率下要比DCT执行得更好，其中首先利用被称为重叠块-运动补偿的工具对原始图像进行运动补偿，其通过混合所预测/位移的块的边界来避免或减少块状伪像(块的边缘因此被平滑，并且块栅格不那么可见)。在形成运动预测图像之后，从原始图像中减去该运动预测图像，以便产生运动残留。所述残留接着利用扩展到离散二维(2D)域的MP算法、通过对基础字典的适当选择而被编码(所述字典由2D可分离Gabor函数g的过完备集合组成，如附
图1所示)。
残留信号f接着通过M个字典元素的线性组合而被重建f^=Σn=1n-Mp^n·gγn---(4)]]>如果字典基函数具有单位范数，则 是基函数gγn和被迭代地更新的残留之间的量化的内积<，>，也就是pn=<f-Σk=1k-n-1p^k·gγk,gγn>---(5)]]>其中各对 是原子。在由该文件的作者所描述的工作中，对于原子在图像中的可能位置不做限制(参见附图2)。形成字典集的2D Gabor函数根据原型高斯窗而被定义w(t)=24·e-πt2---(6)]]>一维(1D)离散Gabor函数被定义为经缩放、调制的高斯窗gα→(i)=Kα→·w(i-N2+1s)·cos(2πξ(i-N2+1)N+φ)---(7)]]>其中，i∈{0，1，…，N-1}将常数 选择成使得 具有单位范数，并且α→=(s,ξ,φ)]]>是三元组，其分别包括正比例、调制频率和相移。如果S是所有这样的三元组 的集合，那么该字典的2D可分离Gabor函数具有以下的形式
表1-3
然而，最近在本申请人于2003年8月5日提交的申请号为EP03300081.1(PHFR030085)的欧洲专利申请中已经提出了一种利用被限制到块边界的原子的混合的经运动补偿的编码系统，如附图3所描述的那样。更精确地说，在所述专利申请中所描述并要求保护的发明主要涉及一种应用到帧的输入序列的视频编码方法，其中每个帧被划分为任意大小的块，所述方法包括对于当前帧的所述各块的至少一部分执行以下步骤-在块的基础上生成经运动补偿的帧，每一个经运动补偿的帧都是从每个当前原始帧和先前重建帧获得的；-从所述经运动补偿的帧生成残留信号；-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数，当前帧的其他块通过其他编码技术来处理(在以上使用的用语“所述各块的至少一部分”表示本发明的实现方式涉及某些块或所有块，其他块则由这些其他技术来处理，这证明了该编码系统被称为“混合”的事实)；-编码所述原子和在运动补偿步骤中确定的运动矢量，以生成输出编码比特流；所述方法使得当使用所述MP算法时，任何原子每次仅对一个块B起作用，所述块限制导致这样的事实，即对残留信号f的重建是从一个字典获得的，该字典由限制到对应于索引参数γn的块B的基函数gγn|B构成，其中根据以下的2D空间域操作如果像素(i，j)∈Bgγn|B(i,j)=gγn(i,j)]]>否则(即(i，j)，B)gγn|B(i,j)=0]]>先前的该方法的主要兴趣在于更好地模拟残留信号的块状结构，以便提高对于相同编码成本的字典多样性，并且提供改变MP和DCT变换的可能性，这是因为没有跨越块边界的干扰(其还避免了对于采用重叠的运动补偿以限制块状伪像的需要)。参考附图4到7回忆了对于理解这个在前实现方式来说有用的主要元素。
附图4示出了利用多个编码引擎来实现混合视频编码器的视频编码设备的简化框图。几个编码引擎实现预定的编码技术，例如，编码引擎41可以实现内部DCT编码方法，第二个编码引擎42可以实现帧间DCT编码方法，以及第三个编码引擎43可以实现匹配追踪算法。通过块分割器设备44接收输入视频序列(“视频信号”)的每个帧，该块分割器设备44将图像分割成各种大小的单独的块，并且决定哪个编码引擎将处理当前原始块。表示块位置、大小和所选择的编码引擎的决定接着通过编码设备45被插入比特流中。当前原始信号块接着被传送到所选择的块引擎(在附图4中示出的情况下是引擎43)。
附图5描述了匹配追踪编码引擎。被指定到编码引擎43的输入视频序列的每个原始信号块一方面由运动补偿装置51接收，以确定运动矢量(通常利用块匹配算法找到所述运动矢量)，由此获得的矢量通过运动矢量编码装置52被编码，编码的矢量被传递到多路复用器53(标记了但没有示出)。另一方面，减法器54在其输出端上提供当前图像及其预测之间的残留信号。所述残留信号接着被分解为原子(原子字典被标记为57)，由此确定的原子参数(模块55)被编码(模块56)。编码后的运动矢量和原子参数接着形成一个比特流，该比特流被发送以便匹配所述序列的每个帧的预定义条件。
编码引擎43实现对输入比特流进行编码的方法，其包括以下步骤。首先，如在大多数编码结构中那样，输入序列的原始帧被运动补偿(在先前重建帧的基础上对每一个原始帧进行运动补偿，并且鉴于随后的传输，在所述运动补偿步骤期间确定的运动矢量被存储)。接着，由在当前帧和相关的经运动补偿的预测之间的差别生成残留信号。接着将每个所述残留信号与包括2D可分离Gabor函数的集合的函数字典相比较，以生成由索引参数γn、展开系数p(n)和残留Rn(t)-p·gγ(t)指定的字典结构gγ(t)，其被传递到这个迭代程序的下一级。一旦找到了原子参数，它们可以被编码(与先前确定的运动矢量一起)，由此获得的已编码信号形成被发送到解码器的比特流。
在所引述的欧洲专利申请中提出的技术方案在于将原子的影响限制到它们所在的块的边界。这种块限制意味着原子每次只对一个块起作用，从而被限制到经运动补偿的栅格中，如附图3所示。该块限制以下面的方式修改了信号匹配追踪算法。
如果假定在运动补偿之后希望在大小为M×N像素的块B中获得2D残留的MP分解，并且如果用G|B表示限制到B的MP字典，则通过关系式(9)和(10)获得所述字典的各元素gγn|B
如果像素(i，j)∈Bgγn|B(i,j)=gγn(i,j)---(9)]]>否则(即(i，j)B)gγn|B(i,j)---(10)]]>在这种情况下，由于gγn|B不一定具有单位范数，因此pn需要被再加权为pn=⟨f-Σk=1k=n-1p^k·gγn|B,gγn|B⟩⟨gγn|B,gγn|B⟩]]>上述编码设备的优选实施例发送由相应的解码设备接收的比特流。附图6示出了根据本发明的、利用多个解码引擎来实现混合视频解码器的视频解码设备的简化框图。一方面通过块分割解码设备64接收所传输的比特流，该块分割解码设备64解码当前块位置、大小和解码方法。在给出了解码方法的情况下，在附图6的例子中，各比特流元素接着被传送到相应的解码引擎61或62或63，所述解码引擎将依次解码所指定的块并且输出视频信号重建块。可用的解码引擎可以是例如内部DCT块解码器61、帧间DCT块解码器62和匹配追踪块解码器63。
附图7进一步描述了匹配追踪解码引擎的一个例子。通过熵解码器设备71接收各比特流元素，该熵解码器设备71将解码的原子参数前送到原子设备72(原子字典被标记为73)，该原子设备72在所指定的视频块中的已解码位置处重建匹配追踪函数，以便形成解码的残留信号。该熵解码器设备还输出被馈送到运动补偿设备74的运动矢量，以便从先前重建的视频信号形成运动预测信号。运动预测和重建残留信号接着在加法器75中被求和，以便产生视频信号重建块。
详细回顾以上的内容，前面方法的重点在于下面的事实因为单个原子不能跨越几个块，所以不需要在块边缘处处理高频中断。相反，可以使该方法适应于块边界甚至适应于块大小，这是通过设计依赖于块大小的字典来实现的。此外，由于不再强制需要重叠的运动补偿来保持MP效率，因此可以使用传统的运动补偿。然而，利用这样的方法，当字典的原子被限制在任意定大小的块中时，不能确保该字典很好地适应于将被模拟的信号的结构。
发明概要因此，本发明的一个目的是提出一种基于匹配追踪算法的视频编码方法，并且解决上述适配问题。
为了这个目的，本发明涉及一种如在说明书的引言部分中定义的视频编码方法，当使用所述MP算法时，该方法还使得特定字典在编码侧可分别用于每种块形状。
根据本发明的另一种实现方式，当使用所述MP算法时，有几个字典在编码侧可用，并且定义了一种比特流语法来在预定级别下设置标志，所述标志用于指示应该使用哪个字典。
本发明的另一个目的是提出允许实现根据本发明的这两种实现方式的视频编码设备。
本发明的又一个目的是提出允许解码通过所述视频编码方法和设备编码的信号的视频解码方法和设备。
附图的简要说明参考相应的附图，现在以示例的方式描述本发明，其中-附图1允许对使用在匹配追踪算法的实现方式中的2D Gabor字典的400个基函数的可视化；-附图2描述了位于经过块划分的图像中却没有块限制的原子的例子；-附图3描述了块限制匹配追踪残留编码的情况，其中原子被限制在经运动补偿的栅格中，并且每次只对一个块起作用；-附图4描述了混合视频编码器的例子；-附图5示出了用于实现MP算法的视频编码设备的例子；-附图6描述了根据本发明的混合视频解码器的例子；-附图7示出了实现MP算法的视频解码设备的例子。
发明的详细说明以上已经参考附图5描述了实现匹配追踪算法的视频编码设备的简化框图。这个编码设备实施对输入比特流进行编码的方法，该方法包括与以上所述相同的步骤-对输入序列的原始帧进行运动补偿；-由在当前帧和相关的经运动补偿的预测之间的差别生成残留信号；-将每个所述残留信号与包括2D可分离Gabor函数的集合的函数字典相比较；-一旦发现了原子参数就可以对其进行编码(与先前确定的运动矢量一起)，由此获得的已编码信号形成被发送到解码器的比特流。
现在提出的根据本发明的技术方案在于具有分离的字典，每一种块形状分别对应于一个字典(例如4×4、4×8、8×4、8×8、8×16、16×8、16×16)利用由编码器使用的这种规则，视频解码器将隐含地知道原子所涉及的是哪个字典。根据本发明的另一种实现方式，所述技术方案还在于提供几个字典，所述字典在编码侧和解码侧都可用，以及在于定义一个比特流语法，该比特流语法使编码器告诉解码器应该使用哪个字典例如，代码字MP_dictioary_l告诉解码器下一个原子将涉及第一个字典，MP_dictionary_2告诉解码器切换到第二个字典，后面依此类推。这样的代码字或标志例如被设置在原子级、块级、宏块级或画面级。
权利要求
1.一种应用于帧的输入序列的视频编码方法，其中每个帧被细分为任意大小的块，所述方法包括对于当前帧的所述各块的至少一部分执行以下步骤-在块的基础上生成经运动补偿的帧，每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的；-从所述经运动补偿的帧生成残留信号；-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数，当前帧的其他块通过其他编码技术来处理；-对所述原子和在运动补偿步骤中确定的运动矢量进行编码，以便生成输出编码比特流；所述方法的进一步的特征在于，当使用所述MP算法时，特定的字典在编码侧可分别用于每种块形状。
2.根据权利要求1的视频编码方法，其特征在于，当使用所述MP算法时，几个字典在编码侧可用，并且定义了比特流语法以便在预定级别下设置标志，所述标志用于指示应该使用哪个字典。
3.根据权利要求2的方法，其特征在于，所述标志被设置在原子级。
4.根据权利要求2的方法，其特征在于，所述标志被设置在块级。
5.根据权利要求2的方法，其特征在于，所述标志被设置在宏块级。
6.根据权利要求2的方法，其特征在于，所述标志被设置在画面级。
7.一种应用于帧的输入序列的视频编码设备，其中每个帧被细分为任意大小的块，所述设备对当前帧的所述各块的至少一部分应用以下装置-用于在块的基础上生成经运动补偿的帧的装置，每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的；-用于从所述经运动补偿的帧生成残留信号的装置；-用于执行所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数的装置，当前帧的其他块通过其他编码技术来处理；-用于对所述原子和在运动补偿步骤中确定的运动矢量进行编码以生成输出编码比特流的装置；所述设备的进一步的特征在于，当使用所述MP算法时，几个字典在编码侧可用，每一种块形状对应于一个字典。
8.一种用于对编码的比特流进行解码的视频解码方法，所述编码的比特流是通过实现应用到帧的输入序列的视频编码方法而生成的，其中每个块被细分为任意大小的块，所述编码方法对于当前帧的所述各块的至少一部分包括以下步骤-在块的基础上生成经运动补偿的帧，每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的；-从所述经运动补偿的帧生成残留信号；-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数，当前帧的其他块通过其他编码技术来处理；-对所述原子和在运动补偿步骤中确定的运动矢量进行编码，以便生成输出编码比特流；特定的字典在编码侧可分别用于每种块形状，所述解码方法包括以下步骤-解码所述原子和运动矢量；-利用MP算法来重建残留信号；-从所述重建信号和预测的信号生成对应于所述输入序列的原始帧的输出重建信号，所述预测的信号是从所述编码的运动矢量建立的；所述解码方法的进一步的特征在于，在编码侧的相同的字典在解码侧可用，每一种块形状分别对应于一个字典。
9.一种用于对编码的比特流进行解码的视频解码设备，所述编码的比特流是通过实现应用到帧的输入序列的视频编码方法而生成的，其中每个块被细分为任意大小的块，所述编码方法对于当前帧的所述各块的至少一部分包括以下步骤-在块的基础上生成经运动补偿的帧，每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的；-从所述经运动补偿的帧生成残留信号；-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数，当前帧的其他块通过其他编码技术来处理；-对所述原子和在运动补偿步骤中确定的运动矢量进行编码，以便生成输出编码比特流；特定字典在编码侧可分别用于每种块形状，所述解码设备对所涉及的块应用以下装置-用于解码所述原子和运动矢量的装置；-用于执行MP算法以便重建残留信号装置；-用于从所述重建信号和预测的信号生成对应于所述输入序列的原始帧的输出重建信号的装置，所述预测的信号是从所述编码的运动矢量建立的；所述解码设备的进一步的特征在于，在编码侧的相同的字典在解码侧可用，每一种块形状分别对应于一个字典。
10.一种应用到帧的输入序列的视频编码设备，其中每个帧被细分为任意大小的块，所述设备对于当前帧的所述各块的至少一部分应用以下装置-用于在块的基础上生成经运动补偿的帧的装置，每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的；-用于从所述经运动补偿的帧生成残留信号的装置；-用于执行所谓的匹配追踪(MP)算法以便将每个所述生成的残留信号分解为被称为原子的编码的字典函数的装置，当前帧的其他块通过其他编码技术来处理；-用于对所述原子和在运动补偿步骤中确定的运动矢量进行编码以便生成输出编码比特流的装置；所述设备的进一步的特征在于，当使用所述MP算法时，几个字典在编码侧可用，并且定义了比特流语法以便在预定级别下设置标志，所述标志用于指示应该使用哪个字典。
11.根据权利要求10的方法，其特征在于，所述标志被设置在原子级。
12.根据权利要求10的方法，其特征在于，所述标志被设置在块级。
13.根据权利要求10的方法，其特征在于，所述标志被设置在宏块级。
14.根据权利要求10的方法，其特征在于，所述标志被设置在画面级。
15.一种用于对编码的比特流进行解码的视频解码方法，所述编码的比特流是通过实现应用到帧的输入序列的视频编码方法而生成的，其中每个块被细分为任意大小的块，所述编码方法对于当前帧的所述各块的至少一部分包括以下步骤-在块的基础上生成经运动补偿的帧，每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的；-从所述经运动补偿的帧生成残留信号；-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数，当前帧的其他块通过其他编码技术来处理；-对所述原子和在运动补偿步骤中确定的运动矢量进行编码，以便生成输出编码比特流；几个字典在编码侧可用，同时定义了比特流语法以便在预定级别下设置标志，所述标志用于指示应该使用哪个字典，所述解码方法包括以下步骤-解码所述原子和运动矢量；-利用MP算法来重建残留信号；-从所述重建信号和预测的信号生成对应于所述输入序列的原始帧的输出重建信号，所述预测的信号是从所述编码的运动矢量建立的；所述解码方法的进一步的特征在于，在编码侧的相同的字典在解码侧可用，以及提供了用于读取所传输的标志以及在使用MP算法时选择相应的字典的步骤。
16.一种用于对编码的比特流进行解码的视频解码设备，所述编码的比特流是通过实现应用到帧的输入序列的视频编码方法而生成的，其中每个块被细分为任意大小的块，所述编码方法对于当前帧的所述各块的至少一部分包括以下步骤-在块的基础上生成经运动补偿的帧，每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的；-从所述经运动补偿的帧生成残留信号；-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数，当前帧的其他块通过其他编码技术来处理；-对所述原子和在运动补偿步骤中确定的运动矢量进行编码，以便生成输出编码比特流；几个字典在编码侧可用，同时定义了比特流语法以便在预定级别下设置标志，所述标志用于指示应该使用哪个字典，所述解码设备对于所涉及的块应用以下装置-用于解码所述原子和运动矢量的装置；-用于执行MP算法以便重建残留信号的装置；-用于从所述重建信号和预测的信号生成对应于所述输入序列的原始帧的输出重建信号的装置，所述预测的信号是从所述编码的运动矢量建立的；所述解码设备的进一步的特征在于，在编码侧的相同的字典在解码侧可用，以及提供了用于读取所传输的标志以及在执行MP算法时选择相应的字典的装置。
全文摘要
本发明涉及视频压缩的领域，更特别地是应用到帧的输入序列的视频编码方法，其中每个帧被细分为任意大小的块。该方法对于当前帧的所述各块的至少一部分包括以下步骤在块的基础上生成经运动补偿的帧，每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的；从所述经运动补偿的帧生成残留信号；利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数，当前帧的其他块通过其他编码技术来处理；以及对所述原子和在运动补偿步骤中确定的运动矢量进行编码，以便生成输出编码比特流。根据本发明，所述方法使得在使用所述MP算法时，特定字典在编码侧可分别用于每种块形状。根据另一种实现方式，还可能使用几个特定的字典。在这个第二种方案中，如果几个字典在编码侧可用，则定义比特流语法来在预定级别下设置标志，所述标志用于指示应该使用哪个字典并且例如是在原子级、块级、宏块级或画面级。
文档编号H04N7/26GK1864177SQ200480023008
公开日2006年11月15日 申请日期2004年7月14日 优先权日2003年8月12日
发明者S·瓦伦特 申请人:皇家飞利浦电子股份有限公司