专利名称：3d视频可缩放视频编码方法
技术领域：
本发明涉及一种用于编码帧序列的方法和设备。
本发明可用于例如适于产生可逐渐缩放的(即在空间或时间上缩放信噪比SNR)压缩视频信号的视频压缩系统。
背景技术：
例如，在SCI 2001美国奥兰多(Orlando，USA)的B.Pesquet-Popescu、V.Bottreau的“可缩放视频编码的提升方案(Lifting schemesin scalable video coding)”中说明了一种用于三维视频可缩放视频编码帧序列的常规方法。所述方法包括了在
图1中说明的下列步骤。
在第一步骤中，将一个帧序列分为由2N个帧F1到F8构成的各组GOF，所述组在我们的示例中有8个帧。
然后，所述编码方法包括一个基于在帧组内的各对奇数输入帧Fo和偶数输入帧Fe来进行运动估计ME的步骤，这在图1的示例中得到一个由4场组成的第一分解等级的运动矢量场的集合MV1。
在运动估计步骤之后是一个基于运动矢量场的集合MV1并且基于一个提升方案的运动补偿时间滤波MCTF(例如Haar滤波)步骤，按照该提升方案，高频小波系数Ht[n]和低频系数Lt[n]是Ht[n]＝Fe[n]-P(Fo[n])，Lt[n]＝Fo[n]+U(Ht[n])其中P是一个预测函数，U是一个更新函数，并且n是一个整数。
该时间滤波MCTF步骤提供了包括已滤波的各帧的第一分解等级的一个时间子带T1，在我们的示例中，所述已滤波各帧包括4个低频帧Lt和4个高频帧Ht。
对时间子带T1的各低频帧Lt重复执行所述运动估计和滤波步骤，也就是-对时间子带T1内的各对奇数低频帧Lto和偶数低频帧Lte进行运动估计，这在我们的示例中得到一个由2场组成的第二分解等级的运动矢量场的集合MV2。
-基于该运动矢量场集合MV2和所述提升方程式来进行运动补偿时间滤波，并且得到一个包括已滤波的各帧的第二分解等级的时间子带T2，所述已滤波各帧在图1的示例中具有2个低频帧LLt和2个高频帧LHt。
再对时间子带T2的该对奇数低频帧LLto和偶数低频帧LLte重复执行运动估计和运动补偿时间滤波，从而得到一个由1个低频帧LLLt和1个高频帧LLHt组成的第三(也是最后一个)分解等级的时间子带T3。
对时间子带T3的LLLt和LLHt帧和其它时间子带T1、T2的高频帧(也就是2个LHt已滤波帧和4个Ht已滤波帧)应用四级小波空间滤波。对于每个帧得到4个包括在水平和垂直两个方向上都用因数2子采样的已滤波帧的空间-时间子带。
在下一个步骤，随后执行对各空间-时间子带的帧系数的空间编码，所述编码分别从最后一个分解等级的空间-时间子带的低频帧开始。此外也编码运动矢量场。
最后，在各空间-时间子带的已编码系数和编码的运动矢量场的基础上形成一个输出比特流，所述运动矢量场的比特作为开销(overhead)而被发送。
然而，依照现有技术的编码方法有许多缺点。首先，运动估计和运动补偿时间滤波步骤是在完整尺寸的帧上实现。因此，这些步骤计算量很大，并且可能在编码期间导致延迟。此外，最高空间分辨率的运动矢量在每个时间等级下被编码，这导致相当高的开销。而且，在以较低的空间分辨率解码已编码的比特流期间，使用原始分辨率的运动矢量，这导致不精确的运动补偿时间重构。此外，该编码方法在计算上的可缩放性较低。
发明概要本发明的一个目的是提出一种编码方法，这种方法比现有技术方法的计算量小。
为此，依照本发明的编码方法的特征在于包括下列步骤-将帧序列分为各输入帧组，-对一组的各帧进行基于小波的一级空间滤波，以产生包括与输入帧相比具有减小的尺寸的低-低空间滤波后的帧的第一分解等级的第一空间子带，-对于各对低-低空间滤波后的帧进行运动估计，从而得到一个运动矢量场的集合，-基于该运动矢量场的集合对所述低-低空间滤波后的帧进行基于小波的运动补偿时间滤波，从而得到由时间滤波后的帧组成的第一分解等级的第一时间子带，-重复前面三个步骤，该空间滤波步骤适于以低频时间滤波后的帧为基础产生第二分解等级的第一空间子带，而所述运动估计和运动补偿时间滤波被应用于所述第二分解等级的所述第一空间子带的各帧。
依照本发明的编码方法提出组合并且交替空间和时间上的基于小波的滤波步骤。如稍后将要在说明书中看到的那样，这种组合简化了运动补偿时间滤波步骤。结果，该编码方法比现有技术编码方法的计算量小。
本发明还涉及一种实现这种编码方法的编码设备。本发明最后涉及一种包括实现所述编码方法的程序指令的计算机程序产品。
本发明的这些和其它方面将参考在下文中说明的各实施例变得显而易见，并且对其进行说明。
附图简述现在将通过参考附图以举例的方式更详细地说明本发明，其中图1是表示依照现有技术的编码方法的框图；以及图2A和2B表示依照本发明的编码方法的框图。
发明的详细描述本发明涉及一种带有运动补偿的三维(或3D)小波编码方法。已经证实这样一种编码方法对于可缩放视频编码应用来说是一种有效的技术。所述3D压缩或编码方法既在空间域又在时间域中使用小波变换。3D小波编码的常规方案假定单独执行基于小波的空间滤波和基于小波的运动补偿时间滤波。
本发明提出通过组合和迭代地交替空间和时间上的基于小波的滤波步骤来对常规的3D可缩放小波视频编码进行修改。这种修改简化了运动补偿时间滤波步骤，并且在时间可缩放性和空间可缩放性之间提供更好的平衡。
图2A和2B是表示依照本发明的编码方法的框图。
该方法包括将帧序列分为由N个连续帧构成的各组的第一步骤，其中N是2的幂，一个帧的大小是HxW。在下面的说明中所描述的示例中，该帧组包括8帧F1到F8。
然后该方法还包括对一个帧组的各帧的一级空间滤波步骤SF。所述步骤基于一个小波变换，并且适于产生第一分解等级的4个空间子带S1到S4。第一空间子带S1包括N＝8个空间滤波后的低-低帧LLs，其中s表示在空间域中的小波变换的结果；第二空间子带S2包括8个空间滤波后的低-高帧LHs；第三空间子带S3包括8个空间滤波后的高-低帧HLs；并且第四空间子带S4包括8个空间滤波后的高-高帧HHs。每个空间滤波帧的大小是H/2xW/2。
在下一个步骤，对于第一空间子带S1的各对连续的低-低帧LLs(也就是奇数低-低帧LLso和偶数低-低帧Llse)执行运动估计ME1，这在我们的示例中得到由N/2＝4个场组成的运动矢量场的第一集合MV1。
基于这样获得的运动矢量场的集合MV1，对于各低-低帧LLs执行运动补偿时间滤波MCTF，从而得到由N＝8个帧组成的第一分解等级的第一时间子带ST1，这8个帧是4个低时间频率帧LLsLt和4个高时间频率帧LLsHt，其中t表示在时间域中的小波变换的结果。所述时间滤波步骤使用一个提升方案，该提升方案适于以一个预测函数P和一个更新函数U为基础提供高频小波系数和低频系数。例如，该提升方案的预测函数和更新函数是基于(4，4)Deslauriers-Dubuc小波变换，比如LLsHt[n]＝LLse[n]-(-LLso[n-1]+9LLso[n]+9LLso[n+1]-LLso[n+2])/16LLsLt[n]＝LLso[n]+(-LLsHt[n-2]+9LLsHt[n-1]+9LLsHt[n]-LLsHt[n+1])/16作为选择，通过再次使用运动矢量场的第一集合MV1，将运动补偿时间滤波MCTF步骤应用于第二子带S2的低-高帧LHs、第三子带S3的高-低帧HLs以及第四子带S4的高-高帧HHs。这样得到第一分解等级的第二时间子带ST2、第三时间子带ST3和第四时间子带ST4，这三个子带分别包括4个低时间频率帧LHsLt和4个高时间频率帧LHsHt、4个HLsLt帧和4个HLsHt帧、4个HHsLt帧和4个HHsHt帧。对于LHs帧、HLs帧和HHs帧的时间去相关以所需要的附加处理成本为代价提供更好的能量精简。
然后迭代由空间滤波步骤、运动估计步骤和运动补偿滤波步骤组成的步骤序列，直到接收到最后一个分解等级的各子带，也就是每个时间子带只留下一个低时间频率帧。或者，迭代所述步骤序列，直到使用了一定量的计算资源。在每次迭代时，该步骤序列的输入是在时间和空间域中都具有最低频率的各连续帧对。
关于上文中说明的示例，所述步骤序列的迭代包括下列步骤。
首先，将一级空间滤波步骤SF应用于第一分解等级的第一时间子带ST1的低时间频率LTF帧LLsLt，从而得到第二分解等级的4个空间子带STS11到STS14。每个空间子带包括大小为(H/4)x(W/4)的N/2＝4个空间滤波后的帧LLsLtLLs或LLsLtLHs或LLsLtHLs或LLsLtHHs。
然后，对于第二分解等级的第一空间子带STS11的各对连续滤波帧执行运动估计步骤ME2，所述滤波帧LLsLtLLs在时间域和空间域中都具有最低频率，从而得到一个由N/4＝2个场组成的矢量场的集合MV2。
基于运动矢量场的集合MV2，将如上文所述的运动补偿时间滤波MCTF应用于所述已滤波的帧LLsLtLLs，从而得到由N/2＝4个时间滤波帧组成的第二分解等级的第一时间子带STST11，所述4个时间滤波帧是2个LLsLtLLsLt和2个LLsLtLLsHt。
此外，通过再次使用运动矢量场的集合MV2，任选地将运动补偿时间滤波MCTF步骤应用于已滤波的帧LLsLtLHs、LLsLtHLs和LLsLtHHs。这样得到第二分解等级的第二时间子带STST12、第三时间子带STST13和第四时间子带STST14。所述各子带分别包括2个LLsLtLHsLt帧和2个LLsLtLHsHt帧、2个LLsLtHLsLt帧和2个LLsLtHLsHt帧、2个LLsLtHHsLt帧和2个LLsLtHHsHt帧。
现在将一级空间滤波步骤SF应用于第二分解等级的第一时间子带STST11的各低频帧LLsLtLLsLt，从而得到第三分解等级的空间子带STSTS111到STSTS114。每个空间子带由大小为(H/8)x(W/8)的N/4＝2个帧LLsLtLLsLtLLs或LLsLtLLsLtLHs或LLsLtLLsLtHLs或LLsLtLLsLtHHs组成。
然后对于第三分解等级的第一空间子带的该对连续帧LLsLtLLsLtLLs执行运动估计ME3，从而得到一个运动矢量场MV3。
基于该运动矢量场MV3，将运动补偿时间滤波MCTF应用于各滤波帧LLsLtLLsLtLLs，从而得到由N/4＝2个帧LLsLtLLsLtLLsLt和LLsLtLLsLtLLsHt组成的第三分解等级的第一时间子带STSTST111。这些帧由在空间和时间域中的低频数据组成，并因此必须用最高优先级编码，也就是说它们在最终的比特流中是最初的各分组。
此外，通过再次使用运动矢量场MV3，可以选择性地将运动补偿时间滤波MCTF应用于LLsLtLLsLtLHs帧、LLsLtLLsLtHLs帧和LLsLtLLsLtHHs帧，从而得到第三分解等级的第二时间子带STSTST112、第三时间子带STSTST113和第四时间子带STSTST114。所述各子带分别由LLsLtLLsLtLHsLt帧和LLsLtLLsLtLHsHt帧、LLsLtLLsLtHLsLt帧和LLsLtLLsLtHLsH帧t、LLsLtLLsLtHHsLt帧和LLsLtLLsLtHHsHt帧组成。
与所述步骤序列的迭代无关，将空间滤波应用于第一分解等级的第一时间子带ST1的高时间频率HTF帧LLsHt。与对低时间频率帧LLsLt的空间滤波(其中仅执行一级空间滤波)相反，对LLsHt帧的空间滤波是金字塔形的(也就是多层的)，一直到最粗略的空间分解等级，也就是最小的空间分辨率。
或者，取决于所使用的小波滤波器的类型，能够将空间滤波分别应用于第一分解等级的第二时间子带ST2、第三时间子带ST3和第四时间子带ST4的低时间频率LTF帧LHsLt、HLsLt和HHsLt。这样分别得到空间子带STS21到STS24、STS31到STS34以及STS41到STS44。
依照本发明的主要实施例，在对LLsHt帧的空间滤波之后接收的各空间子带(在它们没被时间滤波的条件下)将连同第二子带ST2、第三子带ST3和第四子带ST4一起被编码以形成最终比特流。在这种实施例中，LLsHt帧的空间分解等级的数量要比在编码期间在低-低子带上实现的空间滤波的总数少一个。例如在图2A和2B中，执行了3次空间滤波，也就是总共将接收到3级空间分辨率等级。在这种情况下，子带ST1的LLsHt帧被用2个空间分解等级空间滤波，而子带STST1的LLsLtLLsHt帧被用一个分解等级空间滤波。更一般来说，在当前时间分解等级下的根据金字塔形空间滤波的空间分解等级的数量等于空间分解等级的总数减去当前空间分解等级。LLsHt帧和LLsLtLLsHt帧的金字塔形空间分析例如是基于SPIHT压缩原理的空间分解，并且在Proceedings of IEEE International Conference on ImageProcessing(2001年10月7-10日，希腊Thessaloniki，ICIP2001第二卷第1017-1020页)的由V.Bottreau、M.B6netière、B.Pesquet-Popescu和B.Felts撰写的名为“完全可缩放3D子带视频编解码(A fullyscalable 3D subband video codec)”的论文中做了说明。
依照本发明的另一种实施例，运动补偿时间滤波MCTF步骤包括一个三角形(△)低通时间滤波子步骤。这意味着两个连续帧当中的在运动估计后参与时间滤波MCTF的那一个将仅仅被拷贝到最终得到的低时间频率帧中，并将仅仅执行一个高通时间滤波。在这种情况下，低时间频率帧不包括时间平均信息，而是仅包括一个参与时间滤波MCTF的帧。这种方案类似于MPEG类编码器的I帧和B帧结构。在低时间分辨率下对如此编码的流进行解码将得到一个由跳跃帧(skipped frame)组成的序列，而没有时间平均的帧。换句话说，与现有技术方案中的低通时间滤波不同，仅将其中一个帧当作最终得到的低时间频率帧。
一旦执行了各滤波步骤，依照本发明的编码方法包括一个对预定子带的已滤波帧的小波系数进行量化和熵编码的步骤，即-最后一个时间分解等级的各子带的帧(在我们的示例中是子带STSTST111到STST114)，-先前的各时间分解等级的各空间-时间子带的高时间频率HTF帧(在我们的示例中是从对子带ST1的LLsHt帧和子带STST1的LLsLtLLsHt帧的空间滤波所产生的帧)，-先前的各时间分解等级的各时间子带的帧(在我们的示例中是从对子带STST12到STST14的帧以及子带ST2到ST4的帧的空间滤波所产生的帧)。
这个编码步骤例如是基于嵌入零树块编码EZBC。
依照本发明的编码方法还包括一个例如基于无损差分脉冲编码调制DPCM和/或自适应算术编码来对运动矢量场进行编码的步骤。要注意的是，所述运动矢量具有随分解等级的数量减小的分辨率。因此，编码的运动矢量的开销比现有技术方案中的小得多。
所述方法最后还包括一个以空间-时间子带的已编码系数和已编码运动矢量场为基础形成最终比特流的步骤，所述运动矢量场的比特作为开销而被发送。
在编码期间，所接收到的各空间-时间子带被以不同的优先等级嵌入到最终比特流中。从最高优先等级到最低优先等级的这种比特流的示例如下-子带STSTST111-114的低时间频率帧LTF，-子带STSTST111-114的高时间频率帧HTF，-子带STST12-14的低时间频率帧LTF，-子带STST11-14的高时间频率帧HTF，-子带ST2-4的低时间频率帧LTF，和-子带ST1-4的高时间频率帧HTF。
作为另一个示例(其中在编码期间必须着重于时间可缩放性)，首先编码所有空间分辨率的低时间频率中LTF，接着编码高时间频率帧HTF。
空间和时间分解等级的数量取决于编码器侧的计算资源(例如处理能力、存储器、所允许的延迟)，并且可以被动态调节(也就是一旦达到处理资源的限制就停止分解)。与其中应当首先实现完整的时间分解、随后是对所接收到的时间子带的空间分解的现有技术方法相反，在此所提出的编码方法适于在已经获得第一时间分解等级之后的任意时刻实际停止分解，并且适于传输这样获得的时间滤波帧和空间滤波帧。因此，提供了计算可缩放性。
依照本发明的编码方法能够通过硬件、软件或其二者来实现。所述硬件或软件能够以几种方式实现，比如分别通过连线电子电路或者通过适当编程的集成电路实现。该集成电路能够包含在编码器中。该集成电路包括一个指令集。因此，例如包括在编码器存储器中的所述指令集可以使编码器执行运动估计方法的不同步骤。可以通过读取一个数据载体(比如一个盘)而将该指令集载入到编程存储器中。服务提供商也能够通过诸如因特网的通信网络来提供所述指令集。
在下面的权利要求书中的任何附图标记将不被解释为限制权利要求。显而易见，动词“包括”及其变化形式不排除在权利要求中列出的步骤或元件之外的其它步骤或元件的存在。元件或步骤前面的“一个”不排除多个这样的元件或步骤的存在。
权利要求
1.一种编码帧序列的方法，包括下列步骤将该帧序列分为各输入帧组(F1-F8)；对一组中的各帧进行基于小波的一级空间滤波(SF)，以产生包括与输入帧相比具有减小的尺寸的低-低空间滤波帧(LLs)的第一分解等级的第一空间子带(S1)；对于各对低-低空间滤波帧(LLs)进行运动估计(ME1)，从而得到一个运动矢量场的集合；基于该运动矢量场集合对所述低-低空间滤波帧(LLs)进行基于小波的运动补偿时间滤波(MCTF)，从而得到包括时间滤波帧(LLsLt-LLsHt)的第一分解等级的第一时间子带(ST1)；重复前面所述的三个步骤，所述空间滤波步骤适于以低频时间滤波帧(LLsLt)为基础产生第二分解等级的第一空间子带(STS11)，将运动估计和运动补偿时间滤波应用于所述第二分解等级的第一空间子带的各帧。
2.如权利要求1要求的编码方法，其中迭代执行一个由空间滤波步骤、运动估计步骤和运动补偿时间滤波步骤组成的步骤序列，直到预定分解等级的时间子带仅包括一个低时间频率帧，其中在每次迭代时，对于所述步骤序列的输入是在时间域和空间域中都具有最低频率的时间滤波帧(LLsLtLLsLt)。
3.如权利要求1要求的编码方法，其中迭代执行一个由空间滤波步骤、运动估计步骤和运动补偿时间滤波步骤组成的步骤序列，直到使用了一定量的计算资源，其中在每次迭代时，对于所述步骤序列的输入是在时间域和空间域中都具有最低频率的帧。
4.如权利要求1要求的编码方法，其中所述一级空间滤波步骤(SF)适于提供当前分解等级的至少一个其它的空间子带(S2-S4、STS12-STS14)，所述方法还包括一个通过再次使用对应于当前分解等级的第一空间子带的运动矢量场的集合、对该至少一个其它的空间子带的各帧进行运动补偿时间滤波的步骤，并且得到所述当前分解等级的至少一个其它的时间子带(ST2-ST4、STST12-STST44)。
5.如权利要求4要求的编码方法，还包括一个对当前分解等级的该至少一个其它的时间子带的各空间滤波帧进行金字塔形空间滤波(STS12-STS14、STSTS112-STSTS114)的步骤。
6.如权利要求1要求的编码方法，还包括一个对当前分解等级的第一时间子带(ST1、STST11)的空间低频时间高频帧(LLsHt、LLsLtLLsHt)进行金字塔形空间滤波的步骤。
7.如权利要求5或6要求的编码方法，其中在当前分解等级下的金字塔形空间滤波步骤中的空间分解等级的数量等于空间分解等级的总数减去当前分解等级。
8.一种用于编码帧序列的设备，包括用于将该帧序列分为各输入帧组(F1-F8)的装置；用于对一组中的各帧进行基于小波的一级空间滤波(SF)、以产生包括与输入帧相比具有减小的尺寸的低-低空间滤波帧(LLs)的第一分解等级的第一空间子带(S1)的装置；用于对各对低-低空间滤波帧(LLs)进行运动估计(ME1)、从而得到一个运动矢量场的集合的装置；用于基于该运动矢量场集合对所述低-低空间滤波帧(LLs)进行基于小波的运动补偿时间滤波(MCTF)、从而得到包括时间滤波帧(LLsLt-LLsHt)的第一分解等级的第一时间子带(ST1)的装置；配置前面的三个装置，以使得所述空间滤波装置适于以低频时间滤波帧(LLsLt)为基础产生第二分解等级的第一空间子带(STS11)，并且使得所述运动估计装置和运动补偿时间滤波装置适于接收所述第二分解等级的第一空间子带的各帧。
9.一种包括程序指令的计算机程序产品，当所述程序由处理器执行时，所述程序指令用于执行如权利要求1要求的编码方法。
全文摘要
本发明涉及一种编码帧序列的方法，包括下列步骤将帧序列分为由大小为H*W的N个帧(F1－F8)构成的各组；对一组的各帧进行基于小波的一级空间滤波(SF)，以产生包括大小为H/2*W/2的低－低空间滤波帧(LLs)的第一分解等级的第一空间子带(S1)；对于各对低－低空间滤波帧(LLs)进行运动估计(ME1)，从而得到一个由N/2个场组成的运动矢量场集合；并且基于该运动矢量场集合对所述低－低空间滤波帧(LLs)进行基于小波的运动补偿时间滤波(MCTF)，从而得到由N个时间滤波帧组成的第一分解等级的第一时间子带(ST1)。然后对于在时间域和空间域中都具有最低频率的帧迭代执行一个由空间滤波步骤、运动估计步骤和运动补偿滤波步骤组成的步骤序列，直到每个时间子带剩余一个低时间频率帧。
文档编号H04N7/26GK1868214SQ200480029657
公开日2006年11月22日 申请日期2004年10月1日 优先权日2003年10月10日
发明者I·奇伦可 申请人:皇家飞利浦电子股份有限公司