专利名称：双回路移动补偿精细颗粒的可标度性的制作方法
技术领域：
本发明涉及视频编码，更具体而言，涉及一种可标度的增强层视频编码方案，在增强层内对于双向预测帧(B-帧)和预测帧以及双向预测帧和(P-和B-帧)采用移动补偿。
可标度的增强层视频编码已被用于压缩在具有变化带宽的计算机网络，如因特网上发送的视频信号。一般当前的采用精细颗粒可标度的编码技术的增强层视频编码方案(被ISO MPEG-4标准采用)示于
图1中。正如可见到的那样，视频编码方案10包括一个基于预测的基层11，按位速率RBL编码，和一个FGS增强层12，按REL编码。
基于预测的基层11包括帧内编码的I帧；帧间编码的P帧，它们是利用移动估计-补偿从以前的I或P帧临时预测的；和帧间编码的双向B帧，它们是利用移动估计-补偿从与B帧相邻的以前的和后继的帧临时预测的。使用预测和/或内插编码，也就是，移动估计和相应的补偿，在基层11中降低临时的冗余度。
增强层12包括通过从各自的原始帧减去它们各自重建的基层帧得到的FGS增强层I-，P-，和B-帧(这种减法也可以在移动补偿域中进行)。因此，在该增强层中的FGS增强层I，P-，和B-帧未被移动补偿。(在相同的时刻上从帧取得FGS余量)对此的主要理由是为了提供灵活性，使得对于每个FGS增强层帧的截尾能够单独地取决于在传输时间可用的带宽。更具体而言，对于增强层12的精细颗粒可标度编码使FGS视频流能够在具有可用带宽范围从Rmin＝RBL到Rmax＝RBL+REL的任何网络对话期间被发送。例如，如果在发射机和接收机之间的可用带宽是B＝R，则发射机按速率RBL发送基层帧，只有一部分增强层帧按速率REL＝R-RBL发送。从图1可见，在该增强层中的部分FGS增强层帧可按精细颗粒可标度方式进行选取供发送。因而，总的发送位速率是R＝RBL+REL。因为利用一个单一的增强层在支持各式各样的传输带宽方面具有灵活性。
图2示出一种用于对图1的视频编码方案中基层11和增强层12编码的通常的FGS编码器方框图。正如可见到的那样，帧i的增强层余量(FGSR(i))等于MCR(i)-MCRQ(i)，其中MCR(i)是帧i的移动补偿余量，MCRQ(i)是在量化和去量化过程以后帧i的移动补偿余量。
尽管图1的当前FGS增强层视频编码方案是非常灵活的，但它有以下的不足，即它在视频图象质量方面的性能与在相同传输位速率下非可标度编码器的性能相比是比较低的。图像质量的下降并不是由于增强层12的精细颗粒可标度编码引起的，而主要是由于增强层12内FGS残余帧之间临时冗余度的利用减少所致。特别是，增强层12的FGS增强层帧只从它们各自的基层I-，P-，和B-帧的移动补偿余量得到，没有FGS增强层帧被用于预测增强层12中其他的FGS增强层帧或基层11中其他的帧。
因此，一种在增强层中采用移动补偿，以便在保留对于当前的FGS视频编码方案具有代表性的大部分灵活性和有吸引力的特性的同时改进图象质量的可标度增强层视频编码方案是需要的。
本发明是针对一种增强层视频编码方案，特别是一种在增强层内采用移动补偿用于预测和双向预测帧的FGS增强层视频编码方案。本发明的一个方面涉及一种包括以下步骤的方法利用一个非标度的编码解码器对未编码的视频信号进行编码以产生基层帧；从未编码的视频信号和基层帧计算差分帧余量，至少部分的差分帧余量作为参考使用；将移动补偿应用到作为参考使用的至少部分的差分帧余量，以产生参考的移动补偿差分帧余量；和从各自的差分帧余量减去参考的移动补偿差分帧余量，以产生移动-预测的增强层帧。
本发明的另一方面涉及一种包括以下步骤的方法将基层流解码以产生基层视频帧；将增强层流解码以产生差分帧余量，至少将部分的差分帧余量作为参考使用；将移动补偿应用到作为参考使用的至少部分的差分帧余量，以产生参考的移动补偿差分帧余量；将参考的移动补偿差分帧余量与各自的差分帧余量相加，以产生移动-预测的增强层帧；和将移动-预测的增强层帧与各自的基层帧组合以产生增强的视频信号。
本发明的又一方面涉及一种用于对视频信号编码的存储媒体，包括用于将未编码的原始视频信号非可标度编码成基层帧的代码；用于从未编码的原始视频信号和基层帧计算差分帧余量的代码，将至少部分差分帧余量作为参考使用；用于将移动补偿应用到作为参考使用的至少部分差分帧余量，以产生参考的移动-补偿差分帧余量的代码；和用于从各自的差分帧余量减去参考的移动-补偿差分帧余量以产生移动-预测增强层帧。
本发明还一个方面涉及一种用于对具有基层流和增强层流的压缩视频信号解码的存储器媒体，包括用于对基层流解码以产生基层视频帧的代码；用于对增强层流解码以产生差分帧余量的代码，至少部分差分帧余量作为参考使用；用于将移动补偿应用到作为参考使用的至少部分的差分帧余量以产生参考的移动-补偿差分帧余量的代码；用于将参考的移动-补偿差分帧余量与各自的差分帧余量相加以产生移动-预测的增强层帧的代码；和用于将移动-预测的增强层帧与各自的基层帧组合以产生增强的视频信号的代码。
本发明的又一方面涉及一种用于对视频信号编码的设备，它包括用于对未编码的原始视频信号进行非-可标度的编码，以产生基层帧的装置；用于从未编码的原始视频信号和基层帧计算差分帧余量的装置，至少部分的差分帧余量作为参考使用；用于将移动-补偿应用到作为参考使用的至少部分的差分帧余量以产生参考的移动-补偿差分帧余量的装置；和用于从各自的差分帧余量减去参考的移动-补偿差分帧余量以产生移动-预测的增强层帧的装置。
本发明的另一方面涉及一种用于对具有基层流和增强层流的压缩视频信号解码的设备，它包括用于对基层流解码以产生基层视频帧的装置；用于对增强层流解码以产生差分帧余量的装置，至少部分的差分帧余量作为参考使用；用于将移动-补偿应用到作为参考使用的至少部分的差分帧余量以产生参考的移动-补偿差分帧余量的装置；用于将参考的移动-补偿差分帧余量与各自的差分帧余量相加以产生移动-预测的增强层帧的装置；和用于将移动-预测的增强层帧与各自的基层帧组合以产生增强的视频信号的装置。
现在通过结合附图详细描述用作说明的实施方案将更充分地显现出本发明的优点，性质，和各种附加的特征，其中相同的标号表示附图中相同的部件图1示出一种当前的增强层视频编码方案；图2示出一种用于对图1的视频编码方案中基层和增强层编码的通常的编码器方框图；图3A示出依据本发明的第一示范性实施方案的一种增强层视频编码方案；图3B示出依据本发明的第二示范性实施方案的一种增强层视频编码方案；图4示出一种依据本发明的示范性实施方案的编码器方框图，可被用于产生图3A的增强层视频编码方案；图5示出一种依据本发明的示范性实施方案的编码器方框图，可被用于产生图3B的增强层视频编码方案；图6示出一种依据本发明的示范性实施方案的解码器方框图，可被用于对由图4的编码器产生的被压缩的基层和增强层流解码；图7示出一种依据本发明的示范性实施方案的解码器方框图，可被用于对由图5的编码器产生的被压缩的基层和增强层流解码；和图8示出一种可被用于实现本发明的原理的系统的示范性实施方案。
图3A示出一种依据本发明第一示范性实施方案的增强层视频编码方案30。如可见到的那样，视频编码方案30包括一个基于预测的基层31和一个两回路的基于预测的增强层32。
基于预测的基层31包括帧内编码的I帧，帧间编码的预测的P-帧，和帧间编码的双向预测的B-帧，如在图1所表示的通常的增强层视频方案中所示的那样。基层的I-，P-，和B-帧可用通常的非-可标度的帧-预测编码技术进行编码。(基层的I-帧当然未被移动-预测)。
两回路的基于预测的增强层32包括非-移动预测的增强层I-和P-帧以及移动-预测的增强层B-帧。非移动预测的增强层I-和P-帧通常是通过从它们各自的原始基层I-和P-帧余量中减去它们的各自的重建的(被解码的)基层I-和P-帧余量得到的。
依据本发明，移动-预测的增强层B-帧每一个是利用以下的项算得的1)从两个临时相邻的差分I-和P-或P-和P-帧余量的移动预测(a.k.a.增强层帧)，和2)通过从原始基层B-帧余量减去被解码的基层B-帧余量获得的差分B-帧余量。在2)差分B-帧余量和1)从两个临时相邻的移动补偿差分帧余量获得的B-帧移动预测之间的差提供增强层32中的移动预测的增强层B-帧。无论是从这个过程得到的移动预测的增强层B帧还是非移动预测的增强层I-和P-帧都可以利用任何适当的可标度的编码解码器进行编码，最好是利用一种如图3A中所示的精细颗粒可标度(FGS)编码解码器。
本发明的视频编码方案30改进了视频图象的质量，因为它降低了增强层32的增强层B-帧中的临时冗余度。因为增强层B-帧占用IBBP图象结构组(GOP)中增强层32总的位速率预算的66％，与只对增强层B-帧实施移动补偿有关的图象质量损失对于大多数的视频序列来说是非常有限的。(在通常的增强层视频编码方案中，一种流行的速率控制多半是在增强层内通过分配相等数目的位到所有的增强层I-，P-，和B-帧实现的。)而且，指出这点是重要的，速率控制对于利用本发明的视频编码方案达到良好的性能起着重要的作用。然而，即使一种最简单的方法，按照Btot＝bI*NO._I_帧+bP*_P_帧+bB*NO._B_帧，其中bI＞bP＞bB，对于一个GOP分配总的位预算Btot，已经提供非常良好的结果。进一步指出，不同数目的增强层位/位面(不一定是整数位/位面)可被考虑用于在移动补偿回路中使用的每个增强层参考帧。而且，如果希望的话，在增强层参考帧内只有某些部分或频率需要被并入增强层移动补偿回路。
以上方案的分组丢失键壮性与图1的当前的增强层编码方案类似如果差错发生在移动预测的增强层B-帧中，这种差错将不传播到下一个接收到的I-或P-帧之外。两种分组丢失的情景可能发生·如果差错发生在移动预测的增强层B-帧中，该差错被限制在该B-帧内；·如果差错发生在增强层I-或P-帧中，差错将移出利用这些增强层帧作为参考的(两个)移动预测的增强层B-帧。然后，移动预测的增强层B-帧中任何一个可被删除，并可利用其他未被破坏的参考的增强层帧进行帧重复或差错抵消。
图4示出一种依据本发明的示范性实施方案的编码器40的方框图，可被用于产生图3A的增强层视频编码方案。正如可看到的那样，编码器40包括一个基层编码器41和一个增强层编码器42。基层编码器41是常规的并包括一个移动估值器43，从原始的视频序列和存储在存储器44中适当的参考帧产生移动信息(移动向量和预测模式)。在第一移动补偿回路62中的第一移动补偿器45，处理移动信息并产生移动补偿的基层参考帧(Ref(i))。第一减法器46从原始的视频序列减去移动补偿的基层参考帧Ref(i)，产生基层帧的移动补偿余量MCR(i)。基层帧的移动补偿余量MCR(i)被离散的余弦变换(DCT)编码器47，量化器48，和熵编码器49处理成为来自原始视频序列的被压缩的基层流(基层帧)的一部分。由移动估值器43产生的移动信息也被通过多路转换器50与由第一减法器46，DCT编码器47，量化器48和熵编码器49处理过的基层流的部分组合。在量化器48的输出上产生的量化的基层帧的移动补偿余量MCR(i)被逆量化器51去量化，然后通过逆DCT单元52进行逆DCT变换。这个过程在逆DCT 52的输出上产生基层帧的移动补偿余量的量化和去量化型式MCRQ(i)。基层帧的量化和去量化的移动补偿余量MCRQ(i)和它们各自的移动补偿的基层参考帧Ref(i)被在相加器53中相加产生新的参考帧，被存入第一帧存储器44并被移动估值器43和移动补偿器45用于处理其他的帧。
再参考图4，增强层编码器42，最好包含FGS增强层编码器(如图4中所示)，包括一个第二减法器54，计算基层帧的移动补偿余量MCR(i)和基层帧的量化和去量化的移动补偿余量MCRQ(i)之间的差，产生差分I-，P-和B-帧余量FGSR(i)，在I-和P-帧余量的情况下，是增强层I-和P-帧。一种帧流控制设备55被提供用于当差分B-帧余量被用依据本发明的原理在增强层中的移动补偿进行处理时，使差分I-和P-帧余量能够按常规方式进行处理。帧流控制设备55完成这项任务，这是通过使第二减法器54输出上的数据流按照第二减法器54输出的帧的类型以不同的方式流出而实现的。更具体而言，在第二减法器54的输出上产生的差分I-和P-帧余量被帧控制设备55传送到FGS编码器61(或类似的可标度编码器)，用于利用由位面DCT扫描随后的常规的DCT编码和熵编码进行FGS编码，产生被压缩的增强层流的部分(非移动预测的增强层I-和P-帧)。在第二减法器54的输出上产生的差分I-和P-帧余量也被传送到第二帧存储器58，在其中它们被以后用于移动补偿。在第二减法器54的输出上产生的差分B-帧余量被帧控制设备55传送到第三减法器60和第二帧存储器58。在第二移动补偿回路63中的第二移动补偿器59，再使用来自原始视频序列的移动信息(基层编码器41中的移动估值器43的输出)和存储在第二帧存储器58中的被用作参考的差分I-和P-帧余量，产生参考的移动补偿差分(I-和P-或P-和P-)帧余量MCFGSR(i)。注意，每个参考的差分I-和P-帧余量中只有一部分，例如几个位面，是所需的，尽管如果希望的话可以使用全部参考的差分帧余量。第三减法器60通过从它们各自的差分B-帧余量FGSR(i)减去参考的移动补偿差分(I-和P-或P-和P-)帧余量MCFGSR(i)，产生每个移动预测的增强层B-帧MCFGS(i)。帧流控制设备55将移动预测的增强层B-帧MCFGS(i)传送到FGS编码器61，用于利用由位面DCT扫描随后的常规的DCT编码和熵编码进行FGS编码，在其中它们被加到压缩的增强层流上。
现在应该明白，在图3A的增强层视频编码方案中基层仍然是不变的。而且，增强层I-和P-帧按与图1的当前FGS视频编码方案中相同的方式顺序地进行处理，因此，这些帧在增强层内未被移动预测。在移动预测的增强层B-帧的情况下，现在应该明白，在第i帧的增强层中被编码的信号MCFGS等于MCFGS(i)＝FGSR(i)-MCFGSR(i)＝MCR(i)-MCRQ(i)-MCFGSR(i)其中MCR(i)是在量化和去量化过程以后帧i的移动补偿余量，FGSR(i)基本上等同于图1的当前FGS视频编码方案，也就是，FGSR(i)等于MCR(i)-MCRQ(i)，和MCFGSR(i)是对于帧(i)的参考的移动补偿差分帧余量。应该指出，本发明的增强层B-帧处理方法在增强层中只需要一个附加的移动补偿回路用以提供移动预测的增强层B-帧。
图6示出一种依据本发明的示范性实施方案的解码器70方框图，可被用于对由图4的编码器40产生的压缩的基层和增强层流解码。如可看到的那样，解码器70包括一个基层解码器71和一个增强层解码器72。基层解码器71包括一个逆多路转换器75，它接收已编码的基层流和将该流逆多路转换成第一和第二数据流76和77。包括移动信息(移动向量和移动预测模式)的第一数据流76被施加到第一移动补偿器78。移动补偿器78使用移动信息和存储在有关的基层帧存储器79中的基层参考视频帧，产生被施加到第一相加器80的第一输入81的移动预测的基层P-和B-帧。第二数据流77被施加到基层的可变长度代码解码器83供解码，和被施加到逆量化器84供去量化。已去量化的代码被施加到逆DCT解码器85，在其中去量化的代码被变换成基层余量视频I-，P-和B-帧，它们被施加到第一相加器80的第二输入82。基层余量视频帧和由移动补偿器78产生的移动预测的基层帧被在第一相加器80中相加，产生基层的视频I-，P-，和B-帧，它们被存入基层帧存储器79并被可选地作为基层视频信号输出。
增强层解码器72包括一个FGS位面解码器86或类似的可标度解码器，对压缩的增强层流解码，在第一和第二输出73和74上产生差分I-，P-，和B-帧余量，它们被分别施加到第一和第二帧流控制设备87和91。第一和第二帧流控制设备87和91使差分I-和P-帧余量能够与差分B-帧余量不同地进行处理，这是通过使在FGS位面解码器86的输出73和74上的数据流按照解码器86输出的增强层帧的类型以不同的方式流出而实现的。在FGS位面解码器86的第一输出73上的差分I-和P-帧余量被第一帧控制设备87传送到增强层帧存储器88，在其中它们被存储并被以后用于移动补偿。在FGS位面解码器86的第一输出73上的差分B-帧余量被第一帧控制设备87传送到第二相加器92并按将被进一步解释的方式处理。
第二移动补偿器90再使用被基层解码器71接收到的移动信息和存储在增强层帧存储器88中的差分I-和P-帧余量，产生参考的移动补偿差分(I-和P-或P-和P-)帧余量，它们被用于预测增强层B-帧。第二相加器92将每个参考的移动补偿差分帧余量与它们各自的差分B-帧余量相加，产生增强层B-帧。
第二帧控制设备91将在FGS位面解码器86的第二输出74上的增强层I-和P-帧(差分I-和P-帧余量)和第二相加器92的输出93上的移动预测增强层B-帧顺序地传送到第三相加器89。第三相加器89将增强层I-，P-，和B-帧与它们的相应的基层I-，P-，和B-帧一起相加以产生增强的视频信号。
图3B示出依据本发明的第二示范性实施方案的一种增强层视频编码方案100。正如可看到的那样，除了在两回路的基于预测的增强层中的增强层P-帧象增强层B-帧那样被移动预测以外，第二实施方案的视频编码方案100基本上等同于图3A的第一实施方案。
移动预测的增强层P-帧被按与增强层B-帧类似的方式计算，也就是，每个移动预测的增强层P-帧利用以下项进行计算1)从临时相邻的差分I-或P-帧余量进行移动预测，和2)通过从原始的基层P-帧余量减去被解码的基层P-帧余量获得的差分P-帧余量。在2)差分P-帧余量和从临时相邻的移动补偿差分帧余量获得的P-帧移动预测之间的差提供增强层132中的移动预测的增强层P-帧。无论是从这个过程得到的移动预测增强层P-和B-帧，还是非移动预测的增强层I-帧都可利用任何适当的可标度的编码解码器，最好是一种如图3B中所示的精细颗粒可标度(FGS)编码解码器进行编码。
图3B的视频编码方案100在视频图象质量方面提供进一步的改进。这是由于视频编码方案100减少了增强层132的P-和B-帧中的临时冗余度。
本发明的视频编码方案对于一个视频序列的各个部分或对于各个视频序列可与图1的当前视频编码方案交替使用。另外，在所有三个视频编码方案，也就是，图1的当前视频编码方案和图3A和图3B中描述的视频编码方案之间的切换可以根据信道特性进行，可以在编码或传输时间实施。而且，本发明的视频编码方案在编码效率方面获得很大的增益，只是有限地增加复杂性。
图5示出依据本发明的示范性实施方案的一种编码器140方框图，可被用于产生图3B的增强层视频编码方案。正如可看到的那样，除了在编码器40中所用的帧流控制设备55被省略以外，图5的编码器140基本上等同于图4的编码器40(被用于产生图3A的增强层视频编码方案)。在这种编码器140中帧流控制设备不是必要的，因为差分I-帧余量并未用移动补偿进行处理，因此不需要被分别地在增强层编码器142中传送差分P-和B-帧余量。
因而，在第二减法器54的输出上产生的差分I-帧余量传送到FGS编码器61，用于利用由位面DCT扫描随后的常规的DCT编码和熵编码进行FGS编码以产生压缩的增强层流的部分(非移动预测的增强层I-帧)。差分I-帧余量也随同差分P-帧余量传送到第二帧存储器58，在其中它们被以后用于移动补偿。在第二减法器54的输出上产生的差分P-和B-帧余量也被传送到第三减法器60。在第二移动补偿回路63中的第二移动补偿器59，再使用来自原始视频序列的移动信息(基层编码器41中移动估值器43的输出)和存储在第二帧存储器58中的被用作参考的差分I-和P-帧余量，产生用于移动预测增强层P-帧的参考移动补偿差分(I或P)帧余量MCFGSR(i)和用于移动预测增强层B-帧的参考(I-和P-或P-和P-)帧余量MCFGSR(i)。第三减法器60通过从它们各自的差分P-或B-帧余量FGSR(i)减去参考的移动补偿差分(I或P)或(I-和P-或P-和P-)帧余量MCFGSR(i)。产生每个移动预测的增强层P-或B-帧MCFGS(i)。然后，移动预测的增强层P-和B-帧MCFGS(i)传送到FGS编码器61，用于利用由位面DCT扫描随后的常规的DCT编码和熵编码进行FGS编码，在其中它们被加到压缩的增强层流上。
如在图3A的视频编码方案中那样，在图3B的增强层视频编码方案中基层仍然是不变的。而且，应该指出，本发明的增强层P-和B-帧处理方法为了提供移动预测的增强层P-和B-帧，在增强层中只需要一个附加的移动补偿回路。
图7示出依据本发明的示范性实施方案的一种解码器170方框图，可被用于对由图5的编码器140产生的压缩的基层和增强层流解码。正如可看到的那样，除了在解码器70中所用的帧流控制设备87和91被省略以外，图7的解码器170基本上等同于图6的解码器70。在这种解码器170中帧流控制设备并不是必要的，因为差分I-帧余量未被用移动补偿处理，因而，不需要被从增强层解码器172中被解码的差分P-和B-帧余量分别地传送。
因而，在FGS位面解码器86的第一输出73上的差分I-和P-帧余量传送到增强层帧存储器88，在其中它们被存储和以后用于移动补偿。在FGS位面解码器86的第二输出74上的差分P-和B-帧余量传送到第二相加器92。在FGS位面解码器86的第二输出74上的差分I-帧余量(以后为增强层I-帧)传送到第三相加器89，其目的将被进一步解释。第二移动补偿器90再使用由基层解码器71接收到的移动信息和存储在增强层帧存储器88中的差分I-和P-帧余量，产生1)参考的移动补偿差分(I-和P-或P-和P-)帧余量，它们被用于预测增强层B-帧，和2)参考的移动补偿差分(I-或P-)帧余量，它们被用于预测增强层P-帧。第二相加器92将参考的移动补偿差分帧余量与它们各自的差分B-帧余量或P-帧余量相加以产生增强层B-和P-帧。第三相加器89将增强层I-，P-，和B-帧与它们的相应的基层I-，P-，和B-帧一起相加以产生增强的视频信号。
图8示出系统200的一种示范性实施方案，它可被用于实现本发明的原理。系统200可以表示一台电视机，机顶盒，桌上型，膝上型或掌上型计算机，个人数字助手(PDA)，视频/图象存储设备，如录象机(VCR)，数字视频记录器(DVR)，TiVO设备，等，以及这些和其他设备的部分或组合。系统200包括一个或多个视频/图象源201，一个或多个输入/输出设备202，一个处理器203和一个存储器204。视频/图象源201可以表示，例如，一个电视接收机，VCR或其他的视频/图象存储设备。源201可以交替地表示用于通过，例如，一个全球计算机通信网，如因特网，广域网，城域网，局域网，陆地广播系统，电缆网，卫星网，无线网，或电话网，以及这些和其他类型网络的部分或组合，从一个或几个服务器接收视频信号的一个或多个网络连接。
输入/输出设备202，处理器203和存储器204可以通过通信媒体205通信。通信媒体205可以表示，例如，一种总线，通信网，电路的一个或多个内部连接，电路卡或其他设备，以及这些和其他通信媒体的部分和组合。来自源201的输入视频数据被依据存储在存储器204中的一个或多个软件程序进行处理并由处理器203执行，以便产生输出视频/图象供给显示设备206。
在一种优选实施方案中，采用本发明原理的编码和解码可通过由系统执行的计算机可读代码实现。代码可被存入存储器204或从存储器媒体如CD-ROM或软盘读出/下载。在其他的实施方案中，可以使用硬件电路替代或与软件指令组合来实现本发明。例如，在图4-7中所示的部件也可以作为分立的硬件部件来实施。
虽然已通过具体的实施方案在上面描述了本发明，但应该理解，并不是将本发明封闭或局限于在此所公开的实施方案。例如，除了DCT以外的其他变换可被采用，包括但不限于小波或匹配追踪。在另一个例子中，虽然在以上的实施方案中通过再使用来自基层的移动数据实现移动补偿，本发明的其他实施方案可以采用增强层中的一个附加的移动估值器，这将需要发送附加的移动向量。在又一个例子中，本发明的其他实施方案可以在增强层中只对P-帧采用移动补偿。这些和所有其他的这样的修改和改变都被认为在所附的权利要求的范围内。
权利要求
1.一种对视频信号编码的方法，包括以下步骤用一种非-可标度的编码解码器对未编码的视频信号编码(41，42)以产生基层帧；从未编码的视频信号和基层帧计算(54)差分帧余量，将至少某些部分的差分帧余量作为参考使用；将移动补偿(59)应用到作为参考使用的至少部分差分帧余量，产生参考的移动补偿差分帧余量；和从各自的差分帧余量减去(60)参考的移动补偿差分帧余量，产生移动预测的增强层帧。
2.一种依据权利要求1的视频信号编码方法，还包括利用一种可标度的编码解码器对移动预测的增强层帧编码的步骤。
3.一种依据权利要求1的视频信号编码方法，还包括利用一种精细微粒可标度的编码解码器对移动预测的增强层帧编码的步骤。
4.一种依据权利要求1的视频信号编码方法，其中在减法步骤(60)中的移动预测的增强层帧包括移动预测的增强层B-帧，在减法步骤中的参考的移动补偿差分帧余量包括参考的移动补偿差分I-和P-帧余量或参考的移动补偿差分P-和P-帧余量，和减法步骤中的各个差分帧余量包括差分B-帧。
5.一种依据权利要求4的视频信号编码方法，其中在减法步骤(60)中的移动预测的增强层帧还包括移动预测的增强层P-帧，在减法步骤(60)中的参考的移动补偿差分帧余量还包括参考的移动补偿差分I-帧余量或参考的移动补偿P-帧余量，和在减法步骤(60)中各自的差分帧余量还包括差分P-帧。
6.一种依据权利要求1的视频信号编码方法，其中在减法步骤(60)中的移动预测的增强层帧包括移动预测的增强层P-帧，在减法步骤(60)中的参考的移动补偿差分帧余量包括参考的移动补偿差分I-帧余量或参考的移动补偿P-帧余量，和在减法步骤(60)中各自的差分帧余量包括差分P-帧。
7.一种对具有基层流和增强层流的压缩视频信号解码的方法，该方法包括以下步骤对基层流解码(71，171)，产生基层视频帧；对增强层流解码(72，172)，产生差分帧余量，将至少某些部分的差分帧余量作为参考使用；将移动补偿(90)应用到作为参考使用的至少部分差分帧余量，产生参考的移动补偿差分帧余量；将参考的移动补偿差分帧余量与各自的差分帧余量相加(92)，产生移动预测的增强层帧；和将移动预测的增强层帧与各自的基层帧组合(89)，产生增强的视频信号。
8.一种依据权利要求7的视频信号解码方法，其中在相加步骤(92)中的移动预测的增强层帧包括移动预测的增强层B-帧，在相加步骤(92)中的参考的移动补偿差分帧余量包括参考的移动补偿差分I-和P-帧余量或参考的移动补偿差分P-和P-帧余量，和在相加步骤(92)中各自的差分帧余量包括差分B-帧。
9.一种依据权利要求8的视频信号解码方法，其中在相加步骤(92)中的移动预测的增强层帧还包括移动预测的增强层P-帧，在相加步骤(92)中的参考的移动补偿差分I-帧余量还包括参考的移动补偿差分I-帧余量或参考的移动补偿P-帧余量，和相加步骤(92)中各自的差分帧余量还包括差分P-帧。
10.一种依据权利要求7的视频信号解码方法，其中在相加步骤(92)中的移动预测的增强层帧包括移动预测的增强层P-帧，在相加步骤中的参考的移动补偿差分帧余量包括参考的移动补偿差分I-帧余量或参考的移动补偿P-帧余量，和在相加步骤中各自的差分帧余量包括差分P-帧。
11.一种用于对视频信号编码的存储器媒体，该存储器媒体包括用于对未编码的视频信号非-可标度编码成为基层帧的代码(41，141)；用于从未编码的视频信号和基层帧计算差分帧余量的代码(54)，至少某些部分的差分帧余量作为参考使用；用于将移动补偿(59)应用到作为参考使用的至少部分差分帧余量，产生参考的移动补偿差分帧余量的代码；和用于从各自的差分帧余量减去参考的移动补偿差分帧余量，产生移动预测的增强层帧的代码(60)。
12.一种用于依据权利要求11对视频信号编码的存储器媒体，进一步包括用于对移动预测的增强层帧进行可标度编码的代码(61)。
13.依据权利要求11的对视频信号编码的存储器媒体，还包括用于对移动预测的增强层帧进行精细颗粒可标度编码的代码(61)。
14.依据权利要求11的对视频信号编码的存储器媒体，其中移动预测的增强层帧包括移动预测的增强层B-帧，参考的移动补偿差分帧余量包括参考的移动补偿差分I-和P-帧余量或参考的移动补偿差分P-和P-帧余量，和各自的差分帧余量包括差分B-帧。
15.依据权利要求14的对视频信号编码的存储器媒体，其中移动预测的增强层帧还包括移动预测的增强层P-帧，参考的移动补偿差分帧余量还包括参考的移动补偿差分I-帧余量或参考的移动补偿P帧余量，各自的差分帧余量还包括差分P-帧。
16.依据权利要求14的对视频信号编码的存储器媒体，其中移动预测的增强层帧包括移动预测的增强层P-帧，参考的移动补偿差分帧余量包括参考的移动补偿差分I-帧余量或参考的移动补偿P-帧余量，和各自的差分帧余量包括差分P-帧。
17.一种用于对具有一个基层流和一个增强层流的压缩视频信号解码的存储器媒体，该存储器媒体包括用于对基层流解码以产生基层视频帧的代码(71，171)；用于对增强层流解码以产生差分帧余量的代码(72，172)，至少某些部分的差分帧余量作为参考使用；将移动补偿应用到作为参考使用的至少部分的差分帧余量，以产生参考的移动补偿差分帧余量的代码(90)；用于将参考的移动补偿差分帧余量与各自的差分帧余量相加以产生移动预测的增强层帧的代码(92)；和用于将移动预测的增强层帧与各自的基层帧组合以产生增强的视频信号的代码(89)。
18.依据权利要求17的对压缩的视频信号解码的存储器媒体，其中移动预测的增强层帧包括移动预测的增强层B-帧，参考的移动补偿差分帧余量包括参考的移动补偿差分I-和P-帧余量或参考的移动补偿差分P-和P-帧余量，和各自的差分帧余量包括差分B-帧。
19.依据权利要求18的对压缩的视频信号解码的存储器媒体，其中移动预测的增强层帧还包括移动预测的增强层P-帧，参考的移动补偿差分帧余量还包括参考的移动补偿差分I-帧余量或参考的移动补偿P-帧余量，各自的差分帧余量还包括差分P-帧。
20.依据权利要求17的对压缩视频信号解码的存储器媒体，其中移动预测的增强层帧包括移动预测的增强层P-帧，参考的移动补偿差分帧余量包括参考的移动补偿差分I-帧余量或参考的移动补偿P-帧余量，各自的差分帧余量包括差分P-帧。
21.一种用于对视频信号编码的设备，该设备包括用于对未编码的视频信号进行非-可标度编码的装置(41，141)，用以产生基层帧；用于从未编码的视频和基层帧计算差分帧余量的装置(42，142)，至少某些部分的差分帧余量作为参考使用；用于将移动补偿应用到作为参考使用的至少部分的差分帧余量以产生参考的移动补偿差分帧余量的装置(59)；和用于从各自的差分帧余量减去参考的移动补偿差分帧余量以产生移动预测的增强层帧的装置(60)。
22.依据权利要求21的对视频信号编码的设备，还包括用于对移动预测的增强层帧进行可标度编码的装置(61)。
23.依据权利要求21的对视频信号编码的设备，还包括用于对移动预测的增强层帧进行精细颗粒可标度编码的装置(61)。
24.依据权利要求21的对视频信号编码的设备，其中移动预测的增强层帧包括移动预测的增强层B-帧，参考的移动补偿差分帧余量包括参考的移动补偿差分I-和P-帧余量或参考的移动补偿差分P-和P-帧余量，各自的差分帧余量包括差分B-帧。
25.依据权利要求24的对视频信号编码的设备，其中移动预测的增强层帧还包括移动预测的增强层P-帧，参考的移动补偿差分帧余量还包括参考的移动补偿差分I-帧余量或参考的移动补偿P-帧余量，各自的差分帧余量还包括差分P-帧。
26.依据权利要求21的对视频信号编码的设备，其中移动预测的增强层帧包括移动预测的增强层P-帧，参考的移动补偿差分帧余量包括参考的移动补偿差分I-帧余量或参考的移动补偿P-帧余量，各自的差分帧余量包括差分P-帧。
27.一种用于对具有一个基层流和一个增强层流的压缩视频信号解码的 设备，该设备包括用于对基层流解码产生基层视频帧的装置(71，171)；用于对增强层流解码产生差分帧余量的装置(72，172)，至少某些部分的差分帧余量作为参考使用；用于将移动补偿应用到作为参考使用的至少部分的差分帧余量以产生参考的移动补偿差分帧余量的装置(90)；用于将参考的移动补偿差分帧余量与各自的差分帧余量相加以产生移动预测的增强层帧的装置(92)；和用于将移动预测的增强层帧与各自的基层帧组合以产生增强的视频信号的装置(89)。
28.依据权利要求27的对压缩的视频信号解码的设备，其中移动预测的增强层帧包括移动预测的增强层B-帧，参考的移动补偿差分帧余量包括参考的移动补偿差分I-和P-帧余量或参考的移动补偿差分P-和P-帧余量，和各自的差分帧余量包括差分B-帧。
29.依据权利要求28的对压缩的视频信号解码的设备，其中移动预测的增强层帧还包括移动预测的增强层P-帧，参考的移动补偿差分帧余量还包括参考的移动补偿差分I-帧余量或参考的移动补偿P-帧余量，各自的差分帧余量还包括差分P-帧。
30.依据权利要求27的对压缩的视频信号解码的设备，其中移动预测的增强层帧包括移动预测的增强层P-帧，参考的移动补偿差分帧余量包括参考的移动补偿差分I-帧余量或参考的移动补偿P-帧余量，和各自的差分帧余量包括差分P-帧。
全文摘要
一种在精细颗粒可标度的编码的增强层内具有移动补偿的视频编码技术。在一种实施方案中，视频编码技术包含一个两回路的基于预测的增强层，其中包括非移动预测的增强层I－和P－帧及移动预测的增强层B－帧。计算移动预测的增强层B－帧利用1)来自两个临时相邻的差分I－和P－或P－和P－帧余量的移动预测，和2)通过从原始基层B－帧余量减去已解码的基层B－帧余量获得的差分B－帧余量。在第二种实施方案中，该增强层还包括移动预测的增强层P－帧。计算移动预测的增强层P－帧利用1)来自一个临时相邻的差分I－或P－帧余量，和2)通过从原始基层P－帧余量减去已解码的基层P－帧余量获得的差分P－帧余量。
文档编号H04N7/32GK1486574SQ01803803
公开日2004年3月31日 申请日期2001年9月18日 优先权日2000年9月22日
发明者M·范德沙尔, M 范德沙尔, H·拉达 申请人:皇家菲利浦电子有限公司