专利名称：混合式时间－信杂比精细颗粒可分级视频编码的制作方法
技术领域：
本发明一般地涉及视频编码，更具体地，涉及包括质量和时间两者可分级的一种精细颗粒编码技术。
精细颗粒可分级(FGS)应用于压缩视频数据，以便视频数据通过诸如因特网之类具有可变带宽的网络进行传输。此种FGS结构的例子示明于
图1A-1B和图2A-2B上。可以看到，这些结构由比特率为RBL进行编码的基本层和比特率为REL进行编码的单个精细颗粒增强层构成。然而，图1A-1B上，基本层的编码中只包括I帧和P帧，而图2A-2B上，基本层的编码中包括有I帧、P帧和B帧。
由于增强层的精细颗粒性，FGS视频流能够用比特率Bmin＝RBL到Bmax＝RBL+REL的可用带宽范围通过任何的网络会话层进行传输。例如，如果发射机与接收机之间的可用带宽B＝R，则发射机将在比特率RBL上传送基本层，并在比特率Re＝R-RBL上只传送一部分增强层。从图1B和图2B中可以看出，能够以一种精细颗粒方式来选择增强层部分用于传输。所以，总体传输的比特率为R＝RBL+Re。
由于单个增强层在支持宽范围传输带宽上的灵活性，ISO MPEG-4标准中已经采用了FGS框架。应用一种FGS基编码器的一个系统例子，示明于图3上。该系统中包括一个网络6，它具有带宽范围为(Bmin＝Rmin，Bmax＝Rmax)可变的可用带宽。还包括一个计算框4，用于估值和测量当前的可用带宽(R)。基本层(BL)视频编码器8应用比特率范围(Rmin，R)内的一个比特率(RBL)压缩来自视频源2的信号。典型地，基本层编码器8应用最小比特率(Rmin)来压缩该信号。当传输出视频信号的时间之前该BL编码在离线方式下发生时，压缩情况尤其是这样。可以看出，还包括有单元10用于计算剩余图像12。此外，由增强层(EL)编码器14以比特率REL来压缩该剩余信号，REL的范围可以从RBL至Rmax-RBL。须着重指出，视频信号的编码(无论在增强层中或基本层中)或是可以实时发生(如图中所暗示)，或是可以在传输时间之前以离线方式发生。后一种情况下，可以先存储视频，然后应用如图中所示的实时速率控制器16在随后的时间上传输(或流送)。实时速率控制器16在计及当前(实时)可用带宽R的前提下选择出最佳的质量增强层。所以，从实时速率控制器16来的EL信号的输出比特率等于R-RBL。
本发明针对精细颗粒可分级编码技术，它包括质量可分级和时间可分级两者。按照本发明对视频数据进行编码的一个例子中，对一部分视频数据的编码产生出各个基本层帧。从该视频数据和基本层帧中产生出运动补偿的剩余图像。对运动补偿的剩余图像应用一种精细颗粒编码技术进行编码，产生出时间增强帧。此外，从视频数据和基本层帧中产生出剩余图像。然后，对剩余图像也应用一种精细颗粒编码技术进行编码，产生出质量增强帧。时间增强帧和质量增强帧又能够组合入一个增强层中。
按照本发明编码视频数据的另一个例子中，对一部分视频数据进行编码，产生出各个基本层帧。从该视频数据和基本层帧中产生出运动补偿的剩余图像。对运动补偿的剩余图像进行编码，产生出时间增强帧。从该视频数据、基本层帧和时间增强帧中产生出剩余图像。然后，应用一种精细颗粒编码技术对该剩余图像进行编码，产生出质量增强帧。进一步，时间增强帧形成一个时间增强层，质量增强帧形成一个质量增强层。
按照本发明对包括有一个基本层和一个增强层的视频信号进行解码的一个例子中，基本层的解码产生出各个视频帧。对增强层也解码，产生出运动矢量。然后，根据运动矢量对各个视频帧实施运动补偿，产生出各个附加的视频帧。将视频帧和附加的视频帧组合入一个视频序列中。此外，对增强层解码以产生出增强的视频帧。将各个增强的视频帧之每一个，相加到各个视频帧和附加的视频帧中的一个上。
现在，参考各附图，类似的标号代表诸图中相应的部件。各图中图1A-1B示明一种先有技术的分级结构；图2A-2B示明另一种先有技术的分级结构；图3示明一个系统，它利用了先有技术的分级结构；图4A-4E示明按照本发明之混合式可分级结构的例子；图5A-5C示明按照本发明之混合式可分级结构的另外的例子；
图6示明按照本发明利用了混合式可分级结构的一个系统；图7示明用于图6中视频编码器的一种功能构造的例子；图8A-8D示明按照本发明之混合式分级结构的另一个例子；图9示明按照本发明利用了混合式分级结构的另一个系统；图10示明按照本发明之混合式分级结构用的一个解码器例子；图11示明按照本发明之混合式分级结构用的另一个解码器例子；以及图12示明实施本发明用的一个系统例子。
实施精细颗粒可分级(FGS)编码，能够使基本层上传输的每一帧或每一图像改善质量或信杂比(SNR)。实现FGS编码中要计算出剩余图像(RI)，它是解码的基本层图像与原始图像之间的差值。然后，应用一种嵌入的或者精细颗粒的视频编码方法对剩余图像进行编码。为了便于讨论，从本编码处理中得到的图像将称之为FGS剩余图像，简写为FR。
作为使每一基本层视频帧的视频质量(或者SNR量度)提高的一种做法，在某些场合下，希望增大所传输视频序列的帧速率。做到这一点可通过传送出附加的视频帧来实现。例如，可以假定，一个视频信号由每秒10帧(10fps)的序列组成。在基本层中，只对这个视频序列中的5fps(例如，使用帧1、3、5、…等)进行编码和传输。然后，由增强层相加上其余的5fps的子序列(也即编码帧2、4、6、…等)。这种可分级性称为时间可分级，通过插入未在基本层中进行编码的额外帧，增强层改善了该视频序列在时间上的质量表示。一般地，这样可以改善可分级视频序列的运动平滑度。
然而，当前的FGS解决方案并不支持时间可分级性。基于现有的FGS框架(原本提议给MPEG-4标准，当前作为参考草案标准)，基本层应用了在比特率RBL上的帧速率fBL进行压缩。而后，无论FGS基编解码器所涉及的带宽范围怎样(也即Bmin＝RBL至Bmax＝RBL+REL)，可分级视频序列必须在整个带宽范围(Bmin，Bmax)上保持基本层的帧速率(即fBL)。换句话说，如上面的说明，能够做到的改善仅仅是对同一每秒帧(fBL)的序列提高其视频质量。
鉴于上面的情况，本发明的目的是提供出基于FGS编码的质量可分级和时间可分级两者。按照本发明，实现这一点的一条途径，是在FGS视频编码的基础上应用一种混合的时间-质量(也即时间-SNR)可分级结构，下面将详细介绍它。
按照本发明之混合式时间-SNR FGS可分级结构的一个例子，示于图4A中。可以看到，这一结构中包括的基本层内有I帧和P帧。然而，增强层内包含有FGS剩余(FR)帧，并连同有双向FGS(BDF)帧。应用FR帧和BDF帧两者，能够使本发明分别支持质量和时间精细颗粒可分级性两个方面。
按照本发明，BDF帧的预测来自两个时间上相邻的基本层帧。然后，对这种预测中得出的剩余应用精细颗粒编码方法进行编码。此外，对基本层帧也以精细颗粒编码方法进行编码，产生出FR帧。需着重指出，应用于编码BDF帧的FGS基方法与应用于编码FR图像的FGS基方法可以不相同，也可以相同。
上面说明的可分级结构提供出灵活性来支持在保持相同帧速率下的精细颗粒质量(也即SNR)分级，以及时间(即仅仅增大帧速率)分级，或者支持精细颗粒质量和时间分级两者。在本发明基础上支持的这些不同模式可分级性的例子，示明于图4C-4E中。
图4C中，由于BDF帧只在增强层中传输，所以实现了时间可分级。图4D中，由于FR帧只在增强层中传输，所以实现了质量(也即SNR)可分级。图4E中，由于BDF帧和FR帧都在增强层中传输，所以实现了质量可分级和时间可分级两者。
根据本发明，FGS增强层的帧速率(fEL)与基本层的帧速率(fBL)可以相同或者不相同。组合的基本层和增强层序列的总体帧速率(fT)，取决于在FGS增强层中应用的FR图像的数目(NFR)相对于增强层内总的图像的数目(NEL)，公式如下fT＝fBL+((NEL-NFR)/NEL)·fEL(1)对于图4A中所示的例子，总的帧速率(fT)是基本层帧速率的二倍，fT＝2fBL＝fEL。一般地，所提议的可分级性结构支持可变的帧速率方案，这里，基本层和/或增强层的帧速率可以随时间而变化。此外，需着重指出，虽然所产生的压缩数据流具有总的帧速率fT，但传输的数据流可以有不同的帧速率ft。例如，在图4C和图4E的例子中，传输的数据流帧速率为ft＝fT，而图4D的例子中帧速率为ft＝0.5fT＝fBL。
按照本发明的混合式时间-SNR FGS可分级结构的另一个例子，示明于图4B中，可以看到，这一结构中包括有图4A中所示例子那样相同的增强层。然而，这一结构的不同点在于，其基本层的编码中包括有I、P和B帧。
按照本发明的可分级结构还能够支持基本层上预测模式的不同变型。图4A-4B示明的例子表示出一种预测模式类别，而其它的预测模式示明于图5A-5B中。
图5A中，只支持前向预测模式，它导致一种简单的、低复杂度的视频编解码器实施法。如图中所示，这一模式产生出在增强层内的前向FGS(FWF)帧型式。图5B中，包括有反向预测模式，以在FGS层中产生出反向FGS(BWF)帧。图5C中，示明了一种反向和前向预测模式的组合。应当指出，按照本发明，也设想到了这些不同的FGS基图像型式与不同的基本层图像型式之组合。
使用了按照本发明之混合式可分级结构的一种系统例子，示明于图6中。可以看到，该系统基本上包括有视频源2、可变带宽网络6、基本层(BL)编码器8和混合式时间-SNR FGS视频编码器20。按照本发明，混合式时间-SNR FGS视频编码器20在配置上能够产生出图4A-4E和图5A-5C中所示的任一种增强层。此外，视频源2可以由任何形式的视频采集装置来实现，诸如是数字视频摄像(影)机。
从图6中可以看到，来自视频源2的未编码视频数据同时输入至BL编码器8和混合式时间-SNR FGS视频编码器20。BL编码器8应用一种标准的帧预测编码技术对一部分原始视频数据进行编码。在本发明的优选实施例中，BL编码器8可以用MPEG-1、MPEG-2或MPEG-4来实现。
BL编码器8以预定的比特率RBL压缩视频数据。本发明的优选实施例中，RBL由计算框4根据网络6的当前带宽来确定。更具体地，计算框4计量最小比特率(Rmin)、最大比特率(Rmax)和网络6的当前可用带宽(R)。然后，计算框4将RBL设定于Rmin与R之间的一个值上。
大多数情况下，计算框4将RBL设定为Rmin，以便确保即使在RBL的最低带宽下，网络43也能够适应由本发明对视频数据进行的编码。当基本层编码发生于离线状态中时，情况尤其应这样。
来自视频源2的原始视频数据和BL编码器8提供出的已编码视频数据(也即基本层)一起提供给混合编码器20内的剩余图像(RI)计算框10和运动补偿的剩余图像(MCRI)计算框24两者。RI计算框10和MCRI计算框24应用原始视频数据和已编码视频数据如下面分别所述地产生出剩余图像12和运动补偿(MC)剩余图像22。
工作期间，RI计算框10接收BL编码器8来的已编码视频数据，并随后解码此已编码视频数据。此后，根据该解码视频数据中的像素与原始视频数据中的像素之间的差值产生出剩余图像12。一般地说，剩余图像对应于基本层中的帧(它包含有解码器解码视频信号时所需的最小数目的帧和/或最小数量的数据)与原始视频数据中的帧之间的差值。
RI计算框10可以应用一种或多种不同方法的变型来产生剩余图像12。例如，可以在基本层的帧与原始视频数据的帧之间实施简单的逐像素相减运算。在这两组帧之间形成的差值(也即剩余图像)中包括有帧分解力中的差值。某些情况下，基本层中并未包括整体的原始视频数据的各帧，在剩余图像中就包括有这一些丢失帧。
剩余图像12的产生也能够借助于首先滤波已解码的视频数据，然后确定出此已滤波视频数据与原始视频数据之间的差值。这一技术的优点在于，去掉了例如在编码和解码处理中造成的已解码视频数据内的不需要杂波和其它之类的成分。本发明的优选实施例中，应用了一个去方块效应滤波器来解码视频数据，虽然，本发明并不限制于应用这种类型的滤波器。
产生剩余图像12的另一个技术中包括对已解码视频数据和原始视频数据两类数据进行滤波，然后确定出这两种类型已滤波数据之间的差值。这一技术中，对原始视频数据和已解码视频数据两者可以采用相同类型的滤波器(例如是一种去方块效应滤波器)。另一种情况，对原始视频数据和已解码视频数据可以采用不同类型的滤波器。
如上面所述，在像素城内计算出剩余图像12。例如，如果基本层编码器应用DCT变换基的编码，而增强层编码器应用小波变换基的编码，则从原始(即未变换)像素域中的原始图像(逐像素构成)上须减去基本层图像。这要求在计算剩余信号之前，需解码出基本层图像的压缩比特流而产生出它的像素域数据。这一解码处理通常发生在基本层解码器中(以便于基本层运动估值和运动补偿)，因而增强层解码器能够加以利用。然后，在对此剩余图像实施FGS编码之前，必须将得到的像素域的剩余图像变换到所需的变换域(例如小波变换域)中。
然而，如果基本层和增强层编码器两者应用相同的变换，则剩余图像12就可以在变换域(例如是DCT域或者小波域)中进行计算。此种情况下，FGS编码器可直接地对得到的变换数据进行编码(也就是，由于已经处在所需的变换域内，所以对剩余信号不需要实施任何的变换运算)。
又，工作期间，MCRI计算框24从BL编码器8中接收编码的视频数据，然后对此编码视频数据进行解码。此后，根据运动补偿方法从解码的视频数据中产生出MC剩余图像22。做到这一点时例如可以应用运动估值基方法来计算出运动补偿图像。然后，在像素域内从相应的原始图像中逐像素地减去该运动补偿图像。在由精细颗粒编码器对剩余数据进行编码之前，要先将得到的像素域剩余数据实施变换。
需着重指出，尽管剩余图像12能够在变换域中直接进行计算(例如，当基本层和增强层两者应用相同的变换时)，但MC剩余图像22是在像素域中计算出的。所以，在精细颗粒基的编码之前，必须对MC剩余图像22(像素域)作出变换(例如是DCT变换)。
混合编码器20中还包括有FGS MCRI增强层(EL)编码器26和FGS剩余图像EL编码器14。工作期间，FGS MCRI EL编码器26和FGS剩余图像EL编码器14应用一种嵌入的精细颗粒编码技术分别对MC剩余图像22和剩余图像12进行编码。
应当指出，按照本发明，对于MC剩余图像22或剩余图像12的编码。结合所提议的可分级结构可以应用任何的精细颗粒编码技术。对这两类剩余图像之每一个进行编码的主要候选方法是嵌入的DCT基机制(例如是位平面嵌入的DCT基机制)方法和嵌入的零树小波族方法。也可以应用其它的精细颗粒编码方法，诸如基于一种过完全集合变换函数的可分级匹配跟踪法，等等。此外，应当指出，对MC剩余图像22和剩余图像12的编码可以应用相同或不同的技术。
上面所述编码的结果，产生出两个增强层帧的数据流，包括一个时间增强流32和一个FGS增强流31。时间增强流32中包括MCRI EL编码器26来的压缩的FGS时间帧(也即MCRI)，FGS增强流31中包括剩余图像EL编码器14来的SNR(也即标准的FGS剩余)帧。这两个数据流31和32可以组合起来产生单一个FGS增强层流，或者可以保持为两个独立的数据流。无论哪一种情况，得到的FGS可以存储起来或者实时传输。
换句话说，类似于标准的FGS场合，在按照本发明之混合式结构的基础上，视频信号的编码(包括增强层和基本层)可以或是实时发生的(如图中所暗示)，或是在传输时间之前的离线状态下发生的。在第二种情况下，视频信号可以先存储起来，然后在以后的时间上传输(或者流送)。
然而，在上面两种编码方案的每一种里(也即或是实时编码，或是离线的非实时编码)，都包括有实时可分级视频速率控制器18，借以实时地确定出用于传输增强层帧应分配的比特率。这种分配的实现依据于计算框4、FGS速率控制器28和用户输入器30来的各个输入。实现这个分配时，视频速率控制器18利用计算框4来的输入信号R、RBL和Rmax确定出可留给传输增强层帧的可用带宽(R-RBL)。此外，FGS速率控制器28还根据输入信号R、RBL和Rmax确定出在两个增强层流31与32之间的比特率分配。此外，用户输入器32可容许用户选择其偏爱的质量和/或时间可分级。
在对传输增强层帧选定比特率之后，实时可分级视频速率控制器18便选择要传输的增强层帧部分。所选择的增强层帧部分可以是两个增强层数据流31和32中的一个，或者是它们这两者。如上面所述，此种选择也可以由用户输入器30来控制。例如，如果用户偏爱于质量可分级，则实时可分级视频速率控制器18将只是选择FGS增强流31来的帧。作出这一选择之后，实时可分级视频速率控制器18便将图像输出给可变带宽网络43，作为BL流和EL流。
图7示明用于图6中基本层编码器8和混合式时间/SNR FGS视频编码器20的一种功能性构造的例子。虽然，图7示明了根据DCT变换的编码工作，但也能够应用其它的变换(例如是小波变换)。此功能性构造表明，尽管与标准的FGS图像编码相比较，对于编码时间增强帧需要附加的计算，但这些附加的计算之实现不需要额外的复杂度开销。
在图7中可以看到，基本层编码器8中包括DCT框88、量化框90以及从原始视频数据中产生出BL流部分的熵编码器92。此外，基本层编码器8中还包括运动估值框94，它从原始视频中产生出两组运动矢量。一组运动矢量对应于基本层图像，而另一组运动矢量对应于时间增强帧。所包括的复用器104使基本层运动矢量与BL流进行复用。又包括另一个复用器106，它使运动矢量与对应的时间增强流进行复用。而且，这两个增强层流或是可以由一个可选的第三复用器108进行复用以产生出单一个数据流(它由SNR和时间FGS两者的图像组成)，或是将它们存储/传输成两个独立的数据流。
又可以看到，基本层编码器8中还包括有反量化框100、反DCT框102、运动补偿框98和帧存储器96。在计算增强层MC剩余图像时，基本层编码器8中的这些功能框都利用到了。可以看到，做到这一点，借助于在整个编解码器构造内一种新的(但简单的)数据的数据流控制。使得这种资源共享可行的事实在于，编码器决不在同一时刻同时压缩基本层帧和时间增强帧。
这一数据流控制的实现是通过功能框122、124、126、128的。例如，功能框122控制DCT框88的输出，如果在编码基本层帧，就将DCT框88的输出传送至量化框90上，如果在编码FGS增强层MC剩余图像，就将该输出传送至另一个功能框124上。
可以看到，混合式时间/SNR FGS编码器20中包括一个DCT剩余图像框110，用于存储剩余图像和MC剩余图像。剩余图像由减法器130产生，它从量化框90的输入中减去其输出。此外，MC剩余图像在功能框122的上端输出中直接产生出来。
混合编码器20中还包括有自适应量化(AQ)编码工具112，它能够应用于剩余图像和MC剩余图像两者上。作为AQ工具112的良好候选工具来说，可以是FGS MPEG-4标准中定义的那些工具，包括通过选择性增强和/或频率加权的位平面移位。
又包括有FGS熵编码框114，以对剩余图像和MC剩余图像进行编码，产生出时间增强流和FGS增强流。这个编码的实现可以根据关于图6所说明的相同的技术。可以看到，由于FGS和时间增强帧两者决不在同一时刻上进行压缩，所以编码框114能够应用于这两种类型的图像。
按照本发明的混合式时间-SNR FGS可分级结构的另一个例子，示明于图8A中。可以看到，应用了两种增强层来实现本例子中的混合式时间-SNR可分级性。在此情况下，时间层应用来为基本层实现时间增强(也就是较好的运动平滑度)，而FGS层应用来改善基本层和/或时间可分级增强层的质量(也即SNR)。
图8A的可分级结构还提供出只实现时间增强的能力、只实现SNR增强的能力、或者兼实现时间/SNR增强的能力，它们如图8B-8D中所示。图8B中，由于只传输时间层帧，所以可实现时间可分级。图8C中，由于只传输对应于基本层帧的FGS帧，所以可实现质量(也即SNR)可分级。图8D中，由于兼传输时间和FGS层帧两者，所以可实现质量和时间可分级两者。
至于图8A中的混合式时间-SNR FGS可分级结构，应当指出，也可设想其它的结构修改。例如，时间层帧并不限制于双向预测帧。按照本发明，时间层帧也能够或者仅是前向预测的或仅是反向预测的，或者是两种预测的任何组合。
按照本发明使用混合式可分级结构之系统的另一个例子，示明于图9中。此例子类似于图6的例子，但在混合式时间-SNR FGS视频编码器34上有不同。该例子中，混合式视频编码器34的配置可产生出图8A中所示的可分级结构。可以看到，混合编码器34中包括有时间EL视频编码器36和FGS EL视频编码器38。
按照此例子，时间EL视频编码器36产生出图8A中所示的时间层帧。从图9中可以看到，时间EL视频编码器36中包括有运动补偿的剩余图像计算框24和时间运动补偿的剩余图像(MCRI)EL编码器40。工作期间，运动补偿的剩余图像计算框24从视频源2中接收未缩码的视频数据，从BL编码器8中接收已编码的视频数据，以便产生出MC剩余图像22。该例子中，MC剩余图像22的产生可以按照关于图6的例子中所述的相同技术。
依然参考图9，时间MCRI EL编码器40对MC剩余图像22进行编码，产生出比特率为RTL的时间层帧42。比特率RTL是根据计算框4来的各个输入计算出的。此外，MC剩余图像22的编码，可以应用在编码运动补偿的剩余图像时的任一种编码方案，它包括MPEG-2、MPEG-4以及类似标准和编码算法中应用的各种编码方案。尤其，对于传统的时间可分级性所应用的各种编码方案(诸如在MPEG-2和MPEG-4时间可分级视频编码工具中支持的那些方案)，都是良好的候选方案。
按照此例子，FGS EL视频编码器38产生出图8A中所示的FGS层帧。从图9中可以看到，视频编码器38中包括有剩余图像计算框24和FGS剩余图像EL编码器14。工作期间，剩余图像计算框24从视频源2中接收未编码的视频数据，从BL编码器8和时间层帧42中接收已编码的数据，以便产生出剩余图像12。诸剩余图像的产生可按照关于图6例子中所述的那些技术。
FGS剩余图像EL编码器14对剩余图像12进行编码，产生出FGS增强层帧44。做到这一点可以借助于精细颗粒编码技术，诸如嵌入的位平面DCT基机制(带有可变的/嵌入的量化和传输)、嵌入的零树小波族方法、或是根据一种过完全集合变换函数的可分级匹配跟踪等。
从图9中可以进一步看到，还包括有实时可分级视频速率控制器18。工作期间，视频速率控制器18实时地接收BL流、时间EL流42和FGS EL流44。如先前的例子中那样，视频速率控制器18确定出用于传输增强层帧所应分配的比特率。例如，在BL流和时间EL流42两者来的帧都传输的场合下，比特率分配的实现可根据对于传输FGSEL流44来的帧所留给的可用带宽(R-RBL-RTL)，这是根据计算框4来的各个输入信号确定出的。
此外，视频速率控制器18还确定出，应该传输EL流42和44两者中的一个或是两个。这种确定也可以基于可用带宽和/或用户输入器30。在完成这一确定之后，视频速率控制器18将图像输出至可变带宽网络43上，作为EL流、时间EL流和FGS EL流。然而，如果不需要时间可分级性，则只需输出BL流以及FGS EL流中来的相应帧。
按照本发明使用混合式可分级结构之解码器的一个例子，示明于图10中。该例子中的解码器对应于图6的编码器。此例子中，解码器内包括一个用于解码输入的BL流的基本层解码器46，以及一个用于解码EL流的增强层解码器64。
可以看到，基本层解码器46中包含两条并行的通路。下方的通路中包括有可变长度解码器(VLD)48、反量化框50和反DCT框52。工作期间，这些单元48、50、52对BL流分别实现可变字长解码、反量化和反离散余弦变换，以在加法器58的一个输入端上产生出各个视频帧。
基本层解码器46的上方通路中也包括可变长度解码器48，还包括基本层运动合成框54。工作期间，基本层运动合成框54接收由VLD48解码出的运动矢量。该运动矢量应用来对基本层帧存储器56中存储的帧进行运动补偿，以在加法器58的另一个输入端上产生出附加的帧。
此外，在工作期间，加法器58使下方通路和上方通路来的视频帧混合起来，如图所示地在加法器58的输出端产生出BL视频。此外，加法器58的一路输出连接至基本层帧存储器56上。以暂时存储入每一个混合的BL视频帧。这将使得由基本层运动合成框54产生的各帧是基于在基本层帧存储器56内所存储入的先前各帧的。
可以看到，增强层解码器64中也包含两条并行的通路。下方的通路中包括有FGS增强层VLD 66和FGS时间增强层运动补偿框72。工作期间，VLD 66将对输入的EL流实施可变长度解码，以便向运动补偿框72供给运动矢量。该运动矢量将应用来对基本层解码器56来的BL视频帧实施运动补偿，以便在加法器74的一个输入端上产生出运动补偿的增强层帧。
增强层解码器64的上方通路中也包括VLD 66，还包括反DCT框70。这些单元66、70将对EL流分别实现可变长度解码和反离散余弦变换，以便在加法器74的另一个输入端上产生出剩余FGS增强帧。该剩余FGS增强帧中包括有对BL视频帧和运动补偿的增强层帧两者进行增强的帧。如果在编码器一侧实施了位平面移位，则在上方通路中将包括有位平面移位框68。
工作期间，加法器74的配置使下方通路来的运动补偿的增强层帧与上方通路来的相应的剩余FGS增强层帧混合起来，产生出时间增强层帧。此外，加法器74在配置上使上方通路来的、对应于BL视频帧的剩余FGS增强层帧不变化地连通到另一个加法器62上。
工作期间，加法器62使增强层解码器64和基本层解码器46两者来的帧混合起来，如图中所示地产生出一个增强的视频序列。然而，为了实现质量可分级，剩余FGS增强层帧将与基本层解码器46来的相应的BL视频帧相加。所以，如果一个对应于BL视频帧的剩余FGS增强层帧出现在加法器62的一个输入端上，则开关60应闭合，以使得两个帧混合一起。
此外，由于时间增强层帧并没有其对应的BL视频帧，所以时间增强层帧将放在增强的视频序列中不变。因此，如果时间增强层帧出现在加法器62的一个输入端上，则开关60将断开，时间增强层帧将不变化地通过加法器62。所以，在这种情况下将产生出增强的视频序列。
按照本发明使用混合式可分级结构之解码器的另一个例子，示明于图11中。该例子示明了用于混合式时间-SNR FGS解码器的相应功能框构造。类似于图7的编码器构造，时间增强帧解码的实现只有极小的复杂度开销。做到这一点是借助于在基本层解码器46与增强层解码器64之间共享运动补偿功能框116。此外，标准的SNR FGS解码通路也是共享的。虽然，时间增强帧的DCT变换可借助于基本层编码器中的DCT(图7)进行计算，但在接收机一侧，反DCT的计算应用了增强层解码器64中的反DCT框70。
可以看到，EL压缩数据流由去复用器118去复用，从编码的剩余信息中分离出运动矢量。由运动补偿框116应用那些对应于时间增强帧的运动矢量来计算时间预测帧，同时由增强层解码器64来解码和反变换压缩的剩余信息。将两个信号相加在一起以产生出时间增强帧，它们可以直接传送给显示装置。对于SNR-FGS压缩的帧，在显示工作之前必须将解码的信号相加到相应的基本层帧上。
BL压缩的数据流在去复用器120中也从编码的剩余信息中分离出运动矢量。由运动补偿框116应用那些对应于BL帧的运动矢量，根据在基本层帧存储器54中存储的解码基本层帧来实施运动补偿。
图12中示明了在其中可实现本发明的一个系统的例子。举例来说，该系统可以代表电视机、机顶盒、桌面计算机、膝上计算机、掌上计算机、个人数字助理(PDA)以及视频/图像存储装置，诸如是盒式录像机(VCR)、数字视频记录器(DVR)和TiVO装置等，并可以是这些和其它装置中的一些部分或者它们的组合体。该系统中包括一个或多个视频源76、一个或多个输入/输出装置78、一个处理器82和一个存储器84。
视频/图像源76可以代表例如是电视接收机、VCR或其它的视频/图像存储装置。视频/图像源76也可以代表从一种或多种服务器上接收视频的一种或多种网络连接，服务器连接的网络例如是因特网之类的全球计算机通信网、广域网、城域网、局域网、地面广播系统、有线电视网、卫星网、无线网或电话网，以及这些或其它类型网络中的一些部分或者它们的组合体。
输入/输出装置78、处理器82和存储器84通过通信媒体80进行通信。通信媒体80可以代表例如是一个总线、一个通信网、一个电路的一路或多路内部连接、电路卡或其它装置，以及这些和其它通信媒体中的一些部分或者它们的组合体。由视频/图像源76来的输入视频数据按照存储器84中存储的一个或多个软件程序进行处理，由处理器82予以执行，以便产生出供给显示装置86的输出视频/图像信号。
一个优选实施例中，按照本发明使用混合式可分级结构的编码和解码，由系统执行的计算机可读码予以实现。该可读码可以存储在存储器84中，或者从诸如CD-ROM或软盘之类的存储媒体中读出/下载。在另外的实例中，本发明的实现可以由硬件电路来取代软件指令，或者是硬件电路结合以一些软件指令。例如，图6-7和图9-11中所示的部件也可以用分立的硬件部件来实现。
虽然，上面针对特定的例子已经说明了本发明，但可以知道，本发明的本意并不约束或限制于这里公开的示例。例如，本发明并不限制于任何特定的编码策略帧类型或概率分布。相反地，本发明意于覆盖所附的权利要求书的精神实质和范畴内所包括的各种结构及其修改。
权利要求
1.一种对视频数据进行编码的方法，包含有步骤对一部分视频数据进行编码以产生出基本层帧；从视频数据和基本层帧中产生出运动补偿的剩余图像；以及应用一种精细颗粒编码技术对该运动补偿的剩余图像进行编码，以产生出时间增强帧。
2.权利要求1的方法，还包括通过一个可变带宽网络传输出基本层帧和部分时间增强帧。
3.权利要求2的方法，还包括有确定出网络的可用带宽；以及根据该可用带宽选择出要传输的部分时间增强帧。
4.按照权利要求1的方法，还包括有从视频数据和基本层帧中产生出剩余图像；以及应用一种精细颗粒编码技术对该剩余图像进行编码，产生出质量增强帧。
5.权利要求4的方法，还包括将时间增强帧和质量增强帧组合入一个增强层中。
6.权利要求4的方法，还包括通过一个可变带宽网络传输出基本层帧和部分时间增强帧，以及质量增强帧。
7.权利要求6的方法，还包括有确定出网络的可用带宽；以及根据该可用带宽选择出要传输的部分时间增强帧以及质量增强帧。
8.一种对视频数据进行编码的方法，包含有步骤对视频数据的一部分进行编码，产生出基本层帧；从视频数据和基本层帧中产生出运动补偿的剩余图像；对运动补偿的剩余图像进行编码，产生出时间增强帧；从视频数据、基本层帧和时间增强帧中产生出剩余图像；以及应用一种精细颗粒编码技术对该剩余图像进行编码，产生出质量增强帧。
9.权利要求8的方法，其中，时间增强帧形成一个时间增强层，质量增强帧形成一个质量增强层。
10.一种对包括有基本层和增强层的视频信号进行解码的方法，包含有步骤解码基本层以产生出视频帧；解码增强层以产生出运动矢量；按照运动矢量对视频帧实施运动补偿，以产生出附加的视频帧；以及将视频帧和附加视频帧组合起来，以形成一个视频序列。
11.权利要求10的方法，还包括有解码增强层以产生出增强的视频帧；以及将每一个增强的视频帧相加到视频帧和附加视频帧之一上。
12.一种包括有用于编码视频数据的代码的存储媒体，代码中包含有一种编码一部分视频数据的代码，以产生出基本层帧；一种代码，以从视频数据和基本层帧中产生出运动补偿的剩余图像；以及一种代码，应用一种精细颗粒编码技术对运动补偿的剩余图像进行编码，以产生出时间增强帧。
13.一种包括有用于编码视频数据的代码的存储媒体，代码中包含有一种编码一部分视频数据的代码，以产生出基本层帧；一种代码，以从视频数据和基本层帧中产生出运动补偿的剩余图像；一种代码，对运动补偿的剩余图像进行编码，以产生出时间增强帧；一种代码，从视频数据、基本层帧和时间增强帧中产生出剩余图像；以及一种代码，应用一种精细颗粒编码技术对剩余图像进行编码，以产生出质量增强帧。
14.一种包括有用于解码视频信号的代码的存储媒体，该视频信号中包括有基本层和增强层，代码中包含有一种代码，解码基本层以产生出视频帧；一种代码，解码增强层以产生出运动矢量；一种代码，按照运动矢量对视频帧实施运动补偿，以产生出附加的视频帧；以及一种代码，将视频帧和附加的视频帧组合起来，以形成一个视频序列。
15.一种用于编码视频数据的装置，包含有对一部分视频数据进行编码以产生出基本层帧用的装置；从视频数据和基本层帧中产生出运动补偿的剩余图像用的装置；以及应用一种精细颗粒编码技术对运动补偿的剩余图像进行编码以产生出时间增强帧用的装置。
16.一种用于编码视频数据的装置，包含有用于编码一部分视频数据以产生出基本层帧用的装置；从视频数据和基本层帧中产生出运动补偿的剩余图像用的装置；对运动补偿的剩余图像进行编码以产生出时间增强帧用的装置；从视频数据、基本层帧和时间增强帧中产生出剩余图像用的装置；以及应用一种精细颗粒编码技术对该剩余图像进行编码以产生出质量增强帧用的装置。
17.一种用于解码视频信号的装置，视频信号中包括有基本层和增强层，该装置中包含有步骤对基本层进行解码以产生出视频帧的装置；对增强层进行解码以产生出运动矢量的装置；按照该运动矢量对视频帧实施运动补偿以产生出附加的视频帧的装置；以及将视频帧和附加的视频帧组合起来以形成一个视频序列的装置。
全文摘要
本发明涉及包括有质量可分级和时间可分级两者的一种精细颗粒编码技术。做到这一点是利用了一种混合式时间/SNR可分级结构,它能够方便地适应于精细颗粒编码技术。这种结构的一个例子中,时间增强帧和FGS增强帧两者包括在单一个增强层内。另一个例子中,应用了两种不同的增强层来实现混合式时间－SNR可分级。这两个层包括一个时间可分级层和一个FGS层,前者可对基本层实现时间增强(也即较好的运动平滑度),后者用来改善基本层和/或时间可分级增强层的质量(也即SNR)。
文档编号H04N7/50GK1355995SQ00805311
公开日2002年6月26日 申请日期2000年11月2日 优先权日1999年11月23日
发明者H·拉达, Y·陈, M·范德沙尔 申请人:皇家菲利浦电子有限公司