专利名称：在运动补偿精细颗粒可伸缩结构中的漂移最小化的制作方法
技术领域：
本发明涉及可伸缩视频编码，更具体讲，涉及用于在低比特率时使在利用加强层中的运动补偿的运动补偿精细颗粒可伸缩编码方案中的预测飘移最小的方法和设备。该方法和设备利用在运动补偿精细颗粒可伸缩编码方案与精细颗粒可伸缩视频编码方案之间进行切换的基于运动的切换技术使预测漂移最小。
背景技术：
可伸缩视频编码方案已经被用于对通过具有可变带宽的计算机网络如互联网发送的视频进行压缩。一类众所周知的可伸缩视频编码方案是精细颗粒可伸缩(FGS)编码。ISO MPEG-4标准已经将FGS视频编码方案采用为用于MPEG-4流式视频简档的核心视频编码方法。
如图1所示，FGS视频编码方案，以下称为FGS，包括基于预测的按照比特率RBL编码的基层10和使用精细颗粒可伸缩(或嵌入)编码方案编码为最大比特率REL的一个单独的加强层11。
由于图1的FGS视频编码方案在加强层11中不使用运动补偿，因此它是非常灵活的。因此，可以根据可用带宽，按照传输时间截取加强层的每个帧。但是，在加强层11中缺少运动补偿降低了视频的图像质量。
图2示出了一种改进的FGS编码方案，它在加强层中使用了运动补偿，以便提高视频的图像质量。在由受让人于2001年6月22日提交的，序列号为09/887756的，标题为SINGLE-LOOP MOTION-COMPENSATION FINE GRANULAR SCALABLITY的美国专利申请中描述了这种改进的FGS编码方案，以下称为MC-FGS视频编码，这里将其披露的全文引为参考。
图2的MC-FGS视频编码方案还包括基于预测的按照比特率Rb编码的基层20和使用精细颗粒可伸缩(或嵌入)编码方案编码为最大比特率Re的一个单独的加强层21。但是，与其中根据基层I和P参考帧对P和B基层帧进行预测的FGS编码方案不同，在进行基层编码期间，根据运动补偿“扩展的”或“加强的”基层I和P参考帧(以下称为扩展的基层参考帧)对MC-FGS编码方案的基层20的P和B帧进行预测。每个运动补偿扩展基层参考帧包括来自标准基层参考帧的数据、来自至少一部分相关的加强层参考帧的数据(可以使用一个或多个位平面或者相关的加强层参考帧的部分位平面)，以及运动估算数据。
图3通过图示比较了FGS和MC-FGS视频编码方案的性能。如图所示，在比特率较高时，即在图3中比特率超过大约280kbit/s，MC-FGS视频编码方案具有比FGS视频编码方案更高的峰值信噪比(PSNR)值(PSNR每个帧的质量的量度)。但是，在比特率较低时，即在图3中比特率低于大约280kbit/s，由于在MC-FGS编码方案中引入了预测漂移，因此，FGS视频编码方案优于MC-FGS编码方案。这种漂移是由于在对基层的P和B帧进行运动补偿预测的过程中使用了加强层的帧数据而引起的。由于加强层的帧数据只是在比特率大于RBL时在解码器可用，因此在这个加强层的数据不可用的较低比特率时，在MC-FGS编码方案中将出现预测漂移。
因此，需要一种在低比特率时具有降低的预测漂移的MC-FGS视频编码方案。
发明内容
本发明指向在加强层中利用运动补偿的精细颗粒可伸缩视频编码方案中使低比特率的预测漂移最小。本发明包括至少在部分视频中测量运动活动性；确定测量的运动活动性是否低于预定阈值；如果测量的运动活动性低于预定阈值，则用在加强层中利用运动补偿的精细颗粒可伸缩视频编码方案对该部分视频进行编码；以及，如果测量的运动活动性超过预定阈值，则用在加强层中不使用运动补偿的精细颗粒可伸缩编码方案对该部分视频进行编码。
当考虑到下面要结合附图进行详细描述的典型实施例时，本发明的优点、特征以及各种附加性能将体现得更加充分，在所有附图中，相同的标号表示相同的要素图1示出了FGS视频编码方案；图2示出了MC-FGS视频编码方案；图3为比较FGS和MC-FGS视频编码方案的性能的曲线图；图4示出了说明本发明的切换方法的流程图；图5示出了引入了本发明的预测漂移减少原理的典型MC-FGS编码器40的框图；图6为将使用本发明的预测漂移减少原理的MC-FGS编码方案的性能与FGS编码方案的性能进行比较的曲线图；并且图7示出了可以用于实施本发明的原理的系统的典型实施例。
具体实施例方式
在本发明中，如在前面提到的序列号为09/887756的美国专利申请中所披露的，通过在MC-FGS编码与FGS编码之间进行切换，使在保留高比特率时该编码方案的高编码效率的同时，MC-FGS视频编码方案中低比特率的预测漂移最小。切换是按照主题视频序列或其一部分中的运动活动性的大小进行的。这种基于运动的切换方法来源于对MC-FGS和FGS视频编码的四个观测。第一观测是在高比特率时的高运动视频序列中，MC-FGS视频编码只是略优于FGS视频编码。第二观测是在低比特率时的高运动视频序列中，MC-FGS具有明显的预测漂移。第三观测是在高比特率时的低运动视频序列中，MC-FGS视频编码基本上优于FGS视频编码。第四以及最后的观测是在低比特率时的低运动视频序列中，MC-FGS表现出可以接受的预测漂移。因此在本发明中，将FGS视频编码用于高运动活动性视频序列或其一部分，将MC-FGS视频编码用于包括低运动活动性的视频序列或其一部分。
图4示出了说明本发明的切换方法的流程图。在框30，测量一个视频的部分或者全部序列中的运动活动性的大小。可以利用在基层计算的运动矢量或者运动信息数据确定运动活动性。在框31，判断在框30中测量的运动活动性的大小是否低于预定阈值。如果在框30中测量的运动活动性的大小低于预定阈值，则在框32中利用MC-FGS视频编码方案。如果在框30中测量的运动活动性的大小高于预定阈值，则在框33中利用FGS视频编码方案。
图5示出了引入本发明的预测漂移减小原理的典型MC-FGS编码器40的框图。MC-FGS编码器40被构成为根据在视频序列或者其一部分中检测的运动活动性的大小，按照MC-FGS模式或者按照FGS模式运行。图中示出的编码器40包括基层编码器41和加强层编码器42。
基层编码器41包括一个运动估算器43，用于根据存储在帧存储器60中的原始视频序列和参考帧生成运动信息(运动矢量和预测模式)。将这个运动信息施加到运动补偿器44上，该运动补偿器44在MC-FGS视频编码模式中利用运动信息和存储在帧存储器60中的扩展的基层I和P参考帧生成运动补偿扩展基层I和P参考帧Ref(i)。在FGS视频编码模式中，运动补偿器44利用运动信息和存储在帧存储器60中的标准的基层I和P参考帧，生成运动补偿基层I和P参考帧Ref(i)。第一减法器45从原始视频序列中减去运动补偿扩展基层I和P参考帧Ref(i)(MC-FGS模式)或者运动补偿标准基层I和P参考帧Ref(i)(FGS模式)，从而生成基层P和B帧的运动补偿剩余量MCR(i)。(如本领域已知的，由于不对I帧进行运动补偿，因此没有涉及I帧的减法。)由离散余弦变换(DCT)编码器46、量化器47和熵编码器48对基层P和B帧和I帧的运动补偿剩余量进行处理，生成基层的I帧、P帧和B帧，它们构成了压缩的基层流的一部分。还将由运动估算器43生成的运动信息施加到多路复用器49上，多路复用器49将运动信息与基层的I帧、P帧和B帧相结合，使经过压缩的基层流完整。由逆量化器50对在量化器47的输出端生成的基层的I、P和B帧的经过量化的运动补偿剩余量MCR(i)进行反量化，然后由逆DCT解码器51进行解码。这个处理在逆DCT 51的输出端生成基层的I、P和B帧的运动补偿剩余量的经过量化/反量化的版本MCRQ(i)。
加强层编码器42包括第二减法器53，它通过第一帧流量控制装置59接收来自基层编码器41的，基层I、P和B帧的运动补偿和量化/反量化的剩余量。第二减法器53从对应的基层I、P和B帧的运动补偿剩余量MCR(i)中减去基层I、P和B帧的量化/反量化运动补偿的剩余量MCRQ(i)，生成差分I、P和B帧剩余量。由FGS编码器54或者能够进行精细颗粒可伸缩编码的任何其它编码器对第二减法器53的输出进行精细颗粒可伸缩编码。FGS编码器54可以使用常规的DCT编码，再加上常规的位平面DCT扫描和常规的熵编码，生成I、P和B加强层帧的压缩加强层流。
掩膜装置55重新使用由运动估算器43生成的运动信息，并且执行在图4中示出的方法。如果运动活动性的等级指示选择MC-FGS模式，则掩膜装置55获得通过第二帧流量控制装置62有选择性地接收的经过可伸缩编码的I和P加强层帧的一个或多个经过编码的位平面，并且将该数据提供给第一加法器56的第一输入端57。基层I和P帧的运动补偿剩余量的量化/反量化的版本MCRQ(i)由第一帧流动控制装置59路由到第一加法器56的第二输入端58。第一加法器56通过将经过可伸缩编码的I和P加强层帧的一个或多个经过编码的位平面与相应的基层I和P帧的量化/反量化运动补偿剩余量MCRQ(i)相加，生成加强层I和P参考帧。将由第一加法器56输出的加强层I和P参考帧引导到第二加法器52。第二加法器52对加强层I和P参考帧与运动补偿参考帧Ref(i)求和，从而生成新的运动补偿扩展基层I和P参考帧，新的运动补偿扩展基层I和P参考帧被存储在帧存储器60中并且如前面描述被用于预测基层的P和B帧。
如果运动活动性的等级指示选择FGS模式，则掩膜装置55将经过可伸缩编码的I和P加强层帧的未经过编码的位平面提供给第一加法器56的第一输入端57。但是，基层I和P帧的运动补偿剩余量的量化/反量化版本MCRQ(i)由第一帧流动控制装置59路由到第一加法器56的第二输入端58，第一加法器56将该数据传递给第二加法器52。第二加法器52对基层I和P帧的运动补偿剩余量MCRQ(i)与运动补偿参考帧Ref(i)求和，从而生成新的运动补偿基层I和P参考帧，新的运动补偿基层I和P参考帧被存储在帧存储器60中并且被用于预测基层的P和B帧。
图6用图形比较了使用本发明的预测漂移减少原理的MC-FGS编码方案与FGS编码方案的性能。如图所示，当比特率超过大约200kbit/s时，具有预测漂移的MC-FGS视频编码方案具有比FGS视频编码方案更高的PSNR值。
图7示出了可以使用体现本发明的原理的编码器的系统200的典型实施例。系统200可以表示电视机、机顶盒、台式计算机、膝上或掌上计算机、个人数字助理(PDA)、视频/图像存储设备如盒式磁带录像机(VCR)、数字录像机(DVR)和TiVO设备等，以及这些和其它设备的一部分或组合。系统200包括一个或多个视频/图像源201、一个或多个输入/输出设备202、一个处理器203和一个存储器204。例如，视频/图像源201可以表示电视接收机、VCR或其他视频/图像存储设备。或者，源201可以表示用于通过例如环球计算机通信网络如互联网、宽域网、城域网、局域网、陆地广播系统、有线网、卫星网络、无线网或电话网以及这些和其它类型的网络的部分或组合从一个或多个服务器接收视频的一个或多个网络连接。
输入/输出设备202、处理器203和存储器204可以通过通信介质205进行通信。例如，通信介质205可以表示总线、通信网络、电路的一个或多个内部连接、电路卡或其它设备，以及这些和其它通信媒介的部分或组合。按照存储在存储器204中的一个或多个软件程序对来自源201的输入视频数据进行处理并且由处理器203执行，以便生成提供给显示设备206的输出视频/图像。
在优选实施例中，可以通过由系统执行的计算机可读代码实现本发明的编码原理。该代码可以存储在存储器204中，或者从存储器介质如CD-ROM或软盘读出/下载。在其它实施例中，可以代替或结合软件指令，利用硬件电路来实现本发明。例如，也可以将在图5中示出的元件实现为分立的硬件元件。
尽管已经根据特定的实施例描述了本发明，但是应该理解，不是要将本发明局限于或限定于这里所披露的实施例。例如，可以使用除了DCT以外的其它变换，包括但不限于小波(wavelets)或匹配追赶(matching-pursuits)。认为这些和所有其它这样的修改和变化应该在所附权利要求的范围以内。
权利要求
1.一种方法，用于使在加强层中利用运动补偿的精细颗粒可伸缩视频编码方案中的预测漂移最小化，该方法包括测量(30)在一个视频的至少一部分中的运动活动性；确定(31)测量的运动活动性是否低于预定阈值；如果测量的运动活动性低于预定阈值，则用在加强层中利用运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码(32)；并且如果测量的运动活动性高于预定阈值，则用加强层中不利用运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码(33)。
2.如权利要求1所述的方法，其中，用在基层编码期间计算的运动数据进行所述测量步骤(30)。
3.一种设备(40)，用于对视频编码，该设备包括用于测量在一个视频的至少一部分中的运动活动性的装置(55)；用于确定测量的运动活动性是否低于预定阈值的装置(55)；用于如果测量的运动活动性低于预定阈值，则用在加强层中利用运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码的装置(55)；以及用于如果测量的运动活动性高于预定阈值，则用在加强层中不利用运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码的装置(55)。
4.如权利要求3所述的设备，其中，所述测量装置(55)使用在基层编码期间计算的运动数据。
5.一种方法，用于对视频编码，该方法包括测量(30)在视频的至少一部分中的运动活动性；确定(31)测量的运动活动性是否低于预定阈值；如果测量的运动活动性低于预定阈值，则用在加强层中利用运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码(32)；并且如果测量的运动活动性高于预定阈值，则用在加强层中不利用运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码(33)。
6.如权利要求5所述的方法，其中，用在基层编码期间计算的运动数据进行所述测量步骤。
7.一种存储器介质，用于对视频编码，该存储器介质包括用于测量在视频的至少一部分中的运动活动性的代码(30)；用于确定测量的运动活动性是否低于预定阈值的代码(31)；用于如果测量的运动活动性低于预定阈值，则用在加强层中利用运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码的代码(32)；以及用于如果测量的运动活动性高于预定阈值，则用在加强层中不利用运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码的代码(33)。
8.如权利要求7所述的存储器介质，其中，用于测量运动活动性的所述代码(30)使用在基层编码期间计算的运动数据。
9.一种编码数据信号，该信号通过如下步骤产生测量(30)在一个视频的至少一部分中的运动活动性；确定(31)测量的运动活动性是否低于预定阈值；如果测量的运动活动性低于预定阈值，则用在加强层中利用运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码(32)；并且如果测量的运动活动性高于预定阈值，则用在加强层中不利用运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码(33)。
全文摘要
一种方法和设备，用于在低比特率时，使利用加强层中的运动补偿的精细颗粒可伸缩视频编码方案中的预测漂移最小。该方法和设备测量在视频的至少一部分中的运动活动性；确定测量的运动活动性是否低于预定阈值；如果测量的运动活动性低于预定阈值，则用利用加强层中的运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码；并且，如果测量的运动活动性高于预定阈值，则用不利用加强层中的运动补偿的精细颗粒可伸缩视频编码方案对该部分视频编码。
文档编号H03M7/36GK1656814SQ03804331
公开日2005年8月17日 申请日期2003年2月5日 优先权日2002年2月21日
发明者M·范德沙尔 申请人:皇家飞利浦电子股份有限公司