专利名称：对视频重叠区域进行跳跃解码的方法和系统的制作方法
技术领域：
本发明一般涉及视频处理，更特别地，涉及一种有效地对视频重叠区域进行跳跃解码而不会遭受任何质量损失的方法和系统。
随着新的基于视频的技术进入市场，具备先进数字处理特征(例如画中画)的系统变得更加值得期待。此外，随着例如基于万维网和基于无线电的视频通信技术的出现，有效地处理编码的视频数据的能力变得格外关键。
在利用具有图像间编码的编码视频的系统中，例如MPEG-2、MPEG-4、H.263、H.26L和H.263++，视频数据的解码被认为是在计算上非常密集的处理。当使用先进的处理特征，例如画中画时，由于必须解码和处理多个视频数据流，或者必须处理诸如网页浏览的应用程序，所以进一步加剧了系统对计算的需求。因为典型的解码环境(例如，一个视频电话)要求在尽可能接近实时的最小延迟内进行解码，所以解决解码器的计算要求一直是种挑战。为了实现具有这种先进能力的视频系统，系统中必需包括一个能提供必须数量的计算带宽的处理器，或者包括一些减少处理开销的装置。
不幸地是，提供具备大量计算带宽的处理器显著地提高了系统的成本。其它减少处理开销的选择通常要求降低视频质量以便实现先进的特点。尽管在一定的环境中可以接受对视频质量的少许降低，但是尽可能的提供最高质量的视频图像总是更好的。因此，需要一种能够在计算上有效的方式提供先进视频特征但不会引起视频图像退化的技术。
本发明通过识别在重叠区域的可跳过范围，提供一种减少计算复杂度的系统和方法，从而解决上述问题以及其它的问题。在第一方面，本发明提供一种处理编码视频数据的最优化系统，包括一个帧分析系统，确定具有重叠区域的当前视频帧是否充当对未来的视频帧的参考；以及一个识别重叠区域的可跳过范围的系统。
在第二方面，本发明提供一种存储在可记录介质中的程序产品，在其执行时处理编码视频数据，该程序产品包括确定具有重叠区域的当前视频帧是否充当未来视频帧的参考的装置；以及识别重叠区域的可跳过范围的装置。
在第三方面，本发明提供一种处理编码视频数据的方法，该方法包括以下步骤确定具有重叠区域的当前视频帧是否充当未来视频帧的参考；以及识别重叠区域的可跳过范围。
下文中将结合附图对本发明示范性的实施例进行描述，其中相同的标识表示相同的元件
图1描述根据本发明的实施例处理在压缩视频图像中的重叠区域的系统框图。
图2描述具有重叠区域的图像流。
图3描述在基于运动矢量范围数据而确定的参考图像中的预测图像和被跳过的范围。
图4描述在基于预测帧的实际运动矢量而确定的参考图像中的预测图像和被跳过的范围。
图5描述具有重叠区域跳过能力的解码器。
本发明描述一种通过跳过对视频的重叠区域或者隐藏区域的处理，有效地减少解码压缩视频所必需的处理量的方法和系统。本发明以不影响对其它图像或者对当前图像的其它部分的正常处理的方式执行，因此，在不降低当前图像或者视频质量的情况下实现了所希望的处理减少。在此描述的方法和系统能够应用于所有基于视频压缩方法(例如，MPEG-2、MPEG-4、H.263、等等)的预测。
对于具有图像间编码的压缩视频(其可以依靠其它的已解码图像进行图像的解码)，简单地跳过重叠区域的解码可能导致预测误差。这种预测误差接着将导致一种不能被接受的视频质量。利用本发明，视频解码仅仅跳过已标识的没有相关性的重叠区域范围(也就是，不依赖于已跳过的范围就可以对其它图像进行正确的解码)。因此，本发明的一方面是在不影响视频质量和对视频的其它的部分正确解码的情况下识别在一个视频中可以被跳过的重叠区域部分。
现在参考附图，图1描述一种处理在图像流38中的具有重叠区域36的当前图像34的重叠区域处理系统(“处理系统”)10。特别地，处理系统10通过识别在重叠区域36中不必被处理的可跳过范围40来优化对具有重叠区域的图像的处理(例如，解码)。处理系统10可以包括一个帧分析系统12、一个运动矢量分析系统20、一个辅助信息分析系统26和一个可跳过范围识别系统13。执行帧分析、运动矢量分析和/或辅助信息分析系统12、20、26可以确定参考当前图像34的未来帧的相关性。
一旦确定了相关性，可跳过范围识别系统13识别和/或输出可以被跳过的重叠区域36的部分40，在一些情况中，如以下所描述的，可以跳过当前图像34的整个重叠区域36，在其它情况中，只能够跳过重叠区域36的一部分。
已知的图像间编码方案，例如MPEG-2，包含不会被参考的图像。帧分析系统12基于图像类型或者图像序列来识别这些图像。当识别到这些图像的其中一个时，可以跳过整个重叠区域。其重叠区域可以被跳过的图像的实例包括(1)MPEG-1、MPEG-2，H.263、H.26L、H.263++、MPEG-4和其它基于预测的视频压缩方法中的B(双向)图像；(2)独立的I(内部)图像；(3)GOP(图像组)中最后的P(预测的)图像(如果相同的GOP中没有后续的B图像)；(4)GOP(图像组)中最后的P(预测的)图像(如果GOP在只使用反向预测的相同GOP中有后续的B图像)。为了识别这些图像，帧分析系统12包括一个用于识别B图像(情况1)的B-帧识别模块14，和一个用于识别满足情况2-4要求的图像/图像序列的图像序列识别模块16。
图像序列识别模块16检查图像类型以及图像序列，以确定该图像是否充当其它图像的参考帧。例如，图2描述一种在其中能够确定某些图像不能充当参考帧的图像序列。特别地，基于上述的标准，B-图像，第一P-图像和最后I-图像不充当参考。因此，这些图像的重叠区域不能充当其它图像的参考帧，任何发生在这些图像中的误差或者失真被抑制并且不会波及其它的图像。因此，能够在对当前图像和后续图像的视频质量都没有任何影响的情况下跳过重叠区域的整个部分。
本发明还认为即使当前图像充当解码其它图像的参考，仍然会在不影响对其它图像的精确解码的情况下跳过对重叠区域一部分的处理。图3描述了参考帧R与从帧R运动预测的帧P之间的内部相关性。因为帧P依靠于帧R，所以R的重叠区域不能被完全地跳过。那么，问题是识别R中在不影响解码帧P的情况下可以被跳过的重叠区域部分。运动矢量分析系统20提供两种可能的机制，即使当前图像充当解码其它图像的参考，也可识别可以被跳过的重叠区域36中的范围40。第一机制22利用运动矢量范围数据来识别可跳过范围，第二机制24利用实际运动矢量或者宏块数据来确定当前帧中可以被跳过的宏块。
参考图3，更详细地描述使用运动矢量范围的第一机制22的实现。假设R中的重叠区域是在(x1，y1)和(x2，y2)之间的矩形区域，帧P的运动矢量范围是(mx，my)，意味着运动预测不能够超过在P的每个宏块中以(mx，my)为边界的区域。在帧R中可以被跳过的区域是(x1，y1)～(x2，y2)的子区域，被描述为(x1+mx，y1+my)～(x2-mx，y2-my)。可以通过在图像编码扩展中传递的f代码获得运动矢量范围。所有在已检查帧中的运动矢量必须属于该范围。因此，一旦解码在一个帧的最开始处的图像编码扩展，就可得到运动矢量范围。如果从帧R预测有多个帧，仅由这些多个帧确定的可跳过区域的交叉组，或者重叠可以被跳过。计算这些交叉组的过程是多重相关性分析系统33。
在图4中描述使用实际运动矢量的第二机制24的实现。图4包括分别具有重叠区域42和44的参考帧R和预测的帧P。在这个实例中，因为P还包括一个重叠区域44，所关心的是重叠区域44的宏块外界45是否参考位于帧R的重叠区域42之内的数据或者预测宏块。因此，对于帧P的重叠区域44的每个宏块外界45来说，通过使用帧P中的实际运动矢量，可以在帧R中找到与其对应的预测宏块。在图4所示的实例中，宏块范围46被看作是一个不包括帧P的任何预测宏块的范围。因此，可跳过的范围48可以作为宏块范围46(不包括任何预测宏块)和重叠区域42的重叠进行计算。因此，可跳过的范围48包括该重叠区域减去已在当前视频帧的重叠区域中识别的预测宏块。仍然必须处理存在于重叠区域(例如，范围50)中的任何预测宏块。
关于由运动矢量分析系统20提供的两种机制，应当注意，如果图像P随后充当其它图像的参考，则其本身可以被跳过的区域同样由相同的程序确定，该区域很可能将会小于重叠区域，也就是第一种情况的(x1，y1)～(x2，y2)。
参考图5，描述一种示范性的MPEG-2解码器52。解码器52包括各种能够结合重叠区域处理系统(OAPS)10以减少计算复杂度的操作。特别地，OAPS10可以应用于一种或者多种反向扫描，反向量化，逆DCT(或者例如小波的其它转换)，运动补偿和残留添加。
实现本发明的细节取决于在输入压缩视频位流38中承载的信息类型。有三种情况I.没有辅助信息的视频位流和没有延迟的解码(除了位缓冲施加的标准延迟之外)。
在这种情况中，解码器在解码帧R时不知道在帧P使用的运动矢量范围或者实际的运动矢量。因此，解码器只能跳过解码B图像中的重叠区域。
II.没有辅助信息的视频位流，但除了跳过如“方案I”的区域之外还以附加延迟解码。
这里，解码器能够“预先估计”并获得后续帧的信息。可跳过区域的类型取决于在后续帧中可得到的信息类型。可跳过区域的类型取决于解码器获得的信息的类型A.后续图像的图像类型。
解码器使用这个信息来确定当前的图像(如不是B)是否为任何未来帧的参考。例如，如果下一个帧是I或者P，那么当前图像不是参考图像，整个重叠区域可以被跳过。然而，如果下一个图像是P图像，并且不能得到任何更详细的信息，则解码器必须解码整个当前帧。
B.后续图像的图像类型和运动矢量信息除了子情况IIA，即使当前图像是一个其它帧的参考，解码器也能够有选择地跳过一些区域。从对当前帧预测的帧的运动矢量范围或者实际运动矢量的“预先估计”中得到的信息可以如“可跳过区域”情形B的描述而被利用，以确定在当前帧中的可跳过区域。
III.具有辅助信息的视频位流如果视频位流承载的辅助信息类似于在情况II中通过“预先估计”得到的辅助信息，解码器在没有施加额外的延迟或者检查后续图像的情况下，能够执行与使用(辅助信息分析系统26)的情况II中描述的操作相似的操作。
应当理解，在此描述的系统、功能、机制、方法和模块能够以硬件、软件或者硬件软件结合的方式实现。它们可以被任何一种类型的计算机系统或者其它适合于执行在此描述的方法的设备所实现。一种典型的软硬件结合是具有计算机程序的通用计算机系统，当加载或者执行该程序时，该计算机程序控制计算机系统使其能够执行在此描述的方法。可选择地，可以使用一个包括能够执行一个或者多个本发明功能任务的专用硬件的专用的计算机。本发明还能够被嵌入计算机程序产品中，该计算机程序产品包括所有能够实现在此描述的方法和功能的特征并且当将其加载到计算机系统中时能够执行这些方法和功能。在当前上下文中的计算机程序、软件程序、程序、程序产品或者软件意味着以任何语言，代码或者符号表示的指令组的表达式，该指令组打算使一个具有信息处理能力的系统直接地或者在下列一项或两项之后执行一种特殊功能(a)变换为另外的语言、代码或者符号；和/或(b)以不同的材料形式复制。
在前的对本发明优选实施例的描述已经以说明和描述的目的提出。但是它们并不是无遗漏的或将本发明限制为已公开的精确的形式，根据上述教导可能出现许多明显的修改和变化。这些对本领域的技术人员来说是显而易见的修改和变化打算被包含在被附属的权利要求所定义的本发明的范围之内。
权利要求
1.一种处理编码视频数据(38)的最优化系统10，包括帧分析系统(12)，其确定具有重叠区域(36)的当前视频帧(34)是否充当未来视频帧的参考；以及识别在重叠区域(36)中的可跳过范围(40)的系统(13)。
2.如权利要求1所述的最优化系统，其中帧分析系统(12)检查当前视频帧(34)的图像类型，并且如果当前视频帧(34)包括一个B图像，那么识别系统(13)认为整个重叠区域是可跳过范围(40)。
3.如权利要求1所述的最优化系统，其中帧分析系统(12)检查视频帧序列，其中如果视频帧序列中没有可以充当参考帧的视频帧，那么识别系统(13)认为整个重叠区域是可跳过范围(40)。
4.如权利要求1所述的最优化系统，还包括计算当前视频帧(34)的运动矢量范围的运动矢量分析系统(20)。
5.如权利要求4所述的最优化系统，其中可跳过范围(40)包括重叠区域减去由运动矢量范围定义的区域。
6.如权利要求1所述的最优化系统，还包括运动矢量分析系统(20)，其检查在参考当前视频帧(34)的预测帧中的运动矢量，以便识别在当前视频帧(34)的重叠区域中的预测宏块。
7.如权利要求6所述的最优化系统，其中可跳过范围(40)包括重叠区域减去在当前视频帧(34)的重叠区域中识别的预测宏块。
8.如权利要求6所述的最优化系统，其中预测帧包括重叠区域，并且运动矢量分析系统(20)不检查在预测帧重叠区域中的运动矢量。
9.如权利要求1所述的最优化系统，还包括检查编码视频数据中的辅助信息的系统(26)。
10.如权利要求1所述的最优化系统，其中帧分析系统(12)确定参考当前视频帧(34)的多个预测帧；其中识别系统(13)识别多个可跳过的范围；以及其中最后的可跳过范围被确定为每个被识别的可跳过范围的交叉组。
11.如权利要求1所述的最优化系统，还包括一个解码编码的视频数据(38)的解码器(52)。
12.如权利要求11所述的最优化系统，其中解码器(52)的部件利用可跳过范围(40)以减少计算复杂度。
13.如权利要求12所述的最优化系统，其中从包含反向扫描/反向量化系统、逆离散余弦变换系统、运动补偿系统和残留相加系统的组中选择部件。
14.一种存储在可记录介质中的程序产品，当执行该程序产品时处理编码视频数据(38)，该程序产品包括确定具有重叠区域(36)的当前视频帧(34)是否充当对未来视频帧的参考的装置(12)；以及识别在重叠区域(36)中的可跳过范围(40)的装置(13)。
15.如权利要求14所述的程序产品，还包括计算参考当前视频帧(34)的预测帧的运动矢量范围的装置(22)。
16.如权利要求15所述的程序产品，其中可跳过范围(40)包括重叠区域(36)减去由运动矢量范围所定义的区域。
17.如权利要求14所述的程序产品，还包括检查在参考当前视频帧(34)的预测帧中的运动矢量(24)，以识别当前视频帧(34)中的预测宏块的装置。
18.如权利要求17所述的程序产品，其中可跳过范围(40)包括重叠区域(36)减去在重叠区域(36)中识别的被识别的预测宏块。
19.如权利要求14所述的程序产品，还包括检查在编码视频帧数据(38)中的辅助信息的装置(26)。
20.一种处理编码视频数据的方法，包括步骤确定具有重叠区域(36)的当前视频帧(34)是否充当未来视频帧的参考；以及识别在重叠区域(36)中的可跳过范围(40)。
21.如权利要求20所述的方法，其中识别步骤包括步骤计算参考当前视频帧(34)的预测帧的运动矢量范围；以及将可跳过范围(40)识别为包括重叠区域(36)减去由运动矢量范围所定义的区域。
22.如权利要求20所述的方法，其中识别步骤包括步骤检查在参考当前视频帧(34)的预测帧中的运动矢量，以识别在当前视频帧(34)中的预测宏块；以及将可跳过范围(40)识别为包括重叠区域(36)减去在重叠区域(36)中被识别的预测宏块。
23.如权利要求20所述的方法，其中确定步骤包括步骤检查在编码视频数据(38)中的辅助信息。
24.如权利要求20所述的方法，其中识别步骤包括步骤检查在编码视频数据(38)中的辅助信息。
全文摘要
一种通过在一个重叠区域识别可跳过范围来减少解码器计算复杂度的系统和方法。本发明提供一种处理编码视频数据的系统，包括一个分析系统，其确定具有重叠区域的当前视频帧是否充当未来视频帧的参考；和识别重叠区域中的可跳过范围的系统。本发明还包括一个基于运动矢量或者运动矢量范围的分析将重叠区域的一部分识别为可跳过的系统。
文档编号H03M7/36GK1572117SQ02820676
公开日2005年1月26日 申请日期2002年10月14日 优先权日2001年10月19日
发明者陈迎卫, 彭少敏, 蓝泽华, 钟准 申请人:皇家飞利浦电子股份有限公司