专利名称：用于具有嵌入的重新定尺寸的mpeg解码的交织活动区域的检测和适当的内插的制作方法
背景技术：
本发明总的涉及视频压缩，更具体地，涉及具有嵌入的重新定尺寸的MPEG解码，包括检测和内插在交织的视频中的活动区域，以便消除在输出视频中的不规则性。
引入离散余弦变换(DCT)和运动预测的视频压缩是在多个国际标准(诸如MPEG-1，MPEG-2，MPEG-4，和H.262)中采用的技术。在各种DCT/运动预测视频编码方案中间，MPEG-2是在DVD、卫星DTV广播、和用于数字电视的美国ATSC标准中最广泛使用的。
在某些应用中，希望以比接收到的更小的分辨率显示解码的视频。例如，在高清晰度电视(HDTV)应用中，对具有高清晰度(HD)能力和标准清晰度(SD)格式输出的低成本MPEG解码器有增长的兴趣。
在以上的应用中，MPEG-2解码器被配置成包括按比例缩小器(downscaler)，以便把HD的分辨率减小到SD格式。这种按比例缩小在解码环路外部地或内部地执行。然而，希望在解码环路中内部地嵌入按比例缩小，以便减小对于执行解码所需要的存储器和计算功率。
具有嵌入的重新定尺寸的MPEG-2解码器的一个例子被示于
图1。如图所示，解码器包括由可变长度解码器(VLD)2、逆扫描和逆量化(ISIQ)单元4、和4×4逆离散余弦变换(IDCT)单元6组成的第一路径。还包括由VLD 2、按比例缩小器10和1/4象素运动补偿单元12组成的第二路径。还包括加法器8，它组合第一和第二路径的输出，产生输出视频。
在运行期间，第一路径2，4，6产生内部编码的帧和残余误差帧，以及第二路径2，10，12通过对被存储在帧存储器14中的参考帧执行运动补偿而产生运动补偿的残余帧。
具体地，按比例缩小器10把运动矢量按比例缩小到第一路径的减小的分辨率。由于这个按比例缩小，运动矢量现在具有1/4象素分辨率。这意味着，当执行运动补偿时，能够从参考帧检索非整数象素位置，诸如，“1/4”、“1/2”或“3/4”象素位置。
而且，1/4象素MC单元12然后按照解码的运动矢量从被存储在帧存储器14中的参考帧检索数据。如果运动矢量(MV)是整数值，则MC单元12将只检索在由MV表示的象素位置处开始的象素值。如果MV不是整数值，则MC单元12将检索在与由MV表示的象素位置相邻的整数象素位置处的象素值，以及执行内插，计算在非整数象素位置处的象素值。由这种内插得出的象素值是相应于非整数MV的实际的数据。
还应当指出，MPEG-2支持交织的视频。因此，在解码器一侧，执行场MC或帧MC，取决于在编码器一侧进行的哪种MC。从图2可以看到，在场MC的情形下，来自每个场的数据被分开地获取，然后被交织到数据块中。在帧MC的情形下，来自两个场的交织的数据同时被获取。
发明概要本发明涉及用于解码交织的视频帧的方法。该方法包括按比例缩小运动矢量，以便产生减小的分辨率的运动矢量。另外，检测在交织的视频参考帧中的活动区域和修正减小的分辨率的运动矢量，以便产生修正的运动矢量。而且，按照修正的运动矢量，从交织的视频参考帧中检索象素值。
本发明还涉及解码器。解码器包括用于产生残余误差帧的第一路径和用于产生运动补偿的残余帧的第二路径。
还包括加法器，用于组合残余误差帧和运动补偿的残余帧。
第二路径包括按比例缩小器，用于产生减小的分辨率的运动矢量。第二路径还包括运动补偿单元，用于检测交织的视频参考帧中的活动区域、产生修正的运动矢量、和按照修正的运动矢量从交织的视频参考帧中检索象素值。
附图简述现在参照附图，在所有图上，相同的数字表示相应的部件图1是具有嵌入的重新定尺寸的MPEG-2解码器的方框图；图2是表示场运动补偿与帧运动补偿之间的差别的图；图3是在具有嵌入的重新定尺寸的MPEG解码中可能出现的不规则性的例子；
图4是按照本发明的、具有嵌入的重新定尺寸的MPEG-2解码器的一个例子；图5是按照本发明的、检测和内插在交织的视频中的活动区域的一个例子的流程图；图6是表示按照本发明的、用于修正MV的一个事例的图；图7是表示按照本发明的、用于修正MV的另一个事例的图；图8是表示按照本发明的、用于修正MV的再一个事例的图；图9是表示在交织的视频中的活动区域的数据块的一个例子；图10是按照本发明的、用于检测在交织的视频中的活动区域的伪代码的一个例子；以及图11是按照本发明的一个系统的一个例子的方框图。
详细描述如前所述，具有嵌入的重新定尺寸的MPEG-2解码是对于其中解码的视频的输出分辨率要求被减小的应用的合乎需要的配置。具体地，这种配置是合乎需要的，因为比起外部缩放来说，它减小解码时所需要的存储器和计算功率。
然而，嵌入的重新定尺寸需要运动补偿以减小的分辨率被执行。
在某些情形下，以减小的分辨率执行运动补偿并不存在问题。然而，如果执行帧MC，则在输出视频中可能出现不规则性。这样的不规则性的一个例子示于图3。正如在这个例子中可看到的，输出视频包括多个不规则性，被称为交织块人造物15。这些不规则性15与在作为用于执行运动补偿的参考帧被使用的交织的视频帧中的运动有关。
具体地，在包括运动的交织的视频帧的区域中，在两个场之间出现突然的颜色差别。这变换成在这些活动区域中两个场的象素值之间的大的差别。在帧MC的情形下，如果被解码的运动矢量不是整数，则需要在两个场的象素之间的内插。由于在具有嵌入的重新定尺寸的MPEG-2解码时该运动矢量被按比例缩小，这使得在执行内插时其中的一个象素被过加权。因此，这种过加权是图3所示的交织块的人造物15的一个原因。在没有运动的区域中，不会出现这样的不规则性，因为在相应的区域的象素值之间只有小的差别。
为了避免这种过加权问题，解码器被配置成把所有非整数运动矢量舍入到最接近的1/2象素。然而，发现这不是好的解决办法，因为它在没有运动的区域中造成问题。为了避免这些问题，本发明针对具有嵌入的重新定尺寸的MPEG解码，包括检测和内插交织的视频中的活动区域。
图4上示出按照本发明的、具有嵌入的重新定尺寸的MPEG-2解码器的一个例子。如图所示，按照本发明的解码器，除了1/4象素MC单元16以外，是与图1的相同的。和图1上一样，解码器包括用于产生内部编码的帧和残余误差帧的第一路径2，4，6和用于产生运动补偿的残余帧的第二路径2，10，16。还包括加法器8，用于组合第一和第二路径的输出来产生输出视频。
另外，在运行期间，按比例缩小器10把运动矢量缩放到第一路径的减小的分辨率。然而，本发明的不同点在于，1/4象素MC单元16用来在执行运动补偿时检测和内插活动区域。
1/4象素MC单元16如何运行的一个例子示于图5。在这个例子中，1/4象素MC单元16在宏块级上处理视频序列。因此，步骤18-32是对于每个宏块执行的，直至在被处理的视频序列中没有留下宏块为止。正如可以看到的，在步骤18，确定对于每个宏块是否已执行帧MC。这是通过检验每个宏块的标题而完成的。在MPEG-2中，宏块标题包括一个区，表示在编码器一侧执行的是场MC还是帧MC。
在步骤18，如果确定对于特定的宏块没有执行帧MC，则方法跳到步骤30，以通常的方式从参考帧中检索数据。正如前面描述的，交织块的人造物只由于帧MC的结果才出现。替换地，如果在步骤18中帧MC已被执行，则方法将进到步骤20。
在步骤20，检测每个宏块的MV是否指向交织的视频参考帧中的活动区域。如前所述，正是这些活动区域的内插造成交织块的人造物。为了检测活动区域，在每个运动矢量所指向的参考帧的区域上，计算两个场之间的差值。如果差值很小，则该区域不是活动区域，以及方法跳到步骤30，以通常的方式检索数据。如果差值是大的，则该区域是活动区域，方法将进到步骤22。
在步骤22，检验相应于参考帧的活动区域的每个运动矢量(MV)的垂直分量的数值。这时，应当指出，MV的分辨率已被按比例缩小到解码器的第一路径的分辨率。取决于它的数值，在三种情形的一种情形下，运动矢量(MV)的垂直分量将被修正，以便消除交织块的人造物。
如果MV包括“1/4”或“3/4”象素位置，则方法进到步骤26(情形2)。在步骤26，“1/4”或“3/4”位置的MV将被改变到“1/2”位置。例如，MV＝1.25被改变为“1.5”数值，或MV＝3.75被改变为“3.5”数值。为了说明这种情形，图6表示在减小的分辨率(a)和完全分辨率(b)的情形下的一列象素。每个条表示整个或子象素位置。条的高度表示象素的幅度。
在完全分辨率6(b)中，MV指向“1/2”象素位置，因此两个交织的场被平均，导致在两个场之间进行内插后获取的“平坦的”象素值。在减小的分辨率6(a)中，由于按比例缩小，1/2象素MV已被减小到“1/4”象素MV。因此，在两个场之间进行内插后，被检索的象素值在减小的分辨率下不是“平坦的”。这是因为在执行内插时给予接近于由MV指示的象素位置的象素更多的加权。为了得到相同的“平坦的”象素值，必须与在完全分辨率时一样，给予每个场相等的加权。在本例中，这是通过把“1/4”或“3/4”的MV改变到“1/2”数值而完成的。
回过来参考图5，如果MV指向1/2象素位置，则方法进到步骤28(情形3)。在步骤28，“1/2”位置的MV被改变到最接近的奇数整数位置。例如，MV＝1.5被改变到“1”，或MV＝3.5被改变到“3”。为了说明这种情形，图7示出在减小的分辨率(a)和完全分辨率(b)的情形下的一列象素。
在完全分辨率7(b)中，MV指向在底部场中的象素，以及象素值以颠倒的场的次序被检索。在减小的分辨率7(a)中，由于按比例缩小，MV现在指向“1/2”象素位置。因此，在两个场之间进行内插，这导致被检索的象素值是两个场的平均值。然而，与在完全分辨率时一样，象素值应当以颠倒的场的次序被检索。在本例中，这是通过把“1/2”的MV改变到“1”的数值而完成的。
如果MV是奇数整数，方法将进到步骤24(情形1)。在步骤24，奇数整数MV将被改变到最接近的偶数整数位置。例如，如果MV＝3，则它被改变到“2”或“4”。为了说明这种情形，图8示出在减小的分辨率(a)和完全分辨率(b)的情形下的一列象素。
在完全分辨率8(b)中，MV＝2以及指向在顶部场中的象素。因此，在完全分辨率的情形下，象素值以前向次序被检索。在减小的分辨率8(a)中，由于按比例缩小，MV＝1，以及指向底部场中的象素。然而，这是不正确的，因为与在完全分辨率时一样，象素值应当从顶部场开始被检索。在本例中，这是通过把“1”的MV改变到“0”或“2”的数值而完成的。
回过来参考图5，在三种情形24，26，28之一的情形下修正MV以后，方法将进到步骤30。在步骤30，来自参考帧的数据将按照在三种情形之一的情形下修正的MV被检索，正如以上描述的。因为MV已被修正，这样，数据将类似于完全分辨率那样被检索，得到的输出视频不应当包括任何交织的块的人造物。
在执行步骤30后，方法将进到步骤32，查明是否序列的结尾。如果还有宏块要处理，则方法将循环回到步骤18，以及重复上述的步骤。如果没有宏块留下，则方法将进到步骤34以及停止。
在图5的步骤20，检测每个宏块的MV是否指向交织的视频参考帧中的活动区域。如前所述，这是通过计算在由每个MV所指向的区域处的两个场之间的差值而完成的。表示活动区域的数据块的例子示于图8。在这个块中，深色的行表示顶部场，而浅色的行表示底部场。正如可以看到的，在这两个场之间有突然的颜色改变。所以，通过取两个场之间的差值，将产生大的数值，指示这个特定的区域是活动区域。
用于执行步骤20的伪代码的一个例子示于图9。在第一行，变量“diff”初始地被设置为零。在第四行，计算在数据块的两个场之间的差值。正如可以看到的，在两个场的相邻的象素(j，j+1)之间的差值，对于在第2行选择的数据块的每列(i)被计算和被积累。应当指出，所取的差值不是绝对差。还应当指出，在第2行选择的列(i)越多，得到的检测结果越精确。然而，为了减小计算量，在第2行可选择有限数目的列(i)。例如，可以只选择第一列，最后一列和中间的或每第三列(i)，来执行这个检测。
在第五行，差值(diff)被平均。这是必须的，以便把差值(diff)按比例缩放到第六行的门限值。在本例中，平均值是通过把差值(diff)除以所选择的列数和在每列中的象素对的数目(h/2)而被计算的。
在第六行，差值的绝对值abs(diff)与门限值进行比较。在本例中，门限值是一对象素之间的差值，诸如二十(20)。如果abs(diff)超过门限值，则这表示已检测到活动区域。如果abs(diff)没有超过门限值，则这表示没有检测到活动区域。
图11上示出其中可以实施包括按照本发明的、检测和内插交织的视频中的活动区域的MPEG解码的系统的一个例子。例如，该系统可表示电视机，机顶盒，台式计算机，膝上或掌上电脑，个人数字助理(PDA)，视频/图象贮存设备，诸如盒式录像机(VCR)，数字录像机(DVR)，TiVO装置等等，以及这些和其他设备的一部分或组合。系统包括一个或多个视频源36，一个或多个输入/输出设备44，处理器38和存储器40。
视频/图象源36可表示例如电视接收机，VCR或其他视频/图象贮存设备。替换地，源36可表示一个或多个网络连接，用于从服务器或通过全球计算机通信网，诸如互联网，广域网，城域网，局域网，地面广播系统，有线网，卫星网，无线网，或电话网，以及这些和其他类型的网络的一部分或组合，从服务器接收视频。
输入/输出设备44，处理器38和存储器40通过通信媒体46进行通信。通信媒体可表示例如总线，通信网，电路、电路卡或其他设备的一个或多个内部连接，以及这些和其他通信媒体的一部分和组合。来自源36的输入视频数据按照被存储在存储器40中和由处理器38执行的一个或多个软件程序被处理，以便产生输出的视频/图象，提供到显示设备42。
在一个实施例中，图4的解码是通过由系统执行的、计算机可读出的代码被实施的。代码可被存储在存储器40中，或从存储器媒体，诸如CD-ROM或软盘，被读出/下载。在其它实施例中，可以使用硬件电路，代替软件指令或与之相组合，来实施本发明。
虽然上面通过特定的例子描述了本发明，但将会看到，本发明并不打算被约束或被限于这里揭示的例子。例如，本发明是通过使用MPEG框架被描述的。然而，应当指出，这里描述的概念和方法也可应用于任何DCT/运动预测方案，以及在更一般的意义上，其中允许不同的从属关系间的图象类型的任何基于帧的视频压缩方案。所以，本发明打算覆盖被包括在附属权利要求的精神和范围内的本发明的各种结构和修正。
权利要求
1.用于解码交织视频帧的方法，该方法包括以下步骤-按比例缩小运动矢量，以便产生减小的分辨率的运动矢量；-检测交织的视频参考帧中的活动区域；-修正减小的分辨率的运动矢量，以便产生修正的运动矢量；以及-按照修正的运动矢量，以便从交织的视频参考帧中检索象素值。
2.权利要求1的方法，其中减小的分辨率的运动矢量被修正，以使得在执行内插时，来自每个场的象素被给予相等的加权因子。
3.权利要求1的方法，其中减小的分辨率的运动矢量被修正，以使得象素值按正确的场次序被检索。
4.权利要求1的方法，其中减小的分辨率的运动矢量的垂直分量通过把奇数整数改变到最接近的偶数整数而被修正。
5.权利要求1的方法，其中减小的分辨率的运动矢量的垂直分量通过把“1/4”象素位置改变到“1/2”象素位置而被修正。
6.权利要求1的方法，其中减小的分辨率的运动矢量的垂直分量通过把“3/4”象素位置改变到“1/2”象素位置而被修正。
7.权利要求1的方法，其中减小的分辨率的运动矢量的垂直分量通过把“1/2”象素位置改变到最接近的奇数整数位置而被修正。
8.权利要求1的方法，还包括确定帧运动补偿是否对于视频序列的每个宏块被执行。
9.权利要求1的方法，其中检测在交织的视频参考帧中的活动区域包括计算在相应于运动矢量的交织的视频参考帧的区域处两个场之间的差值；以及把两个场之间的差值与预定的门限值进行比较。
10.权利要求9的方法，其两个场之间的差值是通过积累在交织的视频参考帧的区域的至少一列中两个场的相邻的象素之间的差值而被计算的；存储器媒体包括用于解码交织的视频帧的代码，所述代码包括用于按比例缩小运动矢量以产生减小的分辨率的运动矢量的代码；用于检测在交织的视频参考帧中的活动区域的代码；用于修正减小的分辨率的运动矢量以产生修正的运动矢量的代码；以及用于按照修正的运动矢量从交织的视频参考帧中检索象素值的代码。
11.解码器，包括用于产生残余误差帧的第一路径；用于产生运动补偿的残余帧的第二路径；以及加法器，用于组合残余误差帧和运动补偿的残余帧；其中第二路径包括按比例缩小器，用于产生减小的分辨率的运动矢量；运动补偿单元，用于检测在交织的视频参考帧中的活动区域，产生修正的运动矢量和按照该修正的运动矢量从交织的视频参考帧中检索象素值。
全文摘要
本发明涉及具有嵌入的重新定尺寸的MPEG解码，包括检测和内插交织的视频中的活动区域，以便消除输出视频中的不规则性。按照本发明，解码包括按比例缩小运动矢量。还包括，检测交织的视频参考帧中的活动区域和修正减小了分辨率的运动矢量。并且还包括，按照修正的运动矢量，从交织的视频参考帧中检索象素值。
文档编号G06T9/00GK1465185SQ02802269
公开日2003年12月31日 申请日期2002年4月23日 优先权日2001年5月1日
发明者Z·钟, Y·陈, T·-H·蓝 申请人:皇家菲利浦电子有限公司