专利名称：在压缩运动图像专家组视频位流上执行擦除的方法和装置的制作方法
关于联邦资助的研究和开发项目的政府许可权利美国政府具有关于本发明的付费许可权和在特定环境下要求专利拥有人根据由国家标准技术局签署的第70NANB5H1171号合同的条款所规定的合理情况下许可他人的权利。
参考文献NIST HDTV演播室系统要求文献，1996年3月8日的修订版3.0；MPEG-2(运动图像专家组)视频(ISO 13818-2)和MPEG-2音频(ISO13818-1)的MPEG-2规范标准。
背景技术：
a.发明领域本发明涉及数字信号处理，具体涉及一种在压缩的MPEG视频上执行擦除功能的方法和装置。
b.现有技术描述擦除功能是一种很常见的视频切换效果。擦除功能需要在几个帧的过程中在两个和更多的视频源之间逐步进行切换。目前有几种可以进行擦除的方法。一种擦除方法是水平擦除，其中利用需要数帧来完成的擦除操作将第一视频源替换成第二视频源。另一种较复杂的擦除方法是圆形擦除。在圆形擦除方法中，新的视频源或第二视频源以原始的视频源或第一视频源内的小圆形区域开始，然后逐步以变大的圆形区域逐帧替换第一视频源。
擦除功能是在电视演播室中的制作切换器(production switcher)的功能之一。在数字演播室架构中，例如在NIST ATP高清晰度广播技术项目中，制作切换器对最低层为MPEG-2格式的视频流进行处理。虽然这些视频流可以封装成ATM(异步传输模式)单元，这些单元由在最低层具有基于块的DCT(离散余弦变换)系数的MPEG-2视频位流组成。
在演播室环境中处理这些MPEG-2视频位流的一个期望目标是，能够在不离开压缩(MPEG)域的情况下处理视频数据。
因此，本发明的一个目的是提供一种用于实现压缩视频位流处理的方法和装置。
本发明的另一个目的是提供一种在特别是MPEG视频位流的压缩视频位流上执行擦除功能的方法和装置。
本发明的另一个目的是提供一种在特别是全部由I帧组成的MPEG视频位流上执行任何复杂度的擦除功能的方法和装置。
发明概述本发明是一种处理诸如MPEG-2视频位流的压缩数字视频位流以在显示设备上实现擦除功能的方法和装置，其中整个处理全部在压缩域中完成。在演播室中的制作切换器中使用这种擦除功能。
分别对每个输入的压缩位流进行部分解码以获得基于块的DCT系数、帧信息和诸如片和宏块头标的高级信息。可寻址存储器保存用于各种擦除函数的DCT系数。压缩位流的基于块的DCT系数和所选擦除函数的DCT系数被提供给二维卷积电路，其中对这两组DCT系数进行卷积运算。每个卷积的位流与其量化值一起被缓存并相加。然后，将相加后的位流输出与原始宏块头标进行多路复用。多路复用器的输出是实现擦除序列的压缩MPEG视频位流。与可寻址存储器和多路复用器连接的控制器提供用于实现所选擦除功能的所需控制功能。
最好是，将输入压缩位流的帧信息传送给可寻址存储器，并且控制器利用该帧信息来对齐输入位流帧和擦除功能位流帧。
附图的简要说明为了能够详细了解实现本发明的上述目的、特征和优点的方法，下面将参照附图更具体地说明上面概述的本发明的实施例。附图中
图1A是在当前视频位流上执行的一半圆形擦除功能的帧的一般表示；图1B是在新的视频位流上执行的另一半圆形擦除功能的帧的一般表示，该表示与图1A的表示互补；以及图2是实现本发明原理的方框图。
然而，应注意，附图仅示出了本发明的一个一般实施例，并且由于本发明还可以有其它的等效实施例，所以不应认为附图是对本发明范围的限制。
发明的详细说明在图1A中，示出了视频序列A的一个帧，它一般由标号10来表示。在图1B中，示出了视频序列B的一个相关帧，它一般由标号16来表示。将互补圆形擦除功能分别应用于视频序列A和B，以便在显示设备上实现单一的视频擦除序列。应理解，虽然图1A和图1B描述的是圆形擦除序列，但是可以利用本发明的原理实现任何类型的擦除功能。因此，所实现的擦除序列可以是多边形、水平或垂直擦除、或任何复杂的模式。在擦除功能中，新视频数据一般逐帧顺序地替换旧视频数据。图1A和图1B示出的是在擦除序列中旧视频数据和新视频数据的逐帧变化，而不是显示设备上的实际显示。如下所述，在显示设备上得到的视频显示(擦除序列)是图1A和图1B所示的视频数据之间的卷积或组合序列。
图1A示出的是要被替换的旧视频序列，而图1B示出的是新的替换视频序列。在图1A中，由标号12所指定的区域显示或表示旧视频数据，而圆形区域14表示旧视频数据的空白区或消隐区。随着擦除序列的执行，圆形区域14逐渐变大直至完全充满区域12。以这种方式，被擦除的部分14替换了旧视频数据。在图1B中，由标号20所指定的圆形区域显示或表示新视频数据，而区域18表示新视频数据的空白区或消隐区。
在时域上，图1A的视频序列所采用的擦除函数等效于将旧视频序列乘以这样的函数，该函数在视频区12中的象素位置上的系数为1.0，在圆形区域14中的象素位置上的系数为0.0。换句话说，在没有被“擦除”的旧视频序列上，各象素保留它们的值，因为1.0乘以象素值等于象素值。在被“擦除”的旧视频序列上，各象素值等于0.0乘以象素值，因此为0.0。图1B的视频序列所采用的擦除函数等效于将新视频序列乘以这样的函数，该函数在圆形区域20中的象素位置上的系数为1.0，在区域18中的象素位置上的系数为0.0。因此，在圆形区域20中，新视频数据具有新视频序列的象素值，因为1.0乘以象素值等于象素值，而在象素值等于0.0乘以象素值的区域中，象素值将等于0.0。
应理解，虽然上述的本发明的擦除序列为单独的序列，但是它们同时执行以获得总体的擦除效果。换句话说，图1A和图1B的两个序列相加以形成单一的序列，并且随着圆圈逐帧变大，图1B的序列将逐渐充满显示器直至新视频序列完全替换旧视频序列。所采用的两种擦除函数互补，即若一个具有系数1.0，另一个就具有系数0.0，或相反。
在对象素块由DCT系数来表示的MPEG-2位流的处理中，本发明的一个方面是对DCT系数进行运算，而不是从DCT域转换到象素值域然后在处理之后返回到DCT域。还假定了在所有要切换的序列中全部为I帧。现在参照图2，它示出了本发明原理的方框图22。假定在对序列A(圆圈外的系数值为1.0，而圆圈内的系数值为0.0)进行运算的具体擦除函数中，逐帧逐块地进行DCT处理，并保存DCT系数。在与上述擦除函数互补的对序列B进行运算的擦除函数中执行相同的处理过程，并保存DCT系数。如果擦除处理要执行例如二十(20)帧，则序列A的擦除函数将有二十(20)帧的基于块的DCT系数，序列B的擦除函数也将有二十(20)帧的基于块的DCT系数。然而，在每一帧中，会有许多块完全处于象素系数全为1.0或0.0的区域中。全部处于系数为1.0的区域中的象素块的DCT系数全部由DC项组成，而全部处于系数为0.0的区域中的象素块的DCT系数为零。具有AC系数的象素块将是那些在象素域中具有1.0和0.0两种象素系数的象素块。根据象素块内的1.0和0.0系数的实际分布，每种具有唯一1.0和0.0系数分布的象素块的DCT系数是不同的。如果具体的擦除模式已知，例如在15个帧上进行圆形擦除，就已知序列A擦除函数的所有帧和互补的序列B擦除函数的所有帧的所有DCT系数，因此可以保存在存储器中。于是，对于任何类型的擦除函数来说，如圆形擦除函数、水平擦除函数、垂直擦除函数、多边形擦除函数等等，可以预定并保存序列A和互补的序列B的擦除函数在数个规定帧上的DCT系数，以便用来对各个视频序列进行运算。
由于在时域上擦除序列等效于将序列A乘以其擦除函数并且将序列B乘以其擦除函数再对它们求和，所以就等效于对DCT系数进行卷积运算。
现在参照图2，它示出了实现本发明原理的方框图。序列A的视频位流(任意的先前或当前显示的视频位流或序列)通过输入端24进入部分MPEG解码器和缓冲器25。部分MPEG解码器和缓冲器25将输入序列A的位流解码成它的基于块的DCT系数，并将输入序列A位流的基于块的DCT系数通过线路26传送到二维(2D)卷积电路(卷积器)28。MPEG解码器和缓冲器25还解码用于处理块的量化值并将其通过线路29传送到量化控制电路30。另外，MPEG解码器和缓冲器25将高层信息(片和宏块头标信息)通过线路31传送到输出多路复用器32，并将帧信息通过线路33传送到存储设备34。在解码器25上需要具有一定的缓冲功能，以使解码器和缓冲器25与存储器34输出的位流能够在卷积电路28上逐块对齐。存储器34输出的DCT系数通过线路27传送到卷积器28。存储设备34还保存所有的序列A的每种擦除函数的DCT系数，而不管该擦除函数是图1A和图1B所示的圆形擦除函数，还是诸如垂直或水平擦除函数的其它擦除函数。所选的具体擦除函数的DCT系数保存在存储设备34中，部分MPEG解码器和缓冲器25可以通过线路33来访问该系数。
由通过线路35与存储设备34连接的控制器36控制序列A的处理。在将多路复用器32的输出位流通过多路复用器输出60在制作切换器(未示出)中进行计时记录的期间，由控制器36提供用于访问所选擦除函数的DCT系数的所需信号。控制器36还必须跟踪要进行切换、卷积和求和的两个(或多个)位流。因此，控制器36必须利用具体输入位流的帧信息来对齐位流，控制器36还利用该信息通过控制线37来控制多路复用器32的输出。为此，控制器36要访问从解码器和缓冲器25接收并在存储器34中保存的帧信息。所保存的由用户选择的具体擦除函数的DCT系数被输入给控制器36，并经线路27与来自MPEG解码器和缓冲器25的基于块的DCT系数一起传送给2D卷积器28。这一步骤只在同一块(当然还有其互补块)中包含有1.0和0.0这两种系数时才有意义。在序列A擦除函数的具有1.0和0.0两种系数的混合象素域系数块中，将具有其自身的非零项多至64个的DCT系数集合。这些DCT系数集合需要与相应视频流中的适当象素块的DCT块系数进行卷积。可以采用的一种卷积技术如重叠相加(overlap-add)或重叠保存(overlap-save)方法。此外，在卷积过程中，为了正确使用各个块量化矩阵，必须采用合适的定标因数。
2D卷积器28将其通过线路26从解码器和缓冲器25接收的序列A的基于块的DCT系数，与通过线路27接收自存储器34的所选擦除函数的DCT系数相卷积。2D卷积器28通过线路38向缓冲器39发送卷积后的位流。量化控制器30通过线路40将从解码器和缓冲器25接收的输入量化值发送到缓冲器39，以便在求和之前对卷积后的位流进行定标。
与处理序列A的方式相似，序列B的视频位流(任意的新视频位流或序列)通过输入端43进入部分MPEG解码器和缓冲器44。部分MPEG解码器和缓冲器44将输入序列B的位流解码成它的基于块的DCT系数，并将输入序列B位流的基于块的DCT系数通过线路45传送到二维(2D)卷积电路(卷积器)46。MPEG解码器和缓冲器44还解码用于处理块的量化值并将其通过线路47传送到量化控制电路30。另外，MPEG解码器和缓冲器44将高层信息(片和宏块头标信息)通过线路51传送到输出多路复用器32，并将帧信息通过线路56传送到存储设备48。在解码器44上需要具有一定的缓冲功能，以使解码器和缓冲器44与存储器48输出的位流能够在卷积电路46上逐块对齐。存储器48输出的DCT系数通过线路50传送到卷积器46。存储设备48还保存所有的序列B的每种擦除函数的DCT系数，而不管该擦除函数是图1A和图1B所示的圆形擦除函数，还是诸如垂直或水平擦除函数的其它擦除函数。所选的具体擦除函数的DCT系数保存在存储设备48中，部分MPEG解码器和缓冲器44可以通过线路56来访问该系数。
由通过线路49与存储设备48连接的控制器36控制序列B的处理。在将多路复用器32的输出位流通过多路复用器输出60在制作切换器(未示出)中进行计时记录的期间，由控制器36提供用于访问所选擦除函数的DCT系数的所需信号。控制器36还必须跟踪要进行切换、卷积和求和的两个(或多个)位流。因此，控制器36必须利用具体输入位流的帧信息来对齐位流，控制器36还利用该信息通过控制线37来控制多路复用器32的输出。为此，控制器36要访问从解码器和缓冲器44接收并在存储器48中保存的帧信息。所保存的由用户选择的具体擦除函数的DCT系数被输入给控制器36，并经线路50与来自MPEG解码器和缓冲器44的基于块的DCT系数一起传送给2D卷积器46。这一步骤只在同一块(当然还有其互补块)中包含有1.0和0.0这两种系数时才有意义。在序列B擦除函数的具有1.0和0.0两种系数的混合象素域系数块中，将具有其自身的非零项多至64个的DCT系数集合。这些DCT系数集合需要与相应视频流中的适当象素块的DCT块系数进行卷积。可以采用的一种卷积技术如重叠相加或重叠保存方法。此外，在卷积过程中，为了正确使用各个块量化矩阵，必须采用合适的定标因数。
2D卷积器46将其通过线路45从解码器和缓冲器44接收的序列B的基于块的DCT系数，与通过线路50接收自存储器48的所选擦除函数的DCT系数相卷积。2D卷积器46通过线路52向缓冲器54发送卷积后的位流。量化控制器30通过线路53将从解码器和缓冲器44接收的输入量化值发送到缓冲器54，以便在求和之前对卷积后的位流进行定标。
在求和器41中对缓冲器39和54的输出求和。求和器41的输出55是最终的象素块DCT系数。然后，在控制器36的控制下，通过输出多路复用器32再将这些DCT系数组合到位流中。多路复用器32根据来自所保存的系数部分的控制信息来传送序列A或序列B。在序列A的擦除函数的象素系数均为1.0(这意味着序列B的系数为0.0)的区域中，最终输出的位流将是序列A。在序列B的擦除函数的象素系数均为1.0(这意味着序列A的系数为0.0)的区域中，最终输出将是序列B。在擦除函数具有1.0和0.0两种象素系数的混合区域中，最终输出的位流将是序列A和B的组合。在最后一种情况中，控制电路必须对宏块头标中的信息进行判断组合，以形成有效的MPEG-2位流。
本发明容易进行一般化处理，以使序列A和B的擦除函数具有不只是1.0和0.0的其它不同系数。在上述的实施例中，擦除函数只具有1.0和0.0的DCT系数，旧视频数据将被消隐并被新视频数据替换。然而，擦除函数的DCT系数值可以不为1.0和0.0，例如，在一个擦除函数中的DCT系数值为X，另一个为1.0-X。因此，还可以实现除“消隐和替换”以外的其它擦除效果。在一个擦除函数在一个完整的帧上均为一个常数值并在几个帧的过程中线性变化的情况下，所实现的效果被称为“渐隐”。
从上面的说明中可以明显看出，本发明可适用于任何数量输入位流。将对每个输入位流进行相同的处理，并且最终由输出多路复用器对各个处理后的位流求和并控制它们。
权利要求
1.一种利用第一和第二压缩视频位流来产生一个擦除序列位流的方法，所述方法包括下列步骤a.对第一压缩视频位流进行部分解码，以获得其基于块的DCT系数；b.为预定的擦除函数设置DCT系数；c.将第一压缩视频位流的基于块的DCT系数与所述预定擦除函数的所述DCT系数相卷积，以获得第一卷积视频位流；d.对第二压缩视频位流进行部分解码，以获得其基于块的DCT系数；e.为所述预定擦除函数的一个互补擦除函数设置DCT系数；f.将第二压缩视频位流的基于块的DCT系数与所述预定擦除函数的所述互补擦除函数的所述DCT系数相卷积，以获得第二卷积视频位流；以及g.对第一和第二卷积视频位流求和，以获得一个输出压缩视频位流。
2.如权利要求1所述的方法，其中，所述第一和第二压缩视频位流是MPEG位流。
3.如权利要求1所述的方法，其中，所述部分解码第一压缩视频位流的步骤包括确定第一压缩视频位流的帧信息，并且所述部分解码第二压缩视频位流的步骤包括确定第二压缩视频位流的帧信息，所述方法还包括下列步骤a.在将第一压缩视频位流的基于块的DCT系数与所述预定擦除函数的所述DCT系数相卷积之前，利用第一压缩视频位流的帧信息来对齐它们；以及b.利用第二压缩视频位流的帧信息来对齐第二压缩视频位流的基于块的DCT系数和所述预定擦除函数的所述互补擦除函数的所述DCT系数。
4.如权利要求3所述的方法，其中，所述部分解码第一压缩视频位流的步骤还包括确定第一压缩视频位流的量化值，并且所述部分解码第二压缩视频位流的步骤还包括确定第二压缩视频位流的量化值，所述的方法还包括a.在对第一和第二卷积视频位流求和之前，利用第一压缩视频位流的量化值对第一卷积视频位流定标；以及b.在对第一和第二卷积视频位流求和之前，利用第二压缩视频位流的量化值对第二卷积视频位流定标。
5.一种利用第一MPEG视频位流和第二MPEG视频位流来产生一个擦除序列的方法，所述方法包括下列步骤a.对第一MPEG视频位流进行部分解码，以获得其基于块的DCT系数、帧信息、片和宏块头标信息；b.保存第一MPEG视频位流的帧信息；c.为一个擦除函数设置DCT系数；d.利用所保存的第一MPEG视频位流的帧信息，使所述擦除函数的所述DCT系数与第一MPEG视频位流的基于块的DCT系数按帧对齐，并且将第一MPEG视频位流的基于块的DCT系数与所述擦除函数的所述DCT系数相卷积，以获得第一卷积视频位流；e.对第二MPEG视频位流进行部分解码，以获得其基于块的DCT系数、帧信息、片和宏块头标信息；f.保存第二MPEG视频位流的帧信息；g.为所述擦除函数的一个互补擦除函数设置DCT系数；h.利用所保存的第二MPEG视频位流的帧信息，使所述互补擦除函数的所述DCT系数与第二MPEG视频位流的基于块的DCT系数按帧对齐，并且将第二MPEG视频位流的基于块的DCT系数与所述互补擦除函数的所述DCT系数相卷积，以获得第二卷积视频位流；i.对第一和第二卷积视频位流求和，以获得一个求和位流；以及j.对所述求和视频位流与第一MPEG视频位流的所述片和宏块头标信息、以及第二MPEG视频位流的所述片和宏块信息进行多路复用，以形成输出的MPEG视频位流。
6.如权利要求5所述的方法，其中，所述部分解码第一MPEG视频位流的步骤还包括确定第一MPEG视频位流的量化值，并且所述部分解码第二MPEG视频位流的步骤还包括确定第二MPEG视频位流的量化值，所述的方法还包括a.在所述求和步骤之前，利用第一MPEG视频位流的量化值对第一卷积视频位流定标；以及b.在所述求和步骤之前，利用第二MPEG视频位流的量化值对第二卷积视频位流定标。
7.一种利用第一和第二压缩视频位流来产生一个擦除序列的装置，所述装置包括第一解码器，适用于接收第一压缩视频位流并从中提取基于块的DCT系数；第一存储器，用于保存一个擦除函数的DCT系数；第一卷积电路，它与第一解码器和第一存储器相连接，所述第一卷积电路适用于将来自第一压缩视频位流的基于块的DCT系数与所述擦除函数的所述DCT系数相卷积，以获得第一卷积位流；第二解码器，适用于接收第二压缩视频位流并从中提取基于块的DCT系数；第二存储器，用于保存所述擦除函数的一个互补擦除函数的DCT系数；第二卷积电路，它与第二解码器和第二存储器相连接，所述第二卷积电路适用于将来自第二压缩视频位流的基于块的DCT系数与所述互补擦除函数的所述DCT系数相卷积，以获得第二卷积位流；求和器，它与第一和第二卷积电路相连接，所述求和器适用于对第一和第二卷积位流求和，以获得一个求和的压缩视频位流。
8.如权利要求7所述的装置，其中，所述第一和第二压缩视频位流是MPEG视频位流。
9.如权利要求7所述的装置，其中，所述第一解码器还适用于提取第一压缩视频位流的帧信息，并且所述第二解码器还适用于提取第二压缩视频位流的帧信息，所述第一卷积电路在将所述各个DCT系数相卷积之前利用所述第一帧信息来对齐它们，所述第二卷积电路在将所述各个DCT系数相卷积之前利用所述第二帧信息来对齐它们。
10.如权利要求9所述的装置，其中，所述第一解码器还适用于提取第一压缩视频位流的量化值，所述第二解码器还适用于提取第二压缩视频位流的量化值，并且所述的装置还包括一个量化电路，它与第一和第二解码器和第一和第二卷积电路的输出相连接，所述量化电路适用于接收所述第一和第二量化值、并且在所述求和器之前分别利用所述第一和第二量化值对第一和第二卷积位流定标。
11.一种利用第一压缩视频位流和第二压缩视频位流来产生一个擦除序列的装置，所述装置包括第一解码器，适用于接收第一压缩视频位流，并从中提取第一基于块的DCT系数、第一帧信息、第一片和第一宏块头标信息；第一存储器，它与第一解码器相连接，所述第一存储器保存第一帧信息和一个擦除函数的DCT系数；第一卷积电路，它与第一解码器和第一存储器相连接，所述第一卷积电路适用于将第一基于块的DCT系数与所述擦除函数的所述DCT系数相卷积，以获得第一卷积视频位流，并利用第一帧信息使第一基于块的DCT系数与所述擦除函数的所述DCT系数按帧对齐；第二解码器，适用于接收第二压缩视频位流，并从中提取第二基于块的DCT系数、第二帧信息、第二片和第二宏块头标信息；第二存储器，它与第二解码器相连接，所述第二存储器保存第二帧信息和所述擦除函数的一个互补擦除函数的DCT系数；第二卷积电路，它与第二解码器和第二存储器相连接，所述第二卷积电路适用于将第二基于块的DCT系数与所述互补擦除函数的所述DCT系数相卷积，以获得第二卷积视频位流，并利用第二帧信息使第二基于块的DCT系数与所述互补擦除函数的所述DCT系数按帧对齐；求和器，它与第一和第二卷积电路相连接，所述求和器适用于对第一和第二卷积视频位流求和；以及多路复用器，它与求和器以及第一和第二解码器相连接，所述多路复用器利用第一与第二片和第一与第二宏块头标，形成输出的压缩视频位流。
12.如权利要求11所述的装置，其中，第一解码器还从第一压缩视频位流中提取第一量化值，第二解码器还从第二压缩视频位流中提取第二量化值，并且所述的装置还包括一个与第一解码器和第二解码器相连接的量化电路，所述量化电路适用于接收第一和第二量化值，所述量化电路还与第一缓冲器和第二缓冲器相连接，所述第一缓冲器设置在第一卷积电路和求和器之间并与它们相连接，所述第二缓冲器设置在第二卷积电路和求和器之间并与它们相连接，所述第一缓冲器接收第一量化值并对第一卷积视频位流应用第一量化值，并且所述第二缓冲器接收第二量化值并对第二卷积视频位流应用第二量化值。
全文摘要
一种利用输入的压缩视频位流在显示设备上产生一个擦除序列的方法和装置,完全在压缩视频位流的压缩域中实现擦除功能的处理。旧和新视频位流或序列分别在其DCT系数和所保存的具体已知擦除函数的DCT系数之间进行2维卷积运算。利用每个卷积位流的量化标度对每个卷积位流进行缓存,然后相互相加。多路复用器利用相加后的输出位流以及每个位流的解码后的宏块数据,来提供组合后的输出位流。控制器控制诸如用于卷积的帧相关和相加后位流的输出多路复用等的处理。
文档编号H04N7/30GK1281615SQ98812140
公开日2001年1月24日 申请日期1998年12月17日 优先权日1997年12月19日
发明者罗纳德·J·科尔克齐恩斯基 申请人:汤姆森特许公司