专利名称：渐进刷新视频数据流中的视频数据接合的制作方法
技术领域：
本发明涉及数字电视，更具体地说，本发明涉及一种方法，用于在渐进(progressively)刷新的视频数据流中进行视频插入或数据流切换。
插入广告、插入电视节目预告、切换演播室、切换镜头、编辑磁带等等都是电视生产和播放过程中的基本操作。在目前的模拟系统中，是在视频信号的场消隐期间进行切换的。随着在例如运动图象专家组(MPEG)标准中实现的数字电视的出现，对压缩过的比特流进行切换即“接合”是非常复杂的。为了方便这种操作，MPEG-2标准规定了“接合点”，在这些接合点上可以用点信号(例如广告)来替换视频数据流中的另一个信号(例如主节目)。
目前电影与电视工程师协会(SMPTE)正在致力于关于接合MPEG-2传输流的标准草案。例如，提出来的SMPTE标准PT20.02/010“MPEG-2传输流的接合点”，第二草案，1997年7月，在这里被引用作为参考。
接合MPEG视频信号比切换未压缩视频信号要困难得多，有各种原因。为了说清这个问题，有必要了解关于MPEG传输流的一些基本概念。MPEG压缩方式主要是依靠只发送不同视频帧之间的变化信息。第一种帧，叫作预测或者“P”帧，被译码器用来从视频数据流的前一“P”帧或者从帧内编码“I”帧来预测帧。信号流只载有“微调”信息，用来修正近似预测的差错。对I帧进行压缩而不进行运动预测。因此，可以从一幅I帧重建一幅完整的帧而不必参考任何其它帧。这样，只要收到I帧信号并将它解码，就可以消除前面的帧预测差错。
双向“B”帧跟P帧类似，差别只在于进行预测时不但用了前面的I帧或者P帧，还用了后一帧。这意味着为了进行接合，虽然在任何P或I帧以后可能都不再需要旧的信号流，但在B帧以后却不可能没有该信号流，因为这样会切断B帧的后向预测参考帧。从比特流的观点来看，只有在P帧或者I帧和紧跟其后的所有B帧(如果有的话)都通过以后，才可能不再需要第一个视频数据流。
用渐进方式刷新压缩的MPEG比特流时，情况变得更加复杂。在渐进刷新信号流里，如共同转让给Krause等人的标题为“移动补偿顺序视频图像的刷新方法和装置”的美国专利第5057916号所描述的那样，每次都刷新顺序视频图像的一个区域。在刷新周期里，传输多个视频图像中每一个的不同区域而不进行压缩。这样，在刷新周期里，未压缩区域渐进地刷新该区域规定的图像区。可以控制视频图像的压缩，以防止当前刷新周期里还未刷新的区域所包括的数据破坏当前刷新周期里已经刷新了的区域所包括的数据。
为了插入广告或切换节目，在视频数据流某一个预先规定的插入点上用来自第二个源的压缩视频数据流替换来自第一个源的压缩视频数据流。如果来自第一个和/或第二个源的视频数据流是渐进刷新的，那么，在第一个源的视频数据流跟第二个源的视频数据流之间的两个边缘的一个或两个上，就会出现与渐进刷新有关的非自然信号(artifact)。
一种能够最大限度地减少可以看见的非自然信号的接合渐进刷新视频数据流的方法将是非常有意义的。本发明就是要提供这样一种方法。
本发明提供一种方法，用于在例如视频数据流里的一个预定插入点，将来自第一个源的压缩视频数据流替换成来自第二个源的压缩视频数据流。首先判断来自第二个源的视频数据流是不是渐进刷新视频数据流。这一判断可以是实时的(例如基于对第二个源的测试)，或者可以根据与第二个源有关的已有信息进行。如果来自第二个源的视频数据流是渐进刷新的，就比替换第一个源的视频数据流提前足够长的时间将它解压缩，以便在替换之前恢复来自第二个源的第一个替换视频帧并重新压缩。应当注意，在本发明里，“第一个替换视频帧”是替换视频数据流里按编码顺序排列的第一帧，它可能跟显示顺序不同，这在本领域里众所周知。
恢复出来的第一个视频帧被重新压缩成帧内编码(I)帧。然后将来自第二个源的视频数据流的I帧(例如在预定插入点)插入第一个视频数据流。由于I帧包括重建完整的数据帧所必需的所有信息，而且它不是渐进刷新的，因此可以干脆利落地从第一个源的视频数据切换到第二个源的视频数据。
插入点可以指明视频数据流里广告时段出现的时刻。在这种情况下，第二个源提供一则广告，用于插入广告时段。广告时段结束时，在数据流里的第二个插入点重新开始第一个源的视频数据流。对于第一种接合，有必要确定来自第一个源的视频数据流是不是渐进刷新的视频数据流。如果是这样，就比第二个插入点提前足够长的时间将该视频数据流进行解压缩，从而允许恢复并重新压缩来自第一个源的第一个视频帧(按照编码顺序)，以便插入第二个插入点。然后重新压缩从第一个源恢复出来的第一个视频帧，从而生成一个I帧。在第二个插入点插入来自第一个源的视频数据流是从插入从第一个源生成的I帧开始的。
还提供了一种方法，用于将视频数据流里来自第一个源的压缩视频数据流替换成渐进刷新的压缩视频数据流(例如在一个预定插入点)。用来替换的视频数据流(例如一则广告)跟编码成帧内编码(I)帧的第一帧存储在一起。插入替换视频数据流(例如在预定插入点)时利用第一个I帧作为第一个插入帧。如果来自第一个源的压缩视频数据流是渐进刷新的，而且将在第一个插入点之后数据流里的第二个插入点(例如广告时段结束时)重新出现，就必须处理来自第一个源的视频数据流，以避免与渐进刷新有关的非自然信号。具体而言，就是与第二个插入点相比提前足够长的时间，对来自第一个源的视频数据流进行解压缩，以便恢复和重新压缩来自第一个源的第一个视频帧，从而在第二个插入点插入。重新压缩恢复出来的来自第一个源的第一个视频帧，从而生成一个I帧。在第二个插入点插入来自第一个源的视频数据流是从插入从第一个源产生的I帧开始的。
图1说明的是第一个和第二个数据流S1和S2，以及包括插入了数据流S2的一部分的数据流S1的第三个数据流S3；和图2说明的是从数据流S1切换到数据流S2以后，所产生的数据流S4。
本发明提供一种方法，用来将广告或者其它视频片断插入渐进刷新的比特流，以及当任意一个比特流是渐进刷新的时，从一个比特流切换到另一个比特流。
图1说明的是第一个压缩数字视频数据流10(数据流S1)。视频数据流10有一个第一插入点t1，在这里广告时段开始。广告时段终止于插入点t2。注意到这些插入点可以包括、也可以不包括视频数据流里的预定点。既然在一个预定时间插入象广告这样的视频片断更为常见，可以预见本发明将更经常地使用预定插入点。但本发明并不要求一定要在预定插入点插入。例如，本地电视演播室想在任意时刻将本地电视片段插入主视频数据流，此时，利用本发明将主视频数据流替换成替换视频数据流时不需要在预定插入点进行。
如图1所示，在插入点t1和t2规定的广告时段里插入广告或其它视频片段S1c。具体地说，被插入的视频片段S1c在插入点t1开始，在插入点t2结束，其中S1里的主视频节目随着广告时段的结束而重新开始。
类似的视频数据流12(数据流S2)包括一个主节目S2，其中插入了广告S2c。注意，广告S1c和S2c可以分别是流S1和S2的一部分，在这种情况下，没有必要将它们分别插入主视频数据流。但当广告(或者插入的其它视频片段)是独立的视频片段时，就必须在合适的插入点t1将它们插入主视频数据流，并让它们在插入点t2终止，然后主视频数据流重新开始。
视频数据流14(数据流S3)代表了一种经典的视频接合，其中数据流S1的一部分被S2c取代。如上所述，S2c可以是视频数据流S2的一部分，或者可以是单独的广告或单独的其它视频片段。如果S1和/或S2是渐进刷新的视频数据流，那么就会在S1的边界和/或S2c的边界上出现与渐进刷新有关的非自然信号。这种与刷新有关的非自然信号可能会延续一秒或更长的时间，视刷新速率而定。因此，每次将广告切进切出时，都会看到非自然信号。
将广告切入主数据流(也就是将主数据流接合出去，将广告插入)时，为了避免出现这种非自然信号，可以用I、P、B帧模式来压缩广告。但是，当广告结束，将渐进刷新的主数据流重新切入时，这种渐进刷新非自然信号仍然会出现。注意，图1中数据流里的视频帧是按编码顺序排列的，这跟帧的显示顺序不同。当这些帧的顺序是编码顺序时，切入片段的第一帧将是一个I帧。
在本文中，是在一般意义上使用术语“帧”和“视频帧”，它们表示视频信号或数据流的一部分，利用例如I帧、P帧或者B帧从这些部分重构其它的部分。因此，虽然一“帧”通常是指一个“完整”的视频帧，但在本文中并不是只限于表示一个完整的视频帧，因为可以使用例如子帧、场、子场或者其它处理方法。如果是在场一级而不是在帧一级处理视频数据流，就可以使用I场、P场和B场。在这种情况下，这些场等价于视频数据流帧处理中的广义术语“帧”和“视频帧”，并用“帧”和“视频帧”来覆盖这些场的含义。
本发明通过在插入时刻之前对要插入的帧进行处理来解决与渐进刷新有关的非自然信号的问题。首先在插入点之前提前足够长的时间对要插入的视频数据进行解压缩，从而恢复出要插入的第一帧，并重新压缩。如上所述，“要插入的第一帧”指的是按编码顺序的第一帧，而不必是显示顺序里的第一帧。一旦将这一帧完成解压缩，就将它重新压缩成帧内编码(I)帧。这样的帧内编码帧能够独立重建而不必参考任何其它的帧，因此这样的帧不是渐进刷新帧。将恢复出来的第一帧重新压缩成I帧以后，将它用作插入插入点的第一帧。
作为第一个实例，S1可以是一个渐进刷新的压缩视频数据流，而S2则不是渐进刷新的。如果一个序列不是渐进刷新的，那它就是I帧刷新的。在这种情况下，从S2切换到S1时，会出现渐进刷新非自然信号，但从S1切换到S2时就不会出现这种非自然信号。因此，可以从S1切换到S2，从而用I帧刷新情形里的传统方式将S2c插入。但是，从S2c切换回S1时，必须利用本发明的技术，以避免出现渐进刷新非自然信号。
根据本发明，插入S2c时，比插入点t2早一段时间dt开始对S1进行解码。换句话说，将在时刻(t2-dt)开始对S1进行解码。在恢复出要在S2c结束时插入的S1的第一帧(按编码顺序)时，将这一帧或“图像”重新压缩成帧内编码块，然后在插入点S2插入重新压缩的图像。数据流S1剩余的部分可以跟原来的数据流一样。
在另一个实例里，S1和S2都是渐进刷新的。在这种情况下，从数据流S1切换到视频片段S2c时，在比插入点t1早dt’的某一时刻，也就是在(t1-dt’)开始对S2c进行解码。将恢复出来的S2c的第一帧(按编码顺序)重新压缩成全I块。这第一帧是在插入点t1作为视频片段S2c的第一帧插入的。不需要对视频片段S2c的剩余部分进行任何特别的处理。从S2c切换回S1时，采用前面的实例中所用的同样的技术，也就是说，恢复要在插入点t2插入的数据流S1的第一帧(按编码顺序)，并重新压缩成全I块，以便在时刻t2插入。
图2说明叫做“切换”的一种特殊情形。在这种情形里，从一个数据流(例如第一架摄像机给出的信号)切换到另一数据流(例如第二架摄像机给出的信号)。如图2所示，数据流16(数据流S4)是通过在插入点(或“切换点”)t1从S1切换到S2而产生的。当S1是渐进刷新的，而S2却不是渐进刷新的情况下，不需要任何特别的处理。然而，在S2是渐进刷新的情况下(不管S1是不是渐进刷新的)，将在切换点t1之前一段时间dt处开始对S1进行解码，这样就可以将第一帧(按编码顺序)重新压缩成一个I帧，在切换点t1切换数据流时将其用作第一帧。
时间dt和dt’是在知道需要多少帧才能完成一幅图像的渐进刷新的基础上确定的。例如，如果是在15帧以内完成渐进刷新的，那么dt和dt’就是至少等于15帧的一段时间，更常见的是比这一个值要大(例如30帧)，以确保有足够的时间对必须插入的视频部分的第一帧解码和重新压缩。
应当明白，本发明中为了避免渐进刷新所产生的非自然信号而采用的方法是，比插入的视频部分(例如一则广告)结束时刻早几帧开始对渐进刷新的主数据流进行解码。在广告结束的时刻，获得主数据流的解码图像(例如P图像)，并将它重新压缩成一个I帧。然后将以这一I帧开头的主数据流切进。主数据流里的其余帧可以是渐进刷新帧。注意到由于I帧不是用来对主数据流进行编码的真实参考帧，因此仍然有一些非自然信号。但是，跟其它情况下会发生的渐进刷新非自然信号相比，这种非自然信号令人厌烦的程度大大下降。
另外，还可以存储广告或者其它插入的视频片段，使得该片段里只有第一帧是一个I帧，而其余帧都是渐进刷新的。在这种情况下，将广告切入视频数据流时，可以使用渐进刷新广告而不会出现有害的渐进刷新非自然信号。
虽然介绍本发明时涉及到了各种具体的实施方案，但是应当明白，可以对本发明进行各种修改而不会偏离本发明权利要求中提出的本发明的范围。
权利要求
1.一种方法，用于在视频数据流里用来自第二个源的压缩视频数据流替换来自第一个源的压缩视频数据流，该方法包括以下步骤确定来自所述第二个源的视频数据流是不是渐进刷新的视频数据流，如果是这样(a)比替换第一个源的视频数据提前足够长的时间，对来自所述第二个源的视频数据进行解压缩，从而在替换开始之前允许恢复来自第二个源的第一个替换视频帧；(b)将恢复出来的第一个替换视频帧重新压缩成一个帧内编码(I)帧；和(c)利用所述I帧，用第二个源的视频数据流替换第一个源的视频数据流。
2.权利要求1的方法，其中用第二个源的视频数据流替换第一个源的视频数据流，开始于在所述视频数据流里的一个预定的插入点插入所述I帧。
3.权利要求2的方法，其中所述插入点标明了所述视频数据流中的广告时段开始时间，所述第二个源提供用于在所述广告时段插入的一则广告。
4.权利要求3的方法，其中在所述广告时段结束时，来自第一个源的视频数据流在所述数据流的第二个插入点上重新开始，该方法还包括以下步骤确定来自所述第一个源的视频数据流是不是渐进刷新的视频数据流，如果是这样(a)比所述第二个插入点提前足够长的时间，对来自第一个源的视频数据进行解压缩，从而能够恢复来自所述第一个源的第一个视频帧以便在所述第二个插入点插入；(b)重新压缩恢复出来的来自所述第一个源的第一个视频帧，从而产生一个帧内编码(I)帧；和(c)利用从所述第一个源产生的I帧，在所述第二个插入点开始插入来自第一个源的视频数据流。
5.一种方法，用于将视频数据流里来自第一个源的视频数据流替换成渐进刷新的压缩视频数据流，该方法包括以下步骤存储用于替换的视频数据流，该视频数据流的第一帧编码成帧内编码(I)帧；和将用于替换的视频数据流的I帧，插入所述视频数据流，作为第一个插入帧。
6.权利要求5的方法，其中插入用于替换的视频数据流是从在所述视频数据流的一个预定插入点插入所述I帧开始的。
7.权利要求6的方法，其中来自第一个源的压缩视频数据流是渐进刷新的，它将在所述数据流里所述第一个插入点之后的第二个插入点重新开始，该方法还包括以下步骤(a)比所述第二个插入点提前足够长的时间，对来自第一个源的视频数据流进行解压缩，从而恢复并重新压缩来自第一个源的第一个视频帧，用于插入所述第二个插入点；(b)重新压缩恢复出来的来自所述第一个源的第一个视频帧，从而产生一个帧内编码(I)帧；和(c)利用从所述第一个源产生的I帧，在第二个插入点插入来自第一个源的视频数据流。
8.权利要求7的方法，其中所述视频数据流里的第一个和第二个插入点规定了一个广告时段，用于替换的视频数据流是一则广告，用于在所述广告时段里插入。
全文摘要
一种方法,用于在视频数据流中预定的插入点将来自第一个源的压缩视频数据流替换成来自第二个源的视频数据流。如果来自第二个源的视频数据流是渐进刷新的视频数据流,就比插入点提前足够长的时间将它解压缩,从而允许恢复和重新压缩来自第二个源的第一个视频帧(按照编码顺序),以便在插入点插入。然后将恢复出来的第一视频帧重新压缩成帧内编码(Ⅰ)帧。接着在插入点插入该Ⅰ帧。该插入点标志着视频数据流里一段广告时段的开始。
文档编号H04N7/24GK1261756SQ9912380
公开日2000年8月2日 申请日期1999年11月11日 优先权日1998年11月20日
发明者阿贾伊·卢特拉, 基思·J·凯利, 王利民 申请人:通用仪器公司