用于产生视频信号的方法和设备的制作方法

文档序号:7719936阅读:266来源:国知局
专利名称:用于产生视频信号的方法和设备的制作方法
技术领域
本发明一般地涉及产生在特技播放中使用的压缩的视频信号的技术。
正如通常知道的,传统的电视机通过在屏幕上描绘水平行而显示图象。屏幕上所有的行组合在一起,构成一个图象帧。图象帧被显示的频率是一个恒定值,取决于所使用的格式;在欧洲格式中,图象帧持续时间等于1/25秒。
更具体地,在显示期间,偶数行首先被描绘,然后奇数行被描绘。偶数行的组合规定偶图象场,而奇数行的组合规定奇图象场。因此,每个图象帧包括两个隔行的图象场。图象场速率在欧洲格式中是1/50秒。包括最顶部的行的场也被称为“顶部场”,而另一个场也被称为“底部场”。
为了电视机能够正确地显示电影,图象信号必须以与每秒50场的显示相应的正确的速率被发送到电视机。换句话说,用于图象信号的任何源需要产生那些信号,以使得图象信号(它特别包括每个图象象素的亮度和色度的信息)与由电视机预期的速率相应,即,以欧洲格式的每秒50场。
视频信号例如可被记录在磁带上。为了得到相对于模拟信号记录的改进的图象质量,开发了数字记录方案。为了大大地减小所涉及的比特量,开发了压缩技术。建立的标准编码格式是MPEG格式,更具体地,是MPEG-2格式。由于这个编码格式通常对于本领域技术人员是已知的,这个编码格式的细节在这里不作说明。为了完整起见,可参考文件ISO/IEC 13818-2。
压缩技术可以基于有关细节(人的眼睛反正是看不见的)的冗余信息的消除。然而,MPEG压缩技术有进一步的发展。按照MPEG系统,图象可以用三种不同的压缩度被编码。如果图象被编码,以使得它可以通过它本身被解码,则这样的图象称为内部编码的图象(I)。这样的I图象仍旧涉及到很多个比特,但它给出优点对于解码这个图象,只需要来自该图象本身的信息。
在另一种类型的编码中,使用这样的事实接连的图象通常是非常相似的,主要差别是由场景中的运动形成的。通过分析运动,新的图象的内容可以根据先前的图象进行预测。这样的新的图象被称为单向预测的编码的图象(P);它是通过使用来自先前的I-或P-图象的运动补偿预测被编码的。被编码为P图象的图象涉及到比起I图象来说较少的比特,但当这样的图象被解码时,还需要来自先前的I图象或P图象的信息。
更高的压缩度可以通过把一个图象编码为所谓的双向预测编码的图象(B),而达到。这样的图象是通过使用来自先前的和或将来的P图象或I图象的运动补偿预测被编码的,但B图象不能被用作为用于其他图象的参考图象。
原则上,有可能把视频序列中所有的图象编码为I图象。然而,当需要良好的图象质量时,用于发送这样的视频序列的比特速率将是不能接受地高。所以,实际上,视频序列通常通过使用I图象以及P图象以及B图象被编码,其中I图象,P图象,B图象按照预定的图案被安排,该预定的图案被选择成以使得平均比特速率具有适当的数值。如果视频序列只包含I图象和P图象,则编码被称为“简单型(simple profile)”;如果视频序列也包含B图象,则编码被称为“主型(main profile)”。
通常,接连的图象的结构或图案是固定的,虽然这在MPEG格式中没有规定。这种通常使用的图案的例子是IBBPBBPBBPBB,然后重复进行。I图象和所有以后的P图象和B图象,直至下一个I图象的这样的组合,被称为“图象组(GOP)”。GOP可以“开放的”或“闭合的”,取决于对于解码GOP中的图象是否需要来自先前的或下一个GOP的信息。
上述的GOP包括一个I图象,三个P图象和八个B图象。与这样的GOP有关的比特总数可以以相当低的比特速率被发送,这样,解码器平均地接收与在12/25秒中的12帧(欧洲格式)的相应的数目的比特。由此,这样的解码器能够重建12图象,以及在1/25秒的相等的时隙中给出相应的视频数据到接收的电视机。然而,在每个GOP中,被使用来编码I图象的比特数目花费GOP中比特总数的很大的百分数。因此,发送相应于I图象的比特将花费比1/25秒大得多的时间,这是通过P图象的传输,特别是B图象的传输,而被补偿的,它们每个花费比1/25秒少得到的时间。
编码的数字视频序列可被记录在适当的载体上,例如磁带或磁盘或光盘。当这样的载体被视频放像机重放时,在正常播放情形期间,放像机将以相应于MPEG语法中的定义的帧的速率和比特速率输出帧的序列,这样,接收的解码器知道对于接收的信号要做的事情,即,如何解码接收的信号,诸如能够产生每秒25个视频帧加上用于标准电视机的相应的音频。然而,希望能够这样地重放记录,以使得记录的场景以与原先速度不同的速度被显示。这样的情形也被称为“特技播放”,例如,快进播放;慢动向前播放;静帧;慢动倒放;正常速度倒放;快速倒放。这些效果不能通过仅仅以与正常的速度不同的速度播放记录(如在模拟记录时可能的那样)而达到。在所有这样的特技播放的情形下,视频放像机应当产生相应于MPEG标准的、压缩的数字视频数据序列,这样,标准解码器将能够解码接收的信号和产生数字视频信号,用于在电视机中进一步处理。这特别意味着,由放像机产生的编码的视频信号必须服从数字接口的比特速率限制,以及还必须与MPEG格式一致。
本发明具体地涉及其中重放速度不同于正常播放速度的重放情形。
在第一特定的方面,本发明的目的是提供用于根据原始的MPEG流产生MPEG编码的图象流的方法,产生的输出流在显示器上形成一个其速度低于原始的MPEG流的场景。MPEG编码的图象的这样的流将被称为“慢动流”。
在第二特定的方面,本发明的目的是提供用于根据原始的MPEG流产生MPEG编码的图象流的方法,产生的输出流在显示器上形成一个其速度快于原始的MPEG流的场景。MPEG编码的图象的这样的流将被称为“快动流”换句话说,慢动流的持续时间长于相应的原始的流的持续时间,而快动流的持续时间短于相应的原始的流的持续时间。由于在所有的所述特技播放情形下,放像机应当产生具有正确的时基和具有正确的帧速率和比特速率的MPEG编码的图象序列,这意味着每个单位时间的图象的数目在显示器上应当保持相同的,慢动流比起相应的原始的流包含较多的图象,而快动流比起相应的原始的流包含较少的图象。
按照本发明的一个重要的方面,在产生慢动流时,产生附加的帧,它们在解码时具有使得图象被显示一次以上的效果。
按照本发明的另一个重要的方面,在产生快进(或快速倒放)流时,从原始的流中省略一些帧。
WO 98/48573揭示了用于根据原始的MPEG流分别产生慢动流或快动流的方法。对于产生慢动流,这个公开的专利揭示了一种方法,其中在原始的MPEG流中已存在的B帧被重复。I帧和P帧不重复。这个方法的缺点是,慢动的质量取决于GOP结构,而显示的场景的进程是不规则的I帧和P帧只被显示一次,而B帧被显示两次(或多次)。这个已知的方法的另一个缺点在于,原始的MPEG流不一定包括B图象;万一MPBG流不包含任何B图象,这个已知的方法完全不能使用。
对于产生快动流,所述出版物揭示了其中B帧被跳过的一种方法;如果所有的B帧被跳过,而还要求更快的快动,则P帧被跳过;最后,甚至I帧可被跳过。这个方法还涉及到某些缺点。如上所述,这个方法的一个缺点是,慢动的质量取决于GOP结构。只跳过B编码的帧和P编码的帧导致产生的视频序列的比特速率的很大的增加,这可以很容易变为太高的。
按照本发明的一个重要的方面,空的预测地编码的帧被产生,以及被引入到产生的视频流中,以便在显示器上形成原始的I图象或P图象的重复的显示。此后,这样的空的预测地编码的帧也被称为重复帧。
在慢动的情形下,慢动的质量相对于通过在WO 98/48573中描述的方法得到的质量将被改进,因为I图象和或P图象也被重复地显示。重复地显示I编码的图象也受到在视频序列中重复相应的I帧的影响,但这会导致比特速率的增加。在快动情形下,取决于想要的速度比值,跳过的帧数将比为了得到想要的速度而必须跳过的帧数更高,这本身导致比想要的更高的速度,以及其余图象的至少某些图像将通过引入所述重复帧而被重复,这样来得到正确的想要的速度。例如,有可能只使用原始的记录的I编码的图象,以及通过把重复帧引入到输出的视频序列的GOP中,而重复地显示相应的图象。
换句话说,通过从原始的记录中取I图象,然后插入一个或多个人造的帧(这些帧在解码后具有所述I图象再次被显示的效果)而构建GOP。因此,比特速率保持低于允许的水平,而解码器仍旧接收可识别的MPEG编码的视频信号。在以上,词组“人造的帧”被使用来表示这样的帧不是原始的记录的一部分。
本发明的以上的方面可应用于这样的视频流,在该视频流中帧被渐进地编码。在其中帧包括两个隔行场的情形下,正如通常的那样,当图象被重复地显示时会出现另一个问题;一个帧的顶部场和底部场在这种情形下被交替地显示多次。如果场景包括运动,则重复地显示一个帧将导致场景中运动的部分的振动的印象,这被称为“隔行效应(interlace effeck)”电视屏幕的观察者将看到活动目标以25Hz的频率在两个位置分别相应于由顶部场显示的位置和由底部场显示的位置之间来回跳跃。
本发明的另一个目的是消除这个隔行效应。
按照本发明的另一个重要的方面,在原始的I图象或P图象后引入的至少第一重复图象被设计成在显示器上消除所述隔行效应。此后,这样的特定的重复图象也被称为“隔行消除图象”。
在按照本发明的第一实施例中,隔行消除图象包括一个顶部场,它在解码和显示后形成前一个图象的底部场的重复;以及还包括一个底部场,它在解码和显示后也形成前一个图象的底部场的重复。在这样的隔行消除图象被解码器处理后,解码器的场存储器将包含相同的信息。可能的另外的重复图象不需要被设计为隔行消除图象;如果这样的另外的重复图象包括顶部场,它在解码和显示后形成前一个图象的顶部场的重复;以及还包括底部场,它在解码和显示后形成前一个图象的底部场的重复,则两个显示的场仍是相同的,所以没有出现隔行效应。
在按照本发明的第二实施例中,隔行消除图象包括内部编码的顶部场图象,以及还包括P编码的底部场图象,它在解码和显示后形成相关的内部编码的顶部场图象的重复,重复所述内部编码的帧的顶部场。在这样的隔行消除图象被解码器处理后解码器的场存储器也将包含相同的信息,如上所述,可能的另外的重复图象不需要被设计为隔行消除图象。
在上述的实施例中,原始图象在原始图象被显示后被重复。然而,也有可能通过在原始图象被显示之前显示附加的图象,得到原始图象的重复的显示。因此,在按照本发明的第三实施例中,隔行消除的预展示图象包括底部场,它在解码和显示后形成下一个图象的顶部场的显示,以及还包括顶部场,它在解码和显示后也形成下一个图象的顶部场的显示。
在按照本发明的第四实施例中,这可被看作为第一和第三实施例的组合,隔行消除图象包括顶部场,它在解码和显示后形成前一个图象的底部场的重复,以及还包括底部场,它在解码和显示后形成下一个图象的顶部场的显示。
通过参照附图,对按照本发明的控制电路的优选实施例的以下说明将更加清楚本发明的这些和其他方面、特性以及和优点,其中

图1示意地表示MPEG视频序列的结构;图2是示意地表示解码器操作的一个方面的方框图;图3示意地表示数字放像机;图4A-4C示意地表示按照本发明的慢动视频序列的格式;图5A-5C示意地表示隔行消除图象;图6A-6C示意地表示按照本发明的方法的第二实施例;图7A-7B示意地表示按照本发明的快动视频序列的格式;以及图8A-8C示意地表示按照本发明的设备的不同的实施例。
应当指出,在图8A-8C上,相同的或类似的部件分别用100序列,200序列,和300序列的相同的参考数字表示。
图1一般地表示MPEG视频序列1的结构。每个视频序列1从序列标题2a开始,后面是序列标题扩展2b,后面是多个图象组(GOP)3。序列标题2a特别包括有关帧速率的信息。
每个GOP3从可任选的GOP标题4开始,后面是多个图象块5。每个GOP标题4表示新的图象组的开始。
每个图象块5从图象标题6a和图象标题扩展6b开始,后面是图象数据段7,包含分片8,它包含实际的图象视频信息。在图象数据段7中包含相应的图象的实际图象信息(象素亮度和彩色)。
当被显示在标准电视机时,每个隔行图象是通过写入两个接连的场而被显示的,这样的两个场的组合被表示为帧。隔行图象的每个场可以被单独地编码,这样,图象编码将被表示为“基于场的”。替换地,隔行图象的两个场可以用混合的方式被编码,这样,两个场不能被分开,而帧只能整个地被解码;在这种情形下,图象编码将被称为“基于帧的”。图象是基于场地被编码还是基于帧地被编码,由图象标题扩展6b中的信息表示。
每个图象标题6a包含关于相应的图象的图象类型(I,P,B)的信息。如果图象标题6a表示,相应的图象是内部编码或I型,则解码器能够仅仅根据被包含在相应的图象数据段7中的信息重建图象。
如果图象标题6a表示,相应的图象是预测地编码的(P型或B型),则解码器不能够仅仅根据被包含在相应的图象数据段7中的信息重建图象。为了能够解码P型图象,解码器还需要前一个I图象或P图象的图象视频信息。为了能够解码B型图象,解码器还需要前一个I图象或P图象的图象视频信息和/或将来的一个I图象或P图象的图象视频信息。其图象视频信息被使用来重建预测地编码的图象(P型或B型)的I图象或P图象,此后将也被称为参考图象或固定(anchor)图象。
下面参照图2概略地说明视频解码器40的传统的操作。图2示意地表示视频解码器40,它包括处理器41,具有用于接收编码的数字视频序列1的输入端42,和用于输出适合于电视机进一步处理的、已解码的视频信号10的输出端43,图象存储器是与处理器41有关的,能够存储至少两个解码的图象,即,四个解码的场。为了以下的说明起见,所述图象存储器被表示为包括四个场存储器,被表示为MT1,MB1,MT2,MB2,打算用于分别存储第一图象的顶部场和底部场和用于分别存储第二图象的顶部场和底部场;这些表示的场存储器也分别被称为第一顶部场存储器,第一底部场存储器,第二顶部场存储器和第二底部场存储器。这些表示的第一顶部场和底部场存储器的组合也被称为第一存储器M1,而这些表示的第二顶部场和底部场存储器的组合也被称为第二存储器M2。
图2还表示MPEG编码的视频序列1,被加到处理器41的输入端42,和解码的视频序列10,在处理器41的输出端43处被输出。视频序列1包括多个图象,每个图象由表示编码类型的字符(I,P,B)表示。解码的视频序列10包括相应的视频图象V1,V2,V3,V4,每个视频图象Vi,包含顶部场Ti和底部场Bi。图象以如图所示的从左到右的次序呈现在视频序列1中。因此,在本例中,MPEG编码的视频序列1包括被内部编码的第一图象,后面是被预测地编码的第二图象,后面是被双向预测地编码的第三图象,再后面是被双向预测地编码的第四图象。图象字符配备有表示显示次序的下标。因此,在本例中,第一内部编码的图象I1首先被显示(V1),后面是显示第三图象B2(V2)以及显示第四图象B3(V3),再后面是最后显示第二图象P4(V4)。
当处理器41处理第一图象I1的图象标题6a中的信息时,处理器将会看到,第一图象是内部编码的图象,以及处理器只根据相应的图象数据段7的信息重新构建第一视频图象V1。首先,第一图象I1被解码,以及第一重新构建的图象V1的顶部场T1将被存储在第一顶部场存储器MT1中,而这个重新构建的图象V1的相应的底部场B1将被存储在第一底部场存储器MB1中。当第一图象I1被完全接收和解码时,第一存储器M1(=MT1+MB1)包含第一重新构建的图象V1。
第二,第二图象P4被处理器41接收。当处理器41处理第二图象P4的图象标题6a中的信息时,处理器将会看到,第二图象P4是预测地编码的图象,以及处理器根据相应的图象数据段7的信息以及在包含固定图象I1的第一存储器M1中的信息重新构建第四视频图象V4。存储器MT1和MB1中的信息与图象数据段7中的信息进行组合的方式是MPEG语法的一部分,在这里不需要详细讨论。第二图象P4被解码,以及第四视频图象V4的顶部场T4将被存储在第二顶部场存储器MT2中,而相应的底部场B4将被存储在第二底部场存储器MB2中。当第二图象P4被完全接收和解码时,第二存储器M2(=MT2+MB2)包括第四视频图象V4。同时,处理器41读出第一存储器M1,以及在它的输出端43处产生,适合于由电视机处理的视频信号,以便显示第一重新构建的图象V1的顶部场T1和底部场B1。
第三,第三图象B2被处理器41接收。当处理器41处理第三图象B2的图象标题6a中的信息时,处理器将会看到,第三图象B2是双向预测地编码的图象,以及处理器根据相应的图象数据段7的信息以及在包含固定图象I1/V1的第一存储器M1中的信息和在包含固定图象P4/V4的第二存储器M2中的信息重新构建第二视频图象V2。同样地,处理器41在它的输出端43处产生适合于由电视机处理的视频信号,以便显示第二视频图象V2。在接收和处理第三图象B2后,第二存储器M2仍包含第四视频图象V4,而第一存储器M1仍包含第一视频图象V1。
然后,同样地,第四图象B3被处理器41接收,以及被处理成显示第三视频图象V3。只要双向预测地编码的图象被接收,这种模式的接收和处理图象就继续进行。当处理器41接收到以后的固定图象时,该图象被解码和被存储在图象存储器中,而第二存储器M2的内容被读出和被显示,即,V4。
下面,将对于图3上示意地表示的数字放像机30的示例的情形更详细地说明本发明,数字放像机30用于播放记录载体31,在图3上表示为软盘,例如光盘,记录载体31载送以正常速度记录的数字视频序列。正如已知的,放像机30本身包括扫描装置,用于扫描软盘找出被存储在其上的信息。这些扫描装置的结构可以是惯用的,正如本领域技术人员已知的,这里不需要详细地讨论。为了以特技播放模式播放这样的记录载体,放像机30应当能够以不同于正常速度的速度物理地扫描载体,在它的数字输出端32处产生遵从MPEG语法的、特技播放视频输出序列,以及它可由解码器40处理。然而,本发明也涉及数字视频录像机,它自适应于接收“正常的”视频信号,产生如上所述的特技播放视频序列,以及把这个特技播放视频序列记录在载体上;在这样的情形下,以“正常的”速度、按“正常的”重放来播放这个记录,与原始的序列相比较,将形成特技播放显示。通常,这样的录像机将以不同的轨道记录所述特技播放视频序列以及原始的视频序列。
为了允许用户选择特技播放模式,放像机30可包括快进选择按钮KFF和慢动向前按钮KSM,旁边是正常重放选择按钮KN,停止按钮K0,以及未示出的、可能的其他选择按钮。
在MPEG中,GOP的各种图案是可能的,以及图案甚至可以在一个序列中是变化的。下面,将对于编码的视频序列只包括格式IBBPBBPBBPBB的闭合的GOP的示例性情形说明本发明。
下面,首先对于慢动的情形进一步说明本发明。
图4A表示在正常播放情形下的图象序列。表中的第一行指示在显示设备(诸如标准电视机)上显示的接连的图象;为了说明起见,假设接连的图象表示字母表的接连的字符的图象。
在第二行,图象被表示为Yn,n表示这样的图象在显示序列中的位置,其中编号以1开始,第一图象显示字母表的第一个字母的图象。
第三行涉及到被记录在载体31上的编码的视频序列,以及表示对于编码的视频序列只包括格式IBBPBBPBBPBB的GOP的情形下相应的图象的图象类型,被表示为I,P,或B。正如前面表示的,在编码的视频序列中图象的次序并不相应于图象的显示次序。例如,形成图象“D”的第四(P编码的)图象是在形成图象“C”的第三(B编码的)图象后显示,但在编码的视频序列中在这个第三图象的位置前具有一个位置。图象的信号次序没有表示在图4A。
图4B类似于图4A,但涉及到在慢动情形下相同的视频序列的显示。表中第一行显示在显示设备上显示的接连的图象。与图4A相比较,可以看到,所有的原始图象以图示的情形被显示三次,因此重放时间是正常重放时间的3倍,(即,序列以慢动因子3被重放)。应当指出,例如,如果第一图象被显示4次以及第二图象被显示2次,则也可以达到慢动因子3,但这会导致不规则的视频进程;最好是恒定的刷新速率。然而,另一方面,如果想要慢动因子不是整数,这可通过对于不同的图象使用不同的重复方案而达到;例如,如果以后的图象交替地被显示3次和4次,则导致慢动因子等于3.5。其他慢动因子也有可能。
在图4B的第二行,图象被表示为Xn,n表示这样的图象在慢动显示序列中的位置,其中编号以1开始,第一图象表示字母表的第一个字母的图象。
图4B的第三行表示相应的原始图象在原始的显示序列中的位置,以及第四行表示原始图象的图象类型(比较图4A的第三行)。因此,应当看到,被设计来在解码和显示时形成图4B的第一行的图象序列的视频信号包含原始的视频序列中的三倍的图象。更具体地,按照本发明的慢动视频信号包含重复图象,每个重复图象被设计成形成至少一个原始图象的图象信息的重复显示。在图4B上,这样的重复图象被表示为在第四行中的R。
在本例中,在慢动显示序列中第二和第三图象X2和X3导致由第一图象X1形成的图象的重复显示,它在本例中是I编码的、原始图象Y1。由于I编码的图象可被解码而不需要来自其他图象的信息,故这个图象的重复显示可以通过重复地发送这个图象而达到。这意味着,在慢动显示序列中第二和第三图象X2和X3原则上是与第一图象X1相同的,在这种情形下,它们是I编码的。然而,这个解决方案的一个缺点在于,这将涉及到很大数目的比特。另一个缺点涉及到隔行效应,这将在后面讨论。
按照本发明,在慢动显示序列中第二和第三图象X2和X3是空的重复图象,或者P编码的或者B编码的。如果以下的序列不包含B编码的图象,这些在图4B的第五行中被表示为ER的空的重复图象可以是P编码的。如果以下的序列确实包含B编码的图象,正如在本例中那样,则应当考虑空的重复图象的另外的性质。正如将在后面说明的,重复图象优选地具有隔行消除性质;在这种情形下,在慢动显示序列中第二和第三图象X2和X3应当是B编码的空的图象,因为B编码的图象使得解码器中的图象存储器不受影响。下面,假设空的图象是B编码的;所以,第二和第三图象X2和X3在图4B的第五行中被表示为ERB。
当解码器接收B编码的图象时,它将根据在两个图象存储器中的、涉及到相邻的固定图象的信息以及根据所述B编码的图象的信息(它表示来自所述固定的图象的哪些信息要被使用和等于来自所述固定图象的这个信息要作哪些改变)来“构建”图象。为了说明起见,如果两个相邻的固定图象的内容分别用A1和A2进行符号表示,B编码的图象可被符号表示为包含参量α,β和γ,以及由这个B编码的图象代表的图象A3的创建可用符号表示为A3=αA1+βA2+γ。
重复前一个图象的空的B编码的图象是其中改变是零以及只涉及到前一个固定图象的一个图象,因此,导致新的构建的图象等同于前一个图象,在这种情形下,是慢动显示序列的I编码的第一图象X1。这样的图象,没有编码的宏块,此后被称为B编码的空的重复图象ERB。在以上的符号表示中,α=1,β=0和γ=0。同样的做法(细节已作出必要的改变)应用到P编码的图象,此后被称为P编码的空的重复图象ERP。这样的图象包含为了构建有效的B图象或P图象所需要的最小的信息量,但运动信息量是零。
因此,慢动显示序列的I编码的第一图象X1的重复显示可以通过使用B编码的图象(它涉及的比特比起重复发送I编码的第一图象本身少得多)而达到。
应该明确地指出,上面描述的序列是按照MPEG格式的、一种有效的序列。因此,在处理这样的序列时,解码器40不会遇到麻烦。
在图4B的例子中,慢动显示序列的I编码的第一图象X1通过在原始的I编码的图象X1以后把两个B编码的空的重复图象X2和X3(ERB)引入到视频序列而被显示三次。应当看到,被引入到视频序列中的重复图象的数目取决于想要的慢动因子。而且,作为替换例,可以不使用一个或多个重复图象,而使用被引入到视频序列中的一个或多个预展示图象来形成在原始的I编码的图象X1之前的显示。这将导致相同的视觉效果,如图4C所示,其中空的预展示图象被表示为EPB。词组“预展示图象”在这里被使用来表示空的(即,不包含编码的宏块)B编码的图象,它只是指将来的一个固定图象,因此导致等同于将来的固定图象的、新构建的图象。在以上的符号表示中,α=0,β=1和γ=0。词组“重复显示”和“重复地显示”在这里被使用来覆盖重复图象的情形以及预展示图象的情形。
另外,在图4B的例子中,在慢动显示序列中第五和第六图象X5和X6导致由第四图象X4形成的图象的重复显示,即,第二个原始图象Y2,它是B编码的图象。为了重复(或预展示)基于B编码的图象的图象,B编码的图象本身应当被重复。所以,在本例中,为了重复第四图象X4,在慢动显示序列中第五和第六图象X5和X6是第四图象X4,即第二原始图象Y2,的相同的拷贝。同样地,在慢动显示序列中第八和第九图象X8和X9是第七图象X7,即第三原始图象Y3,的相同的拷贝。然而,正如将在后面说明的,如果重复的图象X5和X6[X8和X9]具有隔行消除性质,则它们将不是100%完全等同于X4[X7]。
另外,在本例中,在慢动显示序列中第十一和第十二图象X11和X12导致由第十图象X10形成的图象的重复显示,即,第四个原始图象Y4,它是P编码的图象。当解码P编码的图象时,解码器需要来自前一个固定图象的信息,解码器的图象存储器也受到影响。所以,这个图象的重复显示不能通过重复发送这个图象而达到。按照本发明,在慢动显示序列中第十一和第十二图象X11和X12是空的重复图象,或者是P编码的或者是B编码的。与以上参照重复I编码的图象X1描述类似地,如果以下的序列不包含任何B编码的图象,则这些空的重复图象ER可以是P编码的,但如果以下的序列确定包含B编码的图象,诸如在本例中那样,以及如果重复图象具有隔行消除性质,则在慢动显示序列中第十一和第十二图象X11和X12应当是B编码的空的图象ERB,因为B编码的图象使得解码器中的图象存储器不受影响。
与以上类似地,可以不使用在原始的P编码的图象以后形成显示的B编码的重复图象ERB,而使用在原始的P编码的图象以前形成显示的B编码的预展示图象EPB(图4C上的X10和X11)。
正如以上说明的,图4B表示只包含空的重复图象ER的特技播放序列,用于在相应的原始图象被显示后重复地显示原始图象,而图4C表示只包含空的预展示图象EP的特技播放序列,用于在相应的原始图象被显示之前重复地显示原始图象。也有可能在一个特技播放序列中具有空的重复图象以及空的预展示图象;甚至有可能具有重复地显示同一个原始图象的空的预展示图象和空的重复图象(序列EPB-Y-ERB)。
在以上,说明了两种类型的空的图象空的重复图象ER被设计来形成一个以前的原始图象的图象信息的重复显示,以及空的预展示图象EP被设计来形成一个将来的原始图象的图象信息的重复显示。本发明也提供第三种类型的空的图象,被设计来在解码和显示时形成在以前的原始图象与将来的原始图象之间的内插。更具体地,当解码器解码这样的图象时,它将通过平均以前的原始图象的信息与将来的原始图象的信息而构建人造的图象;在先前的符号表示中,α=1/2,β=1/2和γ=0。因此,在显示时的图象不是以前的原始图象的真实重复或将来的原始图象的真实重复;然而,由于以前的原始图象的图象信息再次被使用来构建所述人造的图象(同样适用于将来的原始图象的图象信息),所述第三种类型的空的图象仍旧被考虑来构建重复图象的例子。更具体地,所述第三类型的空的图象将被称为空的内插图象EI;这个图象是空的,在于它不包含编码的宏块。
应当看到,图象帧包括两个隔行的场,它们被接连地显示。这两个场将被称为第一场和第二场,第一场是首先被显示的场。在上述的空的重复图象ER中,这两个场形成以前的原始的场的重复显示,而空的预展示图象的两个场形成将来的原始的场的重复显示。本发明也提供第四种类型的重复图象,它将被称为空的重复/预展示图象ER/P;这里,第一场形成以前的原始的场的重复显示,而第二场形成将来的原始的场的重复显示。
因此,按照本发明的重要方面,提供了用于根据原始的MPEG视频序列产生慢动MPEG视频序列的方法,它在解码和显示时导致原始的序列的慢动重放,而不需要解码原始的序列。这是通过插入空的图象,或者B编码的或者P编码的,此后总的用字符E表示,而达到的。这些空的图象在解码和显示时导致以前的原始图象(ER)的重复显示,或导致将来的原始图象(EP)的重复显示,或导致二者的组合(EI;ER/P)。
把空的图象E插入到视频序列,将具有根据原始图象显示“人造的”图象的想要的效果,而不需要解码原始的序列。然而,如果图象帧被显示一次以上,则出现隔行效应的问题,如以前说明的。这可以通过认识到每个图象帧包括被接连地显示的两个隔行的场而了解。通常,包括顶部行的场(顶部场)被首先显示,后面是同一个图象的另一个场(底部场)。然而,在MPEG中,有可能底部场首先被显示,后面是顶部场。下面,将对于顶部场首先被显示的通常的情形说明本发明,然而,应当看到,本发明并不限于这种情形。
图象的底部场后面是下一个图象的顶部场。如果两个接连的图象帧是100%完全相同的,则第二图象的顶部场等同于第一图象的顶部场,以及第二图象的底部场等同于第一图象的底部场。如果场景涉及到运动,则当第一图象的顶部场被显示时,目标被显示在第一位置,以及当第一图象的底部场被显示时,目标被显示在第二位置。当随后第二图象的顶部场被显示时,它等同于第一图象的所述顶部场,这个活动目标再次被显示在由第一图象的所述顶部场所显示的第一位置。换句话说,这样的活动目标在这两个位置之间来回跳跃。
本发明的另一个目的是克服这个问题。
按照本发明,为了克服这个问题,空的图象E优选地被构建成使得在解码和显示时,这个空的图象E的每个场形成所述空的图象E所参考的固定图象的时间上最接近的场的重复显示。
空的重复图象ER参考以前的固定图象;这个固定图象的时间上最接近的场是它的第二个场,即它的底部场。所以,按照本发明,具有隔行消除性质的空的重复图象ER,在解码和显示时,形成以前的固定图象的底部场的两次重复显示。
空的预展示图象EP参考将来的固定图象;这个固定图象的时间上最接近的场是它的第一个场,即它的顶部场。所以,按照本发明,具有隔行消除性质的空的预展示图象EP,在解码和显示时,形成将来的固定图象的顶部场的两次重复显示。
空的内插图象EI参考以前的固定图象以及将来的固定图象;以前的固定图象的时间上最接近的场是它的第二个场,即它的底部场,以及将来的固定图象的时间上最接近的场是它的第一个场,即它的顶部场。所以,按照本发明,具有隔行消除特性的空的内插图像EI在解码后并在显示器上形成两次在该以前固定图像的底部场与该将来固定图像的顶部场之间的内插的显示。然而,如果空的内插图像EI在解码后并在显示器上形成在该以前固定图像的顶部场与该将来固定图像的顶部场之间的内插显示、其后面是在该以前固定图像的底部场与该将来固定图像的底部场之间的内插的显示,则隔行效应已被减小了。
空的重复/预展示图像ER/P参考一个以前的固定图像及一个将来的固定图像,该以前固定图像的时间上最接近的场是它的第二场、即其底部场,该将来固定图像的时间上最接近的场是它的第一场、即其顶部场。所以,按照本发明,具有隔行消除性质的空的重复/预展示图象ER/P,在解码和显示时,形成以前的固定图象的底部场的显示后面是将来的固定图象的顶部场的显示。
正如本领域技术人员将会看到的,图象的宏块标题包含参考参量MVFS(运动垂直场选择);取决于这个参量的数值,解码器将使用来自所依赖的固定图象的顶部场或底部场的宏块。虽然事实上每个宏块具有它自己的参考参量MVFS,而同时参考参量MVFS的数值对于不同的宏块可以是不同的,但是,下面将假设,参考参量MVFS的数值对于一个场的所有的宏块是相同的。为了以下的讨论起见,这将通过定义用于整个顶部场的顶部参考信息参量RT和用于整个底部场的底部参考信息参量RB而被表示。如果这样的参考信息表示固定图象的顶部场,这将被表示为数值→T;另一方面,如果这样的参考信息表示固定图象的底部场,这将被表示为数值→B。
通常,顶部参考信息参量RT表示对顶部场的参考(RT→T),而底部参考信息参量RB通常表示对底部场的参考(RB→B)。满足这个正常关系的空的图象E在这种符号法中被表示为E(RT→T;RB→B)。然而,这在MPEG语法中并不是必须的,以及本发明是基于对这个事实的认识。
图5A示意地表示第一图象X1,具有顶部场T1和底部场B1。这个第一图象X1是原始图象,或者I编码的或者P编码的,后面是由放像机30产生的、空的重复图象ER2,或者P编码的或者B编码的。空的重复图象ER2具有顶部场T2和相应的顶部参考信息参量RT2,以及底部场B2和相应的底部参考信息参量RB2。底部参考信息参量RB2表示对第一图象X1的底部场B1的参考(RB2→B1),在图5A上被表示为箭头RB2,从这个重复图象ER2的底部场B2向后指向到第一图象X1的底部场B1。
如果空的重复图象ER2被设计来在解码后并在显示器上形成第一图象X1的顶部场和底部场图象的精确的重复,则顶部参考信息参量RT2表示对第一图象X1的顶部场T1的参考(RT2→T1)。然而,正如先前说明的,然后出现隔行效应。按照本发明,如果顶部参考信息参量RT2也表示对第一图象X1的底部场B1的参考(RT2→B1),则这个隔行效应被避免,正如在图5A上被示意地表示为箭头RT2,从这个重复图象ER2的顶部场T2向后指向到第一图象X1的底部场B1。这样的空的重复图象ER2(RT2→B1;RB2→B1)在解码和表示时形成第一图象X1的底部场图象B1的两次重复,该底部场图象B1,与重复图象ER2有关,是第一图象X1的时间上最接近的场,即上一场。
可以容易地看到,隔行效应实际上这样地被避免在解码和显示时,两个图象X1和ER2形成图象T1,B1,B1,B1的接连的显示。所以,由放像机30产生的所述空的重复图象ER2(RT2→B1;RB2→B1)也将被表示为“隔行消除图象”。
如果希望第一图象X1再次被重复,以便得到更高的慢动因子,则可以把一个或多个另外的空的重复图象ER3,ER4等等插入到ER2后的视频序列中。如果空的重复图象ER2,ER3,ER4等等是B编码的,则它们应当是相同的,即,是ERBi(RTi→B1;RBi→B1)类型。然而,如果第一空的重复图象ER2是P编码的,则解码器的相应的顶部存储器和底部存储器的内容在解码和进一步处理这样的P编码的重复图象ERP2后将是相同的;然后,另外的重复图象的顶部场和底部场,不管是P编码的还是B编码的,可以参考这样的P编码的重复图象ERP2,例如ER3(RT3→T2;RB3→B2),的任何一个场T2/B2,正如图5A是示意地表示的。
正如以前说明的,不是通过在这个图象后面跟随空的重复图象而重复显示一个图象,也有可能在这个图象前面有一个空的预展示图象。类似于图5A,图5B示意地表示图象X3,具有顶部场T3和底部场B3。这个图象X3是原始图象,或者I编码的或者P编码的,以及在它的前面有一个B编码的、空的预展示图象EP2。这个空的预展示图象EPB2具有顶部参考信息参量RT2和底部参考信息参量RB2。顶部参考信息参量RT2表示对图象X3的顶部场T3的参考(RT2→T3),在图5B上被表示为箭头RT2,从这个重复图象EP2的顶部场T2向前指向到图象X3的顶部场T3。如果空的预展示图象EP2被设计来在解码后并在显示器上形成所述原始图象X3的顶部场和底部场图象的精确的重复,则底部参考信息参量RB2表示对图象X3的底部场B3的参考(RB2→B3)。然而,正如先前说明的,则出现隔行效应。按照本发明,如果底部参考信息参量RB2也表示对原始图象X3的顶部场T3的参考(RT2→T3),则这个隔行效应被避免,正如在图5B上被示意地表示为箭头RB2,从这个重复图象ER2的底部场B2向前指向到原始图象X3的顶部场T3。这样的空的预展示图象ER2(RT2→T3;RB2→T3)在解码和显示时形成所述图象X3的顶部场图象T3的两次显示,该顶部场图象T3,与预展示图象EP2有关,是所述图象X3的时间上最接近的场,即第一个场。
可以容易地看到,隔行效应实际上这样地被避免在解码和显示时,两个图象EP2和X3形成图象T3,T3,T3,B3的接连的显示。所以,由放像机30产生的所述空的预展示图象EP2(RT2→T3;RB2→T3)也将被表示为“隔行消除图象”。
如果希望原始图象X3被预展示多次,以便得到更高的慢动因子,则可以把一个或多个另外的空的预展示图象EP插入到E2前的视频序列中。因为空的预展示图象应当是B编码的,故它们都应当是相同的,即,是EPBi(RTi→T3;RBi→T3)类型。
在原始的视频序列只包含固定图象,即没有B编码的图象的情形下,以及如果希望有慢动因子2(或4,6等等),则出现特别的情况。图5C示意地表示第一图象X1,具有顶部场T1和底部场B1。这个第一图象X1是原始的固定图象,或者I编码的或者P编码的,后面是B编码的、空的图象E2,它后面是第三图象X3,它是第二个原始的固定图象,或者I编码的或者P编码的。空的图象E2具有顶部场T2和相应的顶部参考信息参量RT2,以及底部场B2和相应的底部参考信息参量RB2。第三图象X3具有顶部场T3和底部场B3。
在以前的例子中,第二图象E2或者是空的重复图象,具有参考B1的它的顶部参考信息参量RT2和它的底部参考信息参量RB2(图5A),或者是空的预展示图象,具有参考T3的它的顶部参考信息参量RT2和它的底部参考信息参量RB2(图5B)。如果在本例中第二图象E2是这样的类型,则显示序列将是T1,B1,B1,B1,T3,B3,B3,B3...图5A的情形,或T1,T1,T1,B1,T3,T3,T3,B3...图5B的情形。因此,场图象的刷新速率将是不规则的。按照本发明,如果顶部参考信息参量RT2表示对第一图象X1的底部场B1的参考(RT2→B1),而底部参考信息参量RB2表示对第三图象X3的顶部场T3的参考(RB2→T3),则这可以被改进,正如图5C示意地表示的。因此,空的图象E2具有重复顶部场和预展示底部场。这样的空的重复/预展示图象E2(RT2→B1;RB2→T3)在解码的显示时形成第一图象X1的底部场图象B1的一次重复,该底部场图象B1,与图象E2有关,是第一图象X1的时间上最接近的场,即上一场,以及形成第三图象X3的顶部场图象T3的一次预展示,该顶部场图象T3,与图象E2有关,是第三图象X3的时间上最接近的场,即第一个场。
在解码和显示时,三个图象X1,E2和X3形成图象T1,B1,B1,T3,T3,B3的接连的显示。因此,不单有效地避免了隔行效应,而且场刷新速率也是恒定的。正如上述的,由放像机30产生的所述空的重复/预展示图象E2(RT2→B1;RB2→T3)也被表示为“隔行消除图象”。
同样的原理可以应用于如果在两个原始的固定图象之间的空的图象的数目是大于1的奇数的情形在所有这样的情形下,中心的空的图象可以是这样的组合的重复/预展示图象。
在上面,在基于帧的编码和基于场的编码之间没有作出区分。如果在编码的视频序列中的图象,正如被记录在载体31上的,是基于帧编码的,则每个图象块以混合方式包含顶部场和底部场的信息。然而,在解码后,解码器40的存储器以分开的方式包括顶部场信息及底部场信息。另一方面,如果编码的视频序列,正如被记录在载体31上的,是基于场编码的,则每个图象块包含只与一个场有关的信息,即,或者顶部场或者底部场。以上的说明对于基于帧编码的图象以及对于基于场编码的图象都是正确的。
应当指出,如上所述的空的重复图象和预展示图象可以是基于场编码的或基于帧编码的,这与记录的视频序列是基于场编码的还是基于帧编码的事实无关。
图6表示本发明的另一个实施例,它可被使用于被记录在载体31上的编码的视频序列包含基于场编码的图象的情形。这个实施例可被使用于其中记录的视频序列是基于场编码的的情形,因为现在帧的两个场在被编码时可被单独地操作。下面,对于其中要被处理的图象是内部编码的图象(I)的情形再次说明本发明,但本发明也应用于要被处理的图象是预测地编码的图象(P)。
当图象是基于场编码时,隔行图象的顶部场以具有相关的图象标题6a和相关的图象标题扩展6b的分开的图象块5被编码,而隔行图象的底部场以具有相关的图象标题6a和相关的图象标题扩展6b的分开的图象块5被编码,每个这些图象块5包含顶部场和底部场的信息。如果图象被预测地编码,顶部参考信息参量RT和底部参考信息参量RB可分别被看作为与每个场有关的,与以上所述类似地,其中每个所述参考信息RT和RB可分别参考顶部场存储器(→T)或底部场存储器(→B)。
通常,任何图象的两个场是相同类型的,即,二者都是I型或P型或B型编码的。再者,在原始的视频序列中内部编码的图象XI1将包括单独地内部编码的顶部场和单独地内部编码的底部场,在图6A上分别表示为TI1和BI1。
放像机30可被设计成输出这两个内部编码的场,以及产生和输出空的重复图象ER2,正如以上描述的。然后,如上所述,在解码和显示时,首先显示顶部场TI1,后面是底部场BI1的重复显示(见图6A)。
然而,按照本发明的本实施例,在这个实施方案中,放像机30被设计来通过参考顶部场存储器的、单独地(基于场的)预测地编码的空的底部场EBP代替内部编码的图象XI1的第二图象块,即,内部编码的底部场BI1;由放像机30产生的这个场在图6B上被表示为EBP(RB→T)。
在解码时,解码器40首先根据顶部场TI1构建顶部场。然后,解码器40根据由放像机30产生的、单独地(基于场的)预测地编码的空的底部场EBP(RB→T),通过重复它的顶部场存储器MT的内容而构建底部场用于显示。因此,第一图象V1的底部场在显示时等同于它的顶部场TI1,正如图6上表示的。鉴于这个帧的两个场是相同的,将会看到,任何隔行效应实际上被消除。所以,由放像机30产生的、所述单独地(基于场的)预测地编码的空的底部场EBP(RB→T),也被表示为“隔行消除场”。
图6C以类似于图5的方式表示这个隔行消除场。
此后,解码器40的底部场存储器MB具有与顶部场存储器MT相同的内容。为了重复显示这个图象,放像机30可以产生空的重复图象ER2,或者P型或者B型的,或者基于帧编码的或者基于场编码的,其中顶部场参考信息RT和底部场参考信息RB可以如上所述地参考底部场存储器,但这不是为得到隔行消除效果所必须的这样的重复图象的顶部场参考信息RT也可以参考顶部场存储器,因为顶部场存储器和底部场存储器的内容将是相同的。事实上,顶部参考信息RT和底部场参考信息RB的数值现在是无关的。在解码这样的重复图象ER2时,解码器40将输出它的底部场存储器的内容两次,或替换地,它的顶部场存储器的内容后面是它的底部场存储器的内容,分别得出相同的视觉结果,即,第二图象V2的显示包括顶部场图象和底部场图象,每个具有与第一图象V1的顶部场相同的内容TI1。
应当看到,在这种情形下,也没有观察到干扰的振动运动,因为所有的场在显示时是相同的。
在另一个实施例中,如果内部编码的底部场BI1被内部编码的顶部场TI1的复制品代替,可以得到相同的视觉效果,正如本领域技术人员将会看到的。然而,这将涉及到更多的比特。
在上面,对于原始图象是I编码的,P编码的,或B编码的情形,参照图4A-C说明了可以如何根据原始图象产生附加的图象来重复显示这些原始图象。还对于这些原始图象是I编码的或P编码的情形,参照图5A-C和6A-C说明了可以如何有效地消除可能的隔行效应。对于所述原始图象是B编码的情形,不可能通过使用隔行消除重复(预展示)图象来重复(或预展示)显示原始的B编码的图象帧,因为,正如说明了的,用于重复这样的B编码的图象的重复图象是这样的B编码的图象本身的复制品。
对于原始的B编码的图象帧是基于场编码的情形,本发明也提供对于这个问题的解决方案。在这种情形下,在原始的视频序列中的B编码的图象XB1将包括单独地B编码的顶部场TB1和单独地B编码的底部场BB1。为了允许重复这个图象而同时允许隔行消除,在本实施方案中的放像机30被设计成产生B编码的重复(或预展示)图象,其中顶部场和底部场是相同的,以及是原始图象的一个场的复制品。放像机30甚至可被设计成用B编码的顶部场TB1的复制品代替B编码的原始图象XB1的第二图象块,即,B编码的底部场BB1。
在解码操作的B编码的图象帧时,解码器40首先根据原始的顶部场TB1构建顶部场,然后根据由放像机30产生的底部场BB1构建底部场,正如上述的,这等同于原始的顶部场TB1。因此,第一图象V1的底部场在显示时,将等同于它的顶部场。鉴于这个帧的两个场是相同的,将会看到,任何隔行效应实际上被消除。所以,由放像机30产生的、所述“人造”底部场也将被表示为“隔行消除场”。
在上面,对于慢动的情形详细地说明本发明简言之,原始图象被显示一次以上。然而,本发明也可应用于快速重放的情形,正如下面参照图7A说明的。
图7A的表中的头三行涉及到原始的视频序列。图7A的第一行表示接连的图象,如根据原始的视频序列在显示设备上被显示的。第二行表示在显示时在原始的序列中接连的图象的位置。第三行表示这些原始图象的图象类型。
图7A的表中的以下的行涉及到根据原始的序列由放像机30产生的特技播放序列。特技播放序列包含比起原始的序列更少的图象;事实上,特技播放序列是通过跳过某些原始图象而被产生的。被使用来产生特技播放序列(即,从原始的序列中“提取的”)的原始的序列的图象,用图7A的第四行的箭头表示。第五行表示在特技播放序列中图象的位置,以及第六行表示由特技播放序列中的图象产生的图象。
从图7A上应当看到,不是所有的原始图象被显示。如果图象被跳过,则达到比起正常重放时更快地,快进因子取决于跳过的图象的数目。在本例中,假设原始的编码的视频序列只包括各包含12个图象的GOP,每个GOP具有格式IBBPBBPBBPBB,以及放像机30在快进特技播放模式下只使用I图象,以及跳过其余的图象。提取的内部编码的图象被表示为在图7A的第七行上的XI1,XI2,XI3等等。
除了比特速率考虑以外,只包括从这样的原始的视频序列提取的这些内部编码的图象的视频序列可被发送到TV屏幕,以及最终得到的显示相应于快进因子12。
如果想要较高的快进因子,也可以跳过I编码的图象。为了允许特技播放具有较低的快进因子或较低的刷新速率,视频放像机30插入空的图象E(空的重复图象ER和/或空的预展示图象EP和/或空的内插图象EI和/或空的重复/预展示图象ER/P)。当由解码器40解码时,这些图象E导致附加显示前一个内部编码的图象(重复)或下一个内部编码的图象(预展示)或它们的组合。
图7B表示示例性特技播放序列的图象。图7B的第一行表示从原始序列提取的内部编码的图象XI1,XI2,XI3等2,如在图7A的第七行中表示的。图7B的第一行还表示,这个示例性特技播放序列,在每个原始的内部编码的图象XI1,XI2,XI3等等后,总是包含两个空的图象E,被编号为Eij,数目i是指前一个原始的内部编码的图象XIi的号码,区分空的图象的数目j是指同一个原始图象。在本例中,空的图象都是重复图象。
在解码这个示例性特技播放序列时显示的图象被表示在图7B的第二行。应当看到,这个示例性特技播放序列导致相对于原始的序列的总的快进因子4。
在提取的序列中的原始图象后被插入的空的重复图象E越多,原始图象被显示的次数越多,以及快进因子越低。正如本领域技术人员将会看到的,不同的快进因子可以通过重复每个图象不同的次数而得到。而且,不必所有的图象都重复相同的次数例如,如果第一图象被显示三次,而第二图象被显示两次,则得到平均快进因子4.8。
类似于先前相对于慢动描述的,特技播放序列可包括重复图象以及预展示图象以及内插图象以及重复/预展示图象。
鉴于图象被重复显示,可能出现隔行效应问题。为了克服这个问题,在本示例性实施方案中,数字视频放像机30被设计成在要被重复的每个原始图象XIi后产生第一空的重复图象EiI作为隔行消除图象EiI(RT→B;RB→B),或者P编码的或者B编码的。或如果内部编码的图象XIi是基于场编码的,则数字视频放像机30可被设计成用它的相应的顶部场的复制品代替原始的内部编码的图像XIi的原始的底部场,或替换地用由放像机30产生的单独地(基于场的)预测地编码的空的底部场EBP(RB→T)代替,正如以上参照图6A-C描述的。
在上面,用于快动情形的本发明是在从原始的序列只提取I帧的情形下作为例子被描述的。然而,也有可能按照本发明使用原始P帧,即,重复显示预测地编码的帧。最后,正如上面说明的,在P帧被处理后,解码器的视频存储器MT和MB将包含上一个被显示的图象。这个图象可以通过发送空的重复帧到解码器而再次被显示,以及通过构建这个空的重复帧作为隔行消除帧,隔行效应可被消除,正如以上描述的。
在上面,描述了可以如何产生MPEG-2编码的视频信号,适用于在数字接口上传输,以使得接收设备接收信号,一方面,完全满足MPEG语法,另一方面,在解码和显示时导致特技播放,即,显示速度不同于原始的序列的正常速度。特别的情形是暂停。如果放像机被切换到暂停模式,放像机通常停止通过接口发送视频信号。在数字传输链路的情形下,这可能导致接收设备进入未定义的状态,以及被连接到这样的接收设备的显示器可成为消隐状态;如果在以后的时间传输继续进行,则接收设备在解码接收的信号时可能有困难,以及在放像机切换回放像模式后的一段时间内,显示器可停留在消隐状态。
为了避免这些问题,按照本发明,发送设备(放像机)优选地被配备来产生和发送通过数字接口的连续的空的重复图象流,其中这样的流的至少第一空的图象是隔行消除图象。然后,接收解码器将接收正确的MPEG流,以及只要放像机处在暂停模式,将继续显示静止图象。
在优选的实施方案中,当切换到暂停模式时,发送设备继续正常播放,直至内部编码的图象为止(平均地,这通常花费不到0.25秒),然后,开始发送空的图象。
对于不同的问题,相同的解决方案是可能的。如果放像机被切换到静止图象模式,用户的打算是显示器继续显示现在的图象。通常,这通过放像机从记录中连续地读出一个图象和在读数时连续地发送视频信号而实施。具体地,在磁记录的情形下,这可能损害记录。而且,在I编码的图象的情形下,必要的比特速率将是非常高的,而在P编码的图象的情形下,不可能仅仅重复这些图象。为了避免这些问题,按照本发明,发送设备(放像机),优选地被配备来产生和发送通过数字接口来发送的连续的空的重复图象流,如果被切换到静止图象模式的话,其中这样的图象流的至少第一空的图象是隔行消除图象。然后,接收解码器将接收正确的MPEG流,以及只要放像机处在静止图象模式,将继续显示静止图象。
如果接收的解码器只接收连续的空的重复图象流,它不能从可能的传输错误中修复。而且,接收的解码器不能只根据连续的空的重复图象流显示静止图象,除非它的场存储器包含正确的固定信息;如果解码器在放像机进入暂停模式或静止图象模式后被切换,则它的存储器是空的。如果按照本发明的另一个优选实施例,发送设备(放像机)被配备来把来自原始的流的原始的内部编码的图象不时地插入到所述连续的空的重复图象流中,则这些问题可被避免。事实上,放像机然后产生包含一个原始的内部编码的图象和预定的数目的空的重复图象的人造GOP,所述原始的内部编码的图象对于所有的这样的人造的GOP是相同的。这样的人造GOP可能具有互相相同的长度,但这不是本质的在极限范围内,这样的人造GOP的长度可被任意地选择,考虑到想要的随机访问的时间和通过接口的平均比特速率。而且,在这样的人造GOP中,空的图象只能是P型的,因为B编码的图象只在将来的固定图象被接收和被存储在缓存器存储器中才能被解码。
因此,本发明提供一种根据原始的编码的视频序列产生在特技播放中使用的压缩的视频信号的方法,和实施这种方法的设备,所产生的压缩的视频信号在解码和显示时导致与原始的速度不同的重放速度,而比特传送速率保持为有限的。按照本发明,从原始的视频序列中只提取有限的数目的图象,这导致增加的重放速度,而每个被提取的图象还被重复至少一次,这样,隔行效应被有效地避免。通过在产生的视频序列中插入至少一个空的重复或预展示图象,来达到图象的重复显示。
在第一实施例中,隔行效应被有效地避免,因为紧接地跟随在要被重复的原始图象后面的第一重复图象是具有顶部场参考信息RT和底部场参考信息RB的隔行消除图象,二者都参考底部场存储器,导致原始的底部场的重复显示。
在第二实施例中,隔行效应被有效地避免,因为要被重复的原始图象的底部场,被具有参考顶部场存储器的底部场参考信息RB的隔行消除底部场代替,导致原始的顶部场的重复显示。
本领域技术人员应当看到,本发明的范围并不限于以上讨论的例子,有可能作出几个修改和修正方案,而不背离附属权利要求中规定的本发明的范围。例如,放像机30可被设计成允许用户输入选择的快进因子,以及计算为了得到这样的选择的快进因子平均所必须的重复帧的数目。快进因子甚至可以连续变化。
在上面,假设顶部帧在底部帧之前被显示。本领域技术人员将会看到,本发明的空的重复图象ER重复前一个固定图象的上一个显示的场;所以,如果底部场在顶部场之前被显示,则隔行消除重复图象ER的顶部场参考信息RT2和底部场参考信息RB2都参考顶部场存储器。同样的做法(已作出必要的改变)应用到空的预展示图象EP。
而且,虽然本发明是对于快进特技播放的情形描述的,但本发明并不限于正向播放,而是同样可应用于反向播放,再次具有可能的不同的速度因子。
在上面,本发明是对于原始的视频序列被记录在盘形的媒体的情形进行说明的。这样的盘形媒体可包含磁记录或光记录。然而,原始的视频序列也可被记录在带状类型的媒体,例如,磁带上。应当看到,放像机30将自适应于记录的类型,以便能够读出记录。所以,其中在说明和权利要求中使用通用词组“放像机”的场合下,这个词组打算覆盖磁盘放像机,光盘放像机,磁带放像机等等。
在上面,本发明是对于从放像机输出的信号被发送到电视机,用于直接显示的情形进行说明的。然而,从放像机(130图8A)输出的信号也可通过的相应于写入这样的记录媒体135的任何传统的记录器133而被记录在任何适当的记录媒体135上。这样的记录器133可以是分开的记录器,或可以是与放像机130组合在一起的。当这样记录的压缩的数字视频记录通过任何传统的放像机以正常速度被重放和被发送到电视机时,最后得到的显示将是具有特技播放速度的显示。
当特技播放视频序列被产生和被记录时,使得以后以正常速度的重放导致不同于原始速度的速度的显示,放像机不必以增加的速度读出原始的记录。作为替换例,设备(放像机)可被设计成以正常速度读出原始的记录,构建如上所述的、按照本发明的特技播放序列,以及把特技播放序列写在适当的媒体上。另外,当这样记录的特技播放序列通过任何传统的放像机以正常速度被重放和被发送到电视机时,最后得到的显示将是具有不同于原始序列速度的速度的显示。
在这样的情形下,原始的视频序列不必是以记录的形式可提供的。设备还可包括接收机(230图8B),自适应于在输入端236处接收来自例如是外部放像机的外部源(为了简单起见,未示出)的原始的视频信号,以及构建特技播放序列和通过记录器233把特技播放序列写在适当的媒体235上。
替换地,设备还可包括接收机(330图8C),用来在输入端337处接收数字视频广播。输入337在图8C上被表示为用于接收无线广播的天线,但输入337也可以是有线电视输入。
虽然在上面,本发明是对于隔行场型的视频图象进行说明的,但本发明同样可应用于逐行扫描的视频;当然,隔行效应不再起任何作用。
权利要求
1.编码的视频信号,包含至少一个空的图象(E)、即不带有编码的宏块的图象。
2.按照权利要求1的编码的视频信号,其中所述空的图象(E)被这样地来构建,以使得在解码时,这个空的图象(E)的每个场形成这个空的图象(E)所参考的固定图象的时间上最接近的场的重复显示,以便消除隔行效应。
3.按照权利要求1的编码的视频信号,其中所述空的图象(E)是在解码后形成前一个固定图象的重复显示的空的重复图象(ER)。
4.按照权利要求3的编码的视频信号,其中所述空的重复图象(ER)具有参考第二场(RT→B)的第一场参考信息,以便消除隔行效应。
5.按照权利要求1的编码的视频信号,其中所述空的图象(E)是在解码后形成将来的固定图象的重复显示的空的预展示图象(EP)。
6.按照权利要求5的编码的视频信号,其中所述空的预展示图象(EP)具有参考第一场(RB→T)的第二场参考信息,以便消除隔行效应。
7.按照权利要求1的编码的视频信号,其中所述空的图象(E)是在解码后形成前一个固定图象的一场重复显示、后面跟随一个将来的固定图象的一场重复显示的空的重复/预展示图象(ER/P)。
8.按照权利要求7的编码的视频信号,其中所述空的重复/预展示图象(ER/P)具有参考第二场(RT→B)的第一场参考信息和参考第一场(RB→T)的第二场参考信息,以便消除隔行效应。
9.按照权利要求1的编码的视频信号,其中所述空的图象(E)是在解码后形成在前一个的固定图象与一个将来的固定图象之间的内插的显示的空的内插图象(EI)。
10.按照权利要求9的编码的视频信号,所述空的内插图象(EI)被设计成在解码后形成在该前一个固定图象的第二场与该将来的固定图象的第一场之间的内插显示两次,以便消除隔行效应。
11.包含具有I编码的第一场和具有P编码的空的重复第二场(EBP)的至少一个图象的编码的视频信号,其中该P编码的空的重复第二场(EBP)具有参考所述第一场(RB→T)的第二场参考信息。
12.根据原始的视频序列,优选地按照MPEG2格式产生压缩视频信号、从而在解码后使所产生的压缩的视频信号在显示器上以不同于原始视频序列速度的速度进行显示的方法,该方法包括以下步骤-从原始视频序列中提取原始的内部编码的(I型)或预测地编码的(P型)图象(X1);以及-产生编码的空的图象(E2)、并将其附加在被提取的原始图象后面。
13.按照权利要求12的方法,其中所述空的图象(E)是空的重复图象(ER2),这样,在解码后,所附加上的空的重复图象(ER2)形成在解码所述原始图象(X1)后显示的图象的至少一部分的重复显示。
14.按照权利要求13的方法,其中所述空的重复图象(ER2)具有参考第二场存储器(RT2→B)的第一场参考信息(RT2)和参考同一个第二场存储器(RB2→B)的第二场参考信息(RB2),从而使得在解码后所述原始图象(X1)的第一场图象被显示一次,随后所述原始图象(X1)的第二场图象被显示三次。
15.按照权利要求13或14的方法,其中至少一个另外的空的重复图象(ER3)被产生和被附加在所述空的重复图象(ER2)的后面。
16.按照权利要求15的方法,其中第一空的重复图象(ER2)是预测地编码的(P型)图象,以及其中另一个空的重复图象(ER3)是包含参考第一场存储器(RT3→T2)的第一场参考信息(RT3)和参考第二场存储器(RB3→B2)的第二场参考信息(RB3)的空的预测地编码的(P型)图象。
17.按照权利要求15的方法,其中第一空的重复图象(ER2)是预测地编码的(P型)图象,以及其中另一个空的重复图象(ER3)是包含参考第一场存储器(RT3→T2)或第二场存储器(RT3→B2)的第一场参考信息(RT3)和参考第二场存储器(RB3→B2)的第二场参考信息(RB3)的空的双向预测地编码的(B型)图象。
18.按照权利要求15的方法,其中第一空的重复图象(ER2)是双向预测地编码的(B型)图象,以及其中另一个空的重复图象(ER3)是与第一空的重复图象(ER2)相同的。
19.按照权利要求12的方法,其中所述空的图象是空的预展示图象(EP2),这样,在解码后,所附加上的空的预展示图象(EP2)形成对于在解码所述原始图象(X1)后显示的该将来的图象的至少一部分的预展示显示。
20.按照权利要求19的方法,其中所述空的预展示图象(EP2)具有参考第一场存储器(RT2→T)的第一场参考信息(RT2)和参考同一个第一场存储器(RB2→T)的第二场参考信息(RB2),以使得在解码后并在显示时,所述原始图象(X1)的第一场图象被显示三次,随后所述原始图象(X1)的第二场图象被显示一次。
21.按照权利要求19或20的方法,其中至少一个另外的空的预展示图象被产生和被附加在所述空的预展示图象(EP2)的后面。
22.按照权利要求21的方法,其中第一空的预展示图象(EP2)是双向预测地编码的(B型)图象,以及其中另一个空的重复图象是与第一空的预展示图象(EP2)相同的。
23.根据原始的视频序列,优选地按照MPEG2格式产生压缩视频信号、从而在解码后使所产生的压缩的视频信号以不同于原始视频序列速度的速度进行显示的方法,该方法包括以下步骤-从原始视频序列中提取第一原始的内部编码的(I型)或预测地编码的(P型)帧(X1);-从原始视频序列中提取第二原始的内部编码的(I型)或预测地编码的(P型)图象(X3);以及-产生空的图象(E2)、并将其附加在该两个被提取的原始图象后面,从而在解码后,所附加上的空的图象(E2)使得在解码所述第一原始图象(X1)后显示的图象的至少一部分被重复显示以及在解码所述第二原始图象(X3)后显示的该将来的图象的至少一部分被预展示显示。
24.按照权利要求23的方法,其中所述空的图象(E2)具有参考第二场存储器(RT2→B1)的第一场参考信息(RT2)和参考第一场存储器(RB2→T3)的第二场参考信息(RB2),从而使得在解码后所述第一原始图象(X1)的第二场图象被显示两次,随后所述第二原始图象(X3)的第一场图象被显示两次。
25.根据原始的视频序列优选地按照MPEG2格式产生压缩视频信号、从而在解码后使所产生的压缩的视频信号以不同于原始视频序列速度的速度进行显示的方法,该方法包括以下步骤-从原始视频序列中提取原始的内部编码的(I型)或预测地编码的(P型)图象(X1),这个原始图象是基于场编码的,以及包括原始第一场(TI1;TP1)和原始第二场(BI1;BP1);以及-用所述原始的第一场(TI1;TP1)的复制品代替原始的第二场(BI1;BP1)。
26.根据原始的视频序列,优选地按照MPEG2格式产生压缩视频信号、从而在解码后使所产生的压缩的视频信号以不同于原始视频序列速度的速度进行显示的方法,该方法包括以下步骤-从原始视频序列中提取原始的内部编码的(I型)或预测地编码的(P型)图象(X1),这个原始图象是基于场编码的,以及包括原始第一场(TI1;TP1)和原始第二场(BI1;BP1);-参考第一场存储器(RB→T),产生单独地(基于场的)预测地编码的(P型)空的第二场图象(EBP);以及-用所述产生的空的第二场图象(EBP(RB→T))代替该原始的第二场(BI1;BP1),从而在解码后并在显示时,所述空的第二场图象(EBP(RB→T))使得所述原始图象(X1)的第一场图象被重复显示。
27.按照权利要求25或26的方法,其中至少一个空的重复图象被产生和被附加在所述修改的第二场图象(TI1;TP1;EBP(RB→T))的后面。
28.按照权利要求27的方法,其中至少一个所述空的重复图象是空的预测地编码的(P型)图象或空的双向预测地编码的(B型)图象,其中包含参考第一场存储器(→T)或参考第二场存储器(→B)的第一场参考信息(RT),以及包含参考第二场存储器(→B)的第二场参考信息(RB)。
29.按照权利要求12-28中任一项的方法,其中-从原始视频序列中提取第一原始图象;-第一空的图象被产生和被附加在第一提取的原始图象的后面;-第一预定的数目的另外的空的图象被产生和被附加在第一空的图象的后面;-从原始视频序列中提取第二原始图象;-第二空的图象被产生和被附加在第二提取的原始图象的后面;-第二预定的数目的另外的空的图象被产生和被附加在第二空的图象的后面;-这样,在解码后第一图象按照所述第一预定的数目加上两次被重复地显示,而第二图象按照所述第二预定的数目加上两次被重复地显示;-其中第一预定的数目和第二预定的数目是互相不同的。
30.按照先前的权利要求12-29的任一项的方法,用于产生慢动序列,其中原始视频序列的所有的原始图象被使用来产生慢动播放序列。
31.按照先前的权利要求12-29的任一项的方法,用于产生快动序列,其中原始视频序列的有限数目的原始图象被使用来产生快动播放序列。
32.按照权利要求31的方法,其中仅把原始视频序列的固定图象用来产生快动播放序列。
33.按照权利要求32的方法,其中仅把原始视频序列的内部编码的固定图象用来产生快动播放序列。
34.用于处理原始视频序列和用于产生压缩的视频特技播放信号的设备,所述视频特技播放信号在解码后能获得与原始视频序列的正常速度不同的显示速度,该设备被设计成执行按照先前的权利要求中的任一项的方法。
35.按照权利要求34的设备,包括放像机(30;130),它适合于从记录载体(31;131)读出原始视频序列,以及具有输出端(32;132),用于输出该产生的视频特技播放信号。
36.按照权利要求35的设备,还包括记录器(133),它具有输入端(134),被连接到放像机(130)的输出端(132),该记录器(133)被安排成用于把放像机(130)产生的视频特技播放信号记录在记录媒体(135)上。
37.按照权利要求36的设备,其中放像机(130)和记录器(133)被组合成一个整体的记录/重放设备。
38.按照权利要求34的设备,包括接收机(230),它具有输入端(236),用于从外部源接收原始视频序列,以及具有输出端(232),用于输出该产生的视频特技播放信号;-该设备还包括记录器(233),它具有输入端(234),被连接到放像机(230)的输出端(234),该记录器(233)被安排成用于把由放像机(230)产生的该视频特技播放信号记录在记录媒体(235)上。
39.按照权利要求34的设备,包括接收机(330),它具有输入端(337),用于接收作为数字视频广播的原始视频序列,以及具有输出端(332),用于输出该产生的视频特技播放信号;-设备还包括记录器(333),它具有输入端(334),被连接到放像机(330)的输出端(332),该记录器(333)被安排成用于把放像机(330)产生的该视频特技播放信号记录在记录媒体(335)上。
40.按照权利要求38或39的设备,其中接收机(230;330)和记录器(233;333)被组合成一个整体单元。
41.按照权利要求34或35的设备,它适合于在暂停模式或在静止图象模式下产生空的重复图象序列。
42.按照权利要求41的设备,它适合于把原始的内部编码的图象包括在所述序列中,并且总是放置在预定的数目的空的重复图象后面。
43.用于载送记录的压缩数字视频特技播放信号的记录载体(135;235;335),,该信号在正常重放时能以与原始视频序列的标准刷新速率不同的刷新速率进行显示。
44.按照权利要求43的记录载体,用于载送记录的压缩数字视频特技播放信号,该信号在正常重放时能以与原始视频序列的标准刷新速率不同的刷新速率进行显示而消除任何隔行效应。
45.按照权利要求43或44的记录载体,其中记录在其上的压缩数字视频特技播放信号包括按照权利要求1-11中任一项的至少一个信号。
46.按照权利要求43或44的记录载体,其中记录在其上的压缩数字视频特技播放信号包括至少一个序列的、来自原始的视频序列的原始的内部编码的(I型)或预测地编码的(P型)图象(X1),后面跟随空的重复图象(ER2),以使得在正常重放速度下、在解码后,所述空的重复图象(ER2)能使得所述原始图象(X1)的至少一部分图象被重复显示。
47.按照权利要求46的记录载体,所述空的重复图象(ER)具有参考第二场(RT→B)的第一场参考信息,以便消除任何隔行效应,以使得在解码后并在显示时,所述原始图象(X1)的第一场图象被显示一次,随后是所述原始图象(X1)的第二场图象被显示三次。
48.按照权利要求43或44的记录载体,其中记录在其上的压缩数字视频特技播放信号包括至少一个序列的、来自原始的视频序列的原始的内部编码的(I型)或预测地编码的(P型)图象(X3),随后是空的预展示图象(EP2),以使得在以正常播放速度解码后,所述空的预展示图象(EP2)能使所述原始图象(X3)的至少一部分图象被预展示显示。
49.按照权利要求48的记录载体,所述空的预展示图象(EP)具有参考第一场(RB→T)的第二场参考信息,以便消除任何隔行效应,从而使得在解码后,所述原始图象(X3)的第一场图象被显示三次,随后是所述原始图象(X3)的第二场图象被显示一次。
50.按照权利要求43或44的记录载体,其中记录在其上的压缩数字视频特技播放信号包括至少一个序列的、来自原始的视频序列的第一原始的内部编码的(I型)或预测地编码的(P型)图象(X1);来自原始的视频序列的第二原始的内部编码的(I型)或预测地编码的(P型)图象(X3);以及空的图象(E2),以使得在以正常播放速度解码后并在显示时所述空的图象(E2)使得在解码所述第一原始图象(X1)时显示的至少一部分图象被重复显示,以及在解码所述第二原始图象(X3)时显示的至少一部分将来的图象被预展示显示。
51.按照权利要求50的记录载体,所述空的图象(E2)具有参考第二场存储器(RT2→B1)的第一场参考信息(RT2)和参考第一场存储器(RB2→T3)的第二场参考信息(RB2),以便消除任何隔行效应,以使得在解码后,所述第一原始图象(X1)的底部场图象被显示两次,随后是所述第二原始图象(X3)的第一场图象被显示两次。
全文摘要
描述了用于产生压缩的视频信号的方法,它适用于在特技播放中使用,以使得实际上避免隔行效应。在第一实施例中,通过产生至少一个空的重复图象而重复显示图象,其中第一空的重复图象是关于顶部帧(T2)以及关于底部帧(B2)向后参考底部场存储器(MB)的隔行消除图象(E2(RT
文档编号H04N5/781GK1465180SQ02802201
公开日2003年12月31日 申请日期2002年4月12日 优先权日2001年4月24日
发明者O·埃伦伯格, D·P·凯利, J·P·范加塞尔 申请人:皇家菲利浦电子有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1