专利名称：转换视频序列的方法和相应的转换装置和解码系统的制作方法
技术领域：
本发明涉及从第一视频序列转换为第二视频序列的一种方法，其中旧序列和新序列都是由T=I、P或B类型的图像构成，图像类型根据所说图像是独立编码的，或者是从在先的I或P图像预测的，或者是从在先和在后的P图像和/或I图像双向预测的而确定。本发明还涉及用于实施所说转换方法的一种装置，和包括这种装置的一种解码系统。本发明可以用于例如以地方电视台播放的电视节目代替国家电视台播放的节目，特别适用于与MPEG-2标准有关的图像处理。
国际标准组织(ISO)的运动图像专家组(MPEG)所采用的所说标准的原理在许多文献中均有介绍，详细内容可以参见例如“Switchingfacilities in MPEG-2:necessary but not sufficient”(SMPTEJournal,Vol.104,n°12,1995年12月，pp788-802)。
如在该文献中所述，转换的意思是多个节目段或整个节目(包括视频、声频和相关数据)的接合(Splice)，总之就是不同的基本数据流的链接。在下文中，为了简单起见，说明仅限于两种不同位流的情况，所说位流可以在不同的位置和/或在不同的时间产生，而且当最初产生它们时并没有打算将它们接合在一起。
关于这些位流本身的结构，必须指出，压缩视频序列由包括不同类型的编码图像I、P和B的图像组(GOP)构成。I图像(内编码的)是独立编码的(仅仅利用内帧技术，不需要以前的信息，即不需要参考其它图像)，而P图像(预测编码的)是从在先的I图像或从在先的P图像预测获得的，B图像(双向预测编码的)是从在先的和在后的P图像和/或I图像双向预测获得的。
根据这些预测类型的不同，图像编码的效率也或高或低(I图像是编码效率最低的，P图像是效率较高的，而B图像是其中编码效率最高的)。由于对这些图像编码所需的比特数不是恒定的，当以规则的周期T(V)进行解码时，编码图像的比特在解码器缓存器中停留的时间也不是相同的。
MPEG标准规定了一种抽象解码模型，称为视频缓存检验模型(VBV)，并用于检验一个MPEG位流在合理的缓存和延迟要求条件下是否是可解码的利用缓存占用的方式，对位流施加约束，从而可以在不造成缓存器下溢或溢出的前提下完成解码。于是，所谓的vbv_延迟表示编码图像的第一位在所说解码器缓存器中停留的时间。如果被压缩的第一“旧”图像的vbv_延迟和被传输的第一“新”图像的vbv_延迟不同(在一个给定点被新图像代替的图像被称为旧图像，所说的给定点称为接头(Spliceing point)，是属于旧位流的数据与属于新位流之间的边界)，则不可能以所说的周期T(V)用规定解码的图像进行转换。此外，由于被替代图像的大小与插入图像的大小不同，可能发生解码器缓存器下溢或溢出的问题。所以一般不可能在两个编码视频序列之间进行简单的转换。
为了避免在显示侧产生任何显示不连续现象(数据流没有可以察觉的中断能够持续地吸引观看者的注意力)，需要解码不存在不连续性，只有当接头天衣无缝，即获得平滑传输的位流时才可能实现。这意味着新位流的第一存取单元的解码时间与接头之前的旧位流的存取单元的解码时间是一致的，除了在称为接合点并且位于位流特定字段中的合适位置之外一般是达不到这个要求的。这样的一个存取点位于两个编码图像之间，并且限定了在该点之后的第一位的固定标准vbv_延迟值，也称为接合解码延迟(接合点的结构也保证在旧序列与新序列之间转换时不会产生溢出)。因此仅仅当在新视频序列和旧视频序列之间存在相同的接合点时可以执行转换操作。但是，目前这些点是纯形式的，只能限定少数接合解码延迟值，没有解码系统能够执行它们。此外，在置换视频序列的情况下(即在两次连续视频转换中，包括从旧序列到新序列的第一次向前转换，和从新序列向旧序列的第二次向后转换)，仅仅当相应于向后转换的旧接合点和新接合点的时间位置是可以预测和兼容时，才能够使用这些接合点。这意味着两个视频序列要具有规则和标准的GOP结构，但是通常是不满足这个要求的。
所以本发明的第一个目的是提出一种方法，该方法能够在对接合点产生没有限制的前提下实现视频序列转换。
为此目的，本发明涉及如在本说明书前序中所述的一种方法，进一步说，其特征在于在两个序列之间的转换点插入包含k个图像的附加序列，为了使两个序列兼容，k的值必须足够大，所说附加图像用极少的位数编码。
根据所说方法，用k个周期T(V)延迟新视频序列，直到vbv_延迟兼容为止。这个延迟使得对于解码器来说在旧视频序列与新视频序列之间产生k个图像的空缺，k个图像的附加序列取代了这个位置。这样解码器就可以连续和成功地显示旧序列图像、k个最少图像，和新序列的图像。
本发明的另一个目的是提出用于实施所说转换方法的一种装置。
为此目的，本发明涉及在用于对n个并行视频位流进行解码的一个解码系统中的一种转换装置，所说位流如果已经在没有参考任何其它图像的前提下对它们进行了编码，则相当于所说内编码的视频图像序列，或者如果它们是由在先内编码或预测编码图像经过运动补偿或由在先和在后图像经过双向内插而预测获得的，则相当于所说的预测编码或内插编码视频图像序列，所说转换装置包括用于进行位流的选择性转换的选择装置，其中所说位流已经按照上述转换方法进行解码。
本发明的再一个目的是提出包括这样一种转换装置的一种解码系统。
为此目的，本发明涉及用于对n个并行视频位流进行解码的一种解码系统，所说位流如果已经在没有参考任何其它图像的前提下对它们进行了编码，则相当于所说内编码的视频图像序列，或者如果它们是由在先内编码或预测编码图像经过运动补偿或由在先和在后图像经过双向内插而预测获得的，则相当于所说的预测编码或内插编码视频图像序列，所说系统包括包含在级联选择装置中用于选择需要进行解码的位流的一种转换装置和用于对所选择位流进行解码的解码装置，其中所说选择装置包括用于对需要解码的位流进行选择转换的控制装置，以实现如上所述的一种方法。
通过以下说明和附图可以更加清楚本发明的特征和优点，在所说附图中
图1和图2分别为在不使用本发明和使用本发明的情况下解码器缓存器充满度相对于时间的曲线图；图3表示可能出现的缓存器溢出问题，图4表示根据本发明提出的解决方案；图5为表示本发明转换方法的连续步骤的流程图；图6表示包括根据本发明构成的一种转换装置的一种解码系统的一个实施例。
为了更好地理解本发明的原理，必须指出在转换时产生的某些问题。图1中表示了第一种转换问题，该图为解码器缓存器充满度DBF相对于时间的曲线图。第一条线段R(OLD)对应于与旧序列第一替换图像相关的位流，并且表示旧序列的视频位速率，该旧序列必须用新序列替换。最后一个图像，在没有转换的情况下(即如果没有替换)，在时间TD(0)解码。如果发生转换，将在相同时间TD(0)对传输的新序列第一个图像解码(线段R(NEW)对应于与该第一传输图像相关的位流，R(NEW)表示这个新序列的视频位速率)。当本地电视台视频位速率R(NEW)低于国家电视台位速率R(OLD)时，并因此考虑到分别与各个图像相关的VBV延迟VBV(OLD)和VBV(NEW)以及对应的时间TS(OLD)和TS(NEW)时(其中TS(OLD)=当旧序列第一替换图像的第一位进入解码器缓存器的时间=TD(OLD)-VBV(OLD)；TS(NEW)=新序列第一传输图像的第一位进入(理论上)解码器缓存器的时间=TD(NEW)-VBV(NEW)；TD(OLD)和TD(NEW)=当对所说第一替换图像和第一传输图像进行解码的时间)，事实上TS(NEW)在TS(OLD)之前出现，所以不可能在同一时间发送旧序列最后传输图像的比特和新序列的第一传输图像的比特。
因此，根据本发明(参见图2，后面将更加详细地介绍)，已经决定在向前转换时插入k个图像的一个附加序列，将新序列延迟k个周期T(V)。数值k足够大使得TS(NEW)出现在TS(OLD)之后，所说的k个图像具有特定特征，使得它们很容易编码(用极少的位数表示它们，因此在说明书中称之为最小图像)。
使用最小图像的目的是在使新序列延迟的同时，将解码器缓存器尽可能排空。构成这种附加序列的一种方法是例如使用具有k个一致的彩色图像的一个序列(在下文中称为UC图像)，所说彩色图像中所有的像素都是一样的(例如一个I图像和(k-1).P图像)。另一种方法是使用具有k个P图像的一个序列，该序列可以通过例如使用所说最小序列的图像作为前面的I或P图像的拷贝，对于解码器来说，它们在冻结旧序列在(k.T(V))秒钟内的最后的I或P图像具有同样的作用。
在使用k个UC图像的情况下，由于所有图像都是相同的，所以按照压缩语法，可以用最少位数将P图像描述成第一I图像的拷贝。因此对所说UC序列编码所需的附加处理步骤限于对这个序列中的第一I图像的编码。
在使用k个P图像的情况下，用MPEG-2语法将这些图像描述成前面一个图像的拷贝。事实上，这样一种技术方案在转换方面所产生的效果就是将在k.T(V)秒钟内的旧序列的最后一个图像冻结，而用在相同时间内的UC图像替换。
在两种情况下，由于VBV_延迟的原因，必须在所考虑的转换点插入最少数目的最小图像(例如可参见图1)。在使用UC图像情况下为确定所说的数目，可以选择下列符号表示(以比特为单位)D(I)=该UC图像序列中I图像的大小；D(P)=该UC图像序列中P图像的大小；S(MAX)=解码器缓存器的容量。
最小数值k取决于旧序列第一替换图像的特征，和新序列第一插入图像的特征。由于知道这些图像是以恒定周期T(V)进行解码的，数值k必须使得在TS(OLD)与TS(NEW)之间能够传输k个UC图像的所有位。如果TS(NEW)-TS(OLD)＞(D(I)+(k-1).D(P))/R(OLD)(1)这是有可能的，就是说，如果TS(NEW)-TS(OLD)大于该周期长度，则需要以R(OLD)的位速率传输所说最小图像。这个条件使得k具有由关系式(2)给出的一个最小值k>(VBV(NEW)-VBV(OLD)-D(I)-D(P)R(OLD))·(R(OLD)(R(OLD).T(V))-D(P))---(2)]]>由于VBV(NEW)的上限为S(MAX)/R(NEW),k的上限可以近似为k(MAX)，例如k(MAX)>(S(MAX)R(NEW).T(V))+1---(3)]]>在使用具有k个P图像情况下确定该最小数目时，用下列关系式(4)代替关系式(2)k>(VBV(NEW)-VBV(OLD))(R(OLD)(R(OLD).T(V))-D(P))---(4)]]>
所提出的方案如图2所示，该附图表示当使用所说方案时解码器缓存器充满度DBF相对于时间的改善的曲线图现在TS(NEW)出现在TS(OLD)之后，考虑到VBV(OLD)值，旧序列最后传输图像可以在TD(-1)点解码，考虑到VBV(NEW)值，新序列的第一传输图像可以在TD(2)点解码，并且，在这些第一替换图像和第一传输图像之间，在TS(OLD)与TS(NEW)之间发送最小图像，并在TD(0)和TD(1)点解码。
此外，由于传输速率R(OLD)通常与R(NEW)不同，所以当出现转换切换时，输入解码器缓存器的输入速率与没有经过任何转换输入的输入速率不同，当输入速率变大时存在缓存器溢出的危险。因此必须进行无溢出检验。必须根据时间TS(NEW)至时间TD(OLD)计算解码器缓存器充满度。如果可能发生溢出，必须插入最小图像直到验证无溢出状态为止，或者直到TS(NEW)大于TD(OLD)为止。用于检验这个最终条件的最小图像的数值k是这样的，当TD(OLD)-TS(NEW)＜0时，其导致k＞(VBV(NEW)/T(V))+1。由于VBV(NEW)的上限为S(MAX)/R(NEW)，所以k可以以k(MAX)为上限，例如k(MAX)>(S(MAX)R(NEW).T(V))+1---(5)]]>这与前面的结果一致(关系式(3))。
从图3中可以看出当R(NEW)大于R(OLD)时可能产生的缓存器溢出问题，该图表示解码器缓存器充满度S(t)的演变(S(MAX)表示S(t)的最大值)。线段L(OS)只对应于相对于旧序列在每个时间的缓存器充满度状态在时间TD(-7)、TD(-6)、…、TD(-2)、TD(-1)，对所说旧序列的图像进行解码，同时，缓存器充满度以位速率R(OLD)增大(VBV(OLD)的值表示将要解码的第一位在传输之后存储在解码器缓存器中的时间)。类似地，线段L(NS)只对应于相对于新序列缓存器充满度状态在时间TD(0)、TD(1)、TD(2)等时间，对所说新序列的图像进行编码，同时，缓存器充满度以速率R(NEW)增大(同样，VBV(NEW)的值表示将要解码的第一位已经存储在解码器缓存器中的时间)。线段L(SWO)对应于当执行转换时和在将相应于新序列的解码数据输入缓存器之前缓存器的真实状态在解码时充满度的减小与以前相对于旧序列的情况相同，但是没有其它的解码数据输入缓存器中。如果将相应于新序列的解码数据输入所说缓存器，则解码数据线段L(SWN)对应于缓存器的真实状态在本例中在时间TD(-1)存在溢出。
所提出的方法解决了这个问题，如图4所示。与在前面的图3一样，线段L(OS)对应于旧序列缓存器充满度的状态，没有任何改变。线段L(SWO)最初对应于当进行转换时缓存器的状态，当在旧序列之后以速率R(OLD)插入一个附加最小图像AMP时，在转换时间点开始出现根据本发明产生的变化。这个最小图像可以使新序列的存储步骤延迟一个周期T(V)(对于一个附加最小图像，整个线段L(NS)仅仅延迟一个周期T(V))，也使这个新序列的(瞬时)解码时间延迟一个周期T(V)，其在这种情况下足以防止缓存器溢出。这个延迟的确足以使解码器缓存器充满度降低到足以避免在图3中所出现的溢出。显然，可以引入更小的图像，只需按照如上所述计算它们的最小数值k即可。
所以可以如图5所示并根据下列步骤实现本发明的整个转换方法，该方法从“START”位置开始(1)是否要求转换？对这个问题，用SW？表示，回答是(a)否重新启动程序；(b)是初始化k值为0(k=0)，可以执行第二步骤；(2)是否在旧序列中检测到一个I图像或P图像？对这个问题，用OLD:I或P？表示，回答是(c)否执行一个循环程序以致等到确实存在并检测到一个I或P图像；(d)是停止旧序列的传输(用STOP-OLD表示)，即虽然解码步骤仍在继续，但是没有更多的比特输入解码器缓存器中，可以执行第三步骤；(3)在新序列中是否准备好一个I图像？对这个问题，用NEW:I？表示，回答是(e)否k增加1(k=k+1)，以速率R(OLD)传输一个最小图像，可以执行第四步骤；(f)是可以直接执行第四步骤；(4)VBV(NEW)是否大于VBV(OLD)+k.T(V)？对这个问题，用VBV表示？回答是(g)是计算所插入的最小图像的数目k’(用COMP k’)表示，可以执行第五步骤；(h)否可以直接执行第五步骤；(5)R(NEW)是否大于R(OLD)？对这个问题用R(NEW)/R(OLD)表示，回答是(i)是计算避免可能出现的溢出现象的数值k”(用COMP k”表示)，可以执行第六和第七步骤；(j)否可以直接执行第六和第七步骤；(6)根据公式k=k+max(k’,k”)增大k值，并以速率R(OLD)传输k个最小图像；(7)在时间t，例如t=TD(NEW)-VBV(NEW)，即t=TD(OLD)+k.T(V)-VBV(NEW)，开始传输新序列(用TRANS-NEW表示)。
因此可知，在第一转换点，在TS(OLD)之前，由于旧视频序列是顺从压缩(compliant compressed)的视频序列(即解码器缓存器充满度由编码程序严格确保)，解码器缓存器不会发生下溢或溢出。在TS(OLD)与TD(OLD)之间，由于总是有图像比特在缓存器中解码(或者是旧视频序列的图像或者是UC图像)，所以解码器缓存器不会发生下溢，由于以低于或等于R(OLD)的速率输入UC图像比特，所以也不会发生溢出，所说速率R(OLD)是顺从压缩的视频序列的比特速率。在TD(OLD)与TD(NEW)之间，由于总是有图像比特在缓存器中解码(或者是UC图像或者是新序列的图像)，所以解码器缓存器不会发生下溢，由于UC图像如此之短(当考虑其比特数时)，使得缓存器充满度低于在TD(NEW)时的充满度，所以也不会发生溢出，所说在TD(NEW)时的充满度正是与顺从压缩视频序列相关的充满度。在TD(NEW)之后，由于新视频序列是顺从压缩视频序列，所以解码器缓存器显然不会发生下溢或溢出。
本发明显然并不局限于单个视频转换的情况。例如，视频序列替换的情况(如在说明书前序中所述)相当于进行两次转换第一次是用最小图像替换旧序列和用第二序列替换所说最小图像，第二次是用最小图像替换第二序列和用原始旧序列替换所说最小图像。在这样一种情形，必须选择在第二次插入的最小图像的最小数目以使再次传输的第一旧图像是一个I图像，这意味着最小图像的第二次数目不是固定的，而是取决于GOP结构。还可知，GOP可以按照下列方式组织-B0,B1,I2,B3,B4,P5,B6,B7,P8,…,…按照显示次序；
-I2,B0,B1,P5,B3,B4,P8,B6,B7,…,…按照传输次序；根据B图像的定义，可知通过从I2图像和以前的GOP最后的P图像的预测可以对图像B1和B1进行编码，所说以前的GOP定义了一种所谓的非闭合GOP。为了解决由于在转换时使用根据一个完全不同序列的一个P图像所作的预测对第一B图像解码而产生的问题，这种非闭合GOP的第一B图像将在转换时用最小图像替换。在这种情况下，这些最小图像是双向预测编码的图像，其中仅有每个接合点的第一和最后一个宏程序块只用向前预测、零向前矢量和无误差预测(其它的宏程序块就是所说的跳越宏程序块)进行编码。因此解码器将把这种最小图像视作最后存在的I或P图像的拷贝。
这种技术方案还表示在图5中，其中给出了相应的附加步骤(8)新序列的第一GOP是否为闭合GOP？对这个问题，用GOP？表示，回答是(k)是结束实施本发明的方法(“END”)；(1)否可以执行第九步骤；(9)在第一I图像之后是否检测到一个图像？对这个问题，用PICTURE？表示，回答是(m)否执行一个循环程序一直等到确实存在并检测到一个图像为止；(n)是可以执行第十步骤；(10)所检测到的图像是否是一个B图像？对这个问题，用BPICTURE？表示，回答是(o)是用一个B最小图像BMP替换所说B图像；(p)否结束实施该方法(“END”)。
显然，本发明并不局限于上述方法，还可以涉及用于实施所说转换方法的装置和包括这种装置的一种解码系统。例如在欧洲PCT专利申请073817(PHF95003)中记载了用于对相应于T=I、P或B类型图像的视频序列的至少两个，可取的是n个并行视频位流进行解码的一种系统。表示在图6中的这样一种系统包括一个多路分解器60，该信号分离器接收包括多个(通常为n个，在所述实施例中为两个)独立的视频位流的一个输入位流IB，其输出(在图6所示情况为两路)送入存储装置70，在本例中存储装置包括相同数目(两个)的缓存器(71和72)。
转换操作在一个控制单元81中进行，该控制单元用于选择对应于所选择的需要进行解码的位流的缓存器，例如缓存器72，和与此同时用于控制其它位流(由于没有被选择，例如通过使用者的操作选择，此时它还没有被解码)向另一个缓存器71的传输。在并行缓存器71和72的输出端，由所说控制单元81控制的一个转换开关82选择适合的缓存器输出信号并将其传送至一个解码器90，其中所说控制单元81和转换开关82构成控制装置80。该解码器包括例如一个多路分解器91(用于将信号分离成解码信号和相关的运动矢量)、一个可变长度解码器92、一个解量化器93、一个反向正交变换电路96(接收所说的运动矢量)、和一个加法器97，其产生所显示的输出解码信号DS(这种解码器是一种常规解码器，无需详述)。本发明同时涉及诸如用所说控制装置构成的一种转换装置和包括这种转换装置的一种解码系统。
权利要求
1．用于从一个第一序列转换为一个第二序列的一种方法，旧序列和新序列都由T=I、P或B类型图像构成，图像类型根据所说图像是独立编码的，或者是从在先的I或P图像预测的，或者是从在先和在后的P图像和/或I图像双向预测的而确定，其中在两个序列之间的转换点插入一个k图像的附加序列，k的值足够大以使两个序列兼容，并且用极少的位数对所说附加图像编码。
2．如权利要求1所述的一种方法，其特征在于连续实施以下步骤(a)在一个P图像处，在一个第一转换点，切换用新序列替换的旧序列，然后插入具有k个最小P图像的一个序列；(b)在所说附加图像序列之后，在一个第二转换点插入所说新序列。
3．如权利要求2所述的一种方法，其特征在于所说序列为具有k个一致的彩色图像的一个序列。
4．如权利要求2所述的一种方法，其特征在于所说序列是由以前的I或P图像的拷贝图像构成的一个序列。
5．如权利要求2至4中任意一项所述的一种方法，其特征在于在步骤(a)和(b)之后实施以下附加步骤(c)在一个第三转换点切换所说第二序列，以用第一序列替换所说第二序列；(d)在所说第三转换点，同样插入附加图像直到出现的第一旧图像是一个I图像为止，然后再插入第一旧序列。
6．如权利要求1至5中任意一项所述的一种方法，其特征在于每次从没有包括在同一组图像中的一个P图像预测一个B图像时，可以在转换时用最小B图像替换任意图像组中的第一个B图像。
7．如权利要求1至6中任何一项所述的方法，其特征在于所说旧视频序列和新视频序列为按照所谓的MPEG-2标准编码的位流。
8．用于对n个并行视频位流进行解码的一种解码系统，所说位流如果已经在没有参考任何其它图像的前提下对它们进行了编码，则相当于所说内编码的视频图像序列，或者如果它们是由在先内编码或预测编码图像经过运动补偿或由在先和在后图像经过双向内插而预测获得的，则相当于所说的预测编码或内插编码视频图像序列，所说系统包括包含在级联选择装置中用于选择需要进行解码的位流的一种转换装置和用于对所选择位流进行解码的解码装置，其中所说选择装置包括用于对需要解码的位流进行选择转换的控制装置，以实现如权利要求1至7中任意一项所述的一种方法。
9．在用于对n个并行视频位流进行解码的一个解码系统中，所说位流如果已经在没有参考任何其它图像的前提下对它们进行了编码，则相当于所说内编码的视频图像序列，或者如果它们是由在先内编码或预测编码图像经过运动补偿或由在先和在后图像经过双向内插而预测获得的，则相当于所说的预测编码或内插编码视频图像序列，或者与这样一种系统向关联，一种转换装置包括用于进行位流的选择性转换的选择装置，其中所说位流已经按照如权利要求1至7中任意一项所述的一种转换方法进行解码。
全文摘要
本发明涉及从一个第一视频序列转换到一个第二视频序列的一种方法,为了避免生成特殊的接入点,例如在MPEG标准中定义的接合点,按照本方法在两个序列之间的转换点插入一个k图像的附加序列。这些图像可以是例如一致的彩色图像或前面的单个I图像或P图像的拷贝,所说最小的含义是指它们是用减少的位数编码的。应用:具有用于从电视节目转换到另一种电视节目的装置的解码系统。
文档编号H04N7/24GK1234945SQ98801060
公开日1999年11月10日 申请日期1998年5月25日 优先权日1997年5月27日
发明者F·马丁 申请人:皇家菲利浦电子有限公司