立体视频序列的同步的制作方法

专利名称：立体视频序列的同步的制作方法
技术领域：
本发明是关于同步立体视频序列的译码和显示(即表示)的装置和方法。特别是，除了最小化所需的译码器输入缓冲器尺寸的相应的最佳化位流传输顺序之外，呈现出增强层的确定表示时间章和译码时间章。
数字化技术已经变革了为顾客服务的视频和音频的传送，这是因为它能比模拟技术更高的质量传送信号和提供先前所不能提供的附加的特点。数字系统对于通过电缆电视网络或通过卫星到电缆电视联合广播和或直接到家用卫星电视接收器进行广播的信号特别有用。在这样的系统中，用户通过恢复和译码数据的接收器和译码器接收数字数据流以重构初始的视频和音频信号。数字接收器包括对此处理而使用的微机和存储器部件。
在提供低成本的接收器的同时仍能提供高质量的视频和音频的要求需要被处理的数量受到限制。然而，传送数字信号的可用带宽也受到物理制约，现存的通讯协议书，和政府规定的限制。依此，各种帧内数据压缩方案已经被发展了，它们具有在特定视频画面(如帧)内在相邻诸象素之间的空间相关的优点。
进而，帧内压缩方案具有在由使用运动补偿数据的连续帧的对应区域之间的瞬时相关和块匹配运动估算算法的优点。在这种情况下，通过识别最紧密相似特定当前块的先前画面的块确定图象的当前画面的每一块的运动矢量。通过发送表示对应块对之间差别的数据和识别对应对所需要的运动矢量在译码器中重构整个当前画面。当组合以块为基础的空间压缩技术例如离散余弦变换(DCT)时，块匹配运动估算算法特别有效。
进而，这里已经增加了对提出的立体视频传送格式例如运动画面专家组(MPEG)MPEG-2多视点轮廓(MVP)系统的兴趣，在1995年11月标题为“对13818-2提出草案修改号3(多视点轮廓)的ISO/IECJTC1/SC29/WG11 N1088的文件中描述了该系统，在此一并作为参考、立体视频提供同一个图象的略微偏离的视点以产生具有较大景深的组合的图象，以此产生三维(3-D)效果。在这个系统中，双摄象机可以位于相隔大约两英寸远以记录一事件在两个分离的视频信号上。两摄象机之间的空间距离近似为人眼的左眼和右眼之间的距离。进而，使用一些立体视频摄象记录器时，两个棱镜装在一个摄象记录器头内和例如当拍摄图象全景时，可以同步地移动。视频信号能被传送和在接收器内被重新组合以产生对应正常人眼的具有景深的图象。也能提供其它的空间效果。
该MPEG MVP系统包括在复用信号内传送的两个视频层。首先，基(即较低)层表示三维目标的左视。第二，增强(即辅助或较上部)层表示该目标的右视。由于左视和右视相同的目标和仅仅是相互稍微的偏移，因此通常在基层和增强层视频图象间存在着大的相关度。使用该相关压缩相对于基层的增强层的数据，以此减少在增强层内传送的必要的数据量以维持给定图象的质量。图象质量一般对应着视频数据的量化水平。
MPEG MVP系统包括三类视频画面指定的内编码画面(I-画面，预测编码画面(P-画面)，双向预测编码画面(B-画面)。进而，当基层接收帧或场结构的视频序列时，增强层仅接收帧结构。I-画面完全描述了单个视频画面而没有参考任何其它的画面。为了改进错误的隐芷，运动矢量能包括在I-画面内。I-画面的错误在显示的视频中具有潜在的较大的影响，这是因为在基层的P-画面和B-画面是从诸I-画面中预测出来的。进而，在增强层的诸画面在称之为差异预测的交叉层预测的处理中从基层内的诸画面中预测出来的。在层内的从一帧到另一帧的预测被称为瞬时预测。
在基层中，基于先前的I或P画面预测P画面。从较早的I或P画面到未来的P画面给出参照被称为向前预测。B画面是从最接近的较早I或P画面和最接近的较后I或P画面预测出的。
在增强层中，P画面是从(a)增强层中最当前的译码的画面，(b)在显示顺序中的最当前的基层画中，或(c)在显示顺序中的下一个低层画面中预测出来的。当在显示顺序中的最当前的基层是I画面时，最经常使用情况(b)。进而，使用(d)为向前预测的最当前译码的增强层画面和在显示顺序里的为向后预测的最当前低层画面，(e)为向前预测的最当前译码的增强层画面和在显示顺序里的为向后预测的下一低层画面，或(f)在显示顺序里的为向后预测的最当前低层画面和在显示顺序里的为向后预测的下一个低层画面，能够预测增强层的B图象。当在显示顺序里的最当前低层画面是I画面时，仅仅这个I画面将被使用以预测编码(即，这里没有向前预测。
注意，仅仅预测模式(a)，(b)和(d)包括在MPEG MVP系统内。该MVP系统是包括每一种模式(a)-(f)的MPEG瞬时可测量性编码的子集。
在一种最佳的配置中，增强层仅具有P和B画面，而没有I画面。参考未来画面(即一个还没有被显示的画面)被称为向后预测。注意，在增强层中不发生向后预测。依此，增强层画面按显示顺序传送。这里存在着这样的情况，向后预测在增强压缩比率中是非常有用的。例如，在门打开的场景中，当前的画面根据门已经打开的的未来画面预测什么芷在门后。
B画面产生最大的压缩，但也包含着最大的错误。为了限制错误的传播，B画面决不从基层内的基它B画面中加以预测。P图象产生较小的错误和较小的压缩。I画面产生最小的压缩，但能够提供随机的存取。
这样，在基层内，为了解码P画面，必须能获得前先的I画面或P画面。类似的，为了解码B画面，必须能获得先前的P或I和未来的P或I画面。结果是，视频画面以相互依赖的顺序被编码和被传送，使得在画面预测之前，预测使用的所有画面被编码。当在译码器中接收到编码的信号时，视频画面被解码和为显示重新排序。依此，需要临时的存储部件以缓冲显示前的数据。然而，对相对大的译码器输入缓冲器的要求增大了制造译码器的成本。这是不期望的，因为译码器是大量销售的物品，它必需以最低的价格进行生产。
依此，这里需要同步增强层和基层视频序列的译码和表示。立体视频的译码和表示处理的同步是MVP的特别重要的方面。这是立体视频所固有的，两个审视相互紧密的联接，表示或显示同步的损失能够造成视者许多问题，例如眼睛紧张，头痛等。
进而，处理数字压缩位流这一事件的诸问题不同于例如符合NTSC或PAL标准的未压缩的位流或模拟信号的事件。例如，使用NTSC或PAL信号时，诸画面以同步的方式传送，使得时钟信号能从画面同步信号中直接地导出。在这种情况中，两个审视的同步可以通过使用画面同步容易地完成。
然而，在数字压缩立体位流中，在每层的每一画面的数据量是变化的，这取决于位速率，画面编码类型和场的复杂性。这样，译码和表示定时不能直接从画面数据开始处推导出来。即，不象模拟视频传送，在数字压缩位流中不存在着同步脉冲的自然概念。
依此，提供同步译码和立体视频顺序的表示的系统是有优点的。该系统能与顺序译码画面(即在一时刻一个画面)或平行译码画面(即一时刻两个画面)的译码器相兼容。进而，系统能够提供最小化所需译码器输入缓冲器尺寸的最佳画面传送顺序，本发明提供的系统具有上述和其它的优点。
依照本发明，这里提供了调整立体视频序列的低层和增强层视频画面的传输顺序的方法和装置。特别是，画面以这样的顺序被传送，使得先于表示的必需临时存储的画面的数目得到最小化。进而，能够确定每个画面的译码的时间章(DTS)和表示的时间章(PTS)以在译码以顺序或平行发生的译码器内提供低层和增强层画面之间的同步。
特别是，这里提供了调整立体视频信号的低层和增强层内的视频画面的传送顺序的方法，这里增强层包括了使用相应低层画面进行预测的差异预测画面。该方法包括了调整视频画面的步骤，使得在相应的有关的低层画面之后传送差异预测的增强层画面。
在第一实施例中，仅包括内编码画面的低层包含有连续画面ILi，ILi+1，ILi+2，ILi+3，ILi+4，等等，和相应的增强层画面由HEi，HEi+1，HEi+2，HEi+3，HEi+4，等等表示。在这种情况下，视频图象按下面顺序传送ILi，ILi+1，HEi，ILi+2，HEi+3，ILi+3，HEi+2，ILi+4，HEi+3等等(即序列1)。
替换地，在第二个实施例中，视频画面以下列顺序传送ILi，HEi，ILi+1，ILi+2，HEi+2，ILi+3，HEi+3等等(即序列2)。
在第三个实施例中，仅包括内编码画面(I画面)和预测编码画面(P画面)的低层包括连续画面ILi，ILi+1，ILi+2，ILi+3和ILi+4等等和相应的增强层画面被分别表示为HEi，HEi+1，HEi+2，HEi+3，HEi+4等等。这里，视频画面以下面顺序传送ILi，PLi+1，HEi，PLi+2，HEi+1，PLi+3，HEi+2，PLi+4，HEi+3，等等(即序列3)。
替换地，在第四个实施例中，视频画面以下面顺序传送ILi，HEi，PLi+1，HEi+1，PLi+2，HEi+2，PLi+3，HEi+3等等(即序列4)。
在第五个实施例中，包括内编码画面(I画面)，预测编码画面(P画面)，和非连续的双向可预测编码画面(B画面)的低层分别包括连续的画面ILi，BLi+1，PLi+2，BLi+3，PLi+4，BLi+5，PLi+6等等，和相应的增强层画面分别表示为HEi，HEi+1，HEi+2，HEi+3，HEi+4，HEi+5，HEi+6等等。视频画面按以下顺序传送ILi，PLi+2，BLi+1，HEi，HEi+1，PLi+4，BLi+3，HEi+2，HEi+3等等(即序列5)。
替换地，在第六个实施例中，视频画面按下面顺序传送ILi，HEi，PLi+2，BLi+1，HEi+1，HEi+2，PLi+4，BLi+3，HEi+3，HEi+4等等(即序列6)。
替换地，在第七个实施例中，视频画面以下面顺序传送ILi，PLi+2，HEi，BLi+1，HEi+1，PLi+4，HEi+2，BLi+3，HEi+3，等等(即序列7)。
在第八个实施例中，包括内编码画面(I画面)，预测编码画面(P画面)和连续双向预测编码画面(B画面)的低层分别包括连续画面ILi，BLi+1，BLi+2，PLi+3，BLi+4，BLi+5，PLi+6等等，和相应增强层画面分别表示为HEi、HEi+1，HEi+2，HEi+3，HEi+4，HEi+5和HEi+6等等。视频画面按以下顺序传送ILi，PLi+3，BLi+1，HEi，BLi+2，HEi+1，HEi+2，PLi+6，BLi+4，HEi+3，BLi+5，HEi+4，HEi+5等等(即序列8)。
替换地，在第九个实施例中，视频画面以下面顺序传送ILi，HEi，PLi+3，BLi+1，HEi+1，BLi+2，HEi+2，HEi+3，PLi+4，BEi+4，HEi+5，BLi+5，HEi+5和HEi+6等等(即序列9)。
替换地，在第十个实施例中，视频画面以下面顺序传送ILi，PLi+3，HEi，BLi+1，HEi+1，BLi+2，PLi+6，HEi+3，BLi+4，HEi+4，BLi+5，HEi+5等等(即序列10)。
还介绍相应的装置。
进而，提供了处理包括低层和增强层的立体信号的视频画面序列的接收器，该接收器包括存储器，恢复/预测处理器和结合存储器和处理器操作的存储器管理器。存储器管理器在存储器中安排选出的低层画面的存储，使得在差异预测增强层画面中的相应一个之前由恢复/预测处理器处理它们、进而译码操作可以顺序地或平行地发生。


图1是立体视频的编码器/译码器的框图。
图2示出了使用本发明系统的增强层画面序列和第一基层画面序列。
图3示出了使用本发明系统的增强层画面序列和第二基层画面序列。
图4示出了使用本发明系统的增强层画面序列和第三基层画面序列。
图5示出了使用本发明系统的增强层画面序列和第四基层画面序列。
图6是立体视频增强层译码器结构的框图。
这里提供了同步译码和立体视频画面序列的方法和装置。
图1是立体视频的编码器/译码器结构的框图。MPEG MVP标准和类似的系统包括两视频层，即低层和增强层的编码。对于这样的应用，低层分配给左视，而增强层分配给右视。在图1的编码器/译码器结构中，由临时的再多路器(remux)105接收低层和增强层视频序列。使用时分多路传输(TDMX)，提供增强层视频给增强编码器110，而提供基层视频给低层编码器115。注意，可以提供低层视频数据给增强层编码器110以用于差异预测。
提供编码的增强层和基层到一般用122标出的传送传送流给译码器的系统多路传送器120。传送路径典型的是卫星连接到电缆系统的开始部分或通过卫星直接连到用户的家中。在译码器122中，传送流在系统分离器125内被分离。提供编码的增强层数据给增强层译码器130，而提供编码的低层数据给低层译码器器135。注意，在低层和增强层平行处理的配置中，译码最好同时完成。替换地，增强译码器130和低层译码器135可以共享处理硬件，在这种情况下，译码可以顺序地完成，一个时间一个画面。
译码的低层数据作为分离的数据流从低层译码器135中输出，和提供给临时再多路器140。在临时的再多路器140中，译码的基层数据和译码的增强层数据组合在一起以提供所示的增强层输出信号。增强和低层输出信号再提供给供显示的显示装置。
进而，低层和增强层的编码的位流在系统多路器120内必须被多路传输，使得译码器122能够依赖已经被译码的仅一帧或多场就能译码任何帧或场。然而，该问题由以下事实变得复杂化，对P和B画面的预测模式在低层和增强层内是不同的。进而，增强层画面总是以表示(即显示)顺序传送的，而对低层而言，并不经常是这种情况。因此，这经常需要在译码器内去存储和重新排序视频画面，使得译码和显示能以适当的顺序发生。
进而，困难出现在同步译码和低层和增强层数据的表示。如上所述，低层和增强层的视频位流作为两个基本视频流被传送，对于传送流而言，传送流小包的两个小包识别器(PIDS)在两层的传送流程序变换部分内被指定。进而，定时信息在低层的选取的小包的适配字段(即在PCR_PID)内完成以服务作为在译码器内定时比较的参考。特别是，27MHz时钟采样在程序_时钟_参考(PCR)字段被传送。更精确而言，采样是在程序_时钟_参考_基础和程序_时钟_参考_扩展字段内传输，这些均在1995，4，27的MPEG-2系统文件TIU-TRec.H.262，ISO/IEC 13818-1中描述过，一并在此作为参考。MPEG-2标准的进一步细节可在1994，3，25的标题为“信息技术—运动画面和相关的音频的一般编码”，推荐H.262的文件ISO/IECJICI/SC29/WG11 N0702内发现，一并在此作为参考。
PCR指出了在译码器内从位流中完成读取字段所期望的时间。在译码器中运行的局部时钟的相位和在瞬时获得PCR值的位流中的PCR值比较以确定是否视频，音频，和其它数据的译码被同步。进而，在译码器内的采样时钟被锁定到从PCR值导出的系统时钟。通过使用在ITU-TRec.H.262，ISO/IEC 13818-1内描述的等式计算PCR的值，该等式如下PCR(i)＝PCR_tase(i)X300+PCR_ext(i)，这里
PCR_tase(i)＝((系统_时钟_频率Xt(i))DIV 300)％233和PCR_ext(i)＝((系统_时钟_频率Xt(i))DIV1)％300这里“％”符号指出模操作。
以类似的方法，对于立体视频信号的程序流，定时信息作为在系统_时钟_参考(SCR)字段内的27MHz时钟的采样在小包头内完成的。使用在ITU-T Rec.H.262，ISO/IEc 13818-1内描述的等式计算SCR值，该等式如下SCR(i)＝SCR_tbase(i)X300+SCR_ext(i)，这里SCR_base(i)＝((系统_时钟_频率Xt(i))DIV 300)％233，和SCR_ext(i)＝((系统_时钟_频率Xt(i))DIV1)％300在低层和增强层内的视频小包内的识别在程序流变换中被指定作为两流的识别器。对于传送流和程序流两者而言，在小包化的基本流(PES)小包内提供了译码和立体视频的表示处理的同步。特别是，在PES头的任意字段内提供了表示时间章(PTS)和/或译码时间章(DTS)。
在传送或程序小包化之前，为每一个基本视频流构成了PES小包。如果需要去发送PTS和/或DTS到译码器，在PES流内提供新PES小包。因此，同步的关键是正确地计算PTS和DTS。在假想译码器模型的基础上由编码器确定PTS和DTS，即，传送流系统目标译码器(T-STD)，或程序流系统目标译码器(P-STD)，及它们两者均在ITU-TRec.H.262，ISO/TEC13818-1被描述。
系统时钟频率的周期的诸单元除以300指定了PTS和DTS两者，这就产生了90KHz诸单元。特别是在ITU-TRec.H.262，ISO/TEC13818-1中描述的
PTS(K)＝((系统_时钟_频率Xtpn(K))DIV 300)％233，这里tpn(K)是表示单元Pn(K)的表示时间。类似地，DTS(j)＝((系统_时钟_频率Xtdn(K))DIV300)％233，这里tdn(K)是存取单元An(j)的译码时间。当画面需要由STD译码时，视频DTS指示时间。当译码的画面要表示给视者(即在电视上显示)时视频PTS指示时间。进而，由PTS和DTS指示的时间依照当前的PCR或SCR值加以估算。
视频位流在理论上的STD模型里瞬时地加以译码。然而，如果B画面呈现在立体位流的低层内，位流将不以表示的(即显示)顺序到达译码器。在这种情况下，在被译码后直到适当的表示时间，一些I和/或P画面必需临时存储在STD的重排序缓冲器内。然而，随着增强层，所有图象以表示的顺序到达译码器，和结果是，PTS和DTS值应当是一致的或者仅偏置一个固定的间隔。
为了同步低层和增强层顺序，在低层和增强层相对应的画面必需具有相同的PTS。任何现存的为MPEG-2主轮廓计算DTS的方法能被使用计算低层内的DTS，即DTSL，这里“L”表示低层，后来的PTS和DTS值将参照相应的DTSL。特别是，让DTSLi和PTSLi分别为低层第i画面的DTS和PTS。同样，让DTSEi和PTSEi分别为增强层内第i画面的DTS和PTS。然后，连续画面的表示之间的时间间隔F能被定义为
例如，在NTSC标准下，帧速率为29.97帧/秒，F＝3,003。F是90KHz时钟周期的正常帧周期，和对应着真实用去时间3,003周期/90KHz＝0.0336秒。在PAL标准下，当帧速率是25帧/秒时，F＝3,600。
进而，同步低层和增强层序列是紧密地依赖于视频序列的传送和显示次序。一般地，非立体视频信号的MPEG2标准并不指定任何特定分布，I画面，P画面和B画面必需采用在基层的顺序，但允许不同的分布以提供不同的压缩和随机存取度。在一种可能的分布中，在基层的每一个画面均是I画面。在另一种可能的分布中，两个I和P画面被提供，或者是I，P，和B画面，这里提供的B画面不是连续的，或两者I，P，和B画面被提供，这里可以提供两个连续的B画面。一般而言，由于降低图象的质量，所以不提三个或者更多的连续的B画面。在增强层中，提供B，P画面，I画面可以任意地被提供。
图2示出了使用本发明系统的增强层画面序列和第一基层画面序列。这里低层仅包括I画面。增强层画面序列一般用200表示，而低层序列一般用250表示。序列200和250以显示顺序示出。每个画面均被标号以指示画面类型(即I，B或P)，层的指定(例如“E”表示增强层，和“L”表示低层)和画面的序列位置，这里脚标“0”表示序列的第0个画面，脚标“1”表示序列内的第一个画面，等等。
增强层200包括画面IE0(202)，BE1(204)，BE2(206)，PE3(208)，BE4(210)，BE5(212)，PE6(214)，BE7(216)，BE8(218)，PE9(220)，BE10(222)，BE11(224)和IE12(226)。然而特别增强层序列仅仅用于示意。在此讨论的任意增强层序列包括图2-5的那些序列，特别的增强层画面类型并不限定，这是因为增强层是按显示顺序传送的。这样，任何增强层画面均能被考虑为一般画面类型(即HEi)，这里“H”表示画面类型。
在这实例的低层250仅包括I画面，即包括IL0(252)，IL1(254)，IL2(256)，IL3(2 58)，IL4(260)，IL5(262)，IL6(264)，IL7(266)，IL8(268)，IL9(270)，IL10(272)，IL11(274)和IL12(276)。进而，每一序列的画面组(GOP)的开始被指出。GOP指示能够被译码而不参考其它GOP画面的一个或多个连续画面。一般而言，低层和增强层的诸GOP并不对准，而有不同的长度。例如，增强层200的第一GOP的开始处示出在画面IE0(202)，而第二GOP的开始处是在画面IE0(226)。类似地，示出的在低层250的第一GOP的开始处是在画面IL2(256)，而第二GOP的开始是在画面IL8(268)。
进而，在图2所示的诸箭头指示允许的预测模式，根据连到箭头尾部的画面可以预测由箭头头部指出的画面。例如，由画面IL1(254)可以预测画面BE1(204)。请回忆，I画面是不能预测编码的，但是自保持的。
使用图2的画面显示顺序，开始点在IL2的依照本发明的有优点的传送顺序是IL2，BE1，IL3，BE2，IL4，BE3，IL5，IL6，BE5，IL7，PE6，IL8，BE7，IL9，BE8，IL10，PE9，IL11，BE10，IL12，BE11等等(序列1)。使用这个图象顺序，到达译码器的每一个预编码的画面在译码前并没有被重新排列顺序。这样，能够减少在译码器内的存储和处理要求，因此也就减少了译码器的成本。另一个适当的画面传送顺序是IL2，BE2，IL3，PE3，IL4，BE4，IL5，BE5，IL6，PE6，IE6，BE7，IL8，BE8，IL9，PE9，IL10，BE10，IL11，BE11，IL12，IE12等等(序列2)。
随着这些图象的传送顺序，所有的画面以表示顺序到达译码器。进而，这就可能为每一画面确定适当的PTS和DTS。首先假定，第三低层画面的DTS，即DTSLi是已知的。
作为特定的实例，使用图2的第一画面传送顺序，即序列1，在下面的表1中描述了译码和表示的发生、假定为顺序译码。在表1中，第一列表示时间，使用DTSL2作为开始时间，使用增量是0.5F，第二列表示低层画面的译码时间，第三列表示增强层画面的译码时间，和第四列表示低层和增强层画面的表示时间。
这里，需要仅两个译码画面的存储。例如，在BE2被接收以前，IL2和IL3被译码和被存储。当接收时，BE2能同时被译码和输出，为实质上和IL2同时表示。
表1
这里，仅需要一个译码画面的存储，例如，在BE2被接收前，对IL2译码和存储。当接收时，BE2能被瞬时译码和为用IL2同时表示而输出。
对于在低层或增强序列的第i个画面，DTS和PTS能从如下的为表2传送顺序的DTSLi中加以确定PTSLi＝DTSLi+0.5F；DTSEi＝DTSLi+0.5F；和PTSEi＝PTSLi图3是使用本发明系统的增强层画面序列和第二基层画面序列的图示。这里，低层包括了I和P画面两者。一样的数字成份对应着图2的成分。增强层200和先前讨论的相同。一般用300表示的低层包括画面序列PL0(302)，PL1(304)，IL2(306)，PL3(308)，PL4(310)，PL5(312)，PL6(314)，IL8(316)，PL9(318)，PL10(320)，PL11(322)和PL12(326)。在IL2(306)和IL8(318)处开始GOP。
这里预测方案稍微复杂一些。请回忆，在基层中，P画面是使用最接近的前先的I或P画面进行预测编码的。在增强层中，B画面是使用直至三个可能的不同的模式进行预测编码的。然而，当相应的低层画面是I画面时，只使用那个I画面。同样，在增强层中，使用最当前的增强层画面，按显示顺序的最当前低层画面或按显示顺序的下一个低层画面，进行P画面的预测编码的。再一次，当相应的低层画面是I画面时，仅仅使用那个I画面。注意，在一些情况下，所示的预测模式包括任选的路径。
这样，在低层序列300中，例如，使用PL3和PL5对PL4进行编码。在增强层200中，使用BE2或PL3对PE3进行编码。开始于IL2的依本发明的适当的画面传送顺序是IL2，BE1，PL3，BE2，PL4，PE3，PL5，BE4，PL6，BE5，PL7，PE6，IL8，BE7，PL9，BE8，PL10，PE9，PL11，BE10，PL12，BE11等等(序列3)。对此序列而言，在下面的表3描述了译码和表示的发生。
表3
这里，仅需要对两个译码画面的存储，例如，在BE2被接收前，对IL2和PL3进行译码和存储。当接收时，BE2然后能瞬时译码和为同时用IL2表示而输出。
对于在低层或增强层序列内的第三个画面而言，DTS和PTS可由如下的表3传送顺序的DTSLi加以确定PTSLi＝DTSLi+1.5F；DTSEi＝DTSLi+1.5F；和PTSEi＝PTSLi。
替换地，作为图3实例的另一个适当的传送顺序是IL2，BE2，PL3，PE3，PL4，BE4，PL5，BE5，PL6，PE6，PL7，BE7，IL8，BE8，PL9，PE9，PL10，BE10，PL11，BE11，PL12，IE12等等(序列4)。下面的表4描述译码和表示的发生。
表4
这里，仅需要一个译码画面的存储。例如，在BE2被收到以前，IL2被译码和存储，在此时间BE2能被译码和直接输出以同时用IL2表示。
对在低层或增强层序列的第三个画面而言，DTS和PTS能从随后表4的传送顺序的DTSLi中加以确定PTSLi＝DTSLi+0.5F；DTSEi＝DTSLi+0.5F；和PTSEi＝PTSLi图4示出了使用本发明系统的增强层画面序列和第三基层画面序列。这里，低层包括了I、P和B画面，这里B画面不是连续的。一样的数部分对应着图2和3的成份。增强层200和先前讨论的相同。一般用400给出的低层包括画面序列PL0(402)，BL1(404)，IL2(406)，BL3(408)，PL4(410)，BL5(412)，PL6(414)，BL7(416)，IL8(418)，BL9(420)，PL10(422)，BL11(424)和PL12(426)。在IL2(406)和IL8(418)处开始GOP。
这里预测方案如下，请回忆，在基层中，B画面是使用最接近先前的I或P画面，和最接近随后的I或P画面进行预测编码的。这样，在低层序列400中，例如，使用IL2和PL4对BL3进行编码。开始于IL2的依照本发明的适当的画面传送顺序是IL2，PL4，BE2，PE3，PL6，BL5，BE5，IL8，BL7，PE6，BE7，PL10，BL9，BE8，PE9，PL12，BL11，BE10，BE11等等(序列5)。替换地，另一个适当的传送顺序是IL2，BE2，PL4，BL3，PE3，BE4，PL6，BL5，BE5，PE6，IL8，BL7，BE7，BE8，PL10，BL9，PE9，BE10，PL12，BL11，BE11，IE12等等(序列6)。进一步的适当的传送顺序是IL2，PL4，BE2，BL3，PE3，PL6，BE4，BL5，BE5，IL8，PE8，BL7，BE7，PL10，BE8，BL9，PE9，PL12，BE10，BL11，BE11等等(序列7)。
对于在低层或增强层序列内的第三个画面而言，DTS和PTS能从如下的DTSLi中确定。对于每一个画面而言，画面的表示被延迟了整数乘以跟随的画面的译码F的倍数。
例如，使用上面的第一传送顺序，即序列5，下面的表5描述了译码和表示的发生。
表5
这里，仅需要三个译码画面的存储，例如，在BE2被接收前，译码和存储IL2，PL4和BL3,在此时间BE2能然后被译码和直接输出以用IL2同时表示。
对于在低层或增强层序列内的第i个画面而言，对于表5的传送顺序，DTS和PTS能从下面的DTSLi中加以确定如下PTSLi＝DTSLi+(mod2(i+1)+1)1.5F，对于所有的i；DTSEi＝DTSLi+1.5F，对于i＝2；
DTSEi＝DTSLi+(1+mod2(i+1)F，对于i＞2；和PTSEi＝PTSLi，对于所有的i；这里，mod2(i)是对整数(i)求模2，使得当i是偶数时mod2(i)＝0，当i是奇数时mod2(i)＝1。
使用序列6时，在下面的表6描述了译码和表示的发生。
表6<
这里，仅需要两个译码画面的存储。例如，在PE3被接收之前，译码和存储PL4和BL3，在这时PE3被译码和直接输出以同时用IL2表示。
对于低层或增强层序列的第三个画面而言，对于表6的传送顺序，DTS和PTS能从DTSLi加以确定如下PTSLi＝DTSLi+F，对于i＝2；PTSLi＝DTSLi+(3mod2(i+1)+1)0.5F，对于i＞2；DTSEi＝DTSLi+0.5F，对于i＝2；DTSEi＝DTSLi+(1+2mod(i+1))0.5F，对于i＞2；和PTSEi＝PTSLi，对于所有的i。
使用序列7，下面的表7描述了译码和表示的发生。
表7
这里，仅需要存储两个译码的画面，例如，在BE2被接收前译码和存储IL2和PL4，在此期间BE2被译码和直接输出以同时用IL2表示。
对于在低层或增强层序列的第i个画面而言，对于表7的传送顺序，DTS和PTS能从DTSLi加以确定如下PTSLi＝DTSLi+F，对于i＝2；PTSLi＝DTSLi+(4mod2(i+1)+1)0.5F，对于i＞2；DTSEi＝DTSLi+F，对于i＝2；DTSEi＝DTSLi+(4mod2(i+1)+1)0.5F，对于i＞2；和PTSEi＝PTSLi，对于所有的i。
图5示出了使用本发明系统的增强层画面序列和第四基层画面序列。这里，低层包括了I，P和B画面，具有两个连续的B画面。一样的数字部件对应着图2-4的部件。增强层200和先前讨论的相同。一般用500标出的低层包括图面序列BL0(502)，BL1(504)，IL2(506)，BL3(508)，BL4(510)，PL5(512)，BL6(514)，BL7(516)，IL8(518)，BL9(520)，BL10(522)，PL11(524)和BL12(526)。在IL2(506)和IL8(518)处开始GOP。
在IL2开始的依照本发明的适当的画面传送顺序是IL2，PL5，BL3，BE2，BL4，PE4，BE4，IL8，BL6，BE5，BL7，PE6，BE7，PL11，BL9，BE8，BL10，PE9，BE10等等(序列8)使用这个传送顺序，下面的表8描述了译码和表示的发生。
表8
这里，仅需要存储三个译码的画面。例如，在BE2被接收前，译码和存储IL2，PL5，和BL3，在这个时间BE2被译码和直接输出以同时用IL2加以表示。
对于在低层或增强层序列的第i个画面而言，对于表8的传送顺序，DTS和PTS能从DTSLi中确定如下PTSLi＝DTSLi+1.5F，对于i＝2；PTSLi＝DTSLi+(5mod2(mod3(i-1))+3)0.5F，对于i＞2；DTSEi＝DTSLi+1.5F，对于i＝2；DTSEi＝DTSLi+(3-mod2(mod3(i))+5mod2(mod3(i-1))0.5F，对于i＞2；和PTSEi＝PTSLi，对于所有的i。这里mod3(i)是对整数i求模3，使得当i＝0+3n时mod2(i)＝0，当i＝1+3n时，mod3(i)＝1，和当i＝2+3n，n＝0，1，2，3等等时，mod3(i)＝2。
替换地，另一个适当的传送顺序是IL2，BE2，PL5，BL3，PE3，BL4，BE4，BE5，IL8，BL6，PE6，BL7，BE7，BE8，PL11，BL9，PE9，BL10，BE10，BE11等等(序列9)。使用这种传送顺序，下面的表9描述了译码和表示的发生。
表9
这里，仅需要存储两个译码的画面，例如，在PL5被接收以前，译码和存储IL2和BE2，在此时间输出BE2和IL2以同时表示。
对于在低层或增强层序列的第i个画面而言，对于传送顺序表9，DTS和PTS可以从DTSLi加以推导如下PTSLi＝DTSLi+F，对于i＝2；PTSLi＝DTSLi+(5mod2(mod3(i-1))+1)0.5F，对于i＞2；DTSEi＝DTSLi+0.5F，对于i＝2；DTSEi＝DTSLi+(5mod2(mod3(i-1))+1)0.5F，对于i＞2；和PTSEi＝PTSLi，对于所有的i。
进一步适当的传送顺序是IL2，PL5，BE2，BL3，PE3，BL4，BE4，IL8，BE5，BL6，PE6，BL7，BE7，PL11，BE5，BL9，PE9，BL10，BE10等等(序列10)。使用这样的序列，下面的表10描述了译码和表示的发生。
表10
这里，只需要存储两个译码的画面，例如，在BE2被接收之前，译码和存储IL2和PL5，在此时间BE2被译码和直接输出以用IL2同时表示。
对于在低层或增强层序列的第i个画面而言，对于表10的传送顺序，DTS和PTS能由DTSLi加以表示如下PTSLi＝DTSLi+F，对于i＝2；PTSLi＝DTSLi+(6mod2(mod3(i-1))+1)0.5F，对于i＞2；DTSEi＝DTSLi+F，对于i＝2；DTSEi＝DTSLi+(6mod2(mod3(i-1))+1)0.5F，对于i＞2；和PTSEi＝PTSLi，对于所有的i。
注意，在上述序列1-10的每一个情况下，假定顺序译码，当使用平行译码时，PTS和DTS之间的关系以更一般的方式为特征。特定情况下，当低层没有B画面时而仅有I和/或P画面时，在两层内的所有画面以表示的顺序到达译码器。这样，对在低层或增强层序列的第i个画面而言，DTS和PTS能DTSLi加以确定如下PTSLi＝DTSLi+F；DTSEi＝DTSLi+F；和PTSEi＝PTSLi。
下面表11示出的实例给出了这种关系。DTSLi和DTSL(i-I)之间的差是F。
表11
例如，参看序列1并结合上面图2讨论，下面表12示出了译码和表示的发生。
当低层不具有连续B画面时，DTS和PTS由DTSLi加以确定如下。如果低层的第i个画面是由带有“闭合GOP”指示器的I画面，或是由这样I画面跟随的P画面时，那么PTSLi＝DTSLi+2F。如果低层内的第i个画面是P画面，或“打开GOP”的I画面，和第(i+1)画面不是带有“闭合GOP”的I画面，那末PTSLi=DTSLi+3F。如果低层的第I画面是B画面，那末PTSLi＝DTSLi+F对于增强层而言，DTSEi＝DTSLi+2F和PTSEi=DTSLi+2F。注意，在MPEG-2的视频协议书中，一组的画面头是包括在GOP的开始和由一位指示器加以设置，闭合gop(组)＝0，而当闭合gop(组)＝1时指示闭合的GOP，一打开GOP的I画面依照译码的顺序象P画面一样处理。下面表13实例示出了在低层内的非连续B画面的译码和表示。
表13
在特定的例子中，按显示顺序的低层序列是IL0，BL1，PL2，BL3，PL4BL5，IL6，IL7等等。按显示和传送顺序的增强层序列是PE0，BE1，BE2，BE3，BE4，BE5，PE6，PE7等等。依照本发明的一个可能的传送顺序是IL0，PL2，BL1，PE0，PL4，BE1，BL3，BE2，IL6，BE3，BL5，BE4，IL7，BE5等等。所示的表14能够确定DTS和PTS。
低层的两个连续B画面的译码和表示由下面的表15作为实例给出。
表15
在特定的实例中，按显示顺序的低层序列是IL0，BL1，BL2，PL3，BL4，BL5，IL6，IL7等等。按显示和传送顺序的增强层序列是PE0，BE1，BE2，BE3，BE4，BE5，PE6，PE7等等。依照本发明的一个可能的传送顺序是IL0，PL3，BL1，PE0，BL2，BE1，IL6，BE2，BL4，BE3，BL5，BE4，IL7，BE5等等。示出的表16可以确定DTS和PTS。
表16
应用到帧模式视频的上述规则可以一般化到电影模式的相应情况。
图6是立体视频的增强层译码器结构的框图。一般用130示出的译码器包括输入端605以接收压缩的增强层数据，和传送水平的语法分析程序610以分析数据。分析的数据提供给可以包括中央处理单元的存储器管理器630。存储器管理器630和例如可以包括动态随机存取的存储器(ORAM)的存储器620通讯。存储器管理器630也和恢复/预测处理器640通讯，和通过端口650接收可以临时存储在存储器620内的译码的低层数据以在对差异预测的增强层画面译码时由处理器640连续地使用。
恢复/预测处理器640提供各种处理功能，例如错误检测和校正，运动矢量译码，逆量化，逆离散余弦变换，Huffman译码和预测计算。在由恢复/预测功能640处理之后，由存储器管理器输出译码的增强层数据。替换地，译码的数据通过未示出的装置直接从恢复/预测功能640输出。
对于低层也可以使用类似的结构。进而，增强层和低层译码器可以共享硬件。例如，可以共享存储器620和处理器640。然而，使用平行译码时，这是不可能的。提供共同的时钟信号(未示出)，使得依照这里公开的传送顺序协调译码。特别是，在接收预测的画面数据之前，这将必须临时存储用来预测差异预测增强层画面而使用的低层画面，或其它低层画面。依照本发明，在译码前必需存储的画面数被最小化，因此允许减少存储器的尺寸。
如所见，本发明提供了立体视频画面顺序的有优点的画面传送方案。特别是，以这样的顺序传送画面，使得必需在表示前临时存储的画面数被最小化。然而，这里公开的传送顺序的实例和MPEG-2，MVP协议书，和提出的MPEG-4协议书相兼容。进而，可以确定每个画面的译码时间章(DTS)和表示时间章(PTS)以提供在译码器内的低层和增强层画面之间的同步。依照是否译码是顺序的或并联的，和是否低层没有B画面，或有非连续的B画面，或有两个连续的B画面而设置DTS和PTS。
虽然结合各种特定的实施例已经描述了发明，对此可以做出各种适用和修改而不脱离权利要求书中给出的本发明的精神和范围，这对本领域的普通技术人员而言是受欢迎的。例如，这里公开的方案可以采用不同于这里特别示出的其它的低层和增强层序列，这对该领域的普通技术人员而言是受欢迎的。
权利要求
1.排列传送到译码器的立体视频信号的在低层和增强层内的视频画面序列的方法，所说的增强层包括使用相应低层画面进行预测的差异预测画面，该方法包括步骤为排列所说视频画面，在所说的相应的有关的低层画面之后传送所说差异预测增强层画面。
2.权利要求1的方法，其中，仅包括内编码画面(I画面)的所说低层包括连续画面ILi，ILi+1，和ILi+2，和相应的增强层画面分别表示为HEi，HEi+1，和Hei+2，该方法进而包括的步骤是排列所说视频画面，使它们按照如下顺序传送ILi，ILi+1，HEi，ILi+2。
3.权利要求1的方法，其中，仅包括内编码画面(I画面)的所说低层包括连续画面ILi和ILi+1和相应的增强层画面分别表示为HEi和HEi+1，该方法进一步包括步骤是排列所说视频画面，使得它们以下面顺序传送ILi，HEi，ILi+1，HEi+1。
4.权利要求1的方法，其中，仅包括内编码画面(I画面)和预测编码画面(P画面)的所说低层包括连续的画面ILi，PLi+1，和PLi+2，和相应的增强层画面分别被表示为HEi，HEi+1，和HEi+2，该方法进而包括步骤是排列所说视频画面，使得它们按下面顺序传送ILi，PLi+1，HEi，PLi+2。
5.权利要求1的方法，其中，仅包括内编码画面(I画面)和预测编码画面(P画面)的所说低层包括连续画面ILi和ILi+1，和相应的增强层画面分别表示为HEi和HEi+1，该方法进而包括以下步骤排列所说视频画面，使得它们按下面顺序传送ILi，HEi，PLi+1，HEi+1。
6.权利要求1的方法，包括内编码画面(I画面)，预测编码画面(P画面)和非连续双向预测编码画面(B画面)的所说低层包括连续画面ILi，BLi+1和PLi+2，和相应的增强层画面分别表示为HEi，HEi+1，和HEi+2，该方法进而包括步骤是排列所说视频画面，使得它们按下面顺序传送ILi，PLi+2，BLi+1，HEi，HEi+1。
7.权利要求1的方法，其中，包括内编码画面(I画面)，预测编码画面(P画面)和非连续双向预测编码画面(B画面)的所说低层包括连续画面ILi，BLi+1，和PLi+2，和相应增强层画面分别表示为HEi，HEi+1，和HEi+2，该方法进而包括步骤是排列所说视频画面，使得它们按下面顺序传送ILi，HEi，PLi+2，BLi+1，HEi+1，HEi+2。
8.权利要求1的方法，包括内编码画面(I画面)，预测编码画面(P画面)和非连续双向预测编码画面(B画面)的低层包括连续画面ILi，BLi+1和PL+2和相应的增强层画面分别表示为HEi，HEi+1，和HEi+2，该方法进而包括步骤是排列所说视频画面，使得它们按下面顺序传送ILi，PLi+2，HEi，BLi+1，Hei+1。
9.权利要求1的方法，其中，包括内编码画面(I画面)，预测编码画面(P画面)，和连续双向预测编码画面(B画面)的所说低层包括连续画面ILi，BLi+1，BLi+2和PLi+3，和相应的增强层画面分别表示为HEi，HEi+1，HEi+2，和HEi+3，该方法进而包括步骤是排列所说视频画面，使得它们按下面顺序传送ILi，PLi+3，BLi+1，HEi，BLi+2，HEi+1，HEi+2。
10.权利要求1的方法，包括内编码画面(I画面)，预测编码画面(P画面)和连续的双向预测编码画面(B画面)的所说低层包括连续画面ILi，BLi+1，BLi+2，和PLi+3，和相应的增强层画面分别表示为HEi，HEi+1，HEi+2，和Hei+3，该方法进而包括步骤是排列所说视频画面，使得它们按以下顺序传送ILi，HEi，PLi+3，BLi+1，HEi+1，BLi+2，HEi+2，HEi+3。
11.权利要求1的方法，包括内编码画面(I画面)，预测编码画面(P画面)，和连续的双向预测编码画面(B画面)的所说低层包括连续画面ILi，BLi+1，BLi+2，和PLi+3，和相应的增强层画面分别表示为HEi，HEi+1，HEi+2，和HEi+3，该方法进而包括步骤是排列所说视频画面，使得它们按以下顺序传送ILi，PLi+3，HEi，BLi+1，HE1+1，BLi+2，HEi+2。
12.对立体视频信号的在低层和增强层的并行视频画面序列进行译码的方法，其中，所说的低层至少包括内编码画面(I画面)和预测编码画面的一种但并不包括双向预测编码画面(B画面)，该方法包括步骤是提供带有译码时间章(DTS)和表示时间章(PTS)以分别指示译码的时间和表示每一所说的画面，其中第i低层画面的DTS是DTSLi；第i低层画面的PTS是PTSLi；第i增强层画面的DTS是DTSHi；第i增强层画面的PTS是PTSHi；F是连续画面表示之间的时间间隔；和PTSLi＝DTSHi＝PTSHi＝DTSLi+F
13.对立体视频信号的在低层和增强层的并行视频画面序列进行译码的方法，其中所说的低层包括非连续双向预测编码画面(B画面)，该方法包括步骤是提供带有译码时间章(DTS)和表示时间章(PTS)的所说画面，以分别指示译码的时间和表示每一所说的画面；其中第i低层画面的DTS是DTSLi；第i低层画面的PTS是PTSLi；第i增强层画面的DTS是DTSHi；第i增强层画面的PTS是PTSHi；F是连续画面表示之间的时间间隔；和当第i低层画面是带有闭合GOP指示器的内编码画面(I画面)时，PTSLi＝DTSLi+2F。
14.权利要求13的方法，其中当第i低层画面是预测编码画面(P画面)和第(i+1)低层画面是带有闭合GOP指示器的I画面时，PTSLi＝DTSLi+2F。
15.权利要求13或14的方法，其中当第i低层画面是P画面指示器和第i+1低层画面不是带闭合GOP指示器的I画面时，PTSLi＝DTSLi+3F。
16.权利要求13至15之一的方法，其中当第i低层画面是带有打开GOP指示器的I画面及第(i+1)低层画面不是带闭合GOP指示器的I画面时，PTSLi＝DTSLi+3F。
17.权利要求13至16之一的方法，其中当第i低层画面是B画面时，PTSLi＝DTSLi+F。
18.权利要求13的方法，其中DTSHi＝PTSHi＝PTSLi＝DTSLi+2F
19.对立体视频信号的在低层和增强层内的并行视频画面进行译码的方法，其中所说的低层至少包括一组两个连续的双向预测编码画面(B画面)，该方法包括步骤是提供带有译码时间章(DTS)和表示时间章(PTS)的画面，以分别指示译码的时间和表示每一所说的画面；其中第i低层画面的DTS是DTSLi；第i低层画面的PTS是PTSLi；第i增强层画面的DTS是DTSHi；第i增强层画面的PTS是PTSHi；F是连续画面的表示之间的时间间隔；和当第i低层画面是带有闭合GOP指示器的内编码画面(I画面)时，PTSLi＝DTSLi+2F。
20.权利要求19的方法，其中当第i低层画面是预测编码画面(P画面)和第i+1低层画面是带有闭合GOP指示器的I画面时，PTSLi＝DTSLi+2F。
21.权利要求19或20的方法，其中当第i低层画面是P画面指示器和第i+1低层画面不是带有闭合GOP指示器的I画面时，PTSLi＝DTSLi+4F。
22.权利要求19至21之一的方法，其中当第i低层画面是带有打开GOP指示器的I画面和第i+1低层画面不是带有闭合GOP指示器的I画面时，PTSLi＝DTSLi+4F。
23.权利要求19至22之一的方法，其中当第i低层画面是B画面时，PTSLi＝DTSLi+F。
24.权利要求19的方法，其中DTSHi＝PTSHi＝PTSLi＝DTSLi+2F
全文摘要
在立体视频传送系统中,低层和增强层的视频画面以特定的顺序传送,使得先于表示的临时存储的画面数被最小化。进而,每一画面的译码的时间章(DTS)和表示的时间章(PTS)能被确定以提供低层和增强层画面之间的同步。可以顺序的或并联地进行译码。特别是,提供一方法,其中增强层包括使用相应低层画面预测的差异预测画面。视频画面被排序,使得在相应的有关的低层画面之后传送差异预测的增强层画面,该方案以大量不同的特定实例示出。
文档编号H04N13/00GK1187734SQ9712528
公开日1998年7月15日 申请日期1997年10月24日 优先权日1996年10月24日
发明者陈学敏 申请人:次级系统有限公司