专利名称：鲁棒模式交错播送视频质量增强的制作方法
技术领域：
本发明涉及交错播送(staggercasting)的方法和设备。
背景技术：
在此被引入作为参考的、如高级电视系统委员会(ATSC)1995年9月16日提出的美国当前数字电视传输标准使用单载波调制技术8电平残留边带调制(8-VSB)。因为它是单载波调制技术，因此易受通信信道中的信号退化、如多路径造成的衰减和其它信号衰减的影响。虽然可以通过信道均衡技术来补偿某些这样的衰减，但是如果衰减足够长且足够严重，则接收器将丢失信号并且解调器系统将失去同步。重新获取信号并使解调器重新同步可能花费几秒钟，并且使观众很不愉快。
为克服该问题，第一ATSC提案通过允许使用更鲁棒(robust)的调制技术持续有限长时间、如少于10％，来允许创建第二通信信道。例如，可以为选定的帧使用2-VSB或4-VSB调制技术。第二ATSC提案允许更鲁棒的编码技术、如网格编码，同时保持8-VSB调制技术。这种系统允许利用兼容的接收器来改善性能，同时保持与现有接收器的向后兼容性。
用于克服衰减的另一种公知技术是交错播送。在此被引入作为参考的、K.Ramaswamy等人于2002年7月17日提交的PCT申请No.US02/22723以及J.A.Cooper等人于2002年7月19日提交的PCT申请No.US02/23032公开了交错播送通信系统。交错播送通信系统发送包括两个分量内容表示信号(content representative signal)的合成信号这两个分量内容表示信号之一相对于另一分量内容表示信号被延迟。换句话说，分量内容表示信号之一相对于另一分量内容表示信号超前了。合成信号通过通信信道被广播给一个或多个接收器。在接收器中，通过延迟缓冲器使时间超前的分量内容表示信号延迟，使得时间超前的分量内容表示信号在时间上与另一分量内容表示信号同步。在正常状态下，未延迟的接收分量内容表示信号用于再现内容。然而，如果发生信号衰减，则延迟缓冲器中先前收到的时间超前内容表示信号用于再现内容，直到衰减结束并且合成信号再次可用、或者延迟缓冲器清空为止。如果延迟期和关联的延迟缓冲器足够大，则可以补偿最可能发生的衰减。
发明内容
发明人已经认识到，交错播送通信系统也可以用于再现具有增强视频质量的视频信号。
根据本发明原理，一种用于交错播送具有第一部分和第二部分的内容表示信号的方法和设备包括以下内容。对代表内容表示信号第一部分的第一信号进行编码，并且对代表内容表示信号第二部分的第二信号进行编码。产生包括在时间上交错的第一编码信号和第二编码信号的合成信号。从合成信号提取第一编码信号和第二编码信号，并检测提取的第一编码信号和第二编码信号中的错误。如果在提取的第一和第二编码信号之一中检测到错误，则对提取的第一和第二编码信号中的另一编码信号进行解码，以再现内容表示信号的相应部分。否则对提取的第一和第二编码信号都进行解码，并组合被解码的第一和第二信号，以再现内容表示信号。
图1是交错播送发送器一部分的框图；图2是交错播送接收器一部分的框图；
图3是用于理解图1和图2所示的交错播送通信系统的操作的分组时序图；图4是用于理解增强交错播送通信系统的操作的图像组(GOP)时序图；图5是可以用于图2所示接收器中的选择器的框图；图6是交错播送接收器另一实施例一部分的框图；图7是用于理解图6所示交错播送接收器的操作的视频帧时序图；图8显示了节目映射表(PMT)和/或节目与信息系统协议—虚拟频道表(PSIP-VCT)的扩展语法和语义；图9是用于发送多分辨率版本的内容表示信号的交错播送发送器的另一实施例一部分的框图；图10是用于接收被发送的多分辨率版本的内容表示信号的交错播送接收器的另一实施例一部分的框图；图11是用于发送双隔行扫描内容表示信号的发送器一部分的框图；图12是用于接收双隔行扫描内容表示信号的接收器一部分的框图；以及图13是用于理解图11所示双隔行扫描发送器和图12所示双隔行扫描接收器的操作的显示图。
具体实施例方式
图1是根据本发明原理的交错播送发送器100一部分的框图。本领域技术人员将要理解，完整的发送器需要其它部件，为使图简化而没有显示那些其它部件。本领域技术人员将要进一步理解，那些部件是什么，以及怎样选择、设计和实施那些其它部件、以及怎样使那些其它部件和所示部件互连。
在图1中，内容源(未显示)向发送器100的输入端105提供内容表示信号，在所示的实施例中该内容源可以是视频图像信号、音频声像、节目数据、或这些的任何组合。输入端105连接到鲁棒模式编码器110和普通模式编码器120的各自输入端。鲁棒模式编码器110的输出端连接到多路复用器140的第一输入端。普通模式编码器120的输出端连接到延迟器130的输入端。延迟器130的输出端连接到多路复用器140的第二输入端。多路复用器140的输出端连接到调制器150的输入端。调制器150的输出端连接到输出端115。输出端115连接到通信信道(未显示)。
在操作中，普通模式编码器120利用信源编码技术对内容视频、音频和/或数据进行编码。在所示实施例中，信源编码技术是MPEG(运动图像专家组)2编码技术，虽然可以使用任何这种信源编码技术。利用包括分辨率、帧速率、量化电平等的预定参数，来执行信源编码过程。在普通模式编码器120中执行进一步处理，以便对经过信源编码的内容表示信号进行系统编码。在所示实施例中，经过信源编码的内容表示信号被形成为包含已编码视频、音频和/或数据的一系列传输分组。按照MPEG 2标准对这些传输分组进行格式化，虽然可以使用任何这种系统编码。
鲁棒模式编码器110也利用信源编码技术对内容视频、音频和/或数据进行编码。与普通模式编码器120的信源编码技术相比，鲁棒模式编码器110使用的信源编码技术更鲁棒。在所示实施例中，所用的鲁棒模式编码是当前正由国际标准化组织/国际电工技术委员会(ISO/IEC)MPEG与国际电信联盟标准化部门视频编码专家组(ITU-TVCEG)委员会的联合视频小组(JVT)开发的、命名为MPEG AVC/H.264的视频编码技术，以下称为JVT编码。然而，可以使用任何这种信源编码技术。例如，也可以使用提供比MPEG普通模式编码器120鲁棒的编码的其它信源编码技术，如增强网格编码。也利用包括分辨率、帧速率、量化电平等的预定参数来执行鲁棒编码过程，但是鲁棒编码过程的这些参数值可以不同于普通编码过程的这些参数值。也在鲁棒模式编码器110中执行处理，以便对经过信源编码的内容表示信号进行系统编码。在所示实施例中，经过信源编码的内容表示信号也根据MPEG 2标准被形成为一系列传输分组，虽然可以使用任何这种系统编码。
普通模式编码信号被延迟器130延迟了用于允许系统在预期衰减期范围内操作的量。该参数的值取决于通信信道的特性。例如，在城市环境中，由于许多建筑物和运动目标如飞机，衰减比乡村平坦环境中普遍得多并且更持久。在所示实施例中，延迟可以在大约0.5秒到几秒范围内变化。
图3是用于理解图1和图2所示的交错播送通信系统的操作的分组时序图。图3显示了在多路复用器140的输入端的系统编码传输分组流。在图3中，来自鲁棒模式编码器110的分组用一行水平的方格300表示，并利用小写字母“a”、“b”、“c”等标记。来自普通模式编码器120的分组用一行水平的方格310表示，并利用数字“0”、“1”…、以及大写字母“A”、“B”、“C”等标记。用相同字母标记的分组包含代表来自相同时间的内容的数据。即，来自鲁棒模式编码器110的分组“a”包含这样的数据，该数据代表在时间上与来自普通模式编码器120的分组“A”中的数据所表示的内容相对应的内容。普通模式分组流和鲁棒模式分组流中的每个分组都在报头(header)中包含用于将它们识别为属于那个分组流的数据。延迟器130使普通模式编码器120分组延迟延时Tadv。即，鲁棒模式分组在时间上相对于相应的普通模式分组超前了Tadv。在图3所示的实施例中，Tadv是十分组时期。该时期可以在大约0.5秒到几秒范围内变化，如上所述。
鲁棒模式分组流和延迟的普通模式分组流在多路复用器140中被一起复用为合成分组流。合成分组流被时域复用，意谓一次一个地产生携带连续分组的单数据流。包含诸如识别和控制数据(未显示)的其它数据的附加分组也可以被复用成由多路复用器140产生的合成分组流。另外，代表其它内容源(也未显示)的其它分组流有可能包括代表一个或多个其它内容表示信号的普通模式和鲁棒模式分组流两者，也都可以按照一种公知的方式被复用成由多路复用器140产生的合成分组流。图3中的分组流300和310代表合成分组流中的分量内容表示信号。如可以看到的，来自普通模式编码器120的分组“A”在与来自鲁棒模式编码器110的分组“k”相同的时间被发送。
然后，来自多路复用器140的合成分组流被信道编码，以便通过通信信道传输。在所示实施例中，通过在调制器150中调制合成分组流来执行信道编码。用于普通模式分组流的信道编码不同于用于鲁棒模式分组流的信道编码。更具体地说，应用于鲁棒模式分组流的调制比应用于普通模式分组流的调制更鲁棒。在所示实施例中，当调制普通模式分组流中的分组时，调制是根据ATSC标准的8-VSB调制。当调制鲁棒模式分组流中的分组时，调制是更鲁棒的调制、如4-VSB或2-VSB，如上所述。
简而言之，在所示实施例中，利用MPEG 2编码技术对普通模式分组流进行信源编码，并利用8-VSB调制对普通模式分组流进行信道编码。这与现有的ATSC标准完全向后兼容。此外在所示实施例中，利用JVT编码技术对鲁棒模式分组流进行信源编码，并利用4-VSB和/或2-VSB调制对鲁棒模式分组流进行信道编码。本领域技术人员将要理解，以上提到的新ATSC标准仅仅指的是鲁棒模式分组流的信道编码，即4-VSB和/或2-VSB，而不指定信源编码技术。因此，可以根据标准使用任何这种信源编码技术，并且所示实施例中的JVT编码技术是鲁棒模式分组流的这种信源编码的一个例子。在本申请书的剩余部分中，‘普通模式分组流’将指的是利用MPEG 2源编码技术被信源编码、根据MPEG 2标准被系统编码为分组、并利用8-VSB调制被信道编码的分组流；并且‘鲁棒模式分组流’将指的是利用JVT信源编码技术被信源编码、根据MPEG 2标准被系统编码为分组、并利用4-VSB和/或2-VSB调制被信道编码的分组。
然后，调制的合成信号被提供给通信信道(未显示)，该通信信道可以是无线射频(RF)信道、或诸如电缆电视系统的有线信道。通信信道可以使合成信号退化。例如，合成信号的信号强度可以变化。尤其是，合成信号可能由于多路径或其它信号衰减机制而衰减。一个或多个接收器从通信信道接收可能退化的合成信号。
图2是根据本发明原理的交错播送接收器200一部分的框图。在图2中，输入端205可连接到通信信道(未显示)，使得它能够接收由(图1的)发送器100产生的调制合成信号。输入端205连接到解调器207的输入端。解调器207的输出端连接到多路分解器210的输入端。多路分解器210的第一输出端连接到选择器230。选择器230的第二输出端连接到延迟器220。延迟器220的输出端连接到选择器230的第二输入端。选择器230的输出端连接到多标准解码器240的信号输入端。多路分解器210的控制信号输出端连接到选择器230和多标准解码器240的各自相应输入端。多标准解码器240的输出端连接到输出端215。输出端215产生内容表示信号，该内容表示信号被提供给使用电路(未显示)，如电视接收机，其具有用于再现视频内容所代表的图像的图像再现设备、用于再现音频内容所代表的声音的声音再现设备、并有可能包括用于允许观众与收到的数据内容交互作用的用户输入设备。
在操作中，解调器207利用为接收来自普通模式分组流(8-VSB)或鲁棒模式分组流(4-VSB和/或2-VSB)的分组所需的适当解调技术，来解调收到的调制信号。所得到的信号是收到的合成分组流信号。多路分解器210根据每个收到的分组的报头中的识别数据，将收到的合成分组流信号多路分解为相应的普通模式信源编码分量分组流和鲁棒模式信源编码分量分组流。收到的普通模式分组流被直接供给选择器230。收到的鲁棒模式分组流通过延迟器220被传递，延迟器220使收到的鲁棒模式分组流延迟与普通模式分组流在图1的发送器100中被延迟的持续时间相同的持续时间。因此，选择器230输入端的两个分组流信号所代表的内容是在时间上对准的。
如果收到的合成信号的一部分不可用，则多路分解器210也在控制信号输出端产生错误信号。可以使用几种技术中的任一种，例如信噪比检测器或误码率检测器。另外，可以通过检测丢失的分组来检测收到的合成信号中的错误。每个分组都在其报头中同时包括用于识别分组属于哪个分组流的数据、和分组顺序号。如果分组流的顺序号丢失了，则分组丢失了，并且检测到错误。在该情况下，可以记录其中丢失了分组的分组流，并且只有那个分组流被检测为有错。可以单独或组合地使用这些或其它任何这种检测器。
虽然控制信号被显示为发自多路分解器210，但是本领域技术人员将要理解，不同的错误检测器可能需要来自接收器中不同位置的信号。无论使用什么配置，当合成信号的一部分不可用时，都产生有效的错误信号E。选择器230被规定成，响应该错误信号E而将两个分组流信号之一传送给多标准解码器240。多标准解码器240被规定成，以要在下面更详细描述的方式对那个分组流信号进行解码。
多标准解码器240对选择器230提供给它的任何分组流既执行系统解码(解分组)、又执行信源解码。多标准检测器240可以被配置成，根据不同编码标准来执行分组流信号的信源解码。例如，当从选择器230收到普通模式编码的分组流时，多标准解码器240被配置成根据MPEG 2标准对这些分组进行解分组和信源解码、并重新产生内容表示信号。类似，当从选择器230收到鲁棒模式编码的分组流时，多标准解码器240被配置成根据MPEG 2标准对这些分组进行解分组、根据JVT标准对这些分组进行信源解码、并重新产生内容表示信号。
可以通过再次参考图3来理解图2的接收器200的操作。时间t0可以代表接收器被接通的时间、或者用户指定要接收的新内容源的时间。在t0至t4的时间Tadv内，鲁棒模式分组“a”至“j”被装入延迟器220中，并且普通模式分组“0”至“9”被收到。在时间t4，普通模式分组“A”变得可以从多路分解器210得到，并且被延迟的鲁棒模式分组“a”变得可以从延迟器220得到。在正常状态下，在错误信号线E上错误信号无效。响应这一点，选择器230将普通模式分组流耦合到多标准解码器240，并且多标准解码器240开始从普通模式分组产生内容表示信号，如上所述。通过普通模式分组“A”至“G”中的交叉阴影线301来显示这一点。
从时间t1至t2在通信信道中发生了严重的衰减，并且从t2至t3接收器恢复被调制的信号、并与那个信号重新同步。在从t1至t3的这段时间内，普通模式分组“H”至“M”和鲁棒模式分组“r”至“w”丢失了。通过那些分组中的交叉阴影线302和303来指示这一点。然而，鲁棒模式分组“h”至“m”先前已被成功收到。因为延迟器220，从时间t1至t3、在选择器230的另一输入可以得到这些鲁棒模式分组。
衰减的发生被检测到，并且通过错误信号线E上的有效错误信号来指示。响应错误信号线E上的有效错误信号，选择器230将先前收到的鲁棒模式分组“h”至“m”耦合到多标准解码器240。同时，多标准解码器240被配置成对鲁棒模式分组进行解分组和解码。因此，从时间t1至t3，来自鲁棒模式分组流的分组“h”至“m”被解码，并且使用电路(未显示)仍然可得到内容表示信号。通过鲁棒模式分组“h”至“m”中的交叉阴影线301来显示这一点。
在时间t3，衰减结束，并且合成信号再次变得可用。同时普通模式分组“N”、“O”、“P”、…变得可用。衰减的消失被检测到，并且通过错误信号线E上的无效错误信号来指示。响应这一点，选择器230将普通模式分组流耦合到多标准解码器240。同时，多标准解码器240被配置成对普通模式分组进行解分组和解码，并继续产生内容表示信号。
在衰减和恢复期间，从时间t1至t3、鲁棒分组“r”至“w”丢失了。因此，从时间t6至t7，当收到普通模式分组“R”至“W”时，在延迟器220中没有相应的鲁棒模式分组。在此期间，不能防衰减。然而，一旦延迟器被再充满，就可再次获得衰减保护。
如上所述，尽管在时间t1至t3期间发生了衰减，但是使用电路(未显示)仍然可得到内容表示信号。另外，因为鲁棒的信源编码和信道编码(调制)技术，鲁棒模式分组很可能经受得住更严重的信道退化，从而当普通模式分组可能不可用的时候、可以使用鲁棒模式分组。鲁棒模式分组流所携带的内容信号的质量可以不同于普通模式分组流中内容信号的质量。尤其是，鲁棒模式分组流中内容信号的质量可以低于普通模式分组流中内容信号的质量。较低质量的内容信号需要比较高质量的内容信号更少的位来传输，并且这种鲁棒模式分组流将需要比普通模式分组流低的吞吐量。从而，以较低吞吐量的第二分组流为代价，如果发生衰减将允许适度退化的系统是可能的。
同样如上所述，内容信号可以包括视频、音频和/或数据。尤其是，既可以在普通模式分组流中、又可以在鲁棒模式分组流中携带音频数据，从而尽管发生衰减、音频数据也仍然可用。鲁棒模式分组流所携带的音频内容信号可以具有不同的质量，更具体地说，具有比普通模式分组流中的音频内容信号更低的质量。较低质量的音频信号可以用较少的位和较少的分组来传送，并且将对鲁棒模式分组流提出较低的要求。如果发生衰减，这也将允许适度的退化。
利用上述系统，从普通模式分组流到鲁棒模式分组流的切换可以在任何时候发生。如果鲁棒分组流携带下至分组级都与普通分组流中的内容表示数据相同的内容表示数据，则这可能不带来问题。然而，如果鲁棒分组流携带与普通分组流中的内容表示数据不同的内容表示数据，例如如果以不同的分辨率、量化电平、帧速率等来表示内容，则观众可能注意到可能使人不愉快的再现图像变化。在更坏的情况下，如果在解码图像的过程中间发生了分组流切换，则那幅图像和其它周围图像的解码可能完全失败，并且视频图像可能被中断长得多的时间，直到解码器与可独立解码的图像重新同步为止。
如上所述，通过信源编码、系统编码和信道编码的组合来传送普通模式分组流。在所示实施例中，信源编码和系统编码是根据公知的MPEG 2编码方案，并且信道编码使用8-VSB调制技术。MPEG信源编码方案将视频图像信号编码为一序列独立的解码段。也称作基本流段的独立解码段(IDS)是可以独立于其它任何独立解码段被正确解码的段。在MPEG标准中，独立解码段包括图像序列、图像组(GOP)和/或图像。通过唯一开始码在压缩位流中界定这些独立解码段。即，独立解码段被认为是始于段开始码、直到但不包括下一个段开始码的所有数据。MPEG 2标准中的图像是帧内编码图像(I图像)、帧间预测图像(P图像)或双向预测图像(B图像)。I图像是在不参考其它任何图像的情况下被编码的。GOP包括被编码为I、P和/或B图像组合的一组图像。在封闭的GOP中，可以在不参考其它任何GOP中图像的情况下对GOP中的所有图像进行解码。每个GOP的开始都在MPEG 2分组流中被清楚地识别。
同样如上所述，通过信源编码、系统编码和信道编码的组合来传送鲁棒模式分组流。在所示实施例中，信源编码是根据JVT编码方案，系统编码是根据MPEG 2标准，并且信道编码使用2-VSB和/或4-VSB调制技术。利用JVT信源编码标准编码的图像由被编码的片构成，并且给定的图像可以包括不同编码类型的片。每个片都可以是帧内编码(I)片、帧间预测(P)片、双向预测(B)片、其中只使用空间预测的SI片、或者即使当使用不同参考图像时也可正确再现的SP片。JVT信源编码标准也包括瞬时解码刷新(IDR)图像。IDR是只包含I片并且标记IDS开始的特殊JVT编码图像类型。IDR指示，可以在无需参考先前图像的情况下对当前图像和所有后面的已编码图像进行解码。仿效MPEG 2标准中的GOP，可以相对每预定数量的图像对IDR编码一次。在JVT信源编码方案中，可以通过在JVT分组流中清楚识别的IDR，来界定独立解码段。
通过把某些约束强加于普通和鲁棒模式信源编码方案，可以开发能够从普通模式分组流切换到鲁棒模式分组流、同时使不愉快的人为误差最小化的系统。如果独立解码段被编码成始于普通(MPEG 2)和鲁棒(JVT)分组流中的相同内容位置，则可以在具有最小不愉快的人为误差的独立解码段位置、在普通分组流和鲁棒分组流之间进行切换。在所示实施例中，普通(MPEG 2)分组流中使用的独立解码段是封闭的GOP、并始于I图像。在相应的鲁棒(JVT)分组流中，每个独立解码段都始于IDR图像。普通(MPEG 2)模式分组流中的I图像和鲁棒(JVT)模式分组流中的IDR图像都对来自内容源(未显示)的相同视频图像编码。这两种信源编码方案都允许以其它方式形成和界定IDS。例如，MPEG 2信源编码方案也允许片被形成为代表图像。只要将IDS插入普通分组流和鲁棒分组流中的相同内容位置，就可以使用任何这种方式。
再参考图1，输入端105进一步连接到模型中所示的场景剪辑检测器(scene cut detector)160的输入端。场景剪辑检测器160的输出端连接到普通模式编码器120和鲁棒模式编码器110的各自控制输入端。
在操作中，场景剪辑检测器160检测视频内容中新场景的出现。响应新场景的检测，控制信号被发送给普通模式编码器120和鲁棒模式编码器110。普通模式编码器120和鲁棒模式编码器110都响应控制信号而开始对新的独立解码段编码。普通模式编码器120将新的I图像插入其已编码分组流中，而鲁棒模式编码器110将IDR图像插入其已编码分组流中。普通模式编码器120和鲁棒模式编码器110操作，以产生具有相同持续时间的相应独立解码段。如上所述，已编码的内容表示信号被系统编码为各自的分组流。
延迟器130被设置成引入与独立解码段持续时间相等的延迟。多路复用器140将鲁棒模式编码分组流和延迟的普通模式编码分组流组合成合成分组流。合成分组流被调制器150以适当方式执行信道编码(调制)，并通过输出端115被提供给通信信道。
通过参考图4，可以更好地理解发送器在该操作方式下的操作。图4显示了在多路复用器140输入处的分组流。在图4中，来自鲁棒模式编码器110的一序列独立解码段(IDS)被显示为一系列矩形400，并且来自普通模式编码器120的一序列独立解码段被显示为一系列矩形410。如上所述，来自鲁棒模式编码器110和普通模式编码器120的独立解码段的内容中时间位置、以及持续时间是相同的。因为由延迟器130引入的延迟和IDS的持续时间相同，因此来自鲁棒模式编码器110的IDS和前面紧接的来自普通模式编码器120的IDS对准。
在由场景剪辑检测器160检测到的、可以代表场景变化的时间t0，未延迟的鲁棒模式编码IDS N开始，并且先前被延迟的普通模式编码IDS N-1开始。每个鲁棒模式(JVT源编码的)IDS都被显示为代表各个片的一系列矩形440，并且始于独立解码刷新(IDR)图像。IDR图像后面是B、P、SI和/或SP片。这些片又被系统编码为传输分组“a”、“b”、“c”等的序列450。类似，每个普通方式(MPEG 2信源编码的)IDS都被显示为代表始于I图像的GOP的一系列矩形420。I图像后面是P图像和B图像的排列。这些I、P和B图像又被系统编码为传输分组“A”、“B”、“C”等的序列430。所示的排列仅是示范性的，并且可以使用任何适当的排列。
该合成信号被接收器接收。再参考图2中的接收器200，在时间t0，收到的鲁棒模式IDS N在时间Tadv内被加载到延迟器220中。延迟器220把和发送器100中延迟器130引入普通分组流中的延迟相同的延迟(一个IDS时期)，引入收到的鲁棒分组流中。因此，在选择器230的输入端，收到的普通分组流和延迟的鲁棒分组流在时间上相对于内容表示信号重新对准。
在正常状态下，选择器230将普通模式分组流耦合到多标准解码器240，并且多标准解码器被规定成对普通模式分组进行解码，如以上更详细描述的。如果在合成信号或合成信号一部分中检测到错误，如上所述，则在普通模式分组流和鲁棒模式分组流之间执行切换。在该实施例中，在IDS开始时，选择器230将鲁棒模式分组流耦合到多标准解码器240，并且多标准解码器240被规定成对鲁棒模式分组进行解码，如以上更详细描述的。如果在合成信号中没有检测到进一步的错误，则在下一个IDS开始时，选择器230将普通模式分组流耦合到多标准解码器240，并且多标准解码器240再次被规定成对普通模式分组进行解码。
在图2的接收器200中，在IDS开始时、从解码普通模式分组流到解码鲁棒模式分组流的切换发生，反之亦然。每个IDS都是始于可以在不参考其它任何图像的情况下被成功解码的I图像(普通模式)或IDR图像(鲁棒模式)的独立解码段。进一步，可以在不参考IDS之前的图像的情况下对随后图像进行解码。因而，可以在没有由切换造成的不愉快的人为误差的情况下、立即执行内容表示信号的解码和显示。
为进一步使由于从解码普通模式视频分组流到解码鲁棒模式视频分组流的切换造成的视频人为误差最小化，以及反之亦然，当切换发生时、可以在普通模式视频信号的图像特性和鲁棒模式视频信号的图像特性之间逐渐改变最终所得视频信号的图像特性。当与普通模式视频流相比、鲁棒模式视频流具有较低质量时，例如如果鲁棒模式视频流的空间分辨率、帧速率等小于普通模式视频流的空间分辨率、帧速率等，则这尤其令人希望。
图5是可以用于图2所示接收器中的选择器230”的框图。这种选择器230”可以在普通模式视频信号和鲁棒模式视频信号之间发生切换的时候，在普通模式视频信号视频特性和鲁棒模式视频信号视频特性之间逐渐改变最终所得视频信号的视频特性(例如分辨率、帧速率等)。图5a是显示选择器230”操作的功能图，图5b是显示可以用于图2所示接收器中的这种选择器230”的实施例的结构框图。
在图5a中，鲁棒模式视频信号被耦合到轨道232的一端，并且普通模式视频信号被耦合到轨道232的另一端。滑动触头234沿轨道232滑动，并产生被耦合到选择器230”输出端的最终所得视频信号。最终所得视频信号被耦合到接收器200(图2)的输出端215。连接控制输入端，以便从多路分解器210接收错误信号E。控制输入端连接到控制器电路231的输入端。滑动触头234沿轨道232的位置受控制器电路231的控制，如图所示。
在操作中，当滑动触头234位于轨道232的上端时，则具有鲁棒模式视频信号特性(例如分辨率、帧速率等)的最终所得视频信号被耦合到选择器230”的输出端。当滑动触头234位于轨道232的下端时，则具有普通模式视频信号特性的最终所得视频信号被耦合到选择器230”的输出端。当滑动触头234在轨道232的上端和下端之间移动时，则选择器230”输出端的最终所得视频信号特性被调节成在普通模式视频信号特性和鲁棒模式视频信号特性之间。滑动触头234越靠近轨道232的上端，则与普通模式视频信号特性相比、最终所得视频信号的特性就越接近鲁棒模式视频信号特性。滑动触头234越靠近轨道232的下端，则与鲁棒模式视频信号特性相比、最终所得视频信号的特性就越接近普通模式视频信号特性。
错误信号E的值指示切换要何时发生，如上所述。当从一个视频信号(例如普通模式或鲁棒模式视频信号)到另一视频信号的切换发生时，在切换发生时附近的一个或多个视频图像时段内，滑动触头234从轨道232的一端逐渐移动到另一端。例如，在从普通模式视频信号切换到鲁棒模式视频信号的期间，滑动触头234始于轨道的底端。在切换之前的几个视频图像期间，滑动触头234从轨道232的底端逐渐移动到顶端。在从普通模式分组流切换到鲁棒模式分组流的时候，滑动触头234位于轨道232的顶端。因此在到鲁棒模式分组流的切换发生之前的几个视频图像期间，最终所得视频信号的特性从普通视频信号的特性逐渐变成鲁棒模式视频信号的特性。类似，在从鲁棒模式分组流切换到普通模式分组流的时候，滑动触头234位于轨道232的顶端。在切换之后的几个视频图像期间，滑动触头234从轨道232的顶端逐渐移动到底端。因此，在到普通模式分组流的切换发生之后的几个视频图像期间，最终所得视频信号的特性从鲁棒模式视频信号的特性逐渐变成普通模式视频信号的特性。
在图5b中，来自多标准解码器240(图2)的视频信号被耦合到可变视频质量滤波器236的第一输入端和选择器238的第一输入端。可变视频质量滤波器236的输出端连接到选择器238的第二输入端。选择器238的输出端产生最终所得视频信号，并连接到输出端215(图2)。来自多路分解器210的错误信号E被耦合到控制器电路231。控制器电路231的第一输出端连接到视频质量滤波器236的控制输入端，并且控制器电路231的第二输出端连接到选择器238的控制输入端。
在操作中，视频质量滤波器236响应来自控制器电路231的控制信号、来改变被解码的视频信号的视频特性。来自控制器电路231的控制信号规定视频质量滤波器236产生具有普通模式视频信号特性与鲁棒模式视频信号特性之间的各种视频特性的视频信号。在正常状态下，当没有切换发生时，控制器电路231规定选择器238将被解码的视频信号耦合到输出端作为最终所得视频信号。
响应如上所述指示普通模式视频信号与鲁棒模式视频信号之间的切换的错误信号E值变化，在切换时间附近的某一时段内，控制器电路231规定选择器238将来自视频质量滤波器236的视频信号耦合到输出端，并规定视频质量滤波器236逐渐地改变最终所得视频信号的视频特性。更具体地说，如果从普通模式视频信号到鲁棒模式视频信号的切换发生了，则在切换发生之前的几个视频图像时段内，视频质量滤波器236被规定成将最终所得视频信号的视频特性从普通视频信号特性逐渐改变成鲁棒视频信号特性。在那个时段开始时，选择器238被规定成将滤波的视频信号耦合到输出端作为最终所得视频信号。当那个时段结束、并且解码的视频信号来源于鲁棒模式分组流时，选择器238被规定成将解码的视频信号耦合到输出端作为最终所得视频信号。类似，如果从鲁棒模式视频信号到普通模式视频信号的切换发生了，则在切换发生之后的几个视频图像时段内，视频质量滤波器236被规定成将最终所得视频信号的视频特性从鲁棒视频信号特性逐渐改变成普通视频信号特性。在那个时段开始时，选择器238被规定成将滤波的视频信号耦合到输出端作为最终所得视频信号。当那个时段结束、并且解码的视频信号来源于普通模式分组流时，选择器238被规定成将解码的视频信号耦合到输出端作为最终所得视频信号。
具有不同视频质量(分辨率、帧速率等)的视频信号之间的突然切换可能造成可能使观众不愉快的人为误差。因为在从普通模式视频信号切换到鲁棒模式视频信号之前逐渐降低最终所得视频信号的视频质量、并且在从鲁棒模式视频信号切换到普通模式视频信号之后逐渐提高最终所得视频信号的视频质量，因此使由切换产生的不愉快人为误差最小化。
交错播送通信系统的另一个实施例也可以在使不愉快人为误差最小化的同时提供切换，并且不需要将IDS专门放置在普通和鲁棒模式分组流中。图6中显示了接收器200’。在图6中，与图2的接收器200中类似的部件以相同的附图标记来表示，并且以下不进行详细描述。在图6中，多路分解器210的第一输出端连接到普通模式解码器240’的输入端。普通模式解码器240’的第一输出端连接到选择器230’的第一输入端，并且普通模式解码器240’的第二输出端连接到普通模式帧存储器250’的第一输入端。延迟器220的输出端连接到鲁棒模式解码器240”的输入端。鲁棒模式解码器240”的第一输出端连接到选择器230’的第二输入端，并且鲁棒模式解码器240”的第二输出端连接到鲁棒模式帧存储器250”的第一输入端。选择器230’的输出端分别连接到普通模式帧存储器250’的第二输入端和鲁棒模式帧存储器250”的第二输入端。普通模式帧存储器250’的输出端连接到普通模式解码器240’的第二输入端，并且鲁棒模式帧存储器250”的输出端连接到鲁棒模式解码器240”的第二输入端。
在操作中，延迟器220把和发送器100(图1)中延迟器130引入普通模式分组流中相同的延迟，引入鲁棒模式分组流中。因此，普通模式解码器240’和鲁棒模式解码器240”的各自输入端的分组流信号在时间上相对于内容表示信号对准。
普通模式分组流和延迟的鲁棒模式分组流都被系统解码和源解码、以产生相应的内容表示信号流，如以上详细描述的。在所示实施例中，这些内容表示信号流是各自的视频图像序列。在普通模式解码和鲁棒模式解码中，都需要代表周围图像的视频数据来对预测图像或片进行解码。普通模式帧存储器250’保存用于普通模式解码器240’的这些周围图像，并且鲁棒模式帧存储器250”保存用于鲁棒模式解码器240”的这些周围图像。
在图6所示的接收器中，基于逐个图像、而不是基于IDS来执行切换。普通模式解码器240’将普通模式分组解码为包含连续视频图像的关联内容表示信号。同时，鲁棒模式解码器240”将鲁棒模式分组解码为包含连续视频图像的关联内容表示信号。如上所述，多路分解器210在错误信号线E上产生用于指示来自解调器207的合成信号、或该合成信号的至少某一部分不可用的错误信号。在图6所示实施例中，可以通过检测多路分解的分组流中的丢失分组，来产生该错误信号。因而，错误信号线E上的错误信号不仅指示分组丢失了，而且指示哪个分组流丢失了分组。因为分组在有效负载中携带用于形成分组流所携带的视频图像的数据的一部分、并且在报头中携带用于识别该分组所属的分组流的数据，因此可以将丢失了分组的分组流标记为错误。
可能在普通和鲁棒模式分组流中都成功地接收视频图像；可能在普通模式分组流中成功地接收视频图像、但是在鲁棒模式分组流中错误地接收视频图像；可能在普通模式分组流中错误地接收视频图像、但是在鲁棒模式分组流中成功地接收视频图像；或者可能在普通和鲁棒模式分组流中都错误地接收视频图像。
在正常状态下，即当既没有在普通模式分组流中、又没有在鲁棒模式分组流中检测到错误时，普通模式解码器240’和鲁棒模式解码器240”成功地解码相应的视频图像。选择器230’将来源于普通模式解码器240’的内容表示视频图像耦合到输出端215。而且，在正常状态下，普通模式解码器240’将视频图像提供给普通模式帧存储器250’，并且鲁棒模式解码器240”将视频图像提供给鲁棒模式帧存储器250”。
如果在鲁棒模式分组流中检测到错误、但是在普通模式分组流中没有检测到错误，则只有普通模式解码器240’成功地解码相应的视频图像。选择器230’将来源于普通模式解码器240’的内容表示视频图像耦合到输出端215。此外，普通模式解码器240’将解码的视频图像提供给普通模式帧存储器250’。然而，因为鲁棒模式解码器240”没有成功地解码相应的视频图像，因此鲁棒模式解码器240”不向鲁棒模式帧存储器250”提供任何视频图像。而是来自普通模式解码器240’的被成功解码的视频图像从选择器230’被路由到鲁棒模式帧存储器250”。
如果在普通模式分组流中检测到错误、但是在鲁棒模式分组流中没有检测到错误，则只有鲁棒模式解码器240”成功地解码相应的视频图像。选择器230’将来源于鲁棒模式解码器240”的内容表示视频图像耦合到输出端215。此外，鲁棒模式解码器240”将解码的视频图像提供给鲁棒模式帧存储器250”。然而，因为普通模式解码器240’没有成功解码相应的视频图像，因此普通模式解码器240’不向普通模式帧存储器250’提供任何视频图像。而是来自鲁棒模式解码器240”的被成功解码的视频图像从选择器230’被路由到普通模式帧存储器250’。
在以上两种情况下，与没有成功解码视频图像的解码器关联的帧存储器中存储的那个视频图像是来自另一个解码器的视频图像。与正确的视频图像被存储在帧存储器中的情况相比，这可以使随后的解码退化。如果替代的视频图像具有比错误视频图像低的质量，则尤其是这样。然而，随后解码的精度比帧存储器中根本没有存储视频图像的情况好。
如果在普通模式分组流和鲁棒模式分组流中的视频图像中都检测到错误，则没有正确的视频图像被解码，并且必须执行其它的掩码技术。
通过参考图7，可以更好地理解图6所示接收器200’的操作。在图7中，顶部一组矩形(MPEG)分别代表普通模式解码器240’的输入420和输出520；中间一组矩形(JVT)分别代表鲁棒模式解码器240”的输入440和输出540；以及底部一组矩形(输出)分别代表输出端215的视频图像460和它们的源560。参考MPEG解码上面一组矩形420代表普通模式解码器240’输入端的信源编码视频图像(I、P和/或B)。下面一组矩形520代表普通模式解码器240’输出端的所得视频图像。类似，参考JVT解码上面一组矩形440代表鲁棒模式解码器240”输入端的信源编码IDR图像(可以仅包括多个I片)及接着的信源编码视频片(I、P、B、SI和/或SP)。下面一组矩形540代表鲁棒模式解码器240”输出端的所得视频图像。参考输出端215，上面一组矩形460代表输出视频图像，并且下面一组矩形560代表那个特殊视频图像的源。
更具体地说，在普通模式(MPEG)分组流中，视频图像6、10和13每个都丢失至少一个分组，如交叉阴影线所示。类似，在鲁棒模式(JVT)分组流中，视频图像7和10丢失了至少一个分组，如交叉阴影线所示。其它一切普通模式分组流视频图像和鲁棒模式分组流视频图像都包括全部分组，并可以被成功解码。
对于视频图像0-5、8、9、11、12和14，选择器230’将来源于普通模式解码器240’(MPEG)的视频图像耦合到输出端215，如图7中的“M”所示。另外，对于这些视频图像，来自普通模式解码器240’的视频图像被提供给普通模式帧存储器250’，并且来自鲁棒模式解码器240”的视频图像被提供给鲁棒模式帧存储器250”。
对于图像6和13，普通模式分组流中的视频图像是错误的，但是鲁棒模式分组流中的相应视频图像是完整、并且可用的。对于这些图像，选择器230’将来自鲁棒模式解码器240”(JVT)的视频图像耦合到输出端215，如图7中的“J”所示。因为对于这些图像、没有普通模式视频图像，因此来自鲁棒模式解码器240”的鲁棒模式视频图像既被耦合到鲁棒模式帧存储器250”、又被耦合到普通模式帧存储器250’。
对于图像7，普通模式分组流中的视频图像是完整的，但是鲁棒模式分组流中的相应视频图像是错误的。对于该图像，选择器230’将来自普通模式解码器240’的视频图像耦合到输出端215，如图7中的“M”所示。因为对于该图像、没有鲁棒模式视频图像，因此来自普通模式解码器240’的普通模式视频图像既被耦合到普通模式帧存储器250’、又被耦合到鲁棒模式帧存储器250”。
对于图像10，普通模式分组流和鲁棒模式分组流中的视频图像都是错误的。因为没有有效的视频图像，因此可以使用某种形式的错误掩码。这由图7中的“XX”来指示。因为没有来自普通模式解码器240’或鲁棒模式解码器240”的有效视频图像，因此不可能有解码的视频图像被存储在普通模式帧存储器250’或鲁棒模式帧存储器250”中。帧存储器250’和250”中存储的数据也可以来源于某种形式的错误掩码。
通过将普通模式和鲁棒模式分组流解码为视频图像流，并且在每个视频图像开始时从一个视频流切换到另一个视频流，可以使由于不能正确解码分组流而产生的视频人为误差最小化。在如图6所示的接收器中，可以使用如图5所示的视频质量逐渐改变的切换。然而，因为在图6的接收器中、切换在每个图像处发生，因此由这种切换引起的人为误差不如图2所示的切换在IDS边界发生时那样使人不愉快。
然而，退化的信道状态可能导致普通模式分组流与鲁棒模式分组流之间的频繁切换。该频繁切换可能导致可能使观众不愉快的人为误差。如果鲁棒模式视频信号的视频质量大体上不同于普通模式视频信号的视频质量，尤其是这样。
为了使由普通模式分组流与鲁棒模式分组流之间的过于频繁切换造成的人为误差最小化，选择器230(图2)和230’(图6)被配置成限制超过预定频率的切换。更具体地说，选择器230或230’可以监测期望的切换频率，并将期望切换频率与预定阈值进行比较。如果期望切换频率超过阈值，则将实际切换的发生频率限制在某一最大频率以下。这是一种形式的切换滞后。
例如，假定普通模式分组流携带高质量(例如高清晰度(HD))视频信号，并且鲁棒模式分组流携带低质量(例如标准清晰度(SD))视频信号。当普通模式HD分组流不可用时，则鲁棒模式SD分组流被处理，以产生图像。放大SD视频图像以便在HD显示器上进行显示，将产生质量差的视频图像。如果普通模式分组流频繁地渐强和渐弱、但是鲁棒模式分组流保持可用，则普通模式HD视频信号与鲁棒模式SD视频信号之间的切换频繁发生。HD与SD分组流之间的频繁切换、连同高质量与低质量图像之间的频繁切换，产生了使观众不愉快的人为误差。
继续该例子，如果错误信号E指示切换应该每分钟发生例如多于两次(即普通模式分组丢失了)，则实际切换被限制、以使上述切换人为误差最小化。在该例子中，在这些状态下，对于每次切换、选择器230或230’选择鲁棒模式分组流长达例如至少一分钟。这将减少切换次数，从而使由那些切换产生的可视人为误差最小化。本领域技术人员将要理解，这只是实施切换滞后的一个实施例。用于激活滞后的最大切换频率的阈值和受限制切换频率的阈值可以不同于例子。可以根据经验确定这种阈值，以寻找使令人不愉快的可视人为误差最小化的阈值。进一步，可以在接收器操作期间动态地改变阈值。最后，可以开发其它滞后算法，以限制在正常情况下将导致过度切换的状态下的切换。
再参考图3和图4，在任何广播或信道变化开始时、都有称为Tadv的时期，在该Tadv时期内普通模式分组(310、410)充满延迟器220(图2和图6)。在图2和图6所示的接收器中，只有在延迟电路220充满之后，接收器才开始操作。然而，当接收器被接通、或者信道发生变化时，这造成不适当的延迟。然而，在时段Tadv内，鲁棒模式分组流(300、400)立即可用。
在图2中，未延迟的鲁棒模式分组流从多路分解器210被直接耦合到选择器230的第三输入端，如图所示。当接收器被通电、或者新的信道被选择时，选择器230将未延迟的鲁棒模式分组流耦合到多标准解码器240。多标准解码器240被规定成对鲁棒模式分组进行解分组(depacket)和解码，如以上详细描述的，并且视频信号立即变得可以为输出端215的使用电路所用。当普通模式分组流变得可用时，则选择器230将使普通模式分组流信号耦合到多标准解码器240。
在图6中，未延迟的鲁棒模式分组流从多路分解器210被直接耦合到鲁棒模式解码器240”。当接收器被通电、或者新的信道被选择时，鲁棒模式解码器240”被规定成对来自多路分解器210的鲁棒模式分组流进行解分组和解码，并产生鲁棒模式视频信号，如以上更详细描述的。选择器230’被规定成使来自鲁棒模式解码器240”的鲁棒模式视频信号通过输出端215耦合到使用电路。当普通模式分组流变得可用时，则普通模式解码器240’对普通模式分组流进行解分组和解码，并产生普通模式视频信号。选择器230’被规定成使普通模式视频信号通过输出端215耦合到使用电路。
在任一情况下，普通模式分组流和鲁棒模式分组流中的数据都被分析，以确定普通模式分组流何时变得可用，以及接收器的正常操作何时可以开始。根据公知的MPEG 2系统(传输分组)编码，与发送器中的系统时钟(STC)有关的信息通过节目时钟参考(PCR)数据被放置在已编码的分组流中。被称为表示时间印记(PTS)、用于指示分组流一部分(被称为存取单元)何时必须被解码的进一步信息至少被包括在每个这种存取单元的开始。当普通模式分组流和鲁棒模式分组流被多标准解码器240(图2)或普通模式解码器240’和鲁棒模式解码器240”(图6)解分组和解码时，通过PCR数据使接收器中的系统时钟(STC)与发送器中的系统时钟同步。当普通模式分组流中的PTS值与接收器STC值相等时，这指示普通模式分组流与鲁棒模式分组流同步，并且接收器可以通过解码普通模式分组流，来开始正常操作，如上所述。
因为可以在一个复用的传输分组流上传输许多内容表示信号，因此已经开发了一种用于提供关于不同分组流的信息的公知装置。通过每个分组流中的每个分组的报头中包括的分组标识符(PID)，来识别那个分组流。具有预定已知PID的一个分组流包括一个或多个包含关于所有其它分组流的识别及其它信息的数据表。该公知的表结构可以用于携带关于与其它任何普通模式分组流都不相关的鲁棒模式分组流的信息。然而，必须将关于与其它普通模式分组流相关的鲁棒分组流的附加信息，从发送器发送给接收器。
这些现有的表的扩展语法和语义可以携带必需的数据。图8是显示节目映射表(PMT)和/或节目与信息系统协议-虚拟频道表(PSIP-VCT)的扩展语法和语义的表。图8中的每行代表扩展表中的数据项、或伪码形式的元语法描述。第一列是数据项名称或元语法规范。第二列是数据项描述或语法规范。第三列是任何数据项大小的指示。
扩展语法中的第一项802是用于交错播送其它普通模式分组流的鲁棒分组流数量。于是，每个这种交错播送的鲁棒模式分组流的信息都被包括在表中，如下一行和表中最后一行中的元语法规范所指示。每个鲁棒模式分组流都需要一些这样的信息。例如，数据804代表鲁棒模式分组流的节目标识符(PID)；数据806代表那个分组流所携带的数据类型；数据808代表与该分组流关联的普通模式分组流的PID；以及数据810代表由发送器100中的延迟器130(图1)引入普通模式分组流中的延迟。
然而，一些这样的信息只涉及特殊数据类型的鲁棒模式分组流。例如，如果鲁棒模式分组流携带视频数据，则与压缩格式、帧速率、隔行扫描格式、水平和垂直分辨率、以及比特率相关的信息812从发送器被发送给接收器，使得鲁棒模式分组流所代表的视频图像可以被正确解码和显示。类似，如果鲁棒模式分组流携带音频数据，则与压缩格式、比特率、采样率、以及声音模式(环绕声、立体声或单声道)相关的信息814从发送器被发送给接收器，使得鲁棒模式分组流所代表的声音可以被正确解码和再现。
另一种数据涉及鲁棒模式分组流所携带的内容表示信号的相对质量。如上所述，鲁棒模式分组流所携带的内容表示信号的质量可以不同于该鲁棒模式分组流所关联的普通模式分组流的质量。在上述例子中，规定鲁棒模式分组流所携带的内容表示信号的质量低于关联的普通模式分组流的质量。然而，在某些情况下，供应商可能在鲁棒模式分组流上传输较高质量信号。在该情况下，优选地，接收器使用由鲁棒模式分组流、而不是关联的普通模式分组流携带的内容表示信号。通过数据816向接收器指示这一点。
通过提供使鲁棒模式分组流与普通模式分组流关联的信息，接收器200(图2的)或200’(图6的)可以在复用的分组流中发现普通模式分组流和鲁棒模式分组流两者，并且同时处理普通模式和鲁棒模式分组流，如上所述。不包括图2和图6接收器的能力的先有接收器将忽视该信息，并以公知方式处理普通模式分组流。
如上所述，由发送器100(图1的)中的延迟器130在鲁棒模式分组流和关联的普通模式分组流之间引入的延迟作为图8所示的表中的数据810被发送。这允许发送器改变延迟期，并允许接收器据此调节其延迟期。例如，在某些信道状态下，衰减可能比在其它信道状态下更有可能发生，或者衰减特性可能变化(即衰减可能更长)。在这种状态下，可以增加延迟期。延迟时间被发送给接收器，接收器将使延迟器220(图2和图6中)适应于相同延迟期。其它状态也可能需要不同的延迟期。
可以扩展上述交错播送概念。被编码为具有不同视频质量(例如分辨率、帧速率等)的视频信号的多种版本的相同内容表示信号可以被交错播送。图9是用于发送多种版本内容表示信号的交错播送发送器的另一个实施例一部分的框图。在图9中，与图1所示的发送器中相同的部件以相同的附图标记来表示，并且以下不进行详细描述。图10是交错播送接收器的相应实施例一部分的框图。在图10中，与图2所示的接收器中相同的部件以相同的附图标记来表示，并且以下不进行详细描述。
在图9a中，输入端105连接到分级编码器160的输入端。分级编码器160对多个输出分组流信号进行信源编码和分组化。多个输出分组流信号中的第一输出分组流信号(0)被耦合到多路复用器140’的相应输入端。多个输出分组流信号中的其余输出分组流信号(1)至(n)被耦合到相应的多个延迟器130(1)至130(n)的各自输入端。延迟器130(2)引入的延迟期比延迟器130(1)引入的延迟期长；延迟器130(3)(未显示)引入的延迟期比延迟器130(2)引入的延迟期长；以此类推。可以用分组来指定延迟，如图3所示；可以用独立解码段来指定延迟，如图4所示；或者可以用视频图像周期来指定延迟，如图7所示。多个延迟器130(1)至130(n)的各自输出端连接到多路复用器140’的相应输入端。
在操作中，第一分组流信号(0)携带以最低视频质量被信源编码的基本视频信号。第二分组流信号(1)携带附加的视频信息。当与基本视频信号(0)相结合时，该附加视频信息产生具有比基本视频信号(0)独自的视频质量高的视频质量的视频信号。第三分组流信号(2)携带进一步的附加视频信息。当与基本视频信号(0)和第二分组流信号(1)中的视频信息相结合时，该信号中的视频信息产生具有比基本信号(0)和第二信号(1)的组合高的视频质量的视频信号。可以对来自分级编码器160的直到分组流信号(n)的附加分组流信号中的视频信息进行组合，以产生较高视频质量的视频信号。复用的信号被信道编码(调制)，并通过输出端115被提供给接收器。
图10a是与图9a所示发送器相对应的接收器。多路分解器210提取多个分组流(0)至(n)。分组流(n)被耦合到分级解码器260的相应输入端。多个分组流中的剩余分组流(0)至(n-1)被耦合到相应的多个延迟器220的各自输入端。多个延迟器220被规定成，使分级解码器260输入端的所有多个分组流(0)至(n)在时间上重新对准。信号线E上来自多路分解器210的错误信号被耦合到分级解码器260的控制输入端。分级解码器260的输出端连接到输出端215。
在操作中，解调器207对收到的信号进行适当的信道解码(解调)，如以上更详细描述的。多路分解器210提取与图9a所示的分组流(0)至(n)相对应的、携带了分级视频信息的多个分组流(0)至(n)。通过多个延迟器220使这些分组流在时间上对准。来自多路分解器210的错误信号指示哪些分组流不可用，例如哪些分组流丢失了分组。通过分级解码器260对多个分组流解分组，并产生可以从可用分组流分级解码的最高质量视频图像。即，如果衰减事件使除了携带基本视频信号的分组流(0)以外的所有分组流变得不可用，则分级解码器260只对分组流(0)解分组和解码。如果分组流(1)也可用，则分级解码器260对分组流(0)和分组流(1)都进行解分组和解码、并产生较高质量的视频信号，诸如此类。如果所有分组流(0)至(n)都可用，则分级解码器260对所有分组流(0)至(n)都进行解分组和解码、并产生最高视频质量的视频信号。
在图9b中，输入端105连接到多个视频编码器170的各自输入端。多个视频编码器170中的第一视频编码器170(0)的输出端连接到多路复用器140’的相应输入端。多个视频编码器170中的其余视频编码器170(1)至170(n)的输出端连接到多个延迟器130(1)至130(n)的各自输入端。延迟器130(2)引入的延迟期比延迟器130(1)引入的延迟期长；延迟器130(3)(未显示)引入的延迟期比延迟器130(2)引入的延迟期长；以此类推。可以用分组来指定延迟，如图3所示；可以用独立解码段来指定延迟，如图4所示；或者可以用视频帧周期来指定延迟，如图7所示。多个延迟器的各自输出端连接到多路复用器140’的相应输入端。
在操作中，第一编码器170(0)对内容表示信号进行信源编码、并对所得的信源编码信号进行系统编码(分组)，以产生携带代表最低质量视频信号的信息的分组流在所示实施例中，为四分之一公用接口格式(QCIF)视频信号。第二编码器170(1)类似地产生携带代表比第一编码器170(0)所产生的视频信号高的质量的视频信号的信息的分组流在所示实施例中，为公用接口格式(CIF)视频信号。其它视频编码器(未显示)类似地产生携带相继更高视频质量的视频信号的分组流。SD视频编码器170(n-1)类似地产生携带SD质量视频信号的分组流，并且HD视频编码器170(n)类似地产生携带HD质量视频信号的分组流。这些分组流被多路复用器140’复用，然后被信道编码(调制)、并通过输出端115被发送给接收器。
图10b是与图9b所示的发送器相对应的接收器。在图10b中，多路分解器210提取多个分组流(0)至(n)。分组流(n)被耦合到HD解码器270(n)的输入端。其余分组流(0)至(n-1)被耦合到多个延迟器220的各自输入端。多个延迟器220的各自输出端连接到多个视频解码器270的相应输入端。多个视频解码器270的各自输出端连接到选择器280的相应输入端。错误信号线E上来自多路分解器210的错误信号被耦合到选择器280的控制输入端。
在操作中，解调器207对收到的合成信号进行适当的信道解码(解调)，如以上更详细描述的。多路分解器210提取与图9b所示的多个视频编码器170所产生的那些分组流相对应的分组流(0)至(n)。多个延迟器220使所有这些分组流(0)至(n)在多个视频解码器270的各自输入端、在时间上重新对准。每个分组流都被耦合到适于对那个分组流所携带的视频信号进行解码的视频解码器。例如，携带QCIF质量视频信号的分组流被耦合到QCIF解码器270(0)；携带CIF质量视频信号的分组流被耦合到CIF解码器270(1)，等等。多个视频解码器270中的每个视频解码器都对提供给它的信号进行解分组和信源解码，以产生视频信号。来自多路分解器210的错误信号E指示，由于错误(例如丢失分组)而使分组流(0)至(n)中的哪个分组流不可用。选择器280被规定成使从可用分组流产生的最高质量视频信号耦合到输出端215。
本领域技术人员将会理解，对于图9所示的发送器系统中的某些较低质量视频图像信号，可能需要图像缩放。编码器，图9a的分级编码器160或图9b的多个编码器170包括必需的任何这种图像缩放电路，为简化附图而没有显示这种图像缩放电路。
对于图9和图10所示的通信系统，由分级编码器160(图9a)或多个视频编码器170(图9b)中任一视频编码器产生的任一分组流都可以按照鲁棒信源编码方案(JVT)被信源编码，并按照鲁棒调制方案(4-VSB和/或2-VSB)被信道编码(调制)，如以上更详细描述的。那个分组流的相应解调和解码在图10的接收器中发生。此外，最低质量视频信号超前最多，因此具有最强的抗衰减性。进一步，可以用最少位数对最低视频质量信号进行编码，从而花费少量时间传输。当分组流所携带的视频信号的视频质量提高时，则那个分组流超前的时间减少，因此抗衰减性降低。因而，当信道特性没有衰减时，则携带最高视频质量信号的一个或多个分组流保持可用。适度的衰减留下携带较低视频质量信号的一个或多个分组流可用，而严重衰减只留下携带最低质量视频信号的分组流可用。视频质量随信道特性退化的这种逐渐降低是观众希望的特性。
如上所述、并且如图1和图9b所示，相同的内容表示信号可以作为携带高质量视频信号的分组流、以及携带降视频质量视频信号的一个或多个分组流被交错播送。从而在这种通信系统中，某些接收器、例如蜂窝电话或个人数字助理(PDA)中的电视接收器有可能只提取和解码降质量内容表示信号。在这种接收器中，显示器具有较低分辨率，并且可能只能显示降质量视频信号。进一步，电池电源的使用使得使被处理数据量最小化变得有利。这些考虑因素都建议，这种接收器只对携带适当视频质量视频信号的分组流进行解码、并显示那幅图像。
图10c显示了接收器。在图10c中，输入端205连接到解调器207的输入端。解调器207的输出端连接到多路分解器210的输入端。多路分解器210的输出端连接到解码器270的输入端。解码器270的输出端连接到输出端215。
在操作中，解调器207以适当的方式对收到的合成信号解调，如以上更详细描述的。多路分解器210只选择具有期望质量视频信号的单个分组流。例如，这可以是如图9b的QCIF编码器170(0)所产生的、并在分组流(0)上传送的QCIF格式视频信号。分组流(0)被多路分解器210提取、并被解码器270解码，以产生QCIF格式视频信号。这种接收器只需接收图8所示的表，来确定期望较低质量视频信号分组流(0)的PID。从该表中发送的分辨率数据812，移动接收器能够选择携带期望的降质量视频信号的分组流来处理。
可以进一步扩展图9和图10所示的通信系统。在上述系统中，附加分组流中携带的视频信息可以用于在恶化的信道状态下提供适度退化。然而，这种系统也可以发送能够在良好信道状态下增强视频信号质量的附加视频信息。通过除包括携带普通视频信号的分组流以外、又包括携带扩充视频信息的分组流，可以发送扩充视频图像。
图11是用于发送双隔行扫描视频信号的发送器一部分的框图，图12是用于接收双隔行扫描视频信号的接收器一部分的框图。图13是用于理解图11所示双隔行扫描发送器和图12所示双隔行扫描接收器的操作的显示图。在图11中，与图1所示部件相同的那些部件以相同的附图标记来表示，并且以下不进行详细描述。在图12中，与图6所示部件相同的那些部件以相同的附图标记来表示，并且以下不进行详细描述。
参考图13，内容源产生逐行扫描视频显示，在图13的顶部被图解显示为显示边界1320内的一序列视频线1310。普通HD视频图像包括1080线。这种HD视频图像以隔行扫描格式、以每秒30帧的速率被发送。即，隔行扫描器产生两个场第一场只包括奇数线，而第二场只包括偶数线。这些场以每秒60场的速率被连续发送。
在图11中，输入端105连接到双输出隔行扫描器102。双输出隔行扫描器102的第一输出端连接到鲁棒模式编码器110的输入端。双输出隔行扫描器102的第二输出端连接到普通模式编码器120的输入端。
再参考图13，帧显示图像1330(A)对应于在双输出隔行扫描器102的第一输出端产生的视频信号A，并且帧显示图像1330(B)对应于在双输出隔行扫描器102的第二输出端产生的视频信号B。在帧显示图像1330(A)和1330(B)中，实线是在一场中发送的，而虚线是在下一场中发送的。在帧显示图像1330(A)中，实线是奇数线，而虚线是偶数线；并且在帧显示图像1330(B)中，实线是偶数线，而虚线是奇数线。在帧显示图像1330(A)和1330(B)之下的场显示图像1340(A)、1340(B)、1350(A)和1350(B)中，更详细地显示了这点。在场1中，视频信号A发送奇数线、如场显示图像1340(A)所示，而视频信号B发送偶数线、如场显示图像1340(B)所示。在场2中，视频信号A发送偶数线、如场显示图像1350(A)所示，而视频信号B发送奇数线、如场显示图像1350(B)所示。
如以上更详细描述的，鲁棒模式编码器110利用JVT信源编码对视频信号A进行信源编码，然后对视频信号A进行系统编码(分组)。普通模式编码器120利用MPEG 2信源编码对视频信号B进行信源编码，然后对视频信号B进行系统编码(分组)。调制器利用4-VSB和/或2-VSB调制对鲁棒模式分组流进行信道编码(调制)，并利用8-VSB调制对普通模式分组流进行调制。
在图12中，多路分解器210的第一输出端连接到普通模式解码器240’的输入端，并且多路分解器210的第二输出端连接到延迟器220的输入端。普通模式解码器240’的输出端连接到双输入解隔行扫描器202的第一信号输入端，并且鲁棒模式解码器240”的输出端连接到双输入解隔行扫描器202的第二信号输入端。来自多路分解器210的错误信号被耦合到双输入解隔行扫描器202的控制输入端。双输入解隔行扫描器202的输出端连接到输出端215。
如以上更详细描述的，解调器207利用4-VSB和/或2-VSB解调对鲁棒模式分组流进行信道解码(解调)，并利用8-VSB解调对普通模式分组流进行解调。普通模式解码器240’利用JVT解码对普通模式分组流进行系统解码(解分组)和信源解码，以再现视频信号B。鲁棒模式解码器240”利用MPEG 2解码对鲁棒模式分组流进行解分组和信源解码，以再现视频信号A。
双输入解隔行扫描器202操作，以便使来自鲁棒模式解码器240”的视频信号A的隔行扫描线和来自普通模式解码器240’的视频信号B的隔行扫描线相结合，以再现逐行扫描场。对于场1，场显示图像1340(A)所示的来自视频信号A的奇数扫描线和场显示图像1340(B)所示的来自视频信号B的偶数扫描线相结合。所得的逐行扫描场被显示在场显示图像1345中。对于场2，场显示图像1350(A)所示的来自视频信号A的偶数扫描线和场显示图像1350(B)所示的来自视频信号B的奇数扫描线相结合。所得的逐行扫描场被显示在场显示图像1355中。从而，可以每场周期在双输入解隔行扫描器202的输出端产生逐行扫描场。对于HD信号，这意谓每秒产生60次全部1080线图像。
也可以把以上所述并在图11、12和13中显示的双隔行扫描技术和上述技术相结合，以便如果信道状态退化、提供更广范围的适度退化。如果信道状态使携带视频信号A或B的分组流之一变得不可用，则错误信号E向双输入解隔行扫描器202指示这一点。双输入解隔行扫描器202开始从可用视频信号产生标准的HD隔行扫描视频信号。显示器(未显示)被重新配置成显示标准隔行扫描视频信号所代表的图像，直到其它视频信号再次变得可用为止。如果没有一个HD视频信号可用，则可以显示最高质量可用视频信号，如以上参考图9中的发送器和图10中的接收器详细描述的。
相同技术也可以用于将任何隔行扫描格式的视频信号、如SD视频信号，转换成两倍帧速率的逐行扫描视频信号。不必交错播送两个视频信号A和B，如图11和12所示。只需要同时联播两个视频信号A和B。然而，交错播送另外提供了在有衰减事件的情况下的适度退化，如上所述。
可以将上述通信系统进一步扩展成与诸如数字个人录像机(PVR)的记录设备合作。由于这种PVR设备的成本降低，这种PVR设备逐渐被包括在数字电视接收机中。在图9b中，PVR设备295包括双向连接到选择器280的视频端(Vid)、以及也双向连接到选择器280的控制端(Ctl)，如图所示。选择器280也连接到用户控制源，如图所示。
选择器280被配置成，独立于耦合到输出端215的输入视频信号、将任何期望视频信号从多个视频解码器270耦合到PVR 295。选择器280也可以被配置成将输入视频信号从PVR 295耦合到输出端215以便重放。选择器280也可以通过双向控制端向PVR 295提供控制数据，并且PVR 295可以通过双向控制端向选择器280提供状态数据。
可以按几种操作方式来控制PVR 295。在一种操作方式下，使最好的可用视频信号耦合到PVR 295以便记录。在该操作方式下，选择器280使与耦合到输出端215一样的输入视频信号耦合到PVR 295。这将导致最佳质量视频信号被记录在PVR 295中，但是将在PVR 295中占据最大存储空间。这将利用携带视频信号的普通模式分组流和鲁棒模式分组流、及其提供的适度退化。作为选择，可以将分辨率比耦合到输出端215的视频信号低的视频信号耦合到PVR 295。例如，虽然选择器280可以将最好可用视频信号耦合到输出端215，但是选择器280可以使产生较低质量视频信号的视频解码器270连接到PVR295。该较低质量视频信号可以是从可用视频信号中选择的、遭受由较低质量视频解码器提供的适度退化的视频信号，如来自SD解码器270(n-1)的SD质量视频信号。与最好可用视频信号相比，这种信号将在PVR 295中需要较少的存储空间。这将有助于保存PVR 295中的存储空间，并允许更长的记录时间。如果选中的较低质量视频信号变得不可用，则可以记录较高质量信号、直到较低质量信号再次变得可用为止。可以由观众通过用户输入端来直接选择要记录哪个较低质量的视频(即SD或CIF或QCIF)。作为选择，选择器280可以根据某些准则自动地控制该选择。例如，来自PVR 295的状态信号可以指示PVR 295中的剩余存储量。当剩余存储量减少时，选择器280可以自动使具有降视频质量的视频解码器270连接到PVR 295。可以导出其它准则，用于控制通过选择器280将哪个视频信号耦合到PVR 295。
类似，用户可能希望控制发送器正在广播的电视节目的选择和显示。在现有广播系统中，发送的分组流之一携带了用户节目指南，该用户节目指南包含关于当前正在广播的所有节目以及近期应该广播的节目的信息。从节目指南数据，屏上显示发生器(OSD)282可以产生列出了所有这种节目、它们的频道及时间的表的图像，如图10b所示。用户可以控制将节目指南信息显示为用于利用用户界面寻找期望节目并选择那个节目来观看的辅助手段。用户界面显示图像以便向观众呈现信息，请求观众的输入，并接受来自可能被并入接收器或遥控器中的控制器的观众输入。现有系统允许观众请求节目列表的附加信息，如更详细的节目描述、等级(G、PG、R等)、持续时间、剩余时间、等等。
可以将与上述交错播送系统相关的附加信息添加到显示的节目表或附加信息显示器上。可以从图8所示的PSIP-VCT/PMT表中得到该信息。例如，可以将附加指示器添加到显示的节目表和/或附加信息显示器上，以便指示该节目正在被交错播送；什么视频质量的视频信号正在被交错播送；什么音频质量的音频信号正在被交错播送；等等。通过向观众显示该信息，观众能够基于该信息来选择节目。更具体地说，观众可以选择正在被交错播送的节目；或者可以选择具有期望视频质量视频信号的节目，例如以便匹配信号正被供给的显示器。
权利要求
1.一种用于存储交错播送的内容的方法，包括步骤接收具有第一部分和第二部分的内容表示信号；对代表内容表示信号第一部分的第一信号进行编码；对代表内容表示信号第二部分的第二信号进行编码；产生包括在时间上交错的第一编码信号和第二编码信号的合成信号；从合成信号提取第一编码信号和第二编码信号；检测提取的第一编码信号和第二编码信号中的错误；以及如果在提取的第一和第二编码信号之一中检测到错误，则对提取的第一和第二编码信号中的另一编码信号进行解码，以再现内容表示信号的相应部分，否则对提取的第一和第二编码信号都进行解码，并组合被解码的第一和第二信号，以再现内容表示信号。
2.根据权利要求1所述的方法，其中内容表示信号是包括连续帧的视频信号，每一帧都包括第一场和第二场；第一信号是在第一场中包括奇数线、并在第二场中包括偶数线的隔行扫描视频信号；第二信号是在第一场中包括偶数线、并在第二场中包括奇数线的隔行扫描视频信号；以及组合被解码的第一和第二信号的步骤包括以下步骤对于每一帧在第一场中组合来自第一解码信号的奇数线和来自第二解码信号的偶数线，以及在第二场中组合来自第一解码信号的偶数线和来自第二解码信号的奇数线。
3.根据权利要求1所述的方法，其中对第一和第二编码信号之一进行编码的步骤包括使用相对于在对第一和第二编码信号中的另一编码信号进行编码的步骤中使用的编码技术鲁棒的编码技术。
4.根据权利要求1所述的方法，其中对第一和第二信号都进行编码的步骤包括信道编码步骤，并且在对第一编码信号进行编码的步骤中使用的信道编码技术相对于在对第二编码信号进行编码的步骤中使用的信道编码技术是鲁棒的。
5.根据权利要求4所述的方法，其中在对第一编码信号进行编码的步骤中使用的信道编码是4电平残留边带调制或2电平残留边带调制之一，并且在对第二编码信号进行编码的步骤中使用的信道编码是8电平残留边带调制。
6.一种交错播送接收器，用于接收包括在时间上交错且分别代表内容第一部分和第二部分的第一编码信号和第二编码信号的合成信号，该交错播送接收器包括多路分解器，该多路分解器响应合成信号，并用于提取第一和第二编码信号、以及检测第一和第二编码信号中的错误；以及解码器，该解码器连接到多路分解器并响应错误表示信号、并用于通过以下步骤来再现内容表示信号如果在提取的第一和第二编码信号之一中检测到错误，则对提取的第一和第二编码信号中的另一编码信号进行解码，以再现内容表示信号的相应部分，否则对提取的第一和第二编码信号都进行解码，并组合被解码的第一和第二信号，以再现内容表示信号。
7.根据权利要求6所述的接收器，其中内容表示信号是包括连续帧的视频信号，每一帧都包括第一场和第二场；第一信号是在第一场中包括奇数线、并在第二场中包括偶数线的隔行扫描视频信号；第二信号是在第一场中包括偶数线、并在第二场中包括奇数线的隔行扫描视频信号；以及解码器包括双输入解隔行扫描器，该双输入解隔行扫描器响应第一和第二解码信号、并用于在第一场中组合来自第一解码信号的奇数线和来自第二解码信号的偶数线以及在第二场中组合来自第一解码信号的偶数线和来自第二解码信号的奇数线。
8.根据权利要求6所述的接收器，其中第一和第二信号之一是利用相对于第一和第二信号中的另一信号所用的编码技术鲁棒的编码技术进行编码的；以及解码器对第一和第二编码信号都进行解码。
9.根据权利要求8所述的接收器，其中第一和第二信号被信道编码，并且第一信号的信道编码相对于第二信号的信道编码鲁棒；以及解码器包括对第一和第二编码信号都进行解码的信道解码器。
10.根据权利要求9所述的接收器，其中利用4电平残留边带调制或2电平残留边带调制对第一信号进行信道编码；利用8电平残留边带调制对第二信号进行信道编码；以及解码器包括第一信道解码器，该第一信道解码器响应第一编码信号，并用于执行4电平残留边带调制或2电平残留边带调制之一；以及第二信道解码器，该第二信道解码器响应第二编码信号，并用于执行8电平残留边带调制。
全文摘要
一种用于交错播送具有第一部分和第二部分的内容表示信号的方法和设备，该方法和设备包括以下内容。对代表内容表示信号第一部分的第一信号进行编码，并且对代表内容表示信号第二部分的第二信号进行编码。产生包括在时间上交错的第一编码信号和第二编码信号的合成信号。从合成信号提取第一编码信号和第二编码信号，并检测提取的第一编码信号和第二编码信号中的错误。如果在提取的第一和第二编码信号之一中检测到错误，则对提取的第一和第二编码信号中的另一编码信号进行解码、以再现内容表示信号的相应部分。否则对提取的第一和第二编码信号都进行解码，并组合被解码的第一和第二信号，以再现内容表示信号。
文档编号H04N7/24GK1745583SQ200480003062
公开日2006年3月8日 申请日期2004年1月27日 优先权日2003年1月28日
发明者杰弗里·库珀, 吉尔·博伊斯, 库马尔·托马斯瓦米 申请人:汤姆森许可贸易公司