专利名称：用于可缩放视频码流的增强层的容错方法
技术领域：
本发明涉及视频传输系统和视频编码/解码技术。本发明适用于视频压缩系统，诸如MPEG-4系统，其中使用可缩放压缩技术来压缩视频以在易出现差错的网络(诸如无线和尽可能好的网络)上传输。
背景技术：
在视频技术领域，已知视频是作为一系列静止图像/图片传送的。因为视频信号的质量在视频信号的编码或压缩过程中受到影响，已知基于视频信号和编码的视频码流之间的差异而包括附加的信息或“层”。包括附加层使得接收信号的质量在经过解码和/或解压缩之后得到提高。因此，使用划分为一个或多个层的基本图片和增强图片的层次来产生分层的视频码流。
可缩放的视频码流指的是同时发射和接收多种解析度和/或质量的视频信号。可缩放视频码流可以以不同速率解码，其取决于解码器的可用带宽。这使得可以访问更高带宽信道的用户能够解码高质量视频，而较低带宽的用户仍旧能够观看相同的视频，虽然是以较低质量。可缩放视频传输主要应用于可访问不同带宽的多解码器系统从单一的编码器接收图像的情况。
可缩放视频传输也可以用于比特率适应性，其中，可用的比特率随时间波动。其他应用包括具有不同网络和/或视频特性的到多个端系统的视频广播。更重要的，可缩放视频也可用于根据费率和偏好向具体服务的订户提供不同的视频质量。因此，在这些应用中，防止增强层出现传输差错是势在必行的。否则，订户可能对网络操作员提供可接受服务的能力失去信心。
在分层(可缩放)视频码流中，对视频信号的增强可通过下述方法添加到基本层上(i)增加图片的解析度(空间伸缩性)；(ii)包括差错信息以改善图片的信噪比(SNR伸缩性)；(iii)包括额外的图片来增加帧率(时间伸缩性)；或(iv)提供连续的增强，其可在任意选择的比特率修剪(精细(FineGranular)伸缩性)。
这样的增强可用于整个图片或图片内任意形状的对象，其被称为基于对象的伸缩性。
为了保持时间增强层的可随意处理的特点，H.263+ITU H.263[ITU-T Recommendation，H.263，“Video Coding for Low Bit RateCommunication”]标准规定了包括在时间伸缩性模式中的图片应该是双向预测(B)图片。图1的视频流中示出了这些。
图1示出了可缩放视频结构100的示意图，该结构图示说明B图片预测相关性，如视频编码技术领域所公知。初始内编码(intra-coded)帧(I1)110之后是双向预测帧(B2)120。接着，是单向预测帧(P3)130，然后是第二双向预测帧(B4)140。接着，又是单向预测帧(P5)150，等等。
如图1结构的增强，使用分层的视频码流。图2是分层视频结构的示意图，如视频编码技术领域所公知。分层视频码流包括基本层205和一个或多个增强层235。
基本层(层-1)包括从原始视频信号图片中采样、编码和/或压缩的一个或多个内编码图片(I图片)210。此外，基本层将包括从内编码图片210预测的多个随后预测的间编码(inter-coded)图片(P图片)220、230。
在增强层(层-2或层-3或更高层)235中，可使用三种类型的图片(i)双向预测(B)图片(未示出)；(ii)从基本层205的内编码图片210中预测的增强内编码(EI)图片240；和(iii)从基本层205的间编码预测图片220中预测的增强预测(EP)图片250、260。
来自较低的基本层的垂直箭头示出了从参考(较低)层中的图片的重构近似来预测增强层中的图片。
如果只从较低层形成预测的话，则增强层图片被称为EI图片。但是，有可能使用前面的增强层图片和暂时同步的较低层参考图片来创建修改的双向预测图片。这类图片被称为EP图片或“增强”P图片。
图2中示出了EI和EP图片的预测流程。虽然在图2中没有具体示出，增强层中的EI图片可以将P图片作为其较低层的参考图片，EP图片可以将I图片作为其较低层的增强图片。
对于EI和EP图片，来自参考层的预测没有使用运动矢量。但是，如同正常的P图片，EP图片在从相同层中其暂时的、前面的参考图片中预测时使用运动矢量。
包含上述缩放技术的现有标准包括MPEG-4和H.263。但是，MPEG-4扩展时间伸缩性，使得增强层的图片或视频对象平面可以彼此之间互相预测。这些标准创建了高度压缩的码流，其表现了编码的视频。但是，由于这种高度压缩，码流非常容易由于在其传送时的网络差错而恶化。例如，在通过易于出错的网络流传送视频的例子中，甚至使用现有网络水平的差错保护工具，也不可避免地会有某些比特级的恶化出现在码流中并传递到解码器。
为了考虑这些比特级差错，通过包含不同的工具来设计编码标准，允许解码器对付差错。这些工具使解码器能够在码流中局限并隐藏这些差错。
MPEG-4标准为视频码流的容错能力定义了三种工具。它们是再同步标记、数据分割(DP)和可逆变长编码(RVLC)。这些工具限定用于基本层。但是，现有MPEG-4标准正在考虑在可缩放的增强层内使用再同步标记。
尤其是这种视频码流的视频包容错工具，其包含周期性再同步标记，对于视频对象平面(VOP)内出现的差错(诸如运动参数或离散余弦变换(DCT)系数的差错)的恢复很有用。视频包头(Video PacketHeader)包括可选的头扩展码(HEC，Header Extension Code)，其复制了某些VOP头信息，包括但不限于时间戳和VOP编码类型。与再同步标记相对照，HEC在VOP头而非VOP体内出现差错的恢复中是非常有用的工具。
值得注意的地方是，属于增强层的VOP头包含附加的2比特字段，称为“ref_select_code”。这2比特字段指出了参考VOP，解码器将使用其重构当前的VOP。这2比特字段不在基本层中。基本层的VOP限于内或预测类型VOP。因此，每个预测的VOP可以从其前一个VOP中重构，而无需如增强层中所用的“ref_select_code”或类似字段。
MPEG-4视频标准描述视频包头如下(引自ISO/IEC JTC 1/SC29/WG 11 N2802，“Information technology-Generic coding of audio-visual objects-Part 2Visual”，ISO/IEC 14496-2 FPDAM 1，Vancouver，July 1999的附录E，第109页)
“ESO/IEC 14496所采用的视频包技术基于在整个码流中提供周期性再同步标记。换言之，视频包的长度不基于宏块(macroblock)的数目，而基于该包中所包含的比特的数目。如果当前视频包中包含的比特的数目超出了预设门限的话，就在下一宏块开始处创建新的视频包。”现在参看图3，根据上述MPEG-4标准，图示说明了典型的视频包300。使用再同步标记310来区分新视频包300的开始。该再同步标记310与所有可能的变长编码(VLC)码字，以及视频对象平面(VOP)开始码相区别。
头信息350也在视频包300的开始处提供。头350包含重新开始解码过程所需的信息。头350包括(i)视频包300中所包含的第一数据宏块360的宏块地址(号)320，(ii)解码第一宏块数据360所需的量化参数(quant_scale)330，和(iii)头扩展340，包括头扩展码(HEC)。
宏块号320提供必要的空间再同步，量化参数330允许再同步有差别的解码过程。量化参数330之后的头扩展码(HEC)是单独的信息比特，用于指出附加信息是否在头350中可用。
如果HEC等于“1”，则下面的附加信息在包头扩展340中可用Modulo time base，vop_time_increnent，vop_coding_type，intra_dc_vlc_thr，vop_fcode_forward，vop_fcode_backward。
HEC在其值为“1”时，使每个视频包(VP)300能够独立地被解码。如果HEC等于“1”，在HEC字段就包括解码VP 300的必要信息。
在视频图片(术语称为视频对象平面(VOP))中，发送一系列再同步标记，然后是连续的VP头和随后的数据宏块(并由此接收)。这种视频图片的初始头是VOP头(未示出)。VOP头包括诸如这样的信息视频序列的开始码、时间戳、识别编码类型的信息、识别量化类型的信息，等等。因此，正确解码VOP头的解码器随后可以正确解码连续VP 300的剩余传输。如果VOP头信息由于传输差错而恶化，可通过头扩展的信息来校正差错，头扩展的信息复制了部分而非全部的VOP头信息，诸如时间戳和VOP编码类型。
如上指出的，增强层内的VOP头包含一个附加的2比特字段，称为“ref_select_code”字段。HEC设计用于基本层，因此如果HEC包含在增强层中的话，则不会复制ref_select_code。
本发明的发明人认识到，如果增强层VOP头中的“ref_select_code”字段不会直接或者由于头恶化而出现网络差错的话，则解码器将不能识别下面VOP的正确重构源。这点上的差错将不仅引起下面VOP的质量下降，而且将由于帧间预测的固有特性而渗透到连续的VOP上。
根据在增强层VOP中使用的缩放模式，2比特“ref_select_code”字段可具有下面的不同的四个值之一“00”、“01”、“10”或“11”。为了重构非内编码的VOP，解码器根据“ref_select_code”字段的值运动补偿(通过以相关运动矢量的值移动下面的8×8或16×16像素块)前面解码的VOP。如果“ref_select_code”字段恶化或丢失，解码器将不能识别参考VOP。重要的是，因此将不能正确解码下面的VOP。本发明的发明人认识到，“ref_select_code”字段的恶化可能导致不同的差错情况，如图4所示。
对于发生在增强层传输410中的VOP头的“ref_select_code”字段中的差错，具有三种情况405、450、460，如图4所示。对于这三种情况中的每一种来说，增强层410示出了三个增强的预测值415、420、425，基本层430示出了三个预测值435、440、445。
在字段405示出了无差错例子的比较，其中指出了Be+1的“ref_select_code”＝“01”。在字段450，示出了Be+1字段中的头差错。结果，解码器将不正确地假定Be+1的“ref_select_code”＝“11”。在字段460，再次示出了Bn+1字段中的头差错。结果，在此情况下解码器将不正确地假定Be+1的“ref_select_code”＝“10”。
值得注意的地方是，编码器根据VOP选择“ref_select_code”，其意味着根据下面的实现，该字段可以从一个VOP改变到另一个VOP。而且，由于后面的Be+2值425使用恶化的VOP作为预测源，差错将开始在时域中传播，从而引起显著的视觉失真。
现在参看图5，根据图4的差错情况450和460，图示说明了“ref_select_code”的恶化所引起的客观影响。在图5中，以每层20kbit/s的时间伸缩性编码测试序列Foreman。使用通用分组无线系统(GPRS)物理链路层模拟器产生增强层中的差错。生成的消帧率(FER，FrameErasure Rate)为5.6％，残留误码率(RBER)为0.1％。在图5中，将VOP号176的ref_select_code示为恶化的。图5示出了修改的头扩展的影响以及与使用原始头扩展用于差错情况(b)450和差错情况(c)460相关联的质量下降。
在差错情况(b)450中，假定“ref_select_code”值为“11”，因此解码器选择图4的VOP Pb而不是Be作为重构的前向源。类似地，在情况(c)460中，解码器选择图4的VOP Pb+1而不是Pb作为预测的后向源。在两种情况中，都没有正确重构下面的VOP。因为后面的VOP使用下面的VOP作为预测的源，差错开始在时域中传播。
计划和使用增强层之后的论证基于如下事实，增强层被认为是其自身的容错工具。增强层信息包含视觉信息，其增强了更重要的基本层的解码质量。因此，当没有重视增强层信息时，不用预期任何的复原能力。
因此，当前视频通信系统中视频比特序列中更高级保护的焦点在于基本层。这意味着，当在增强层码流中出现差错时，希望保持增强层的解码器必须比使用容错工具时隐藏更多的可能是出错的数据。
因此，本发明的发明人认识到并验证MPEG-4标准的多个当前的限制。本发明的发明人认为，如果在增强层中使用有限的容错工具，例如只使用MPEG-4码流语法和简单可缩放设定档内的再同步标记的话，MPEG-4和其他类似的可缩放视频技术和标准是不完善的。特别地，本发明的发明人正在建议针对基本层视频比特序列中更高级保护的当前焦点作范例变化，以改进增强层传输。
总而言之，存在对视频通信领域的需求，尤其是对可缩放视频通信的需求，需要一种装置和方法用于改善在易于出错的网络上传送的可缩放视频增强层的质量，其中可以克服现有技术配置中的上述缺点。
公布的专利申请US-A-2002/0021761描述了一种可缩放分层视频编码方案。将再同步标记在头中插入到增强层码流中。
现有技术文档“Error resilience methods for FGS Coding Scheme(精细的可伸缩性视频编码中容错技术的研究)”，Yan Rong，Tao Ran，WangYue，Wu Feng，Li Shi-Peng，Acta Electron.Sin.(China)(电子学报)，January 2002，Vol.30，No.1，第102-104页描述了精细可伸缩性(FGS)编码方案。在增强层码流的新结构中提议使用再同步标记和头扩展码。
发明内容
本发明提供了一种用于改进易于出错的网络上可缩放视频对象平面增强层传输的质量的方法，如权利要求1；一种视频通信系统，如权利要求5；一种视频通信单元，如权利要求6；一种视频编码器，如权利要求7；一种视频解码器，如权利要求8；和一种移动无线设备，如权利要求9。在从属权利要求中限定了本发明的进一步的方面。
总而言之，描述了一种用于通过使用再同步标记改善在易于出错的网络上传送的可缩放视频增强层的质量的装置和方法。
特别地，本发明提供了一种装置和方法，使用视频包头的头扩展的改进，用于增强层。头扩展的改进包括复制参考VOP标识符，诸如MPEG-4系统中的ref_select_code。这样，解码器能够识别应该用于当前VOP重构的参考VOP。
图1是示出图片预测相关性的视频编码配置示意图，如视频编码图2是已知分层视频编码配置的示意图。
图3图示说明了根据上述MPEG-4标准的典型视频包。
图4图示说明了根据MPEG-4标准、来自视频对象平面(VOP)头的“ref_select_code”字段恶化的不同差错情况。
图5是图示说明图4的不同差错情况的模拟测量的图表。
现在将参考附图，描述本发明的示例实施例，其中图6是根据本发明优选实施例、适用于修改视频序列的增强层的可缩放视频通信系统的示意表示。
图7图示说明了VOP头和VOP体，适于包含本发明的优选实施例。
图8是图示说明根据本发明优选实施例在增强层VOP头的“ref_select_code”字段中寻址差错的优选方法的流程图。
图9图示说明了根据本发明优选实施例、对MPEG-4视频标准的6.2.5.2节“Video Plane with short header，Video_Packet_Header()”的建议的语法修改。
具体实施例方式
在此描述的发明概念可用于不同的可缩放编码视频技术，诸如SNR、时间伸缩性、空间伸缩性和精细伸缩性(FGS)。在此描述的发明概念在当前MPEG技术舞台以及可缩放视频压缩的未来版本中有着特别的应用。
本发明的优选实施例图示说明了一种装置和方法，通过其对视频包头的头扩展的改进用于增强层。对头扩展的改进包括复制头信息，诸如来自增强层视频对象平面(VOP)头的“ref_select_code”字段。这样，解码器能够识别应该用于当前VOP的重构的参考VOP。
尽管参考诸如MPEG-4视频系统的“ref_select_code”的头扩展的适应性修改来描述本发明的优选实施例，本发明还考虑了另外的技术可用于其他可缩放视频通信系统。例如，认识到，对于不使用“ref_select_code”的系统，头扩展的随后的使用可能包括视频对象平面头的其他参数，诸如参考VOP的时间戳。
首先参看图6，示出了视频通信系统600的示意表示，包括视频编码器615和视频解码器625，适于包含本发明的优选实施例。
在图6中，视频图片F0在视频编码器615中压缩610以产生要以速率r1千比特每秒(kbps)传送的基本层码流信号。该信号在视频解码器625解压缩620以产生重构的基本层图片F0’。
压缩的基本层码流还在视频编码器615中在630解压缩，并在640与原始图片F0进行比较，以潜在地产生差信号650。该差信号在660经压缩并作为增强层码流以速率r2kbps传送。该增强层码流在视频解码器625中在670解压缩，以产生增强层图片F0”，其在680加到重构的基本层图片F0’上以产生最终的重构图片F0”’。
根据本发明的优选实施例，视频编码器615中的压缩功能660适于修改基本层的视频包头的头扩展等，以适用于增强层码流内。此外，视频解码器625中的解压缩功能670适于解码增强层码流的视频包头的修改的头扩展等。这样，通过提供对头扩展的改进，包括复制参考VOP的标识符，诸如ref_select_code，解码器能够识别应该用于当前(可能恶化了的)VOP的重构的参考VOP。
参考图7进一步描述视频包头的头扩展的修改。
本发明考虑了另外的编码和解码配置可以适于修改基本层的视频包头的头扩展等，以适用于增强层码流内。结果，此后所述的发明概念不应被视为对图6中提供的示例配置的限制。
现在参看图7，示出增强层VOP，根据本发明优选实施例作了适应性改进。总而言之，基本层视频传输的视频包头的头扩展修改得适用于增强层。VPH的适应头扩展的优选实现在MPEG-4传输中，建议的修改后的语法在图9中图示说明。
图7的增强层VOP视频比特序列700包括VOP头710，其包括2比特“ref_select_code”字段715。VOP头710后面是连续的数据宏块360。VOP被分为多个视频包，每个都以再同步标记310和视频包头750开始。
根据本发明的优选实施例，增强层传输的多个VP头750适于包括修改后的头扩展740。修改头扩展740以复制增强层传输的VOP头710的“ref_select_code”字段715(参考VOP的标识符)。
通过复制增强层视频包头750的多个头扩展740中的“ref_select_code”字段715，解码器变得能够恢复影响增强层的VOP头的差错。尤其是，如果属于增强层的VOP头710的“ref_select_code”字段715恶化的话，解码器就会用从增强层的修改的头扩展740中解码的正确的值来替换它。
修改头扩展从而复制属于增强层的VOP头710的“ref_select_code”的值，防止了图5中所示的质量下降。一旦解码了每个增强层头扩展，解码器可以选择正确的参考VOP标识符并继续增强层中数据宏块的正确解码。这可以通过对MPEG-4视频码流语法代码进行简短修改而实现，如图9中所示。
通过在适当位置对语法代码进行修改，如果在VOP头中出现差错，导致“ref_select_code”恶化的话，则解码器可以继之以图8中所述的技术之一。
现在参看图8，流程图800图示说明了根据本发明优选实施例、在增强层VOP头的“ref_select_code”字段中寻址差错的优选方法。可缩放视频传输始于步骤810。在VOP头中发生差错，导致“ref_select_code”的恶化，如步骤820所示。解码器然后可以采取任何合适的步骤来处理增强层码流，直到解码了下一头扩展。
在流程图800中说明了两种优选可替换方法。首先，解码器可以估计“ref_select_code”的值，如步骤830，例如可通过查看前面的“ref_select_code”。然后可能使用这个估计的ref_select_code，直到解码器遇到下一头扩展，如步骤840，对下一头扩展的解码指示了要使用的正确“ref_select_code”。解码头扩展之后，解码器可以在步骤850校正“ref_select_code”的值。解码器然后能够选择正确参考VOP用于随后的增强层解码，如步骤870所示。
另外，解码器可以决定缓冲VOP比特达到视频包的最大尺寸(该尺寸是预先知道的)，直到要解码下一头扩展，如步骤860所示。然后解码器可以在步骤860校正其对参考VOP的选择。然后，对增强层传输的正确解码可以从下面VOP的开始继续，如图880所示。
“ref_select_code”是一个2比特字段。有利地，如果在40kbit/s达到每秒10帧的速率，头扩展在每VOP出现一次的话，则所提议的码流语法修改所造成的额外开销为0.05％。这种级别的开销是可以忽略的。可以设想，只有单独的再同步标记用来指示视频包头，继之以适应修改的头扩展，包含复制的参考VOP标识符(例如ref_select_code)，将从在此所述的发明概念中获益。但是，本发明将提供任意数量的再同步标记、头和头扩展之上的优点。
最后，申请人注意到，MPEG通信标准的进一步版本，诸如联合视频团队(JVT，Joint Video Team)(来自MPEG-4和H.26L)配置，当前正在开发之中。本发明不限于MPEG-4标准，且本发明人认为本发明适用于可缩放视频压缩的进一步版本。
本发明考虑，上述本发明概念可应用于任意视频通信单元和/或视频通信系统。特别地，本发明概念尤其适用于无线(无线电)设备，诸如移动电话/移动无线单元以及关联的无线通信系统。这样的无线通信单元可包括便携或移动PMR无线设备、个人数字助理、膝上电脑或无线联网的PC。
虽然通过参考MPEG-4标准说明了本发明的优选实施例，但可缩放视频系统技术可实现于数字蜂窝电话的第三代应用(3G)中，即通常称作的通用移动电信标准(UMTS)。可缩放视频系统技术也可适用于第二代蜂窝电话的分组数据变量，通常称作通用分组数据无线系统(GPRS)，还适用于数字专用和公用移动无线系统的陆地中继无线(TETRA)标准。此外，可缩放视频系统技术还可用于因特网。因此，上述发明概念将适用于所有这些新兴的技术，并造福于这些技术。
应该理解，如上所述的改进在易出错网络上传送的可缩放视频增强层的质量的机制和方法至少提供了下面的优点(i)它改进了出错严重的无线信道和因特网上视频传输中的增强层差错性能。
(ii)它使可缩放视频技术能够在高度竞争的移动多媒体市场中使用容错工具。
(iii)它进一步能够使用可缩放视频联合网络服务质量(QoS)信息以将优化视频质量传送到网络吞吐量和误码率(BER)可能变化的各种情况中的用户。
(a)本发明的方法综上所述，描述了一种改进易出错网络上可缩放视频对象平面增强层传输的质量的方法。增强层传输包括至少一个再同步标记，继之以视频包头和头扩展。该方法包括从视频对象平面头复制参考VOP标识符到多个增强层头扩展中的步骤。通过从后面的增强层头扩展中解码正确的参考VOP标识符来恢复恶化参考VOP标识符的差错。正确参考视频对象平面识别用于可缩放视频传输中的增强层视频对象平面的重构。
本发明主要聚焦于MPEG-4传输系统。但是，本发明的发明人认识到，本发明同样可适用于其他可缩放视频压缩系统。
(b)本发明的装置描述了一种视频通信系统，其包括具有处理器的视频编码器，用于对具有多个增强层的可缩放视频序列进行编码。增强层传输包括至少一个再同步标记，继之以视频包头和头扩展。提供复制装置，用于从视频对象平面头复制参考VOP的标识符到多个增强层头扩展中；发射器发射包含复制的参考VOP标识符的可缩放视频序列。视频解码器包括接收器，用于接收来自视频编码器、包含视频对象平面增强层头扩展的可缩放视频序列。检测器在接收到的可缩放视频序列的增强层中检测所述参考VOP标识符中的一个或多个差错，当检测到一个或多个差错时，有效连接到检测器的处理器通过从随后的增强层头扩展中解码正确的参考VOP标识符来恢复恶化所述参考VOP标识符的差错。处理器识别正确参考视频对象平面，在可缩放视频传输中用于增强层视频对象平面的重构。
还描述了视频通信单元、适应修改的视频编码器、适应修改的视频解码器，以及结合了这些单元中任意一个的移动无线设备。
一般地，在此包含的发明概念同等适用于任何合适的视频或图像传输系统。虽然上面描述的是本发明的特殊或优选实现，但应当清楚地认识到，本领域技术人员可以容易地对这样的发明概念做出变化和修改。
因此，提供了一种改进的装置和方法，用于改进在易出错网络上传送的可缩放视频增强层的质量，由此，充分克服了上述的现有技术配置的不足。
权利要求
1.一种用于改进在易出错网络上的可缩放视频对象平面增强层传输的质量的方法(800)，增强层传输包括至少一个再同步标记，继之以视频包头和头扩展，所述方法包括步骤从视频对象平面头中复制参考VOP的标识符到多个增强层头扩展(715)中；通过从随后的增强层头扩展中解码正确参考VOP标识符来恢复(830、840、850、860)恶化所述参考VOP标识符的差错；和识别(870、880)正确参考视频对象平面，以用于可缩放视频传输中的增强层视频对象平面的重构；其中，可缩放视频对象平面增强层传输是MPEG-4可缩放视频对象平面增强层传输或类似的传输，并且参考VOP的标识符是“ref_select_code”字段(715)。
2.根据权利要求1所述的用于改进在易出错网络上的可缩放视频对象平面增强层传输的质量的方法，其中所述的恢复的步骤包括步骤当在参考VOP标识符中出现差错时，估计(830)参考VOP标识符；解码(840)视频对象平面增强层传输，直到解码了视频对象平面增强层头扩展；和校正(850)所述估计的参考VOP标识符，以响应从所述解码的头扩展中提取的参考VOP标识符。
3.根据权利要求1所述的用于改进在易出错网络上的可缩放视频对象平面增强层传输的质量的方法，其中所述的恢复的步骤包括步骤当在参考VOP标识符中出现差错时，缓冲(860)视频对象平面增强层传输比特，直到解码了视频对象平面增强层头扩展；和校正(870)所述的参考VOP标识符，以响应从所述解码的头扩展中提取的参考VOP标识符。
4.根据权利要求1所述的用于改进在易出错网络上的可缩放视频对象平面增强层传输的质量的方法，还包括步骤选择(870、880)正确参考VOP标识符来解码随后的增强层传输。
5.一种视频通信系统(600)，包括视频编码器(615)，其包括处理器，用于编码具有多个增强层的可缩放视频序列，其中增强层传输包括至少一个再同步标记，继之以视频包头和头扩展；复制装置，用于从视频对象平面头中复制参考VOP的标识符到多个增强层头扩展(715)中；发射器，用于发射包含所述一个或多个参考VOP标识符的所述可缩放视频序列；和视频解码器(625)，其包括接收器，用于接收来自所述视频编码器、包含所述视频对象平面增强层头扩展(715)的所述可缩放视频序列；检测器，在所述接收到的可缩放视频序列的增强层中检测所述参考VOP标识符中的一个或多个差错；和有效连接到所述检测器的处理器，当检测到所述一个或多个差错时，通过从随后的增强层头扩展中解码正确的参考VOP标识符来恢复(830、840、850、860)恶化所述参考VOP标识符的差错，并且，识别(870、880)正确参考视频对象平面，以在可缩放视频传输中用于增强层视频对象平面的重构；其中，可缩放视频对象平面增强层传输是MPEG-4可缩放视频对象平面增强层传输或类似的传输，并且参考VOP的标识符是“ref_select_code”字段(715)。
6.一种适用于权利要求1到4中任意一个所述的方法或适用于权利要求5所述的通信系统的视频通信单元(615、625)。
7.一种适用于权利要求1到4中任意一个所述的方法或适用于权利要求5所述的通信系统的视频编码器(615)。
8.一种适用于权利要求1到4中任意一个所述的方法或适用于权利要求5所述的通信系统的视频解码器(625)。
9.一种包括根据权利要求6所述的视频通信单元或根据权利要求7所述的视频编码器或根据权利要求8所述的视频解码器的移动无线设备。
10.根据权利要求9所述的移动无线设备，其中，所述移动无线设备是移动电话、便携或移动PMR无线设备、个人数字助理、膝上电脑或无线联网的PC。
全文摘要
一种用于改进在易出错网络上的可缩放视频对象平面增强层传输的质量的方法(800)。增强层传输包括至少一个再同步标记，继之以视频包头和头扩展。从视频对象平面头中复制参考VOP标识符(例如“ref_select_code”)到多个增强层头扩展(715)中。通过从随后的增强层头扩展中解码正确参考VOP标识符来恢复(830、840、850、860)恶化所述参考VOP标识符的差错。识别(870、880)正确参考视频对象平面，以用于可缩放视频传输中的增强层视频对象平面的重构。这改善了出错严重的无线信道和因特网上的视频传输的增强层中的差错性能。
文档编号H04N7/68GK1640151SQ03805364
公开日2005年7月13日 申请日期2003年2月18日 优先权日2002年3月5日
发明者塔梅尔·沙纳布勒 申请人:摩托罗拉公司