专利名称：视频编码的制作方法
技术领域：
本发明涉及视频编码和解码。
移动通信中新近的目标之一是增大数据传输的速度，以做到能将多媒体业务结合进移动网络中。多媒体的关键成分之一是数字视频。视频传输中包含有一种相当地持续的数据通信量，它反映了活动图像。众所周知，传输图像所需的数据量比之传输许多其它类型媒体的数据量大，迄今为止，在低比特率终端内应用视频是不被重视的。然而，在低比特率视频压缩领域内，已经取得显著的进步。在大约20kbps的比特率下，能得到可以接受的视频质量。作为这种前进中的比特率压缩的结果，通过诸如移动通信信道之类的信道传输视频业务，将是可行的。
一个视频序列是由一系列静止图像或静止帧组成的。视频压缩方法是基于减低视频序列中的冗余和感知上不相关的部分。视频序列中的冗余可分类成空间冗余、时间冗余和频谱冗余。空间冗余是指一帧内相邻像素之间的相关性。时间冗余是指相继帧之一些区域间的相关性。时间冗余是由前一图像中呈现的物体也相似地呈现在当前图像中引起的。通过产生出运动补偿数据能够实现压缩，运动补偿数据描述了当前图像与先前图像之类似区域间的运动(也即是位移)情况。因此，当前图像是从先前图像中进行预测的。频谱冗余是指同一图像中不同彩色分量之间的相关性。
视频压缩方法通常是在图像之间求差值，各个图像可以利用或不利用时间冗余进行压缩。不利用时间冗余压缩方法的被压缩图像一般称之为帧内帧或I帧，而进行了时间预测压缩的图像称为帧间帧或P帧(又，当帧间帧能在前向方式和反向方式下进行预测时，则称为B帧)。在帧间帧情况下，预测的(运动补偿的)图像难以有足够的精确性，所以，空间压缩的预测误差图像也是每个帧间帧的一部分。
然而，仅仅借助于减低视频序列中的冗余通常不能够达到足够的压缩。因此，视频编码器中尝试减低视频序列中人们主观上感觉最不重要的那些部分的图像质量。此外，被编码比特流中的冗余可借助于压缩参数和系数的高效无损编码予以减少。这方面的主要技术是应用变字长编码。
压缩的视频易于受到传输差错的干扰，原因主要有两点。首先，由于应用了时间预测差值编码(帧间帧)，差错会在空间上和时间上两方面发生蔓延。实际中，这意味着，一旦发生一个差错，在人眼中容易看到一个比较长时间的差错。在低比特率传输时这尤其敏感，因为这时只有少量的帧内编码帧(传输帧内编码帧时将终止差错在时间上的蔓延)。其次，变字长编码的应用增大了对差错的敏感性。当一个比特的差错使一个码字变更为另一个不同长度的码字时，解码器将丢失码字的同步，不正确地解码随后的无误码的码字(它包含有若干个比特)，直至下一个同步码或者下一个起始码到达。(同步码是这样一种比特模式，从其它码字的任何合法组合中不能产生出该种比特模式)。
无线数据传输的固有特性之一是比特差错的概率比较高。这个问题的解决可借助于各样的传送方案、网络方案和链路层再传输方案等。然而，此类方案的缺点是可能存在不定的和起伏的传输延时。在对话式的音频-视频业务中，大的端到端延时是不能接受的。因此，在此类业务中不能够应用。取代的方法是必须尝试着检测和隐匿传输差错。在流式的音频-视频获取业务中，传输延时会有所变化的原因在于，在开始播放之前可能有某种初始的缓存。然而，最大可接受的传输延时是固定的，如果超过此延时，会在播放中发生一种令人讨厌的暂停。实际上，在音频-视频获取业务中应用了可靠的和不可靠的两种传送信道。
压缩视频流中的每一个比特对于解压缩的图像来说，有着不相等的重要性。某些比特包含着紧要的信息，诸如所应用的图像类型(例如，帧内帧或帧间帧)、量化器量化值和可选的编码模式等)。ITU-T建议H.263涉及低比特率通信中的视频编码。在H.263中，最紧要的信息聚集在图像首标中。图像首标中的差错通常会造成对规定了图像内容的随后各比特作出总体错误的解释。由于应用了时间预测的差值编码(帧间帧)，差错将在空间上和时间上两方面发生蔓延。因此，对于图像首标受干扰的正常解决办法，是在屏幕上冻结先前的图像，向发送端传输一个帧内帧的图像请求，并等待所请求的帧内帧。然而，这会在接收的视频中造成一种讨厌的暂停，尤其是在实时的对话运行的视频序列中更为讨厌。
取决于铺设的网络，传输差错有着不同的特性。在分组交换网络中，诸如是互联网等，传输差错通常造成分组损失(由于网络单元内的拥塞)。在电路交换网络中，诸如是移动网络(例如，GSM中的HSCSD)，传输差错通常为比特差错，“1”受干扰而成为“0”，或是相反的干扰情况。
为了防止由传输差错引入的图像质量下降，可以应用重新传输方式，可以实施差错检测和/或差错校正方法，和/或可以隐匿由接收到的受干扰数据造成的效应。通常，重新传输给出了一种合宜的方式来保护视频数据流避免差错，但是，大的往返延时以及关联的低比特率传输和中等或高的差错率，使得重新传输实际上不可能应用，尤其是在实时的可视电话场合。一般，差错检测和校正需要大的传输开销，因为它们将对数据加上一些冗余。结果，对于低比特率场合，差错隐匿可以考虑作为一种优选的方式以对传输差错作纠正和恢复图像。视频差错隐匿方式典型地适用于传输差错是由于分组丢失和比特受干扰而发生时。
H.263是低比特率通信中视频编码的一种ITU-T建议，通常，意味着数据率低于64kbps.H.263建议规定了比特流句法和比特流解码。当前，有两个H.263版本。版本1由核心算法和4种可选的编码模式构成。版本2是版本1的一个扩展，提供了12种新的可协商的编码模式。H.263是移动无线通信场合下当前建议的最合适的编码方法之一，这里，比特率在28.8bps的量级上，并通常应用176×144像素的QCIF(四分之一的公共中间格式)图像。当前，第三代无线通信产品中预期的比特率大约为64kbps，图像分解力可以比QCIF高些。
图像是按一个亮度分量(Y)和两个色差(色度)分量(CB和CR)编码的。色度分量的取样率在两个坐标轴上都是亮度分量分解力的一半。图像数据是基于逐个像块编码的，每个像块代表8×8像素的亮度或色度分量。
每个编码的图像以及相应的编码比特流安排成一种具有4层的分级结构，从底层到顶层分别是像块层，宏块层，像段层，以及图像层。像段层可以安排成或是一个像块组，或是一个像条。
一个像块涉及8×8像素的亮度或色度分量。像块层数据由均匀量化的离散余弦变换系数组成，各系数按“Z”字形次序扫描读出，以游程编码器进行处理，并用变字长码进行编码。
每个宏块涉及一个16×16像素的亮度分量以及在空间上对应的两个8×8像素的色度分量。换言之，一个宏块由4个8×8像素的亮度像块和2个空间上对应的8×8像素的色差像块组成。每个帧间帧宏块与一个运动矢量相关联，该运动矢量确定出在参考帧内对于当前的帧间帧内宏块像素相似的一个相应区域的位置。帧间帧宏块数据内包含有用于该宏块之像素的预测误差编码数据。
通常，每个图像划分成多个称为像块组(GOB)的段。一个QCIF(四分之一的公共中间格式)图像的一个像块组(GOB)典型地包含有一排宏块(也即11个宏块)。每个GOB的数据由一个可选的GOB首标及其后随的、该GOB内诸宏块的数据组成。
如果应用可选的像条结构模式，则每个图像划分成多个像条而不是多个GOB。一个像条内包含有按扫描次序的多个接连的宏块。每个像条的数据由一个像条首标及其后随的该像条内诸宏块的数据组成。
图像层数据内包含有影响整个图像区域的参数以及解码该图像数据的参数。将编码的参数数据安排入所谓的图像首标内。QCIF格式中，一个图像划分成176×144的像素阵列，对应于9排的11个宏块。
图像和GOB(或者像条)的首标以一个同步码或起始码开始。其它的码字或者各码字的合法组合，不会形成象同步码那样相同的比特模样。因此，同步码可以应用于比特流差错检测，以及应用于比特差错发生后的再同步。
H.263是在ITU-T建议H.324“低比特率通信用的终端”(1998年2月)中应用的视频压缩标准，它规定了在PSTN和移动通信网上的可视电话通信。当H.324连接运行于无线信道上时，接收的比特流中多半地包含有传输差错。在H.263视频比特流中，如果这类差错发生在图像首标内，它们是极其有害的。这样一个差错会妨碍图像内容的解码。帧内帧图像首标中的差错会造成最严重的问题，因为这类图像是用作初始的时间预测源的。一个帧内帧图像首标中的差错将有害地影响相应的、解码的帧内帧图像以及每个随后的由此帧内帧图像作初始预测的帧间帧图像。
按照本发明，在所附的权利要求书中给出了一种视频编解码方法。在所附的权利要求书中又给出了一种编码器和一种解码器。
本发明的第一实施例引入了一种新的方法来重复视频比特流中帧内帧图像的首标，它是完全符合于ITU-T H.263建议的。本发明在比特流中引入了图像首标的冗余拷贝。如果最初的图像首标受干扰，解码器可以应用它的一个拷贝实现对图像内容的解码。本发明引入一种帧内帧图像首标重复方法，它应用了H.263的标准句法和语义。所以，所有符合于标准的解码器都能够使用本方法。
在帧内帧中包括至少图像首标的一种重复就意味着，接收端解码器不必需进行冻结显示和向编码器传送一个重复请求，并等待编码器送出重复的信息。因此，可以避免因图像冻结引起的讨厌的暂停，从而终端用户会感知到视频的质量较好。
本发明适用于实时场合，也适用于非实时场合，诸如在检索服务中，它们可能不能够对接收端解码器来的关于帧内帧的重复请求作出响应。
现在，参考附图，通过例子说明本发明，各附图中
图1示出一个多媒体移动通信系统；图2示明一个多媒体终端之多媒体成分的例子；图3示明按照H.263编码的视频信号之典型数据结构；图4示明按照本发明之一个视频编解码器的例子；图5示明按照本发明第一实施例由一个编码器输出的已编码视频信号的数据结构；图6示明按照本发明第二实施例由一个编码器输出的已编码视频信号的数据结构；以及图7是一个流程图，示明了按照本发明第三实施例之视频编码器的工作。
图8是一个流程图，示明了按照本发明第一实施例之视频解码器的工作。
图9是一个流程图，示明了按照本发明第三实施例之视频解码器的工作。
本发明的进一步说明将参考H.324和H.263建议来作出。然而，并不是意在将本发明的应用限制于这些协议或有关的协议。
图1示出一个典型的多媒体移动通信系统。第一多媒体终端1通过通信链路3和通信网络4与第二多媒体终端2进行通信。在两个终端1、2之间以及多媒体数据之间还传送控制数据。将要说明的本发明之实施例中，多媒体终端1、2是移动/无线可视电话，通信网络是诸如GSM网络的一个移动通信网。这种布局中的通信链路3是一个无线电链路。本发明的其它实施例中，两个多媒体终端可以都是公共交换电话网(PSTN)可视电话，或者一个是移动多媒体终端，另一个是PSTN多媒体终端。终端1、2可以应用于诸如视频-电话的实时场合，或者应用于诸如检索服务的非实时场合。
图2示明了符合于H.324的终端1内典型的多媒体成分。该终端内包含一个符合于H.263的视频编解码器10，一个符合于G723.1的音频编解码器20、一个符合于T.120的数据协议管理器30、一个能输出按照H.245控制协议之信号的控制管理器40、一个符合于H.223的复用器/解复用器50和一个调制解调器60(如果需要时)。视频编解码器10接收自终端1内视频采集装置(例如一个摄像机(未示出))来的信号，用于编码，又接收来自一个远处终端2的信号，加以解码，并由终端1显示于显示器70上。音频编解码器20接收来自终端1内传声器(未示出)的信号，用于编码，又接收来自一个远处终端2的信号，加以解码，并由终端1的扬声器(未示出)放音。对上面提到的这些标准的说明只是为了示例，并不是意在给出限制。
控制管理器40控制视频编解码器10、音频编解码器20、数据协议管理器30和复用器/解复用器50的工作。然而，由于本发明关联的是视频编解码器10的工作，所以对于本终端的其它部分不作进一步的讨论。
视频编解码器10从信号源(未示出)中接收一个数字输入视频信号。该视频信号代表了一个图像帧序列，每一帧都是一个静止图像。在序列中显示时，各帧将给出包含有运动之图像的印象。因此，图像帧序列在这里称之为运动图像。编解码器10对信号源(未示出)来的运动图像进行编码，并对接收到的代表运动图像的信号进行解码，用于在显示器70上显示。
图3示明按照H.263编码的视频信号中一个帧(或图像)的数据结构。每帧由一个通常为50比特左右的图像首标80开始。图像首标80中包括有一个图像起始码(PSC)，用于同步；一个时间基准(TR)，其构成是对时间上在先的参考图像(例如，I帧)首标中的TR值加1，再加上自先前传输的参考图像以来跳过的或者非参考图像的数目；类型信息(PTYPE)，在其中包括指明该帧是一个帧内帧或是一个帧间帧的信息，以及图像格式(CIF、QCIF等)的信息；和量化器信息(PQUANT)，它指明了对于图像中其余部分使用的DCT量化器。
图像首标80之后是图像中第一像段(GOB、像条等)的图像数据82。由于存在图像首标80，所以不需要有第一像段的像段首标。因此，在图像首标80后面的图像数据82中包括一个宏块运动矢量821(如果可应用)和像块数据822。
图像中第一像段的数据82之后是下一像段的一个像段首标84(例如，GOB首标)。这个GOB首标中包括有一个GOB起始码(GBSC)，用于同步；一个组号数(GN)，指明图像内GOB的数目；GOB帧ID(GFID)，如果两个图像为相同的类型(I、P等)，则在一个给定的图像之每一像段内GFID有相同的值，象先前的编码图像中那样相同的值；以及量化器信息(GQUANT)，它指明了对于图像中其余部分使用的DCT量化器(除非它随后在比特流中被改变)。
第二像段的像段首标后面是该像段的图像数据86(也就是宏块运动矢量(如果可应用)和像块数据)。帧数据之后连接着像段首标84和图像数据86，直至整个帧完成编码。然后，传送下一帧的一个图像首标80。
读者将清楚地知道，图像首标的损伤会对图像解码有严重的影响。解码器将不能与图像同步，将不知道图像是怎样编码的(I或P)等。通常，当图像首标受干扰时，便丢弃整个数据，并向传输装置传送出用于帧内帧图像更新的一个请求。作为响应，传输装置将一个图像以帧内帧编码，在显示器上冻结当前图像，直至有新的帧内帧编码的数据被接收到和解码。
图4示明按照本发明之一个视频编解码器10的例子。该视频编解码器10中包含一个编码器部分100和一个解码器部分200。
假定终端1向终端2传输编码的视频数据，现在，参照终端1的编码作用说明视频编解码器10。编码器部分100中包含输入端101，用于接收自终端1内一个摄像机或者视频源(未示出)来的视频信号。一个开关102切换该编码器工作于帧内模式编码和帧间模式编码之间。
帧内编码模式中，来自输入端101的视频信号直接输入至DCT变换器103上，将像素数据变换成DCT系数。然后，DCT系数传送到一个量化器104上，使DCT系数量化，开关102和量化器104两者都受到视频编解码器10中编码控制管理器105的控制，编码控制管理器105也借助于H.245控制管理器40接收来自接收终端2的反馈控制。量化器104的数据输出经过一个反量化器108和一个反DCT变换器109。得到的数据通过加法器110加到图像存储器107的内容上。帧内编码模式中，开关115是断开的，图像存储器107的内容由反DCT变换器109的输出进行改写。
帧间编码模式中，开关102在工作中接收来自减法器106的差值信号，它是输入端101来的信号与图像存储器107中存储的前一图像之间的差值。减法器106的差值数据输出代表了当前图像与图像存储器107中存储的前一图像之间的预测误差。该预测误差受到DCT变换和量化。然后，通过开关115的闭合，使量化器104的数据输出经过反量化器108和反DCT变换器109，得到的数据在加法器110中加到图像存储器107的内容上，从而更新图像存储器107中的数据。一个运动估值器111可以在常规方式下从图像存储器107的数据中产生出运动补偿数据。
视频编码器100产生出一个首标信息(例如，时间基准标志符TR112a)以指明被编码帧的数目；一个帧内/帧间标志符112b以指明所实施的编码模式(I或P/B)；一个量化指数112c(也即所使用的量化器的细情)；量化的DCT系数112d；以及被编码图像的运动矢量112e。这些数据由变字长编码器(VLC)113一起进行编码和复用。然后，编码器的输出在复用器50中与其它信号复用。
本发明的第一实施例中，编码器安排成在每个帧内帧之后传送重复的图像首标。所以，提供出数据存储器114以暂时存储被重复的数据。第一实施例中，对于每个帧内帧，图像首标80和第一像段数据82重复地传输给接收端解码器。因此，编码器输出图5中所示形式的数据。
如图5中所示，编码后的信号开始于视频信号中第一图像510的数据。该帧是帧内编码的。数据中包含图像首标80、第一像段的数据82和第一图像中随后各像段的首标84及数据86。然后，第一图像510的图像首标80和第一像段数据82重复成数据512，该重复的图像首标具有象原始帧那样相同的时间基准TR。这个重复的数据之后是随后的帧间编码帧520、522、524的数据。当编码下一个帧内帧时，该帧的数据510之后是帧内帧510’重复的512’，它包括图像首标80和第一像段数据82。
这种配置对于28.8kbps码率和QCIF图像来说，每个帧内帧将引入大约227字节的开销。
所以，接收端解码器将接收到双重的首标信息。这种方案中，解码器的工作安排如H.263中附录N内的说明，参照其中的参考图像选择(RPS)模式。按照H.263的附录N，如果一个解码器接收到具有相同时间基准(TR)的两个或多个图像首标，则解码器对第二个和随后的图像首标(以及它们的相关数据)置之不顾。因此，如果接收端解码器能正确地控制对于首次出现的图像首标的解码(并随之读出该首标的TR)，则该解码器将不理会重复的图像首标。因此，按照本发明第一实施例的编码器可以与常规的解码器配合地工作，不过这种配置将不能获得本发明的优点。然而，它提供了兼容性。
上述的第一实施例中，重复的数据涉及一帧内的局部部分，特别是图像首标和图像中第一像段数据。所以，按照本发明的解码器通过检测已接收到的一个不完全帧的数据，可检知重复数据的存在，并应用所存储的数据来完成该帧的解码。
按照本发明之编码器的一个第二实施例中，对于编码的比特流添加上冗余的视频帧。这样一种冗余的视频帧并不应用来对传输的视频序列承载任何附加的信息。应用冗余帧来替代前一图像中的首标重复。借助于按照本发明的编码器，可将冗余帧加到视频比特流上。可以向解码器明晰地通知以冗余帧的存在，或者，解码器可以应用冗余帧中隐含的特性来检测这样一种冗余帧的存在。
图6示明按照本发明第二实施例由一个编码器输出之信号的帧结构。编码器的配置可以在每个帧内帧610之后产生和传送一个冗余帧612。根据H.263，除非选择附录N中的参考图像选择(RPS)模式，否则，接连的压缩图像不能够代表同一个不压缩的图像。本发明的第二实施例并不依赖于被选择的RPS。在此场合下，图像首标只是存储在数据存储器114中。在控制器105的控制下，原来的图像首标80这样地变更，即新的图像首标80’与帧内帧610的相同，不过PTYPE字段中的图像编码类型从I改变为P，又TR字段增量1。控制器105又设置一个字段88，它指明了全帧在数据内容上没有变化。在H.263中，这个字段内包括有一个编码的宏块指示(COD)标志符，它对于帧间编码的宏块来说是置1的。当它置1时，表明该宏块并不传送出进一步的信息(也即信息无变化)。随后的帧间帧620、622、624象图5中所示的帧间帧520、522、524那样以相同的方式编码，进行传输，直至下一个帧内帧610’的到来。
按照本发明的另一个实施例，冗余帧除了包括在帧内帧之后外，也包括在帧间帧之后。
冗余帧的重复数据612中包含有大约50比特的图像首标80’、99比特的COD(在一个QCIF图像内99个宏块每个1比特)和若干填充比特(以使得达到一个完整帧的总体比特数目)。总起来，这样一个冗余帧典型地由19字节组成，因而对于28.8kbps的H.263码率和QCIF图像来说，数据流增加了大约8％的开销。这个开销量只是适用于当每个帧内帧和每个帧间帧关联到一个冗余帧时。显然，如果仅仅在每个帧内帧之后编码一个冗余帧，则开销可减小。
如参考图5和图6所作的说明，一个帧内重复的图像首标提供在一个图像的该帧内原来数据的后面、又在下一帧数据的前面。
现在，说明编码器的第三实施例。本实施例基于对H.263中“补充增强信息”字段(附录L)的新增加。该增加能够在当前的图像内补充增强信息中重复前一图像内的某些图像层字段。(图像层字段不在同一图像内重复，因为它们在同一时间上有着被作为图像层数据本身而受干扰的危险)。
按照H.263，图像首标中包含的补充增强信息是由一个标志符PEI指明的。如果PEI置1，它指明在8比特字段PSUPP后面有补充信息。又一个的PEI将指明，又一个的PSUPP后面有进一步的补充信息，依次类推。
对于不支持附录L中说明的扩展能力的解码器，当PEI置1时，解码器设计成舍弃PSUPP。这样，能够反向兼容附录L中的扩展能力，即使不支持这类能力的解码器毋需作改变也可以利用在其中使用着扩展能力的比特流。
H.263的附录L中说明了在本建议之图像层的PSUPP字段内传送的补充增强信息的格式。这种补充增强信息的存在指明于PEI中，并在每8比特的PSUPP数据之间插入一个附加的PEI比特。
PSUPP数据的组成上，是在4比特的功能类型指示FTYPE之后跟随4比特的参数数据大小规范DSIZE，再跟随一些DSIZE字节的功能参数数据，又可选地跟随另一个功能类型指示，依次类推。当一个不支持功能类型指示的解码器接收到一个功能类型指示时，它舍弃用于该功能的功能参数数据，然后，检验它能够支持的随后的功能类型指示。对FTYPE数值已作出了定义，它们示明于H.263的表L.1中。本发明的这个实施例要求对H.263的附录L作某些改变。这些改变是1.在H.263的表L.1中定义了一个新的功能类型指示(FTYPE)，例如是条项13-图像层数据重复；以及2.附录L中包括一个关于这种FTYPE代码之效应的说明，例如应当应用图像层数据重复功能来重复前一图像之图像层数据中某些字段的编码表示。重复的字段应当按本性的句法次序从时间基准(TR)字段的开始处出现。换言之，如果从重复的图像层数据中去掉PEI比特，则比特流的重复将与相应位置上原来的比特流那样确切地相同。SEI中DSIZE字段指明了重复字节的数目。保留DSIZE等于0的状态供将来应用。然后，在FTYPE/DSIZE的八位字节之后跟随图像首标信息。
当恢复一个受干扰的图像首标时，由于在接收到下一个图像开始端之前不能够发生该恢复，所以比之前面的实施例，本建议方法会引入显著的延时。然而，由于解码器的工作通常快于至少在低帧频上运行的实时视频-数据传输，所以解码器多半能有空闲的时间来等候下一帧图像的到达。
实现按照第三实施例之编码器的一种可能方式给出在图7上所示的流程图中。对于这一实施例，图像首标是指比特流句法中位在补充增强信息之前的图像层数据。
未压缩的信号以一定的帧频输入至编码器上(700)。由一个比特率控制算法作出判定，对一个具体帧是否编码或者予以跳越(702)。如果一个帧要进行编码，则首先编码图像首标(704)。图像首标又存储入数据存储器114中(708)。在任一瞬间上只需要不大于三个的图像首标，也即当前图像的首标以及先前两个编码图像的首标。编码器根据当前图像和先前图像的图像首标，确定出(706)本图像中的GFID是否要改变(与先前图像相比较)。如果前一个图像的GFID亦不同于它的前一个图像的GFID(710)，则需要重复前一个图像的图像首标作为补充增强信息。否则，接收机或是应用当前图像的GFID或是应用前一个图像之先前一个图像的GFID，能够恢复前一个图像的图像首标(712)。最后，编码该图像的其余部分(714)。然后，从开始端起编码循环继续下去(700)。
重复的图像首标在重复中可以不需要PSC。另一种情况，可以由一个系统码的误码校正码来处理首标。系统码误码校正码是这样的，其中，前k个符号是实际消息，而其余的符号用于误码校正。在这种具体场合下，前k个比特是图像首标，而其余的比特作为下一帧内的补充增强信息进行传输。因此，误码校正码的选择影响到能够检知和纠正多少个反相的误码比特，又需多少补充比特来提供这种误码纠错。
上面说明的编码器100的实施例中，对于编码器100已预编程它重复传送图像首标。然而，编码器100可以安排成响应于解码器来的一个命令而附加的重复或刷新图像数据。
附加地、或者另一种情况下，编码器可以安排成当每次GFID参数改变状态时，重复传输一个图像首标。
考虑终端1接收来自终端2的编码视频数据，现在参照其解码作用说明按照本发明之视频编解器10的工作。终端1从发送方终端2上接收一个多媒体信号。解复用器50对多媒体信号进行解复用，使解复用后的各个信号去往接收机中的相关部分，例如，视频数据去往视频编解码器10，音频数据去往音频编解码器20，以及H.245控制数据去往H.245控制器40。视频编解码器10中的解码器200通过反量化、反DCJ变换以及对数据的运动补偿，将编码的视频数据解码。然后，解码出的视频数据输出至接收方终端1内的显示器70上，以供重现。
如图4中所示，视频编解码器10的解码器部分200中包含有变字长解码器218、反量化器220、反DCJ变换器221、运动补偿器222、图像存储器223、控制器224、暂时的图像数据存储器288和开关230与232。控制器224接收由解复用器50从编码的多媒体流中解复用出的视频编解码器控制信号。实际上，编码器中的控制器105和解码器中的控制器224可以是同一个处理器。
解码器中的控制器224对接收数据的完整性进行检验。图像首标中的一个误码可能意味着该图像不能够解码出来，完全丢失了，或者图像首标本身被干扰得它实际上丢失了。
现在，说明解码器的第一实施例。正常工作下，由解码器200接收编码的数据。变字长解码器(VLD)218解码接收的数据，试图恢复出其格式，诸如图3中所示的原来的帧结构。也就是说，由VLD218使编码的数据去压缩，由控制器224检测所接收数据内的图像起始码(PSC)。然后，控制器224应用图像首标内的信息控制反量化器220和开关230。当PTYPE信息指明是一个帧内帧时，开关230断开，反DCT器件221的输出就输入至图像存储器223。当PTYPE信息指明是一个帧间帧时，开关230闭合，图像存储器223中的内容将通过加法器234加入到反DCT器件221的输出(解码出的预测误差)上。
如果解码器不能够解码出第一个图像首标，但能够检测图像中的其它像段(例如，第二像段84的GBSC)，则解码器将此数据存储入暂时的图像数据存储器228。当解码器接收到、解码出和识别出重复的首标数据(以及第一像段数据82)时，解码器便应用暂时的图像数据存储器228中的数据来恢复图像的其余信息。
因此，如果控制器224在一帧的开始检测不到一个PSC(或者是确定出该图像首标受到干扰)，但检测到一个像段首标(例如，借助于检知一个GOB起始码GBSC)，则控制器224改变开关232的状态，使来自VLD218的数据输出转输入至暂时的图像数据存储器228上。由于该VLD不能够同步于图像开始处，所以这一数据将从检知的GBSC码上开始。
参考图5，假定解码器对于帧510的第二像段已经检知首标84中的GBSC。于是，暂时的图像数据存储器228中存储的数据内将包含有自首标84起的内容，也就是帧510中第二像段的首标、第二像段的数据、第三像段的首标、第三像段的数据等。
如果丢失/受干扰的图像首标属于帧内帧，则由解码器接收的下一个数据将是重复的图像首标和第一像段数据512。解码器接收数据512，它关联到重复的图像首标80和重复的第一像段数据82。控制器224检测重复数据512中的PSC，读出首标中的PTYPE字段，然后指令反量化器220应用于反量化，并断开开关230，以响应于指明为帧内帧的首标中的该PTYPE字段。其余的重复信息(也就是，重复的第一像段数据)由反量化器220和IDCT变换器221进行解码，解码出的、重复的第一像段自IDCT222输出到图像存储器223。
解码器会识别出，该数据不是一个完整图像的数据，例如只是第一像段之图像首标80、后随图像数据82，并后随有接着一帧的图像首标，解码器便解码出重复数据512，然后检测接着的、另一帧也即帧520的起始码。对解码器的这种检测起响应，控制器224改变开关232的状态，使暂时的图像数据存储器228内存储的帧510来的数据输出至反量化器220和IDCT变换器221上。然后，解码的数据输出至图像存储器223，用当前图像中其余的解码数据更新图像存储器223的内容。
如上面所述，按照本发明之解码器的第一实施例中，解码器通过检测图像首标的出现情况检知到重复的图像首标的接收，因为该图像首标后不是跟随一个完整图像的数据(例如，一个图像后跟随的是图像之一个像段而不是更多像段的数据)。也可应用其它方法来检测首标的重复。
如前面的说明，如果解码器能够正确地解码帧510，则当信号如图5中所示地格式化时，解码器可以简单地舍弃重复的首标512。
图8示出一个流程图，表明了按照本发明第一实施例运行一个解码器的方法。首先，解码器200通过检查来到的数据内下一个码是否是图像起始码(PSC)，而开始解码一个接收的信号(400)。如果图像首标显得受到干扰(402)，则控制器将图像中其余各像段所关联的图像数据存储入暂时的图像数据存储器228中(404)。
可以应用各种方法来确定，图像是否受到干扰。某些示例的方法是是否解码器不能够检知PSC；是否一种误码检测方法(诸如H.263中的CRC校验和)指明存在误码；或者在图像首标中是否发现了异常的参数(例如，当图像首标的编码类型为帧内帧，而在一个像段首标内设定为帧间帧标志符时)。
然后解码器200寻找下一个无误码的首标。如果该首标是帧内帧的，则解码器尝试解码该帧。如果发现缺失某些像段，则从暂时的图像数据存储器228中读出前一帧中相应的像段，并进行解码。如果丢失/受干扰的图像首标属于一个帧内帧的，则由解码器接收的下一个数据将是重复的图像首标和第一像段数据512。解码器解码图像首标和第一像段的数据(408)。解码器检知不是整个帧的数据时(406)，作为响应，解码器便在重复的图像首标的基础上解码暂时的图像数据存储器228中存储的数据(408)。
通常的误码隐匿技术那时可应用来隐匿因传输差错或解码差错而引起的图像中的误码。一般地，如果认为解码的帧中误码太多，解码器也可以向编码器传送一个更新请求。
普通的解码器在接收到一个不完全帧的数据后，将得出结论，缺失的数据在传输中已经丢失。于是，解码器可以用已知的方式发出一个帧内帧图像请求。因此，按照本发明的编码器可以与不符合本发明的解码器配合一起工作。
现在，说明按照本发明之解码器的第二实施例。参考如图6中所示格式的信号，如果解码器不能够解码出帧610中原来的首标，则解码器将该帧中其余的图像数据(84，86)存储入暂时的图像数据存储器228中。帧的第一像段并不存储，因为它不能够被解码器识别。当接收到冗余帧612时，解码器将读出其数据作为没有变化而帧间帧编码的。按照先有技术的编码器通常不给出这种信息(它看来是100％的冗余)。按照本发明的解码器如果检测到帧间帧图像首标后跟随一个指明为无变化的字段这一情况出现，便检知接收到一个重复的图像首标。接收到此种数据后，解码器应用该帧间帧图像首标来构组解码器，然后解码自前一帧来的信息，存储入存储器228中。
本实施例中，图像第一像段的数据不重复，所以可认为丢失了。因此，接收到重复的首标数据后，解码器使开关232变更状态，从而第二像段起刷新图像数据的内容。另一种情况，解码器有可能估算出在受干扰的数据中第一像段图像数据应自何处开始，并从该点上解码出数据。例如，假定原来图像的图像首标中有一个比特反相的误码，故而不能解码出该图像首标。不过，PSC仍然正确，所以能可靠地检知帧的开始。于是，将整个图像610存储入暂时的图像数据存储器228中，然后当接收到重复的首标时，在预期图像首标结束和预期第一像段数据起始的地方，解码器200开始解码所存储的数据。
如此，解码器检查到来的数据。如果图像首标丢失或者受干扰，就将帧内的其余数据存储入暂时的图像数据存储器228。然后，解码随后的数据，并且如果该数据关联到帧间帧以及指明图像中无变化时，便解码图像首标，同时应用冗余帧之图像首标中的信息解码图像数据存储器228内来的数据。
当信号格式如图6中所示时，如果解码器的操作能正确地解码帧610的图像首标，则解码器将继续下去，解码重复的首标612。如参考图6中所示明，重复的信息612中包含有图像首标82(包括一个增量的TR)以及一个指明相对于先前的编码帧来说没有数据变化的字段88。由于没有数据存储在暂的图像数据存储器228中，所以解码器将舍弃该冗余帧的数据612，而解码随后的帧620。
在接收到按照本发明之第三实施例一个编码的信号后，按照本发明的一个解码器应用在接着的帧内补充增强信息(SEI)中FTYPE/DSIZE八位字节之后跟随的数据，解码暂时的图像数据存储器228内存储的数据。
现在，参考图9说明解码器的第三实施例。本实施例利用了前面参照编码器和图7所说明的SEI方法。
解码器的工作如下面所述。首先(900)，解码器接收下一个传输图像中的图像首标。如果该图像首标没有误码(901)，则解码器能够毫无问题地解码该图像首标(902)。然后，它能够解码图像的其余数据(904)。如果在图像首标中检测到某些误码(901)，则解码器搜寻图像中第一个无误码的像段(GOB或者像条)首标(906)。将这个比特流位置作为第一个重新同步位置。如果该首标的GFID与前一图像中的相同(908)，则解码器能恢复该图像首标中的关键部分(910)，并从该具体的像段开始继续解码(904)。如果GFID与前一图像中的不同(908)，则解码器搜寻下一个图像起始码(912)。如果图像的图像层数据中包含有SEI图像首标重复(914)，则解码器能够恢复当前图像的图像首标(916)。又必须将比特流中的解码位置设定回到第一个重新同步位置上(918)。如果图像层数据中不包含SEI图像首标重复(914)，则解码器搜寻下一个像段起始码(916)，并作出检验(920)，首标中的GFID是否与被解码之图像中的GFID相同。如果两个GFID等同，则解码器能够恢复图像首标(910)，并从第一重新同步位置起继续解码。如果两个GFID互不相同，则解码器决不恢复受干扰的首标。此种场合下(922)，例如可以请求一个帧内帧更新。
暂时的图像数据存储器可以存储多帧的编码数据。由于低比特率应用中的大多数帧是以帧间帧方式编码的，所以暂时的图像数据存储器中存储的大部分数据多半是代表了预测误差数据的，因此数据量比较紧凑。所以，暂时的图像数据存储器应充分地存储数据，用于至少一个帧内帧和一个帧间帧所需的数据。对于比特率28.8kbps的一个PCIF图像，一个帧间帧典型地编码成大约250字节。
如果随后各个视频帧的任何数据也存储入暂时的图像数据存储器228中，则这些数据也被解码，输出至图像存储器223中，使图像存储器223的内容与传输装置之相应存储器中的内容对准。
权利要求
1.一种对编码的视频信号进行解码的方法，该方法包含有接收代表一个视频信号之各帧的编码数据；检查所述编码数据以检测首标数据和图像数据；当检测到图像首标中一个误码时，将图像数据存储入一个暂时的图像数据存储器中，检测一个重复的首标数据；以及用该重复的首标数据解码存储的图像数据。
2.权利要求1的解码方法，其中，检测重复的首标数据的步骤中包含有确认随后接收的数据是否关联到一个完整帧的视频信号，或者是否关联到一个帧的不完全部分，并当接收的数据关联到一个帧的不完全部分时，检测一个重复的首标数据。
3.权利要求1的解码方法，其中，检测重复的首标数据的步骤中包含有确认随后接收的数据中是否包括一个图像首标和此外的数据，该此外的数据意味着相对于视频信号的参考帧来说该视频信号的一个帧并无变更，如果如此，便确定已检测到重复的首标数据。
4.权利要求1、2或3的解码方法，其中，检测一个重复的首标数据的步骤是在每次将数据存储入暂时的图像数据存储器时实施的。
5.根据前面任一个权利要求的解码方法，其中，检测重复的首标数据的步骤中包括检查随后一帧中的图像首标，以确定该随后一帧的图像首标是否关联到前一帧的图像首标，如果如此，则检测该重复的图像首标。
6.前面五个权利要求中任一个的解码方法，其中，检测重复的首标数据的步骤中包括检查随后一帧首标中的补充增强指示符(SEI)。
7.一种视频编码的方法，包含有接收一个待编码的视频信号；对代表一帧所述视频信号的数据进行编码；使所述数据的一部分而不是全体进行重复，所述重复部分中包括有该帧的图像首标。
8.权利要求7的编码方法，其中，部分数据被重复的帧仅仅是按帧内帧方式编码的帧。
9.权利要求7或8的编码方法，其中，重复数据中包含一个图像首标和该帧图像数据的第一像段。
10.权利要求7或8的编码方法，其中，所述重复数据由一个图像首标和一个指示符组成，指示符指明自前一帧以来没有图像数据发生变更。
11.权利要求7至10中任一个的编码方法，其中，使首标数据重复的步骤中包括将重复数据添加到随后一帧的图像首标内。
12.权利要求11的编码方法，其中，重复数据包括在随后一帧中的补充增强指示符(SEI)内。
13.一种视频编码器，包含有一个输入端，用于接收待编码的视频信号；一个装置，用于编码代表一帧所述视频信号的数据；以及一个装置，对所述数据中安排为重复部分而不是整个部分的数据进行编码。
14.一种视频解码器，用于解码一个编码的视频信号，该解码器中包含有一个输入端，用于接收代表一个视频信号之各帧的编码数据；一个解码装置，用于检查所述编码的数据，以检测首标数据和图像数据；当在图像首标中检测到一个误码时，所述解码器安排成将图像数据存储入一个暂时的图像数据存储器中，以检测重复的首标数据；以及用重复的首标数据解码存储的图像数据。
15.一种无线通信装置，内装有一个按照权利要求13的编码器。
16.一种无线通信装置，内装有一个按照权利要求14的解码器。
17.一种视频编解码器，包含有一个按照权利要求13的编码器和一个按照权利要求14的解码器。
全文摘要
一种视频编码方法,包含有:接收一个待编码的视频信号;对代表所述视频信号之一帧的数据进行编码;使所述数据的一部分但不是全部进行重复,所述重复的部分内包括该帧的图像首标。一种对编码的视频信号进行解码的方法,该方法中包含有:接收代表一个视频信号之各帧的编码数据;检查所述编码数据,以检测首标数据和图像数据;当检测到图像首标中一个误码时,将图像数据存储入一个暂时的图像数据存储器中,检测一个重复的首标数据;以及,用该重复的首标数据对存储的图像数据进行解码。
文档编号H04N7/50GK1361991SQ00810573
公开日2002年7月31日 申请日期2000年7月14日 优先权日1999年7月19日
发明者M·汉努克赛拉 申请人:诺基亚移动电话有限公司