视频信号编解码方法、编解码器及其相关的设备的制作方法

专利名称：视频信号编解码方法、编解码器及其相关的设备的制作方法
技术领域：
本发明涉及视频编码。
背景技术：
视频序列由一系列静止图像或帧构成。视频压缩方法是基于减少视频序列的冗余和感觉上不相关的部分。视频序列中的冗余度可以分为光谱、空间及时间冗余度。光谱冗余度指的是相同图像的不同彩色成分之间的相似性。空间冗余度是由图像中相邻像素之间的相似性所导致的。由于出现在前一图像中的对象也可能出现在当前图像中，因此存在时间冗余度。通过利用这种时间冗余度并且从称作锚点或参考图像的另一图像来预测当前图像，可以实现压缩。通过产生描述当前图像和前一图像之间运动的运动补偿数据，实现进一步压缩。
但是，仅通过减小序列的固有冗余度通常无法实现足够的压缩。因此，视频编码器还尝试降低视频序列中主观上不太重要的那些部分的质量。另外，通过压缩参数和系数的有效无损编码，减小了编码比特流的冗余度。主要技术是采用可变长度码。
视频压缩方法通常区分采用时间冗余度压缩和不采用时间冗余度压缩的图像。不采用时间冗余度压缩方法的压缩图像通常称作INTRA或I帧或I图像。时间上预测的图像通常是从出现在当前图像之前的图像进行正向预测，并且称作INTER或P帧。在INTER帧的情况下，预测的运动补偿图像几乎都不够精确，因此把空间上压缩的预测差错帧与各INTER帧相关联。INTER图像可以包含INTRA编码的区域。
许多视频压缩方案还采用了时间上双向预测的帧，它们通常称作B图像或B帧。B图像插入I和/或P帧的锚点图像对之间，并且根据这些锚点图像中任一个或两个来进行预测。与正向预测图像相比，B图像通常得到增大的压缩。B图像不用作锚点图像，也就是说，不根据它们来预测其它图像。因此，它们可以被(有意或无意地)丢弃，而不影响后续图像的图像质量。虽然与P图像相比，B图像可以改善压缩性能，但是它们的产生要求较大的计算复杂度和存储器用量，并且它们还引入额外的延迟。对于如视频流之类的非实时应用，这可能不成问题，但是在如电视会议之类的实时应用中就会产生问题。
压缩的视频剪辑通常由图像序列构成，它们可大致分为时间上独立的INTRA图像和时间上差分编码的INTER图像。由于INTRA图像中的压缩效率通常低于INTER图像，因此保守地使用INTRA图像，尤其是在较低比特率的应用中。
视频序列可以包含许多场景或镜头。不同场景之间，图像内容可能明显不同，因此，场景中的第一幅图像通常是INTRA编码的。电视和电影素材中存在频繁的场景变化，而在电视会议中场景剪接相对较少。另外，通常插入INTRA图像来停止重构的视频信号中的传输差错在时间上的传播，以及向视频比特流提供随机存取点。
压缩视频易受到传输差错的破坏，主要有两个原因。首先，由于利用了时间预测差分编码(INTER帧)，在空间和时间上都传播了差错。实际上，这意味着一旦出现差错，较长时间内肉眼容易看到。尤其易受影响的是低比特率的传输，其中只有少量INTRA编码的帧，因此在一段时间内时间上的差错传播不会停止。其次，可变长度码的使用增加了对差错的敏感度。当比特差错改变了码字时，解码器会丢失码字同步，并且还会对后续的无差错码字(包括若干比特)进行错误解码，直到下一个同步(或开始)码为止。同步码是一种位模式，它无法根据其它码字的任何合法组合来产生，把这些码不时地添加到比特流中来实现再同步。另外，在传输过程中丢失数据时会产生差错。例如，在IP网络中采用不可靠的UDP传输协议的视频应用中，网元可能丢弃部分的编码视频比特流。
接收机有许多方法来解决传输路径中引入的讹误。一般，在接收到信号时，首先检测传输差错，然后再由接收机来校正或隐藏。纠错是指将错误数据恢复到完全象以前从未引入任何差错一样的处理。差错隐藏是指隐藏传输差错的影响、使得在重构的视频序列中几乎看不到这些差错的处理。通常由源或传输编码添加一定量的冗余度，以便帮助差错检测、纠正以及隐藏。差错隐藏技术大致可分为三类正向差错隐藏、通过后处理的差错隐藏以及交互差错隐藏。术语“正向差错隐藏”是指这样一些技术，其中，发射机侧将冗余加入所发送的数据，以便提高编码数据的差错恢复力。通过后处理的差错隐藏是指对接收信号的特性作出响应而在解码器上进行的操作。这些方法估算错误接收的数据的正确表示。在交互差错隐藏中，发射机和接收机配合工作，以便使传输差错的影响减至最小。这类方法主要利用接收机提供的反馈信息。通过后处理的差错隐藏也可称作被动差错隐藏，而其它两类代表主动差错隐藏的形式。
现有大量已知的隐藏算法，在Y.Wang和Q.-F.Zhu的“视频通信的差错控制和隐藏述评”(Proceedings of the IEEE，第86卷，第5期，1998年5月，第974-997页)中以及在P.Salama、N.B.Shroff、E.J.Delp提交给IEEE Journal on Selected Areas in Communications的文章“编码视频中的差错隐藏”中，对这些算法提供了述评。
当前的视频编码标准为自给自足的视频比特流定义了语法。编撰时最通用的标准是ITU-T建议H.263，“低比特率通信的视频编码”，1998年2月；ISO/IEC 14496-2，“视听对象的通用编码，第2部分视觉”，1999年(称作MPEG-4)；以及ITU-T建议H.262(ISO/IEC13818-2)(称作MPEG-2)。这些标准定义了用于比特流以及相应地用于图像序列和图像的分级结构。
在H.263中，语法具有包括四层的分层结构图像层、图段层、宏块层以及块层。图像层的数据包含影响整个图像区以及图像数据解码的参数。这种数据的绝大部分安排在所谓的图像信头中。
图段层可以是块层组或者一个片段层。缺省情况下，各图像被分为多个块组。一个块组(GOB)通常包含16个相继的像素行。各GOB的数据包含可选的GOB信头以及随后的宏块数据。如果使用可选的片段结构化模式，则各图像被分为若干片段而不是若干GOB。一个片段包含多个按扫描顺序排列的相继宏块。每片段的数据包含片段信头以及随后的宏块数据。
各GOB或片段被分成多个宏块。一个宏块涉及到亮度的16×16个像素(或2×2个块)，以及空间上相应的色度分量的8×8个像素(或块)。一个块涉及到亮度或色度的8×8个像素。
块层数据包含均匀量化的离散余弦变换系数，它们按Z字形顺序被扫描，采用游程长度编码器来处理，并采用可变长度码来编码。MPEG-2和MPEG-4层分级结构类似于H.263中的一个。
缺省情况下，这些标准一般将时间上的前一参考图像(I或P)(又称作锚点图像)作为运动补偿的参考。这条信息不会被发送，也就是说，比特流不包含标识参考图像的信息。因此，解码器无法检测是否丢失了参考图像。虽然许多传输编码器将视频数据放入若干数据包中并将序号与这些数据包相关联，但这些序号不与视频比特流相关。例如，一部分视频比特流可能包含P图像P1、B图像B2、P图像P3以及P图像P4，它们按这种顺序被捕捉(以及被显示)。然而，该部分将会按以下顺序进行压缩、传送及解码P1、P3、B2、P4，因为B2在能够被编码或解码之前需要P1和P3。假定每个图像有一个数据包，每个数据包含有一个序号，并且携带B2的数据包已丢失，则接收机能够根据数据包序号来检测该数据包丢失。但是，接收机无法检测是否丢失了P4的运动补偿参考图像或者是否丢失了B图像，在该情况下它能够正常地继续进行解码。
因此，解码器通常向发射机发送INTRA请求，并冻结显示器上的图像。但发射机可能不会响应这个请求。例如在非实时视频流应用中，发射机无法响应来自解码器的INTRA请求。因此，解码器冻结图像，直至接收到下一个INTRA帧。在实时应用、如电视会议中，发射机可能无法响应。例如，在多方会议中，编码器可能无法响应各个请求。解码器还是冻结图像，直到发射机输出INTRA帧。

发明内容
根据本发明的第一方面，提供一种对表示图像序列的视频信号进行编码的方法，该方法既采用了非时间预测又采用了时间预测，其中所述方法包括对于构成用于另一图像的时间预测的参考图像的每个图像，将指示符与每个这样的图像相关联，该指示符指明编码视频信号中的参考图像相对于编码视频信号中的其它参考图像的时间顺序。
这样，每个参考图像(如I帧和P帧)均与序号相联系。最好是在每次对参考图像进行编码时使指示符递增。最佳方法是，在每次对参考图像进行编码时使指示符加一。这样，指示符在前一参考图像的基础上加一。
如果使用多层编码，则这个指示符最好是在相同增强层中的前一参考图像的基础上加一。
包含该指示符意味着解码器能够确定是否丢失了参考图像并且在有效时采取适当的行动。即使传输协议未包含与发送的数据包有关的序列信息，或者发射机使用了变化封装策略，情况也是如此。例如，如果发射机在一个数据包中封装了不定数量的GOB，则接收机即使能够根据数据包序号来检测数据包丢失，也无法可靠地知道丢失了多少GOB或者整个图像。
本发明还使解码器能够把B图像丢失与参考图像丢失区分开。因此，解码器在B图像丢失之后能够继续进行解码，而不是等待下一个INTRA图像。
另外，如果丢失了来自较高增强层的参考图像，则解码器可以继续对较低增强层进行解码。
参考图像序号可以与整个图像或图像的一部分有关。在前一种情况下，参考图像序号通常包含在图像信头中。在本发明的一种最佳实现中，视频信号是根据H.263标准编码的，而指示符包含在附加增强信息中。在RPON与图像的一部分有关的情况下，参考图像序号可以包含在编码图像的图段信头或宏块信头中。
根据本发明的第二方面，提供一种对表示图像序列的编码视频信号进行解码的方法，该方法包括接收编码视频信号；对每个接收的图像进行解码；对于构成另一个图像的参考图像的每个待解码图像，检查表示参考帧的时间顺序的指示符；以及如果指示符不是连续地从紧靠前面的已解码的参考帧得出的，则检测丢失的参考帧。
解码器最好是向发射机发送请求，使其在指示符不是连续地从紧靠前面的已解码的参考帧得出的情况下，以非时间方式对图像进行编码。
根据本发明的第三方面，提供一种编码视频信号，其中，对于构成用于另一图像的时间预测的参考图像的每个图像，将指示符与每个这样的参考图像相关联，指示编码视频流中参考图像的时间顺序。
根据本发明的第四方面，提供一种视频编码器，它包括输入，用于接收表示图像序列的视频信号以及产生编码图像，所述编码器被设置成既采用非时间预测又采用时间预测，其中所述编码器被设置成对于构成用于另一图像的时间预测的参考图像的每个图像，将各参考图像与指示符相关联，指示符指明编码视频信号中的参考图像相对于编码视频信号中的其它参考图像的时间顺序。
最好是在每次对参考图像进行编码时使指示符递增。
根据本发明的第五方面，提供一种视频解码器，它包括用于接收表示图像序列的编码视频信号的输入；用于对每个接收的图像进行解码的解码器，所述解码器被设置成对于构成另一图像的参考图像的每个待解码图像、检查表示参考帧的时间顺序的指示符，并且在指示符不是连续地从紧靠前面的解码参考帧得出的情况下，检测丢失的参考帧。
本发明还涉及便携式无线电通信装置，其中包括上述的编码器和/或解码器。


仅以举例的方式参照附图来描述本发明，图中
图1说明一种多媒体移动通信系统；图2说明多媒体终端的多媒体组件的一个实例；图3说明视频编解码器的一个实例；图4说明根据本发明的第一实施例的视频编码器的第一种实现的操作；图5说明根据本发明的第一实施例的视频编码器的第二种实现的操作；图6说明根据H.263所知的比特流的语法；图7说明根据本发明的编码器所输出的比特流的第一实例；图8说明根据本发明的编码器所输出的比特流的第二实例；图9说明根据本发明的编码器所输出的比特流的第三实例；图10说明视频编码中用于SNR可缩放性的增强层；以及图11说明视频编码中用于空间可缩放性的增强层。
具体实施例方式
图1说明一种典型的多媒体移动通信系统。第一多媒体移动终端1通过到移动通信网络4的无线电链路3与第二多媒体移动终端2进行通信。在两个终端1、2之间发送控制数据以及多媒体数据。
图2说明终端1的典型多媒体组件。终端包括视频编解码器10、音频编解码器20、数据协议管理器30、控制管理器40、复用器/分用器50以及调制解调器60(如果需要的话)。视频编解码器10从终端的视频捕捉装置(未标出)(如摄像机)接收要编码的信号，以及从远程终端2接收要解码的信号，以供终端1在显示器70上显示。音频编解码器20从终端1的传声器(未标出)接收要编码的信号，以及从远程终端2接收要解码的信号，以便通过终端1的扬声器(未标出)再现。
控制管理器40控制视频编解码器10、音频编解码器20以及数据协议管理器30的操作。但是，由于本发明与视频编解码器10的操作有关，因此不再对音频编解码器20和协议管理器30进行讨论。
图3说明根据本发明的视频编解码器10的实例。视频编解码器包括编码器部分100和解码器部分200。编码器部分100包括输入101，用于从终端1的摄像机或视频源(未标出)接收视频信号。切换器102使编码器在编码的INTRA模式和INTER模式之间进行切换。
在INTRA模式中，来自输入101的视频信号由DCT变换器103转换为DCT系数。然后，DCT系数被传递给将系数量化的量化器104。切换器102和量化器104均由视频编解码器的编码控制管理器105控制，编码控制管理器105还通过控制管理器40从接收终端2接收反馈控制。
在INTER模式中，对切换器102进行操作，以便从减法器106接收来自输入101的信号与存储在图像存储器107中的前一图像之差。从减法器106输出的差数据表示当前图像与存储在图像存储器107中的前一图像之间的预测误差。使量化器输出的数据通过逆量化器108，并将逆DCT变换109应用于逆量化的数据，从而产生图像存储器107中的数据。所产生的数据由加法器110加入图像存储器107的内容中。运动估算器111可以从图像存储器107的数据中以传统方式产生运动补偿数据。
编码控制管理器105确定是应用INTRA还是应用INTER编码，或者完全根据减法器106的输出或者对接收解码器接收的反馈控制数据作出响应，对帧进行编码。在不对反馈控制数据作出响应时，或者仅在编码开始时(所有其它帧是P帧)，或者按照一定间隔，例如每5秒，或者在减法器的输出超过阈值时，即当前图像和存储在图像存储器107中的图像大不相同时，编码器通常将帧编码为INTRA帧。还可以对编码器进行编程，以便按特别规定的序列、如IBBPBBPBBPBBPBBIBBP等对帧进行编码。另外，编码控制管理器还可以确定对某个接收的帧完全不编码。在当前帧和参考帧之间的相似性极高、使得编码器决定不对当前帧进行编码时，出现这种情况。编码控制管理器相应地操作切换器。
视频编解码器输出经量化的DCT系数112a、量化索引112b(即所用量化器的详细资料)、表明所执行的编码模式(I或P/B)的INTRA/INTER标志112c、表明所编码的帧的号码的发送标志112d以及所编码的图像的运动矢量112e。它们与其它多媒体信号共同由复用器50复用在一起。
视频编解码器10的解码器部分200包括逆量化器120、逆DCT变换器121、运动补偿器122、图像存储器123以及控制器124。控制器124接收由分用器50从编码多媒体流中分用的视频编解码器控制信号。实际上，编码器的控制器105和解码器的控制器124可以是同一个处理器。
下面说明根据本发明的编码器的操作。视频编解码器10接收待编码的视频信号。视频编解码器的编码器100通过执行DCT变换、量化以及运动补偿来对视频信号进行编码。然后，经解码的视频数据输出给复用器50。复用器50将来自视频编解码器10的视频数据和来自控制管理器40的控制数据(以及其它适当的信号)复用为多媒体信号。终端1将此多媒体信号经调制解调器60(根据需要)输出给接收终端2。
在本发明的第一实施例中，每次编码器对可能形成后续帧的参考帧的一帧进行编码时，编码控制管理器105将所谓的参考图像序号(RPON)与该帧相关联。例如，RPON与视频信号的每个I或P帧相关联，但不与B帧相关联。每次对连续参考图像进行编码时，使RPON值递增，最好是加1。
编码控制管理器105在输出112f处输出RPON码字，指明与所编码的帧相关联的参考图像序号。由复用器将其复用到视频比特流中。
图4说明编码器的操作。在本实施例中，编码器被设置成当所编码的帧和参考帧之间的相似性小于第一阈值时，即减法器106的输出大于第一阈值时，输出I帧。否则，编码器输出P帧。图4的第一行表示从捕捉输入装置接收并在输入101处输入视频编码器中的数据的帧。图4的第二行表示编码器决定编码的输入信号的帧和用于对各帧进行编码的编码模式。如上所述，编码控制管理器可以决定不对某帧进行编码图4通过未对帧2、3和11编码的事实举例说明这种情况。
以INTRA模式对帧1进行编码；参考帧1将帧4编码为P帧；参考帧4将帧5编码为P帧；参考帧5将帧6编码为P帧；参考帧6将帧7编码为P帧；将帧8编码为I帧；参考帧8将帧9编码为P帧；参考帧9将帧10编码为P帧；参考帧10将帧12编码为P帧。
在本实施例中，所有的(最后一帧除外)编码帧用作后面帧的参考帧。因此，RPON与所有待编码的帧相关，如图4的第三行所示。可以看到，RPON每次增加1。
图4的第四行说明编码帧的时间参考(TR)。这是一个包含在H.263中的字段，将时间上的前一参考图像信头中的TR值加一，再加上自前一发送的图像以来跳过的图像或非参考图像的数目，从而形成TR的值。因此，在图4所示的实例中，所示各帧的TR与输入到102的原始信号的原始编号相同。
图5说明根据本发明的编码器的第二实施例。在本实施例中，编码器被设置成按照常规的序列IBBPBBPBBPBBPBBIBBP对帧进行编码。图5的第一行表示输入帧，第二行表示编码帧及其编码模式，即I、P或B。
各帧是以1、2、3、4、5、6等的顺序从视频捕捉装置中接收的，并以该顺序显示，也就是说，经解码的帧以I1、B2、B3、P4、B5、B6、P7等的顺序进行显示。但是，视频比特流是按照以下顺序I1、P4、B2、B3、P7、B5、B6等进行压缩、传送以及解码的。这是因为每个B帧在可以被编码/解码之前需要前面的和后续的参考帧，也就是说，在可以对帧B2编码/解码之前，帧B2要求帧I1和P4先编码/解码。
如上所述，B帧插入I和/或P帧的锚点图像对之间，并根据这些锚点图像中任一个或者两个来进行预测。这样，如图5所示，以INTRA模式对帧1编码；参考帧1和/或6将帧4编码为B帧；参考帧1和/或6将帧5编码为B帧；参考帧1将帧6编码为P帧；参考帧6和/或9将帧7编码为B帧；参考帧6和/或9将帧8编码为B帧；参考帧6将帧9编码为P帧；参考帧9和/或13(未标出)将帧10编码为B帧；参考帧9和/或13将帧12编码为B帧，等等。
在本实施例中，编码序列的每个I帧和P帧用作另一帧的参考帧。但B帧不作为其它任何帧的参考图像。因此，RPON与所有I帧和P帧相关联，如图5的第三行所示。可以看到，RPON每次增加1。因此，帧1(I帧)的RPON为1，帧4(P帧)的RPON为2，以及帧9(P帧)的RPON为3。
图5的第四行说明编码帧的时间参考(TR)。在图4所示的实例中，所示的各帧的TR与输入到10的原始信号中出现的顺序相同。
考虑终端1从终端2接收编码的视频数据，参照视频编解码器10的解码作用对其操作进行说明。终端1从发送终端2接收多媒体信号。分用器50对多媒体信号进行分用，并将视频数据传递给视频编解码器10，以及将控制数据传递给控制管理器40。视频编解码器的解码器200通过对数据进行逆量化、逆DCT变换以及运动补偿，对编码的视频数据进行解码。解码器的控制器124检验所接收数据的完整性，如果检测到差错，则尝试以下述方式来隐藏该差错。然后输出经过解码、纠错以及隐藏的视频数据，以便在接收终端1的显示器70中再现。
视频数据中的差错可能出现在图像层、GOB层或宏块层。差错检验可在任何层或所有层上进行。
首先考虑如图4所示的信号，当根据本发明的解码器接收这个信号时，对该信号的每帧以传统方式进行解码，然后显示在显示装置上。可按照传统方式对经过解码的帧进行纠错及隐藏差错。每次对帧进行解码时，解码器检查TR字段以确定显示该帧的时间。如果TR不是连续的(例如，解码器收到TR＝1的帧，然后收到TR＝4的帧)，按照常规，解码器将帧1保持在显示器上的时间是通常帧周期的三倍。解码器还检查接收的帧的RPON。在图4所示的情况下，解码器接收帧1，并确定该帧具有RPON＝1；然后，解码器接收TR＝4且RPON＝2的帧。解码器将当前接收的帧的RPON与以前接收的帧的RPON进行比较，并计算这些RPON值之差。在这种情况下，差值为1，因此解码器知道在当前帧和以前解码的参考帧之间没有丢失参考图像。因此，解码器继续以常规方式对信号进行解码。
下面假定解码器无法重构帧5(可能是由于数据被过多破坏或完全丢失)而且解码器所接收并解码的下一帧是帧6。解码器将当前所接收的帧(帧6)的RPON与以前接收并解码的帧(帧4)的RPON进行比较，并计算这些RPON值之差。在这种情况下，差值为2，因此，解码器知道在当前帧的传输和前一帧的传输之间丢失了参考图像。如果解码器具有向发送视频编码器发送控制反馈数据的装置，解码器就可以向发送视频编码器发送请求，以便将帧编码为INTRA帧，从而停止由于参考帧4对帧6进行解码而产生的时间差错传播。
下面考虑如图5所示的信号，当根据本发明的解码器接收这个信号时，按常规方式对该信号的每帧进行解码，然后显示在显示装置上。可按常规方式对经过解码的帧纠错及隐藏差错。每次对帧进行解码时，解码器检查TR字段以确定显示该帧的时间。解码器还检查所接收的帧的RPON。
在图5所示的情况下，解码器接收帧1，并确定该帧具有RPON＝1。解码器按常规的INTRA模式对该帧进行解码。解码器所接收的下一帧则是具有TR＝6且RPON＝2的帧6。解码器将当前接收的帧(帧6)的RPON与以前接收并解码的参考帧(帧1)的RPON进行比较，并计算这些RPON之差。在这种情况下，差值为1，因此，解码器知道在当前帧的传输和以前解码的参考帧的传输之间没有丢失参考图像。随后，解码器参考帧1对帧6进行解码。
然后，解码器接收具有TR＝4而且没有RPON的帧。在这种情况下，解码器不再使用RPON，而参考经解码的帧1和6对帧4进行解码。
下面假定解码器无法重构帧5(这可能是由于数据被过多破坏或完全丢失)。B帧5丢失的事实对解码器不重要，因为B帧不形成其它任何帧的参考图像，因此，它的丢失不会引入任何时间差错传播。
下一个待接收的帧是帧9。不过，这里假定解码器无法重构作为P帧的帧9(可能是由于数据被过多破坏或完全丢失)。因此，解码器可能无法顺利地对帧7、8、10或12中任一个进行解码，因为它们可能都是至少部分地参考帧9来预测的。在这种情况下，解码器通常会冻结所显示的图像。
解码器所接收并解码的下一帧是帧13。解码器将当前接收的参考帧(帧13)的RPON与以前所接收并解码的参考帧(帧6)的RPON进行比较，并计算这些RPON之差。在这种情况下，差值为2，因此，解码器知道在当前帧和以前解码的参考帧之间丢失了参考图像。如果解码器具有向发送视频编码器发送控制反馈数据的装置，解码器就可以向发送视频编码器发送请求，以便将帧编码为INTRA帧，从而停止由于参考帧6对帧13进行解码而产生的时间差错传播。
下面参照H.263视频编码标准来说明如何可将参考图像序号包含在编码信号中。
图6说明根据H.263所知的比特流的语法。以下实现说明了GOB格式，但是，本领域的技术人员应当清楚，本发明也可按照片段格式来实现。
如前文所提到的，比特流具有四层图像层、图段层、宏块层以及块层。图像层包括图像信头，其后是块组的数据，最后是可选序列结束码及填充位。
先有技术H.263比特流被格式化成如图6所示。每个部分的描述符如下PSC 图像开始码(PSC)指示图像的开始TR 通过把时间上的前一参考图像信头中的TR值加一并且加上自先前发送的一个以来跳过的或非参考图像的数目来形成时间参考(TR)PTYPE其中，PTYPE包括图像编码类型、即INTRA或INTER
的详细情况PQUANT指示直到由任何后续量化器信息更新为止用于图像的量化器的码字CPM 用信号通知可选的连续出现多点和视频复用(CPM)模式的使用的码字PSBI 图像子比特流指示符—仅在设置了CPM时出现TRB 在帧为双向预测帧(称作PB帧)的情况下出现DBQUANT 在双向帧的情况下出现PEI 这涉及额外插入信息，并设置为“1”以表示下列可选数据字段PSUPP和PEI的出现。PSUPP和PEI统称为补充增强信息，在H263的附录L中有进一步定义GOBS 是当前图像的块组的数据ESTF 为获得EOS之前的字节对齐而提供的填充码字EOS 表示图像的数据序列的结束的码字PSTUF 供下一图像开始码PSC的字节对齐用的填充码字如图4所示的结构不包括可选的PLUSTYPE数据字段。PSBI仅在CPM指示的情况下出现。TRB和DBQUANT仅在PTUPE指示使用了所谓的PB帧模式的情况下出现(出现PLUSTYPE字段并且其中指示使用了DBQUANT的情况除外)。H.263规范中更详细地陈述了这些事项。
下文概述了根据本发明第一方面的编码器所输出的比特流的可能的实现。
参考图像序号可以按如下方式结合到H.263比特流中。图7说明根据本发明的第一种实现的编码器所输出的比特流的实例。如图7所示，比特流包括另一个码字RPON，这是一个表示参考图像序号的码字。如上所述，它由根据本发明的编码器插入。
或者，参考图像序号可以包含在补充增强信息PSUPP中(参阅H.263的附录L以及图4)。补充信息可以出现于比特流中，即使解码器也许不能提供增强功能来使用它或者甚至是正确地解释它。简单地丢弃补充信息是解码器可允许的，除非发射机和接收机已协商了提供所请求功能的需要。
如果PEI设置为“1”，则随后有9位，其中包括8位数据(PSUPP)以及另一个指示是否随后还有9位的PEI位，等等。
PSUPP数据包括一个4位函数类型指示FTYPE，随后有一个4位参数数据大小规格DSIZE，随后是函数参数数据的DSIZE字节，其后可选地跟随另一个FTYPE，等等。已知采用这种PSUPP码字来以信号方式通知各种情况，比如指示整个图像或部分图像在调整或不调整大小的情况下冻结或取消冻结请求；标记视频流中的特定图像或图像序列以供外部使用；或者为视频合成传送色键信息。
为了采用补充增强信息来实现本发明，另一个FTYPE被定义为参考图像序号。
图8说明一个实例，其中，参数RPON包含在图像信头的SEI中。FTYPE被定义为RPON。DSIZE指定参数大小，随后的字节是参数数据、即RPON的值。根据该值，接收解码器能够确定是否丢失了参考图像。
或者，信息可以包含在附加的补充增强信息中，如“新附录W的草案附加补充增强信息规范”(P.Ning和S.Wenger，ITU-T Study Group16 Question 15 Document Q15-I-58，1999年11月)所述。
在该提议草案中，FTYPE 14被定义为“图像消息”。在设置了这个FTYPE时，图像消息函数指示一个或多个代表消息数据的八位字节的出现。消息数据的第一个八位字节是具有如图9所示结构的消息信头，即CONT、EBIT以及MTYPE。DSIZE等于与图像消息函数对应的消息数据中八位字节的数量，包括第一个八位字节消息信头。
继续字段CONT如果等于1，则表示与图像消息相关的消息数据是与和下一图像消息函数相关的消息数据相同的逻辑消息的一部分。结束比特位置字段EBIT指定最后一个消息字节中应忽略的最低有效位的数量。这些字段的详细情况可查阅上述附录W的草案。
字段MTYPE指示消息的类型。附录W的草案中建议了各种类型的消息。根据本发明，一种类型、如MTYPE 12被定义为RPON或图像编号。消息包含两个带有10位图像编号的数据字节。因此，DSIZE应当为3，CONT应为0，以及EBIT应为6。在10位模运算中，对于每个经编码并发送的I或P图像或PB或改进的PB帧，图像编号应当加1。对于EI和EP图像，对于相同可缩放性增强层内的每个EI或EP图像，应增大图像编号。对于B图像，应相对于B图像的参考层中按比特流顺序在B图像之前(时间上在B图像之后的图像)的最近的非B图像的值来增大图像编号。如果相同增强层中的相邻图像具有相同的时间参考，并且如果正在使用参考图像选择模式(参见附录N)，则解码器应将这种情况看作是已经发出大致相同图像场景内容的冗余副本的指示，并且所有这些图像应共用相同的图像编号。如果相同增强层中的两个连续接收的非B图像的图像编号之差(模1024)不为1，并且如果这些图像不表示上述大致相同的图像场景内容，则解码器可推断图像丢失或数据损坏。在消息信头之后的八位字节中定义RPON的值。
在一个特定实例中，这种消息包含一个数据字节，即DSIZE为2，CONT为0，以及EBIT为0。
参考图像序号在以前编码的参考图像的相应编号的基础上加1。增量结果的最低有效的8位放置在与该消息相关的数据字节中。
本发明还可根据H.263的附录U来实现。
参照对双向预测图像(B图像)进行编码的编码视频流进行以上描述。如上所述，B图像决不用作参考图像。由于它们可以被丢弃而不会影响后续图像的图像质量，因此，它们提供了时间可缩放性。可缩放性允许在一个以上的质量等级上对压缩视频序列进行解码。换句话说，可以对可缩放的多媒体剪辑进行压缩，使得它能够以不同的数据率在信道上进行传递，并且仍然可对其实时地解码和重放。
因此，视频流可以按照不同方式通过不同的解码器进行解码。例如，如果这是解码器能够获取的最大解码速率，则该解码器可以决定仅对信号的I和P图像进行解码。不过，在解码器有能力的情况下，它也可以对B图像进行解码，从而提高图像显示速率。因此，通过仅对I和P图像进行解码的解码器，会增强显示图像的所感受图像质量。
通常对可缩放多媒体进行排序，使得存在数据的分层。基层包含多媒体剪辑的基本表示，而增强层则包含处于基础层之上的提炼数据。因此，增强层改进了剪辑的质量。
可缩放性是多机种、易出错环境所需要的特性。需要这种特性以防止某些限制，诸如比特率、显示分辨率、网络吞吐量以及解码器复杂度上的约束。
在分层编码与传输优先化相结合的传输系统中，可缩放性能够用来改进差错恢复力。这里，术语“传输优先化”是指在传输中提供不同质量的业务的各种机制，包括不等差错保护，以便提供具有不同差错/丢失率的不同信道。数据可根据其特性进行不同的分配。例如，基层可通过具有高度差错保护的信道进行传送，而增强层则可通过较易出错的信道进行传送。
一般来说，与不可缩放编码相比，可缩放多媒体编码会遇到较差的压缩效率。换句话说，与编码成具有同等质量的不可缩放单层剪辑相比，编码成具有增强层的可缩放多媒体剪辑的多媒体剪辑需要更大的带宽。但是，这种一般规则存在例外情况，例如视频压缩中的时间上可缩放的B帧。
本发明可应用于其它可缩放视频压缩系统。例如，H.263附录O中定义了两种其它形式的可缩放性信噪比(SNR)可缩放性和空间可缩放性。
空间可缩放性和SNR可缩放性密切相关，唯一差别在于通过空间可缩放性所提供的经提高的空间分辨率。SNR可缩放图像的一个实例如图10所示。SNR可缩放性是指创建多速率比特流。它允许恢复原始图像与其重构图像之间的编码差错或差异。这是利用更精细的量化器对增强层中的差异图像进行编码来实现的。这种附加信息增大了整个再现图像的SNR。
空间可缩放性允许创建多分辨率的比特流，以满足不同的显示要求和/或约束。图11说明一种空间上可缩放的结构。它与SNR可缩放性基本相同，不同之处在于空间增强层尝试恢复重构的参考层图像的上升抽样形式与原始图像的较高分辨率形式之间的编码损失。例如，如果参考层具有四分之一公用中间格式(QCIF)分辨率，而增强层具有公用中间格式(CIF)分辨率，则参考层图像必须相应地进行缩放，使得由其可预测增强层图像。对于单增强层，QCIF标准允许分辨率仅在垂直方向、仅在水平方向或同时在垂直和水平方向上增大到两倍。可以存在多个增强层，每层均在前一层上增加图像分辨率。用于对参考层图像进行上升抽样的内插滤波器在H.263标准中有明确的定义。除了从参考至增强层的上升抽样过程之外，空间缩放图像的处理及语法与SNR缩放图像相同。
无论在SNR还是在空间可缩放性中，增强层图像均称作EI或EP图像。如果增强层图像是以参考层中的图像为基础向上预测的，则增强层图像称作增强I(EI)图像。在这种类型的可缩放性中，参考层表示当前增强层“之下”的层。在某些情况下，当参考层图像的预测较差时，在增强层中会出现图像的静态部分的过度编码，产生不必要的过度比特率。为了避免这种问题，在增强层中允许正向预测。能够从前一增强层图像进行正向预测或者从参考层图像向上预测的图像称作增强P(EP)图像。应当指出，计算向上及正向预测图像的平均值能够为EP图像提供双向预测。对于EI和EP两种图像，根据参考层图像进行向上预测意味着不需要任何运动矢量。在EP图像的正向预测的情况下，需要运动矢量。
根据本发明，如果编码器能够进行多层编码(如H.263的附录O中所述)，则为各层的参考图像提供连续的参考图像序号。它们可与当前图像的增强层编号(ELNUM)相关联。参考图像序号是由相同增强层中前一编码参考图像的相应编号加1。
如图10和11所示，增强层的图像可根据增强层的前面图像和/或根据基层的等效I或P图像进行预测。增强层不可根据参考层中的B图像进行预测。
如果同一增强层中的相邻图像具有相同的时间参考，并且如果正在使用H.263的附录N或附录U，则解码器最好是将这种情况视为已发出大致相同的图像场景内容的冗余副本的指示，并且所有这些图像共用相同的RPON。
根据本发明的解码器在接收到如上所述的多层信号时，尝试以传统方式对该信号进行解码。在各层中，每次对参考图像进行解码时，解码器检查所解码图像的RPON。如果解码器确定增强层中丢失了参考图像，则解码器停止显示来自增强层的图像，直至接收到EI图像。解码器继续对基层进行解码，如上所述。
本发明并未限制于上述视频编码协议它们仅作为示范。本发明适用于任何可采用时间预测的视频编码协议。如上所述的信息增加允许接收解码器确定已丢失了参考图像并采取相应的动作。
权利要求
1.一种对表示图像序列的视频信号进行编码、以形成编码视频信号的方法，所述序列的一些图像是用于对视频序列中的其它图像进行时间预测的参考图像，而所述序列的其它图像是不用于对其它图像进行时间预测的非参考图像，所述方法包括通过不管在连续参考图像之间编码的非参考图像的数量而按编码顺序为连续参考图像分配彼此相差预定量的序列指示符值，以序列指示符值指示参考图像的编码顺序，从而使解码器能够检测参考图像的破坏或丢失。
2.如权利要求1所述的方法，其特征在于所述预定量为1。
3.如权利要求1所述的方法，其特征在于，所述序列指示符值包含在图像信头中。
4.如权利要求1所述的方法，其特征在于，所述视频信号是根据H.263视频编码标准进行编码的，而所述序列指示符值包含在H.263比特流的互补增强信息中。
5.如权利要求1所述的方法，其特征在于，所述序列指示符值与整个图像相关联。
6.如权利要求1所述的方法，其特征在于，所述序列指示符值与部分图像相关联。
7.如权利要求6所述的方法，其特征在于，所述序列指示符值包含在编码图像的图像段信头或者宏块信头中。
8.如权利要求1所述的方法，其特征在于，对所述视频信号进行可缩放编码，并且将序列指示符值与该可缩放的编码视频信号的层相关联。
9.一种对表示图像序列的编码视频信号进行解码、以形成解码视频信号的方法，所述序列的一些图像是用于对视频序列中的其它图像进行时间预测的参考图像，而所述序列的其它图像是不用于对其它图像进行时间预测的非参考图像，所述编码视频信号包括指示所述参考图像的编码顺序的序列指示符值，不管在连续参考图像之间编码的非参考图像的数量，连续参考图像被按编码顺序分配有彼此相差预定量的序列指示符值，所述方法包括-接收所述编码视频信号；-对接收的编码视频信号进行解码，以获得解码参考图像和解码非参考图像；-识别分配给解码参考图像的序列指示符值；以及-将分配给连续解码的参考图像的序列指示符值进行比较，以检测参考图像的破坏和/或丢失。
10.如权利要求9所述的方法，其特征在于还包括当分配给特定参考图像的序列指示符值未连续地跟随分配给紧靠前的已解码参考图像的序列指示符值时，向发射机发送请求，以非时间预测方式对图像进行编码。
11.如权利要求9所述的方法，其特征在于所述预定量为1。
12.如权利要求9所述的方法，其特征在于，所述序列指示符值包含在图像信头中。
13.如权利要求9所述的方法，其特征在于，所述视频信号是根据H.263标准进行编码的，而所述序列指示符值包含在H.263比特流的互补增强信息中。
14.如权利要求9所述的方法，其特征在于，所述序列指示符值与整个图像相关联。
15.如权利要求9所述的方法，其特征在于，所述序列指示符值与部分图像相关联。
16.如权利要求15所述的方法，其特征在于，所述序列指示符值包含在编码图像的图像段信头或者宏块信头中。
17.如权利要求9所述的方法，其特征在于，所述视频信号经可缩放编码，并且序列指示符值与该可缩放的编码视频信号的层相关联。
18.一种表示图像序列的编码视频信号，所述序列的一些图像是用于对视频序列中的其它图像进行时间预测的参考图像，而所述序列的其它图像是不用于对其它图像进行时间预测的非参考图像，所述编码视频信号包括指示所述参考图像的编码顺序的序列指示符值，不管在连续参考图像之间编码的非参考图像的数量，连续参考图像被按编码顺序分配有彼此相差预定量的序列指示符值，从而使解码器能够检测参考图像的破坏或丢失。
19.如权利要求18所述的编码视频信号，其特征在于所述预定量为1。
20.如权利要求18所述的编码视频信号，其特征在于，所述序列指示符值包含在图像信头中。
21.如权利要求18所述的编码视频信号，其特征在于，所述视频信号是根据H.263视频编码标准进行编码的，而所述序列指示符值包含在H.263比特流的互补增强信息中。
22.如权利要求18所述的编码视频信号，其特征在于，所述序列指示符值与整个图像相关联。
23.如权利要求18所述的编码视频信号，其特征在于，所述序列指示符值与部分图像相关联。
24.如权利要求23所述的编码视频信号，其特征在于，所述序列指示符被包含在编码图像的图像段信头或者宏块信头中。
25.如权利要求18所述的编码视频信号，其特征在于，所述编码视频信号是可缩放地编码的，并且序列指示符值与该可缩放的编码视频信号的层相关联。
26.一种用于对表示图像序列的视频信号进行编码、以形成编码视频信号的装置，所述序列的一些图像是用于对视频序列中的其它图像进行时间预测的参考图像，而所述序列的其它图像是不用于对其它图像进行时间预测的非参考图像，所述装置配置为通过不管在连续参考图像之间编码的非参考图像的数量而按编码顺序为连续参考图像分配彼此相差预定量的序列指示符值，以序列指示符值指示参考图像的编码顺序，从而使视频解码器装置能够检测参考图像的破坏或丢失。
27.如权利要求26所述的装置，其特征在于所述预定量为1。
28.如权利要求26所述的装置，其特征在于，所述序列指示符值包含在图像信头中。
29.如权利要求26所述的装置，其特征在于，所述装置配置为根据H.263视频编码标准对所述视频信号进行编码，以及将所述序列指示符值包含在H.263比特流的互补增强信息中。
30.如权利要求26所述的装置，其特征在于，所述装置配置为将所述序列指示符值与整个图像相关联。
31.如权利要求26所述的装置，其特征在于，所述装置配置为将所述序列指示符值与部分图像相关联。
32.如权利要求31所述的装置，其特征在于，所述装置配置为将所述序列指示符值包含在编码图像的图像段信头或者宏块信头中。
33.如权利要求26所述的装置，其特征在于，所述装置配置对所述视频信号进行可缩放编码，以及将序列指示符值与该可缩放的编码视频信号的层相关联。
34.一种用于对表示图像序列的编码视频信号进行解码、以形成解码视频信号的装置，所述序列的一些图像是用于对视频序列中的其它图像进行时间预测的参考图像，而所述序列的其它图像是不用于对其它图像进行时间预测的非参考图像，所述编码视频信号包括指示所述参考图像的编码顺序的序列指示符值，不管在连续参考图像之间编码的非参考图像的数量，连续参考图像被按编码顺序分配有彼此相差预定量的序列指示符值，所述装置配置为-接收所述编码视频信号；-对接收的编码视频信号进行解码，以获得解码参考图像和解码非参考图像；-识别分配给解码参考图像的序列指示符值；以及-将分配给连续解码的参考图像的序列指示符值进行比较，以检测参考图像的破坏和/或丢失。
35.如权利要求34所述的装置，其特征在于所述装置还配置为向发送器发送请求，请求其在分配给特定参考图像的序列指示符值不连续地跟随与紧靠前的已解码参考图像相关的序列指示符值时，以非时间预测方式对图像进行编码。
36.如权利要求34所述的装置，其特征在于所述预定量为1。
37.如权利要求34所述的装置，其特征在于，所述序列指示符值包含在图像信头中。
38.如权利要求34所述的装置，其特征在于，所述视频信号是根据H.263视频编码标准进行编码的，而所述序列指示符值包含在H.263比特流的互补增强信息中。
39.如权利要求34所述的装置，其特征在于，所述序列指示符值与整个图像相关联。
40.如权利要求34所述的装置，其特征在于，所述序列指示符值与部分图像相关联。
41.如权利要求40所述的方法，其特征在于，所述序列指示符值包含在编码图像的图像段信头或者宏块信头中。
42.如权利要求34所述的装置，其特征在于，所述视频信号经可缩放编码，并且序列指示符值与该可缩放的编码视频信号的层相关联。
43一种便携式无线通信设备，其包括如权利要求26所述用于对视频信号进行编码的装置和如权利要求34所述用于对编码视频信号进行解码的装置的至少其中之一。
44.一种多媒体终端设备，其包括如权利要求26所述用于对视频信号进行编码的装置和如权利要求34所述用于对编码视频信号进行解码的装置的至少其中之一。
全文摘要
一种对表示图像序列的视频信号进行编码的方法，该方法既采用非时间预测又采用时间预测，其中所述方法包括对于构成用于另一图像的时间预测的参考图像的每个图像，将指示符与每个这样的图像相关联，该指示符指示编码视频信号中的参考图像相对于编码视频信号中的其它参考图像的时间顺序。
文档编号H04N7/64GK1856111SQ20061008195
公开日2006年11月1日 申请日期2001年5月11日 优先权日2000年5月15日
发明者M·汉努克塞拉 申请人:诺基亚有限公司