专利名称：用于解码/编码视频信号的方法及装置的制作方法
技术领域：
本发明涉及一种视频信号编/解码方案。
背景技术：
压缩编/解码是指一系列的信号处理技术，用于通过通信电路传输数字化信息， 或者以合适的存储媒介的形式存储此数字化信息。压缩编/解码的对象有音频、视频、字符等。尤其是，对视频执行压缩编码的技术被称为视频序列压缩。通常，视频序列的特征在于包含空间冗余或时间冗余。可伸缩视频编码比特流可被选择性地只部分解码。例如，具有低复杂度的解码器能够解码基本层，低数据率的比特流可被提取以用于通过有限容量的网络被传输。为了能进一步逐渐地生成高分辨率的图像，需要逐步提高序列的图像质量。
发明内容
本发明的目的在于提高视频信号的编/解码效率。因此，本发明是针对一种编/解码视频信号的方法，其充分避免了因相关技术的限制和缺点而导致的一个或多个问题。本发明的一个目的在于定义一种对于编码解码器(codec)的兼容性的语法，由此提高不同类型的编码解码器间的兼容性。本发明的另一个目的在于定义一种用于重写可伸缩视频编码比特流的语法，从而提高编码解码器间的兼容性。本发明的另一个目的在于限定一种语法，此语法用于表示是否于适当位置存储参考基本图像，从而提高编码解码器间的兼容性。本发明的另一个目的在于定义一种语法，此语法用于表示是否在适当位置存储参考基本图像，从而有效地管理解码图像缓存区(decodedpicture buffer)。本发明的另一个目的在于通过用于表示是否在适当位置存储参考基本图像的语法，有效地执行解码图像标记。本发明的另一个目的在于提供一种解码方法，由此，最小化因传输过程中产生的错误而导致的视频信号解码过程中的问题。本发明的另一个目的在于提供一种方法，通过最小化视频信号的解码过程中所产生的问题的解码方案来管理解码图像缓存区，其中此问题由传输过程产生的错误所导致。因此，本发明提供以下效果或优点。首先，编/解码视频信号时，通过定义用于编码解码器的兼容性的语法，本发明可提高不同类型的编码解码器间的兼容性。例如，用于把可伸缩视频编码比特流变换为AVC(先进视频编码)的编码解码器所编码的比特流从而增强编码解码器间的兼容性的语法结构。第二，解码图像缓存区(DPB)通过本发明被更加有效地管理；从而减少解码图像缓存区上所施加的负担。因此，可提高编/解码速度。第三，通过使用关于可伸缩视频序列的各种配置信息，本发明可实现更加有效的
编/解码。
本发明所包括的附图用于提供对本发明的进一步理解，它们被结合在此并构成了本说明书的一部分，这些附图示出了本发明的实施例，并且与说明书一起用于解释本发明的原理。 附图中图1为根据本发明的可伸缩视频编/解码系统的示意框图；图2为根据本发明的一个实施例的可增加至可伸缩视频编码比特流的可伸缩序列的配置信息图；图3为根据本发明的一个实施例的用于解释存储和使用参考基本图像的过程的可伸缩视频编码的各种可伸缩结构的图；图4为根据本发明的一个实施例的参考基本图像的存储过程的流程图；图5为根据本发明的一个实施例的用于存储和标记参考基本图像的语法的结构图；图6为根据本发明的一个实施例的用于存储和标记参考基本图像的语法的结构图；以及图7至图12分别为根据本发明的一个实施例的获得用于表示是否在缓存区中存储当前NAL单元的标志信息的语法的结构图。
具体实施例方式本发明的其他优点及特征将在下面的描述中被说明，且其部分将可从描述中被了解，或可通过实施本发明而得到。本发明的目的及其他优点将可通过说明书及其权利要求以及附图中所具体指出的结构来实现并获得。为了实现这些和其他优点，并根据如同包括并广泛描述的本发明的目的，根据本发明的一种解码视频信号的方法包括当第一部分图像和第一完整图像相应于第一时间点时，决定是否存储该第一部分图像；存储该第一部分图像，以用于参考该第一部分图像解码第二完整图像，该第二完整图像相应于第二时间点，该第二时间点位于该第一时间点之后； 其中，该第一部分图像在可伸缩域上的级别低于该第二完整图像在可伸缩域上的级别。优选地，上述方法进一步包括提取表示是否存储第二部分图像的标志信息，该第二部分图像相应于解码的第二完整图像。为了进一步实现这些和其他优点，并根据本发明的目的，根据本发明的一种解码视频信号的方法，包括检查限制标志信息，该限制标志信息用于限制对于编码解码器的兼容性的特定语法；基于该限制标志信息获得第一标志信息，该第一标志信息表示是否在缓存区中存储参考基 本图像；和利用根据该第一标志信息被存储的该参考基本图像解码该视频信号。为了进一步实现这些和其他优点，并根据本发明的目的，根据本发明的用于解码视频信号的装置包括识别信息检查单元，用于检查限制标志信息，该限制标志信息用于限制对于编码解码器的兼容性的特定语法；和解码图像缓存区单元，用于基于第一标志信息在缓存区中存储基本图像，该第一标志信息表示是否在该缓存区中存储参考基本图像，其中，从检查该限制标志信息的结果中获得该第一标志信息。可以理解的是以上的一般描述和以下的详细描述都是示例的和解释性的，并且可以提供对本发明的权利要求的进一步说明。现在将参考本发明优选实施例进行详细说明，其例子已表示在附图中。首先，对视频信号数据的压缩编/解码考虑空间冗余、时间冗余、可伸缩冗余、视角间冗余。考虑可伸缩冗余的压缩编/解码只是本发明的一个实施例。但是本发明的技术构思可适用于时间冗余、空间冗余、视角间冗余等。本说明书中所指的“编/解码(coding) ”包含编码(encoding)和解码(decoding) 两个概念，可以根据本发明的技术构思和技术范围灵活地进行解释。在视频信号的比特序列配置中，存在称之为NAL(Network Abstraction Layer，网络提取层)的分离的层结构，其位于执行运动图像编码过程的VCL(Video Code Layer，视频编码层)和传输并存储编码信息的低层系统之间。编码过程的输出为VCL数据，传输或存储之前通过NAL单元被映射。各个NAL单元包含压缩的视频数据或相应于头信息的数据 RBSP (Raw Byte Sequence Payload，原始字节序列载荷运动图像压缩的结果数据)。NAL单元主要包括NAL单元头和RBSP两部分。NAL单元头包括表示是否包含作为该NAL单元的参考图像的条带的标志信息(nal_ref_idC)和表示NAL单元的类型的识别符 (nal_unit_type)。在RBSP中存储经过压缩的原始数据。并且，为了使RBSP的长度表示为 8比特的倍数，在RBSP的末尾加入RBSP拖尾比特(RBSP trailing bit)。NAL单元的类型有 IDR(Instantaneous Decoding Refresh，艮时角军码屈Ijf )图像，SPS (Sequence Parameter Set,序列参数集)，PPS (Picture Parameter Set,图像参数集)SEI (Supplemental Enhancement Information,补充增强信息)等。因此，如果表示上述NAL单元的类型的信息(nal_imit_type)表现为可伸缩视频编码条带的话，可通过增加与上述可伸缩编/解码有关的各种配置信息来提高编/解码效率。举例来说，可以增加表示当前接入单元是否为即时解码刷新(以下简称为IDR)接入单元的标志信息，表示空间可伸缩性的依赖关系识别信息(cbpendency identification information)，质量识别信息，表示参考基本图像是否被用作参考图像的标志信息，优先级识别信息等。为了更加有效地管理解码图像缓存区，可以使用各种可伸缩编/解码的配置信息，下面将参考图2对其进行详细说明。在标准化中，为了能以适当的费用购买目标产品，规定了对于各种简表和级别的要求。这种情况下，解码器必须满足根据相应简表和级别中所确定的要求。因此，定义了 “简表”和“级别”两种概念来表示函数或参数，其用于表示解码器可以处理的被压缩序列的范围的大小。简表识别符(profile_idC)可以识别比特流基于预定的简表。简表识别符是表示比特流所基于的简表的标志。举例来说，H. 264/AVC中，简表识别符为66，这是指比特流基于基准简表；简表识别符为77的话，是指以主要简表为基础，简表识别符为88的话，是指比特流以扩展简表为基础。而且，上述简表识别符包含在序列参数集中。
因此，为了处理可伸缩序列，需要识别输入比特流是否为用于可伸缩序列的简表， 如果输入比特流识别为用于可伸缩序列的简表的话，有必要增加语法使得用于可伸缩序列的一个以上的附加信息可被传输。这里用于可伸缩序列的简表，作为H. 264/AVC的附加方案，表示用于处理可伸缩视频的简表模式。因为对于传统AVC技术来说，SVC为附加方案，所以，和无条件增加语法相比，增加语法作为用于SVC模式的附加信息更为有效。举例来说，当AVC的简表识别符表示为用于可伸缩序列的简表时，如果增加关于可伸缩序列的信息的话，则可提高编/解码效率。序列参数集表示头信息，其中头信息包含存在于整个序列的编码中的信息，例如简表、级别等。整个压缩运动图像，即序列应该开始于序列头处。因此，相应于头信息的序列参数集应该在依赖于此参数集的数据到达之前先到达解码器。即，序列参数集RBSP承担用于运动图像压缩的结果数据的头信息的角色。一旦输入比特流，简表识别符优先识别出输入的比特流基于多个简表中的哪一个。以下解释有效的视频信号解码方法的多个实施例。图1为根据本发明的可伸缩视频编码系统的示意框图。为了提供对于各种通信环境和各种终端的优化序列，提供到终端的序列应该是多样化的。如果某个终端的优化序列被提供到相应终端的话，则表示针对各种参数(包括每秒的传输帧数，分辨率，每像素的比特数等)的组合值来准备单个序列源。因此，优化序列对内容提供商施加了负担。因此，内容提供商把原始序列编码为高比特率的压缩序列数据。在接收到由终端做出的序列请求时，内容提供商解码原始序列，把其编码为适合于终端的序列处理能力的序列数据，并且然后把该编码数据提供给终端。因为该代码转化伴随着编码_解码_编码过程，所以在提供序列的过程中不可避免地产生时间延迟。因此，另外需要复杂的硬件设备和算法。可伸缩视频编码(SVC)是一种以最佳图像质量编码视频信号的编码方案，以使得所产生的图像序列的部分序列能通过解码表现为序列。这里，部分序列是指由从整个序列中被间歇地挑选出来的帧构成的序列。对于由SVC编码的图像序列，对于低比特率利用空间可伸缩性，可缩减序列尺寸，并且也可使用质量可伸缩性降低序列的图像质量。这里，具有小屏幕和/或低的每秒帧数的图像序列可被称为基本层，且具有相对大屏幕和/或相对高的每秒帧数的序列可被称为被增强的或增强层。上述可伸缩方案所编码的图像序列通过仅接收和处理部分序列的方式以实现低图像质量的序列表示。如果比特率被降低，则图像质量也降低地相当大。为了解决图像质量的降低问题，可提供低比特率的分离的辅助图像序列，例如包含小屏幕和/或每秒较少帧数的图像序列。这种辅助序列可被称为基本层，而主图像序列可被称为被增强的或增强层。以下详细解释可伸缩视频编码系统。首先，可伸缩视频编码系统包含编码器102和解码器110。编码器102包含基本层编码单元104、增强层编码单元106以及复用单元108。解码器Iio可包含去复用单元112、基本层解码单元114以及增强层解码单元116。通过压缩输入的序列信号X(η)，基本层编码单元104能够产生基本比特流。 使用输入的序列信号X (η)和基本层编码单元104所产生的信息，增强层编码单元 106可以产生增强层比特流。并且，使用基本层比特流和增强层比特流，复用单元108能够产生可伸缩比特流。所产生的可伸缩比特流通过指定信道被传送至解码器110。通过解码器110的去复用单元112，传输的可伸缩比特流可被分离为增强层比特流和基本层比特流。基本层解码单元114接收并解码基本层比特流为输出序列信号Xb(n)。增强层解码单元116接收增强层比特流，并且参考基本层解码单元114所重建的信号，解码增强层比特流为输出序列信号Xe(n)。这里，输出序列信号Xb (η)是具有比之后的输出序列信号Xe (η)低的图像质量或分辨率的序列信号。可伸缩视频编码过程中，当特定图像通过编码增强层而被传输时，增强层比特流可能在相应的传输期间被部分损坏。这种情况下，因为解码器110使用损坏的增强层比特流解码相应图像，因此原始序列与解码序列在图像质量方面有所不同。特别地，如果存在这种问题的图像是为具有最低时间级别的解码另一图像所需的参考图像的话，则此问题会愈加严重。因此，具有最低时间级别的图像需要更加有效地被管理。这将在下面通过参考图 3和图4来加以详细解释。根据本发明的一个实施例，解码图像缓存区(DPB)使得在可伸缩视频编码中可实现完整图像和部分图像的可伸缩存储或者标记。这种情形中，完整图像(full picture)表示具有最高质量级别的图像，而部分图像(partial picture)表示具有最低质量级别的图像。或者，完整图像和部分图像可分别被定义为表示相对高和低的质量级别。例如，如果质量级别被分为5级(0-4)，部分图像可属于质量级别为0至3的例子。 完整图像可属于质量级别为4的例子。或者，只有质量级别为0的情形相应于部分图像。同时，第一时间点处的部分图像在用作参考图像之前需要被存储。因此，为了解码位于第一时间点之后的第二时间点的局部或完整图像，第一时间点处的部分图像可被用作参考图像。并且第一时间点处的完整或部分图像可自适应地被用作参考图像。图2为根据本发明的一个实施例的可增加至可伸缩视频编码比特流的可伸缩序列的配置信息的图。图2示出了使得可伸缩序列上的配置信息被增加于其上的NAL单元的结构示例。NAL单元主要包含NAL单元头和RBSP (原始字节序列载荷运动图像压缩的结果数据)。NAL单元头可包含表示该NAL单元是否包含参考图像的条带的识别信息(nal_ ref_idc)和表示NAL单元的类型的信息(nal_unit_type)。并且，在一定限制下可包括NAL单元头的扩展区域。例如，如果用于表示NAL单元类型的信息和可伸缩视频编码相关或者表示前缀 NAL单元，则NAL单元可包含NAL单元头的扩展区域。尤其，如果nal_unit_type等于20 或14，NAL单元可包含NAL单元头的扩展区域。根据能够识别是否为SVC比特流的标志信息(SVC_mVC_f lag)，多视角(multi-view)序列的配置信息可被增加至NAL单元头的扩展区域。另一例子，如果用于表示NAL单元的类型的信息是表示子集序列参数集的信息， 则RBSP可包含关于子集序列参数集的信息。尤其，如果nal_imit_type等于15，则RBSP可包含关于子集序列参数集的信息。这种情形中，根据简表信息，子集序列参数集可包含序列参数集的扩展区域。例如，如果简表信息(profile_idC)为与可伸缩视频编码相关的简表， 子集序列参数集可包含序列参数集的扩展区域。或者，根据简表信息，序列参数集可包含序列参数集的扩展区域。序列参数集的扩展区域可包含限制标志信息，以用于为编码解码器的兼容性限制特别的语法。以下详细解释关于可伸缩序列的各种配置信息，例如可包含于NAL单元头的扩展区域中的配置信息，或者可包含于序列参数集的扩展区域中的配置信息。首先，表示空间可伸缩性的识别信息是指表示识别NAL单元的依赖关系的信息。 例如，依赖关系根据空间分辨率而变化。图3中，Spa_LayerO和Spa_Layerl的图像可具有相同的分辨率。Spa_Layer0的图像可包含通过对Spa_Layerl中的图像执行下采样而获得的图像。尤其，假设识别NAL单元的依赖关系的信息被命名为cbpendencyjd，Spa_LayerO 中的图像具有cbpendency_id = 0的关系，Spa Layerl的图像则具有cbpendency_id = 1 的关系。可采用多种方式定义依赖关系识别信息。因此，具有相同值的识别依赖关系的信息NAL单元可表示为依赖关系表示(dependencyrepresentat ion)。质量识别信息表示用于识别NAL单元的质量的信息。例如，单个图像可被编码为质量不同的图像。图3中，Spa_LayerO和Spa_Layerl中的图像可被编码为彼此质量不同的图像。尤其，假设用于识别NAL单元的质量的信息被命名为qualityjd，图像B1、B2、…、 BlO可被设定为qualityjd = 0。并且，图像Q1、Q2、…、QlO可被设定为qualityjd = 1。 即，图像Bi、B2、…、BlO表示包含最低图像质量的图像。这些被称为基本图像。图像Q1、 Q2、…、QlO可以包含图像B1、B2、…、B10，并且图像质量好于图像Bi、B2、...、B10。可采用多种方式定义质量识别信息。例如，质量识别信息可表示为16个级别。同时，根据识别依赖关系的信息和质量识别信息，可定义单个层。这种情况下， 具有相同数值的识别依赖关系的信息和质量识别信息的NAL单元可表达为层表示(layer representation)。用于表示时间可伸缩性的识别信息是指用于识别NAL单元的时间级别的信息。可以在分级B图像结构中解释时间级别。例如，Spa_LayerO中的图像(B1，Q1)和图像(B3，Q3)可包含相同的时间级别Tem_ LayerO0如果图像(B5, Q5)参考于图像(Bi, Ql)和图像(B3, Q3)，则图像(B5, Q5)可具有比图像(B1,Q1)或图像(B3，Q3)的时间级别Tem_LayerO更高的时间级别Tem_Layerl。同样，如果图像(B7, Q7)参考于图像(Bi, Ql)和图像(B5, Q5)，则图像(B7, Q7)可具有比图像(B5，Q5)的时间级别Tem_Layerl更高的时间级别Tem_Layer2。单个存取单元内的全部 NAL单元可包含相同的时间级别。IDR存取单元的例子中，时间级别值可变为0。标志信息用于表示参考基本图像是否被用作参考图像，此标志信息表示帧间预测(inter-prediction)过程中参考基本图像是否用作参考图像或者解码图像是否被用作参考图像。相同层的NAL单元，即包含相同的识别依赖关系的信息的NAL单元的标志信息可包含相同的值。优先级识别信息表示用于识别NAL单元的优先级的信息。使用优先级识别信息可提供层间(inter-layer)可扩展性或者图像间(inter-picture)可扩展性。例如，通过使用优先级识别信息可为用户提供各种时间和空间级别的序列。因此，用户可仅仅根据不同的限制条件就可看到特定时间和空间的序列或视图。优先级信息可根据其参考条件采用多种方式而形成。优先级信息可随机形成而无须采用特别参考。并且，优先级信息可由解码器决定。NAL单元头的扩展区域中包含的配置信息可包含用于表示当前存取单元是否为 IDR存取单元的标志信息。图3为根据本发明的一个实施例的用于解释存储和使用参考基本图像过程的可伸缩视频编码的各种可伸缩性结构的图。首先，时间可伸缩性中，可根据帧速率决定视频序列的层。请参考图3，每层中沿向上方向的话，则指更高的时间可伸缩层以表示帧率变得更高。通过把分级B图像或分级P图像的概念应用至H. 264视频编码，可实现时间可伸缩视频编码。例如，在预测属于时间级别TenuLayerl中的图像(B5，Q5)的例子中，图像(B7， Q7，B9，Q9)属于具有比时间级别Tem_Layerl的值更大的时间级别Tem_Layer2，所以无法用作参考图像。然而，图像(Bi，Ql, B3，Q3)属于具有更低时间级别的Ten^LayerO，所以可用
作参考图像。因此，无论是否存在属于比随机时间层更高的层的图像的解码，属于随机时间层的图像可被独立地解码。如果根据解码器的能力判定为可解码级别，则可解码相应帧速率的H. 264兼容视频信号。以下解释图3中的空间可伸缩性。Spa_LayerO和Spa_Layerl中的图像分别包含相同的分辨率。Spa_Layer0的图像是通过对Spa_Layerl中的图像执行下采样而获得的图像。例如，关于NAL单元的识别依赖关系的信息被设定为cbpendencyjd，Spa_LayerO中的图像可被设定为cbpendency_id等于0，Spa_Layerl中的图像可被设定为cbpendency_id 等于1。以下解释质量可伸缩性。空间轴上每层的图像可包含彼此质量不同的图像。例如， 假设用于识别NAL单元的质量的信息被设定为qimlity_id，图像Bi、B2、…、BlO可被设定为quality_id等于0，图像Ql、Q2…、QlO可被设定为quality_id = 1。尤其，图像Bi、 B2、…、BlO表示具有最低图像质量的图像。相反地，图像Q1、Q2…、QlO相应的图像所具有的图像质量高于图像Bi、B2、…、B10。可采用多种方式定义质量识别信息。例如，质量识别信息可表示为16个级别。以下解释根据本发明的一个实施例的存储参考基本图像和使用所存储的参考基本图像进行解码的过程。参考图3中所示的图像，解码顺序可设定为Bi、Ql、B2、Q2、B3、Q3、…、B10、 Q10(l — 2 — 3 — 4 —···，一 9 - 10) O如果当前待解码的图像为B4，图像Bi、QU B2、Q2、B3以及Q3为事先被解码的图像。图像B4相应于具有最低时间级别和最低质量级别的图像。图像B4可参考图像B2，其中图像B2为基本图像。因此，图像B2应该存储于解码图像缓存区中。这种情形中，当解码该已被解码的图像B2时，需要表示图像B2将被存储于解码图像缓存区中以用于以后待编码的图像(例如，图像B4)的标志信息。例如，如果当前NAL单元相应于参考基本图像，则可定义表示是否存储当前NAL 单元于缓存区中的标志信息为 store_ref_base_pic_flago并且可能需要用于表示图像B2是否将被作为基本图像的标记。因此，在图像B2解码之后，解码图像缓存区可标记图像B2作为参考基本图像。完成这些步骤之后，当解码图像B4时，根据st0re_ref_base_pic_flag，图像B4可使用图像B2作为参考图像，其中图像B2存储于解码图像缓存区中，并且被标记为参考基本图像。根据本发明的另一实施例，当前NAL单元相应于最低质量级别并且包含参考图像的条带时，以下解释获得标志信息的过程，此标志信息用于表示是否在缓存区中存储当前 NAL单元。例如，此标志信息可以仅为用于可伸缩视频编码比特流的语法元素。因此，需要能够限制此标志信息的另一信息以用于编码解码器的兼容性。或者，需要能够限制此标志信息的另一信息以使得比特流格式能被变换。例如，可定义用于重写可伸缩视频编码比特流的标志信息，以满足编码解码器的兼容性。为了与前一编码解码器相容，例如，可伸缩视频编码比特流通过AVC编码解码器被解码的情况下，需要将可伸缩视频编码比特流重写为AVC比特流中。这样的话，限制标志信息仅仅可限制应用至可伸缩视频编码比特流的语法信息。通过限定，使用简单的变换过程就可变换可伸缩视频编码比特流为AVC比特流。例如，可表示为sliCe_header_ retrictior^flag。限制标志信息可从序列参数集或子集序列参数集中获得。或者，可从子集序列参数集的扩展区域中获得限制标志信息。可限制仅用于特定编码解码器的语法元素。例如，当前NAL单元相应于最低质量级别并且包含参考图像的条带的情况下，可使用限制标志信息在条带头处限制标志信息， 其中此标志信息用于表示是否在缓存区中存储当前NAL单元。尤其，仅仅当sliCe_header_ retriction_flag = 0 时，可获得 store_ref_base_pic_flag 信息。如果 slice_header_ retriction_flag = 1，则无法获得store_ref_base_pic_flag信息。这扮演了使可伸缩视频编码比特的条带头相等于AVC比特流的头的角色，从而可由AVC编码解码器实现解码。图4为根据本发明的一个实施例的存储参考基本图像的过程的流程图。首先，以下描述中将用到图3。在试图解码与当前图像相对应的图像B4的情况下， 图像B4相应于包含最低时间级别和最低质量级别的图像。即，图像B4可相应于由基本表示(base representation)所表示的基本图像。因此，图像B4可参考图像B2作为基本图像。为了参考图像B2，需要事先将图像B2存储于解码图像缓存区中。以下描述中解释把图像B2存储于解码图像缓存区中以使用图像B2作为参考图像的过程。解码图像B2时，可从当前NAL单元头的扩展区域中获得质量识别信息。质量识别信息表示如同图2所述的最低值时，图像B2的当前NAL单元可相应于基本图像。因此，需要根据所获得的质量识别信息检查图像B2的当前NAL单元是否相应于基本图像(S410)。
因为图像B2将被用作参考图像，这可由NAL单元头被通知。例如，可获得识别信息 (nal_ref_idC)，此识别信息(nal_ref_idC)用于表示当前NAL单元是否包含参考图像的条带。根据此识别信息，需要检查图像B2的当前NAL单元是否包含参考图像的条带(S420)。 根据此识别信息，如果当前NAL单元为基本图像并且包含参考图像的条带，则当前NAL单元可相应于参考基本图像。因此，如果当前NAL单元相应于最低质量级别并且包含参考图像的条带的话，则执行参考图像标记过程。解码图像缓存区的图像标记过程中，参考基本图像可额外地被标记为参考基本图像。这种情形中，可获得用于表示是否存储此参考基本图像的标志信息。为了获得此标志信息，则不应该存在其他标志信息以限制此标志信息。例如，需要检查用于限制对于编码解码器的兼容性的特别语法的限制标志信息(S430)。标志信息可以是从子集序列参数集的扩展区域中获得的信息。尤其，假设用于重写可伸缩视频编码比特流为AVC比特流以用于编码解码器的兼容性的限制标志信息为 SliCe_header_retriCti0n_flag。使用此限制标志信息，可表示涉及到序列参数集的特别语法是否存在于条带头内。基于此限制标志信息，可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(S440)。根据用于表示是否在缓存区中存储当前NAL单元的标志信息，如果当前网络提取层单元被存储，并且如果当前网络提取层单元并非为IDR图像，则可执行解码基本层的参考图像的标记过程。根据用于表示是否在缓存区中存储当前NAL单元的标志信息，如果当前NAL单元被存储，并且如果包含此存储NAL单元的解码图像被标记为参考基本图像，则可使用此参考基本图像解码视频信号(S450)。例如，如果根据标志信息图像B2被存储并且被标记为参考基本图像，则在解码作为当前图像的图像B4时，可使用图像B2作为参考图像。图5为根据本发明的一个实施例的用于存储和标记参考基本图像的语法结构图。图5表示图4中所解释的流程图的技术构思的语法结构的示例。首先，需要在条带头中根据质量识别信息检查当前NAL单元是否相应于基本图像 (S510)。根据用于表示当前NAL单元是否包含参考图像的条带的识别信息nal_ref_idC， 需要检查当前NAL单元是否包含参考图像的条带(S520)。如果当前NAL单元为基本图像并且包含参考图像的条带，则当前NAL单元可相应于参考基本图像。因此，如果当前NAL单元相应于此参考基本图像，则执行参考图像标记过程(S530)。在解码图像缓存区的图像标记过程中，此参考基本图像可被额外地标记为参考基本图像。这种情形中，可获得表示是否存储该参考基本图像的标志信息。为了获得此标志信息，需要检查用于限制对于编码解码器的兼容性的特定语法的限制标志信息(S540)。 标志信息可为从子集序列参数集的扩展区域中获得的信息。例如，用于重写可伸缩视频编码比特流为AVC比特流以用于编码解码器的兼容性的限制标志信息可被设定为 SliCe_header_retriCti0n_flag，通过限制标志信息，可表示涉及到序列参数集的特别语法是否存在于条带头中。根据该限制标志信息，可获得用于表示是否存储此参考基本图像的标志信息(S550)。根据用于表示是否存储此参考基本图像的标志信息，如果此参考基本图像被存储，并且如果此参考基本图像并非为IDR图像(S560)，则可执行标记解码的基本层的参考图像的过程(S570)。或者，可以检查表示参考基本图像是否被用作帧间预测过程中的参考图像或者解码图像是否被用作参考图像的标志信息。作为检查的结果，如果参考基本图像被用作参考图像并且此参考基本图像并非为IDR图像(S560)，则可执行对于标记解码的基本层的参考图像的过程(S570)。图6为根据本发明的一个实施例的用于参考基本图像的存储和标记的语法结构的图。通过NAL单元处理信号时，当前NAL单元之前的另一 NAL单元可被使用。此另一 NAL单元被称为“前缀NAL (prefix NAL) ”。此前缀NAL单元可用于把仅可被应用至SVC的信息传送到基本层，并且维持基本层比特流和AVC编码解码器之间的兼容性。例如，图5中所解释的表示是否存储参考基本图像的标志信息可包含于前缀NAL 单元中。尤其，根据表示当前NAL单元是否包含参考图像的条带的识别信息nal_ref_idC， 需要检查当前NAL单元是否包含参考图像的条带。根据识别信息，如果当前NAL单元包含参考图像的条带，则可获得用于表示是否存储参考基本图像的标志信息。根据表示是否存储参考基本图像的标志信息，如果参考基本图像被存储并且参考图像并非为IDR图像，则可执行标记解码的基本层的参考图像的过程。或者，可检查表示参考基本图像是否被用作帧间预测(inter-prediction)过程中的参考图像或者解码图像是否被用作参考图像的标志信息。作为检查的结果，如果参考基本图像被用作参考图像，并且如果该参考基本图像并非为IDR图像，则可执行对于解码的基本层的参考图像的标记过程。图7至图12分别为根据本发明的一个实施例的用于获得表示是否在缓存区中存储当前NAL单元的标志信息的语法结构的图。图7所示的实施例中，用于存储参考基本图像的标志信息可被定义为st0re_ baSe_ref_flag。此标志信息可从条带头中获得(S710)。预定条件可被给出以获得此标志信息。例如，条带类型并非为ra的例子，也就是说，不是表示增强质量级别的条带类型的例子，其可被称为质量级别最低的例子。可检查表示是否限制当前条带的特定语法以用于编码解码器的兼容性的信息。例如,可检查能够限制此标志信息的另一信息，从而使得比特流的格式能够被变换。此外，可定义标志信息，用于重写可伸缩视频编码比特流以满足编码解码器的兼容性。如前所述，如果条带类型并非为ra并且如果没有被标志信息所限制，则可获得用于存储参考基本图像的标志信息。图8所示的实施例中，可定义另一标志信息以获得表示是否在缓存区中存储当前 NAL单元的标志信息。例如，可定义表示参考基本图像是否被用作参考图像的标志信息。此标志信息表示在帧间预测的过程中参考基本图像是否被作参考图像或者解码图像是否被用作参考图像。对于具有相同识别依赖关系的信息的NAL单元，此标志信息可具有相同值。 可在NAL单元头的扩展区域中定义该标志信息(S810)。可检查当前条带是否相应基本层并且包含最低的质量级别(S820)。可检查当前条带是否被用作参考图像(S830)。可检查参考基本图像是否被用作参考图像(S840)。如果参考基本图像被用作参考图像，则可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(S850)。当前NAL单元被存储于缓存区中之后，如果NAL单元的类型和SVC有关(S860)， 可执行解码图像的标记过程，其中此解码图像包含用作参考基本图像的当前NAL单元 (S870)。 可从条带头中获得表示一定条件下是否在缓存区中存储当前NAL单元的标志信息。例如，如果条带类型表示增强质量级别的条带，且相应于划分质量层时的第一部份，并且如果参考基本图像被用作参考图像(S880)，可获得表示是否存储当前NAL单元于缓存区中的标志信息(S890)。图9所示的实施例中，表示是否在缓存区中存储当前NAL单元的标志信息(S930) 可采用不同的方式被定义。例如，此标志信息可与表示参考基本图像是否用作参考图像的另一标志信息(S910) —同被定义于NAL单元头的扩展区域中。图10所示的实施例中，通过使用另一标志信息可获得用于表示是否在缓存区中储存当前NAL单元的标志信息。例如，可定义用于表示参考基本图像是否用作参考图像的标志信息。该标志信息可定义于NAL单元头的扩展区域中(S1010)。可检查当前条带是否相应于基本层以及当前条带的质量级别是否最低(S1020)。可检查当前条带是否用作参考图像(S1030)。如果当前条带被用作参考图像，然后可获得用于表示是否储存当前NAL单元于缓存区中的标志信息(S1040)。如果当前NAL单元存储于缓存区中并且当前NAL单元的类型和SVC有关(S1050)， 可执行标记解码图像为参考基本图像的过程，其中解码图像包含当前NAL单元(S1060)。还可从条带头中获得表示在一定条件下是否在缓存区中存储当前NAL单元的标志信息。例如，如果条带类型不相应于增强质量级别的条带，当前条带的特定语法不限制对编码解码器的兼容性，并且参考基本图像用作参考图像(S1070)，可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(S1080)。图11所示的实施例中，使用另一标志信息可获得用于表示是否在缓存区中存储当前NAL单元的标志信息。例如，可使用表示参考基本图像是否用作参考图像的标志信息。例如，如果条带类型不相应于增强质量级别的条带，并且参考基本图像被用作参考图像，则可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(a)。如果参考基本图像被用作参考图像，而且没有限制对于编码解码器的兼容性的当前条带的特别语法，则可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(b)。检查参考基本图像是否被用作参考图像之后，则可获得用于表示是否在缓存区中存储当前NAL单元的标志信息(C)。图12所示的实施例中，使用另一标志信息可获得表示是否在缓存区中存储当前 NAL单元的标志信息。
例如，如果条带类型表示增强质量级别的条带，如果质量层被划分则可检查条带类型是否相应第一部份(S1210)。可检查参考基本图像是否用作参考图像或者当前条带的质量级别是否表示第一增强质量级别(S1230)。
因此，可获得表示是否在缓存区中存储当前NAL单元的标志信息(S1250)。如前所述，本发明的解码器/编码器被提供至多媒体广播，例如DMB (数字多媒体广播)的广播发射机/接收机，以用于解码视频信号、数据信号等。多媒体广播的发射机/ 接收机可包含移动通信终端。一种应用本发明的解码/编码方法，被作为用于计算机执行的程序，并且存储在计算机可读记录介质中。并且，具有本发明的数据结构的多媒体数据可以被存储在计算机可读记录介质中。计算机可读记录介质包括用于存储计算机系统可读数据的各种类型的存储设备。计算机可读记录介质包括ROM、RAM、CD-ROM、磁带、软盘、光盘存储设备等，并且还包括由载波实现的设备(例如，通过因特网的传输)。并且，由编码方法所生成的比特流被存储在计算机可读介质中或通过有线/无线通信网络被传输。工业实用件尽管本发明已参照其优选实施例进行了描述及说明，很明显本领域的技术人员可对其进行各种修改及变化，而不脱离本发明的精神或范畴。因此，本发明覆盖所附的权利要求书及其等同的范围中所提供本发明的修改及变化。
权利要求
1.一种解码可伸缩视频编码比特流的方法，包括检查当前NAL单元是否包含参考图像的条带；根据所述检查步骤当所述当前NAL单元包含参考图像的条带时从所述可伸缩视频编码比特流获得基本图像存储识别信息，其中所述基本图像存储识别信息指示是否在缓存区中存储质量基本图像，所述基本质量图像指示对应于所述当前NAL单元的图像；以及根据所述基本图像存储识别信息，将所述质量基本图像标记为参考基本图像，其中所述质量代表图像质量。
2.根据权利要求1所述的方法，其特征在于还包括检查当前NAL单元的质量识别符，其中所述基本图像存储识别信息是基于所述质量识别符获得的。
3.根据权利要求1所述的方法，其特征在于所述基本图像存储识别信息是在所述质量识别符为零时获得的。
4.根据权利要求1所述的方法，其特征在于所述基本图像存储识别信息是从条带头获得的。
5.根据权利要求1所述的方法，其特征在于还包括利用已标记的质量基本图像解码所述可伸缩视频编码比特流。
6.根据权利要求1所述的方法，其特征在于还包括检查限制识别信息，所述限制识别信息用于跳过编码解码器兼容性的特定句法的获取，其中所述基本图像存储识别信息是根据所述限制识别信息获得的。
7.根据权利要求6所述的方法，其特征在于所述限制识别信息是从序列参数集的扩展区域获得的。
8.根据权利要求6所述的方法，其特征在于所述质量基本图像是按照所述基本图像存储识别信息存储的，并且所述质量基本图像并非是IDR图像，所述质量基本图像被标记为所述参考基本图像。
9.根据权利要求6所述的方法，其特征在于还包括获得参考识别信息，所述参考识别信息指示所述质量基本图像是否被用作参考图像，其中当根据所述参考识别信息所述质量基本图像被用作参考图像以及所述质量基本图像并非是IDR图像时，所述质量基本图像被标记为所述参考基本图像。
10.根据权利要求1所述的方法，其特征在于还包括从所述可伸缩视频编码比特流获得限制识别信息，所述限制识别信息用于跳过编码解码器兼容性的特定句法；以及根据所述限制识别信息从所述可伸缩视频编码比特流获得用于划分质量层所需的信息，其中用于划分质量层所需的信息是变换系数级别的扫描位置信息。
11.根据权利要求1所述的方法，其特征在于所述可伸缩编码比特流是作为广播信号接收的。
12.根据权利要求1所述的方法，其特征在于所述可伸缩编码比特流是作为数字媒体接收的。
13.—种解码可伸缩视频编码比特流的装置，包括去复用单元，用于检查当前NAL单元是否包含参考图像的条带；解码图像缓存区，用于根据指示是否在缓存区中存储质量基本图像的基本图像存储识别信息，将质量基本图像标记为参考基本图像，其中当所述当前NAL单元包含参考图像的条带时从所述可伸缩视频编码比特流获得所述基本图像存储识别信息，以及其中所述质量基本图像指示对应于所述当前NAL单元的图像，并且所述质量指示图像质量。
14.根据权利要求13所述的装置，其特征在于所述去复用单元检查限制识别信息，所述限制识别信息用于跳过编码解码器兼容性的特定句法的获取，其中所述基本图像存储识别信息是根据所述限制识别信息获得的。
15.根据权利要求14所述的方法，其特征在于所述限制识别信息是从序列参数集的扩展区域获得的。
16.根据权利要求14所述的方法，其特征在于所述质量基本图像是按照所述基本图像存储识别信息存储的，并且所述质量基本图像并非是IDR图像，所述质量基本图像被标记为所述参考基本图像。
全文摘要
公开了一种解码视频信号的方法，本发明包括当第一部分图像和第一完整图像相应于第一时间点时，决定是否存储该第一部分图像；存储该第一部分图像，以用于参考该第一部分图像解码第二完整图像，该第二完整图像相应于第二时间点，该第二时间点位于该第一时间点之后；其中，该第一部分图像在可伸缩域上的级别低于该第二完整图像在可伸缩域上的级别。
文档编号H04N7/26GK102158697SQ20111005049
公开日2011年8月17日 申请日期2007年9月7日 优先权日2006年9月7日
发明者全柄文, 朴志皓, 朴胜煜 申请人:Lg电子株式会社