用于解码/编码视频信号的方法及装置的制作方法

专利名称：用于解码/编码视频信号的方法及装置的制作方法
技术领域：
本发明涉及一种编/解码视频信号的方案。
背景技术：
一般来说，压缩编/解码是指通过通信线路传输数字化的信息，或者以合适的格 式把其储存在存储介质的一系列的信号处理技术。压缩编码的对象有音频、视频、文字等， 尤其是以视频为对象执行压缩编码的方案称为视频序列压缩。通常，视频序列的特征是具 有空间冗余和时间冗余。尤其是，可伸缩视频编码比特流可以被部分地和选择性地解码。举例来说，低复杂 度的解码器可解码基本层，且为了通过具有限容量的网络被传输，可提取低数据率的比特 流。为了能进一步逐渐地生成高分辨率的图像，需要分阶段来提高图像的质量。

发明内容
技术问题尤其是，可伸缩视频编码比特流可以被部分地和选择性地解码。举例来说，低复杂 度的解码器可解码基本层，且为了通过具有限容量的网络被传输，可提取低数据率的比特 流。为了能进一步逐渐地生成高分辨率的图像，需要分阶段来提高图像的质量。技术手段因此，本发明是针对一种编/解码视频信号的方案，其充分避免了因相关技术的 限制和缺点而导致的一个或多个问题。本发明的一个目的是提供一种用于提高编/解码视频信号时的编/解码效率的方 法。本发明的另一目的是提供一种在增强层中的区域和参考层不相对应的情形下使 与层间预测有关的信息的传输最小化的方法。本发明的另一目的是提供一种通过确认可伸缩视频编码后的比特流的配置信息 来使得与层间预测相关的信息的传输最小化的方法。本发明的另一目的是提供一种通过确认表示是否执行层间预测的信息来使得与 层间预测相关的信息的传输最小化的方法。本发明的进一步目的是提供一种通过在合适的位置确认可伸缩视频编码后的比 特流的配置信息来提高视频信号的编/解码效率的方法。有益效果相应地，本发明提供以下效果或优点。首先，本发明通过检查增强层的当前块是否可以使用层间预测来被预测。在上述增强层的当前块不通过使用层间预测而被预测的情形下，就不需要传输用于层间预测的编 /解码信息。因此，本发明可以提高编/解码效率。其次，通过在合适的位置上确认可伸缩 视频编码后的比特流的配置信息，使得与层间预测相关的信息的传输最小化。举例来说，通 过识别表示是否执行层间预测的信息和/或质量识别信息，可以使与层间预测相关的信息 的传输最小化。而且，本发明可以通过定义表示条带边界的处理的信息，使得并行处理成为 可能。通过应用上述解释的各种方法可以显著地提高视频信号的编/解码效率。


本发明所包括的附图用于提供对本发明的进一步理解，它们被结合在此并构成了 本说明书的一部分，这些附图示出了本发明的实施例，并且与说明书一起用于解释本发明 的原理。附图中图1为根据本发明的可伸缩视频编码系统的示意框图；图2和图3分别为根据本发明的一个实施例的可增加到可伸缩视频编码比特流中 的可伸缩序列的配置信息的结构图和用于说明该配置信息的图像；图4为根据本发明的一个实施例的采样后的基本层和增强层之间的裁切 (cropping)关系的图；图5和图6分别为根据本发明的一个实施例的与通过层间预测的宏块预测和子宏 块预测相关的语法的图；图7为根据本发明的一个实施例的与通过层间预测的残差预测相关的语法的图；图8为根据本发明的一个实施例的用于根据是否进行层间预测来获得自适应预 测信息的语法的结构图。最佳实施方式本发明的其他特征及优点将在下面的描述中被说明，且其部分将可从说明中被了 解，或可通过实施本发明而得到。本发明的目的及其他优点将可通过说明书及其权利要求 以及附图中所具体指出的结构来实现并获得。为了实现这些和其他优点并根据如同包括并广泛描述的本发明的目的，根据本发 明的一种通过使用层间预测来解码当前层的方法包括确定当前块的位置是否被包含在采 样后的参考层中，该当前块包含在该当前层中；当该当前块位于该采样后的参考层时，获得 多个预测标志；通过使用该多个预测标志解码该当前层。优选地，该参考层和该当前层的屏幕比例或空间分辨率不同，该参考层的相同视 频信号来编码当前层。优选地，该确定步骤以该参考层的偏移量信息和表示该当前层的位置的变量为基 石出。优选地，该多个预测标志包括表示该当前块的类型是否源自该参考层中的相应块 的第一信息，表示当预测该当前块的运动向量时是否使用该参考层中的该相应块的运动向 量的第二信息，和表示当预测该当前块的残差信号时是否使用该参考层中的该相应块的残
差信号的第三信息。 为了实现这些和其他优点并根据本发明的目的，根据本发明的一种通过使用层间预测来编码增强层的方法包括确定当前块是否包含于采样后的基本层中；基于该当前块 是否包含在该采样后的基本层中，生成该层间预测所需的预测标志；通过使用该基本层，以 生成具有和基本层不同分辨率的该增强层的比特流。可以理解的是以上的一般描述和以下的详细描述都是示例的和解释性的，并且可 以提供对本发明所要求的进一步说明。发明的实施方式现在将参考本发明优选实施例进行详细说明，其例子已表示在附图中。首先，对视频信号数据的压缩编/解码考虑空间冗余、时间冗余、可伸缩冗余、视 角间冗余。考虑可伸缩冗余的压缩编/解码只是本发明的一个实施例。但是本发明的技术 构思可适用于时间冗余、空间冗余、视角间冗余等。进一步，本说明书中所指的“编/解码” 包含编码和解码两个概念，可以根据本发明的技术构思和技术范围灵活地进行解释。在视频信号的比特序列配置中，存在称之为NAL(Network Abstraction Layer，网 络抽象层)的独立的层结构，其位于执行运动图像编码过程本身的VCL(Video Code Layer, 视频编码层)和传输并存储编码信息的下级系统之间。编码过程所生成的输出为VCL数据， 其在传输或存储之前被映射为NAL单元。各个NAL单元包含压缩的视频数据或相应于头信 息的数据RBSP(Raw Byte Sequence Payload，原始字节序列载荷，运动图像压缩的结果数 据)。NAL单元基本上包括NAL头和RBSP两部分。NAL头中包含表示是否包含作为该NAL 单元的参考图像的条带的标志信息(nal_ref_idC)和表示NAL单元的类型的信息(nal_ imit_type)。在RBSP中存储压缩后的原始数据。并且，为了使RBSP的长度表示为8比特 的倍数，在RBSP的末尾部分加入RBSP拖尾比特(RBSP trailing bit)。NAL单元的类型有 IDR(Instantaneous Decoding Refresh，艮附解码刷新)图像，SPS (Sequence Parameter Set，序列参数集)，PPS(Picture Parameter Set，图像参数集)和 SEI (Supplemental Enhancement Information,补充增强信息)等。因此，如果表示NAL单元的类型的信息(nal_imit_type)表示为可伸缩视频编码 条带的话，可通过增加与上述可伸缩编/解码有关的各种配置信息来提高编/解码效率。举 例来说，可以增加表示当前接入单元是否为即时解码刷新(以下称为IDR)接入单元的标志 信息，表示空间可伸缩性的依赖关系识别信息，质量识别信息，表示是否使用层间预测的标 志信息(n0_inter_layer_pred_flag)，优先级识别信息等。其将参考图2进行详细说明。在标准中，为了能以适当的费用购买目标产品，规定了对于各种简表和级别的要 求。这种情况下，解码器必须满足根据相应简表和级别中所确定的要求。类似地，定义了“简 表”和“级别”两种概念来表示函数或参数，其用于表示解码器可以处理的被压缩序列的范 围的大小。可通过简表识别符(profile_idC)来识别比特流基于预定的简表。简表识别符 是指表示比特流所基于的简表的标志。举例来说，H. 264/AVC中，如果简表识别符为66，其 表示比特流基于基准简表；如果简表识别符为77，其表示比特流基于主要简表；如果简表 识别符为88，其表示比特流基于扩展简表。此外，上述简表识别符可包含在序列参数集中。因此，为了处理可伸缩序列，需要识别输入的比特流是否为可伸缩序列的简表，如 果识别为与可伸缩序列的简表的话，有必要增加语法使得至少一个用于可伸缩序列的附加 信息可以被传输。这里可伸缩序列的简表，作为H. 264/AVC的附加方案，表示用于处理可伸缩视频的简表模式。因为对于传统AVC技术，SVC为附加方案，所以，和无条件增加语法相 比，增加语法作为用于SVC模式的附加信息更为有效。举例来说，当AVC的简表识别符表示 为可伸缩序列的简表时，如果增加关于可伸缩序列的信息的话，可提高编/解码效率。以下将说明用于提供有效的视频信号解码方法的各种实施例。图1为根据本发明的可伸缩视频编/解码系统的示意框图。为了提供用于各种通信环境和各种终端的最优化序列，提供给终端的序列应该是 多样化的。如果对于每个终端最优化的序列被提供到相应终端的话，表示单个序列源被准 备用于各种参数的组合值，这些参数包括每秒的传输帧数、分辨率、每一像素的比特数等。 因此，最优化序列的提供对内容提供商施加了负担。因此，内容提供商把原始序列编码为高 比特率的压缩序列数据。在接收到由终端做出的序列请求时，内容提供商解码原始序列， 把其编码为适合于终端的序列处理能力的序列数据，并且然后把该编码后的数据提供给终 端。因为该代码转换伴随着编码_解码_编码过程，所以在提供序列的过程中不能避免产 生时间延迟。因此，另外需要复杂的硬件设备和算法。另一方面，可伸缩视频编码(SVC)是一种用于以最佳图像质量编码视频信号的编 码方案以使得所产生的图像序列的部分序列通过解码而被表现为序列。这里，部分序列可 以表示由从整个序列中被间歇地挑选出来的帧构成的序列。对于由SVC编码的图像序列， 通过使用空间可伸缩性，序列尺寸可被缩减用于低比特率。并且，也可使用质量可伸缩性降 低序列的图像质量。这里，具有小尺寸屏幕和/或低每秒帧数的图像序列可被称为基本层， 且具有相对大尺寸屏幕和/或相对高的每秒帧数的序列可被称为被增强的或增强层。由上述提到的可伸缩方案编码的图像序列以只接收和处理部分序列的方式实现 低图像质量的序列表示。然而，如果比特率变低的话，图像质量就降级很多。为了解决降级 的图像质量问题，可以为低比特率提供独立的辅助图像序列，举例来说，具有小尺寸屏幕和 /或低每秒帧数的图像序列。这样的辅助序列可被称为基本层，且主图像序列可被称为被增 强的或增强层。在描述用于层间预测的各种实施例时，本发明使用了包括基本层和增强层的概 念。例如，增强层可以具有和基本层不一样的空间分辨率或屏幕比例。并且，增强层可以具 有和基本层不一样的图像质量。详细举例来说，基本层可以是参考层，并且增强层可以是当 前层。下文中所解释的基本层和增强层仅是示例性的，其并不构成对本发明解释的限制。以下详细说明可伸缩视频编/解码系统。首先，可伸缩编/解码系统包括编码器 102和解码器110。编码器102包括基本层编码单元104，增强层编码单元106，和复用单元 108。并且，解码器可以包括去复用单元112，基本层解码单元114，和增强层解码单元116。 基本层编码单元104能够通过压缩输入的序列信号X(n)来产生基本比特流。增强层编码 单元106可以通过使用输入的序列信号X(n)和由基本层编码单元104所产生的信息来产 生增强层比特流。并且，复用单元108可以通过使用基本层比特流和增强层比特流来产生 可伸缩比特流。所产生的可伸缩比特流被通过特定信道传送到解码器110，所传送的可伸缩比特 流可以由解码器110的去复用单元112分为增强层比特流和基本层比特流。基本层解码单 元114接收基本层比特流并且把基本层比特流解码为宏块间的序列信号及块间的残差和 运动信息。这里，可基于单回路解码方法来执行相应的解码。
增强层解码单元116接收增强层比特流，并且参照由基本层解码单元114重建的 基本层来解码输出序列信号Xe(n)。这里，输出序列信号Xb(n)将是具有比之后的输出序列 信号Xe(n)低的图像质量或分辨率的序列信号。因此，增强层编码单元106和增强层解码单元116的每一个均通过使用层间预测 来执行编码。层间预测表示通过使用基本层的运动信息和/或纹理信息预测增强层的序列 信号。这里，纹理信息可表示属于宏块的图像数据或像素值。例如，在层间预测方法中，有帧 内基本预测模式(intra base prediction mode)或残差预测模式。帧内基本预测模式可 以表示用于预测基于基本层中的相应区域的增强层的块的模式。这里，基本层中的相应区 域可以表示以层间模式编码的区域。同时，残差预测模式可以使用具有残差数据的相应区 域，该残差数据为基本层中的图像差值。在两种情形中，上述基本层中的相应区域能够通过 采样被扩大或缩小来用于层间预测。采样表示改变图像分辨率。而且，采样可以包括重采 样、下采样、上采样等。举例来说，能够在样本内重采样以执行层间预测。并且，可以通过使 用下采样滤波器来重新产生像素数据以降低图像分辨率，这可被称为下采样。而且，可以通 过使用上采样滤波器来生成一些附加像素数据以提高图像分辨率，这可被称为上采样。重 采样可以包括下采样和上采样两个概念。本发明中，可根据本发明的相应实施例的范围和 技术思想来正确解释“采样”这一术语。同时，对于相同序列内容，为了不同的用途或目的产生基本层和增强层，并且其在 空间分辨率、帧速率、比特率等方面相互不同。在通过层间预测编码视频信号时，非二阶情 况，即在空间分辨率上增强层对基本层的比率不是2的整数，可被称为扩展空间可伸缩性 (ESS)。举例来说，当通过层间预测将增强层编码为具有16 9 (水平垂直)比率的视频 信号时，可能发生基本层被编码为具有4 3比率的图像这一情形。这种情形下，因为基本 层按照原始视频信号被部分裁切的裁切状态(cropping state)被编码，即使基本层被扩大 以用于层间预测，也不能覆盖增强层的整个区域。因此，既然增强层的部分区域在被上采样 的基本层中没有相应的区域，该部分区域就不能使用用于层间预测的上采样后的基本层的 信息。也就是说，这表示层间预测不适用于该部分区域。这种情形下，被用于层间预测的编 码信息可能不被传输。下面将参考图5至图8来详细说明有关具体实施例。图2和图3分别为根据本发明的一个实施例的可加入到可伸缩视频编码比特流的 可伸缩序列的配置信息的结构图，及用于描述该配置信息的图像。图2示出了 NAL单元的结构示例，该NAL单元使得关于可伸缩序列的配置信息加 入其中。首先，NAL单元可以主要包括NAL单元头和RBSP(原始字节序列载荷运动图像压 缩的结果数据)。NAL单元头可以包括表示NAL单元是否包括参考图像的条带的识别信息 (nal_ref_idc)和表示NAL单元类型的信息(nal_unit_type)。并且，还可有限制地包括 NAL单元头的扩展区域。举例说来，如果表示NAL单元类型的信息和可伸缩视频编码相关联 或表示前缀NAL单元的话，那么NAL单元可以包含该NAL单元头的扩展区域。具体而言，如 果nal_unit_type等于20或14的话，NAL单元可以包含NAL单元头的扩展区域。并且，可 以根据能够识别其是否为SVC比特流的标志信息(SVC_mVC_flag)来把关于可伸缩序列的 配置信息加入到NAL单元头的扩展区域。另一示例中，如果表示NAL单元类型的信息为表示子集序列参数集的信息的话， RBSP可以包括关于子集序列参数集的信息。具体而言，如果nal_imit_type等于15，RBSP可以包括关于子集序列参数集的信息，关于条带层的信息等。这种情形下，根据简表信息， 子集序列参数集可以包括序列参数集的扩展区域。举例来说，如果简表信息(profilejdc) 为和可伸缩编码相关的简表，那么子集序列参数集可以包括序列参数集的扩展区域。或者， 根据简表信息，序列参数集可以包括序列参数集的扩展区域。序列参数集的扩展区域可以 包括用于控制层间预测的去块滤波器的特性的信息，和用于上采样过程的参数相关的信息 等。关于可伸缩序列的各种配置信息，例如，可以包含在NAL单元头的扩展区域、序列参数 集的扩展区域、和条带层中的配置信息将在下文中详细说明。首先，从序列参数集的扩展区域中可以获得标志信息(inter_layer_debl0Cking_ filter_C0ntr0l_present_flag)，该标志信息表示是否存在对于控制用于层间预测的去 块滤波器的特性的信息。并且，从序列参数集的扩展区域中可以获得信息(extendecL spatialscalability)，该信息表示用于上采样过程的参数相关的信息的位置。具体而言， 举例来说，如果extendecLspatialscalability等于0的话，可以表示在序列参数集或条 带头中不存在用于上采样过程的任何参数。如果extendecLspatialscalability等于 1的话，可以表示在序列参数集中存在用于上采样过程的参数。如果extendecLspatial scalability等于2的话，可以表示在条带头中存在用于上采样过程的参数。表示是否使用层间预测的信息④可以是指表示层间预测是否在对已编码条带的 解码中被使用的标志信息。标志信息可以从NAL头的扩展区域中获得。举例来说，如果标 志信息被设为1，可以表示没有使用层间预测。如果标志信息被设为0，根据宏块中的编码 方案可以使用或不使用层间预测。这是因为宏块中的层间预测可以使用或不使用。质量识别信息③表示识别NAL单元的质量的信息。将参考图3来描述配置信息。 举例来说，单个图像可以被编码成相互质量不同的层。图3中，Spa_LayerO和Spa_Layerl 上的层可以被编码为相互质量不同的层。具体而言，假设识别NAL单元质量的信息被命名 为quality_id，层Bl，B2，…，B10可被设置为quality_id等于0。并且，层Q1，Q2，…， Q10可被设置为qimlity_id等于1。换句话说，层B1，B2，…，B10可以表示具有最低图像 质量的层。这些被称为基本图像。层Q1，Q2，…，Q10相应于包含层B1，B2，…，B10的层， 并且具有比层Bl，B2,…，B10好的图像质量。并且，质量识别信息可以按照各种方式被 定义。举例来说，质量识别信息可以表示为16个级别。表示空间可伸缩性的信息是指表示识别有关NAL单元的依赖关系的信息。参考图 3来描述配置信息。举例来说，依赖关系会根据空间分辨率而变化。图3中，Spa_Layer0和 Spa_Layerl中的层具有相同分辨率。Spa_LayerO中的层可以包括通过对Spa_Layerl中 的层执行下采样而获得的图像。具体而言，举例来说，假设识别关于NAL单元的依赖关系 的信息被表示为cbpendency_id，Spa_LayerO中的层之间的cbpendency_id等于0。并且， Spa_Layerl中的层之间的cbpendencyjd等于1。依赖关系识别信息可按照各种方式被定 义。因此，具有相同值的识别依赖关系信息的NAL单元可以用依赖关系表示(d印endency representation)来表不。同时，可根据识别依赖关系的信息和质量识别信息来定义单个层。在这种情形 下，具有相同值的识别依赖关系的信息和质量识别信息的NAL单元可以用层表示(layer representation)来表不。表示时间可伸缩性的识别信息是指识别关于NAL单元的时间级别的信息。可以按照分级B图像结构来描述时间级别。举例说来，Spa_Layer0中的层(B1，Q1)和层(B3，Q3) 可以有相同的时间级别Tem_LayerO。如果层(B5，Q5)引用层(B1，Q1)和层(B3，Q3)，那么 层(B5，Q5)可以有比层(B1，Q1)和层(B3，Q3)的时间级别Tem_LayerO高的时间级别Tem_ Layerl。同样地，如果层(B7，Q7)引用层(Bl，Q1)和层(B5，Q5)的话，那么层(B7，Q7)具 有比层(B5，Q5)的时间级别Tem_Layerl高的时间级别Tem_Layer2。在单个接入单元中的 所有NAL单元可以有相同的时间级别值。在IDR接入单元的情形中，时间级别值可变为0。表示参考基本图像是否被用作参考图像的标志信息表示在层间预测过程中参考 基本图像是否被用作参考图像或者在层间预测过程中解码图像是否被用作参考图像。对于 同一层中的NAL单元，即具有相同的识别依赖关系的信息的NAL单元，标志信息可以具有相 同的值。优先级标识信息是指识别NAL单元的优先级的信息。通过使用优先级标识信息来 提供层间可扩展性或图像间可扩展性是可能的。举例来说，通过使用优先级标识信息来向 用户提供各种时间和空间级别的序列是可能的。因此，用户能够只观看特定时间和空间上 的序列，或者只观看根据不同的限制条件的序列。优先级信息可以根据其参考条件按照不 同方式进行配置。优先权信息能够不基于特定参考而被随机配置。并且，优先级信息可以 由解码器来决定。并且，在NAL单元头的扩展区域中的配置信息可以包括表示当前接入单元是否为 IDR接入单元的标志信息。用于层间预测的各种信息可以被包括在条带层中。举例来说，可以包括表示上采 样过程中的对于条带边界的处理的信息⑤，和去块滤波器的操作相关的信息⑥，和色度信 号的相移相关的信息⑦，表示基本层和增强层之间的位置差异的偏移量信息⑧，和表示是 否存在自适应预测的信息⑨。上述信息可以从条带头中被获得。作为和去块滤波器的操作相关的信息⑥的示例，可以有表示去块滤波器的方法的 信息(disable_deblocking_filter_idc)、去块滤波所必需的偏移量信息(inter_layer_ slice_alpha_c0_offset_div2, inter_layer_slice_beta_offset_div2)。作为和色度信号的相移相关的信息⑦的示例，可以有关于用于层间预测的图像的 色度分量的水平和垂直相移(scaled_ref_layer_left_offset，scaled_ref_layer_top_ offset, sealed_ref_layer_right_offset, sealed_ref_layer_b°ttom_offset)的信息。作为表示层间的位置差异的偏移量信息⑧的示例，可以有表示用于层间预测的上 采样后的参考图像和当前图像的上、下、左、右位置差异的信息(SCaled_ref_layer_left_ offset， sealed_ref_layer_top_offset, scaled—ref—layer—right_offset， scaled—ref— layer—bottom—offset)。作为表示基本层上采样过程中的条带边界处的宏块的处理的信息⑤的示例，可 以有表示当基本层中的相应帧内编码块(intra-coded block)存在于增强层的至少两 个条带的情形下，当前宏块是否不能通过使用基本层中的相应帧内编码块被预测的信息 (constrained—intra—resampling—flag)。并且，表示是否存在自适应预测的信息⑨可以表示在条带头和宏块层中是否存在 和预测相关联的信息。根据表示是否存在自适应预测的信息，可以决定将使用哪种类型的 自适应预测方法。稍后将参照图8对其进行详细说明。
图4为关于采样后的基本层和增强层1之间的裁切关系(cropping relation)的 图。在可伸缩视频编码中，可以检查增强层的当前块是否能使用层间预测。举例来说， 可以检查相应于当前块中的所有像素的区域是否存在于基本层中。作为检查过程的结果， 如果增强层的当前块没有被用于层间预测，那么就不必传输用于层间预测的编码信息。因 此，可以提高编码效率。因此，可以定义一函数，其能够检查增强层的当前块是否使用了层间预测。举例来 说，函数in_Cr0p_Wind0W()可以被定义为用于检查相应于当前块中的所有像素的区域是 否存在于基本层中。假设增强层上的水平方向上的宏块索引被设置为mbldxX，并且垂直方 向上的宏块索引被设置为mbldxY，如果满足下述条件的话，函数irucropjindowO能够返 回值“TRUE”(或“1”)。mbldxX 彡(ScaledBaseLeftOffset+15)/16mbldxX 彡(ScaledBaseLeftOffset+ScaledBaseffidth-1)/16mbldxY 彡(ScaledBaseTopOffset+15)/16mbldxY 彡(ScaledBaseTopOffset+ScaledBaseHeight-1)/16可以通过使用宏块地址和水平方向上的宏块数来导出mbldxX。可以通过根据 是否应用宏块自适应帧-场(macroblock adaptive frame-field)而用不同的方法来导 出mbldxY。举例来说，如果应用了宏块自适应帧-场的话，可以通过考虑宏块对来导出 mbldxY。当考虑宏块对时，假定上部宏块的索引被设置为mbldxYO，底部宏块的索引被设置 为mbldxYl。mbldxYO可以从表示用于层间预测的上采样后的图像与当前图像之间的上部 位置差异的偏移量信息及水平方向的宏块数信息中导出。这种情形中，水平宏块数信息的 值可以根据当前图像是帧图像或场图像(field picture)而不同。mbldxYl可以从表示用 于层间预测的上采样后的图像与当前图像之间的上部位置差异的偏移量信息及垂直方向 上的宏块数信息中导出。同时，如果没有应用宏块自适应帧-场的话，mbldxYO和mbldxYl 可以被设置为相同值。ScaledBaseLeftOff set表示偏移量信息，其表示用于层间预测的上采样后的图像 和当前图像之间的左侧的位置差异。ScaledBaseTopOff set为表示用于层间预测的上采样 后的图像和当前图像之间的上方的位置差异。ScaledBaseWidth表示上采样后的图像的水 平宽度。并且，ScaledBaseHeight表示上采样后的图像的垂直高度。如果上述条件中的任一项不满足的话，函数irucropjindow 0会返回一 “FALSE” (或“0，，)值。当相应于当前块中的至少一个像素的像素不在上采样后的基本层中时，也就是 说，当函数in_Cr0p_Wind0W(CurrMbAddr)返回“FALSE”值时，和层间预测相关联的信息不 被用于当前块，并且该信息不会被传输。因此，根据本发明的实施例，如果通过in_cr0p_ window(CurrMbAddr)识别出基本层中的相应区域不存在的话，可以省略和用于当前块的层 间预测相关的信息的传输。根据本发明的实施例，下面说明了通过使用函数in_Cr0p_Wind0W()执行编码的 情形。首先，当通过in_crop_WindoW(CurrMbAddr)识别出相应于当前块的区域存在于基本层中时，增强层编码单元106通过使用基本层的纹理和/或运动信息执行层间预测。这 种情形下，运动信息可以包含参考索引信息，运动向量信息，分割(partition)信息等。在当前块的纹理和/或运动信息被设置为相应块的纹理和/或运动信息时，或是 在当前块的纹理和/或运动信息是从相应块的纹理和/或运动信息导出时，增强层编码单 元106把指示完整或导出信息的指示信息加入到增强层的数据流中，并且将该加入通知给 解码器110。但是，当通过in_crop_WindoW(CurrMbAddr)识别出相应于当前块的区域不存 在于基本层时，增强层编码单元106可以不执行层间预测而产生增强层。同时，如果解码器 110通过in_crop_WindoW(CurrMbAddr)确认相应于当前块的区域不存在于基本层时，解码 器110决定不传输指示信息。图5和图6分别是根据本发明的一个实施例的与通过层间预测的宏块和子宏块预 测相关的语法图。当执行层间预测时，和当前NAL的条带数据的层间预测相关的信息被传输到解码 器。举例说来，在增强层的当前块的运动向量的预测中，可以从宏块层获得表示是否使用基 本层的运动向量的标志(m0ti0n_prediCti0n_flag_lX)。根据本发明的一个实施例，解码器 以检查in_Cr0p_Wind0W(CurrMbAddr)的方式来得知和层间预测相关联的信息是否由编码 器来传输(510，610)。举例说来，根据in_Cr0p_Wind0W(CurrMbAddr)，如果相应于当前块的 区域不存在于基本层的话，标志motion_prediCtion_flag_10/ll将不会在比特流中传输 (520/530,620/630)。并且，表示和运动向量预测相关联的信息是否存在于宏块层的标志adaptive motiorupredictioruflag可以从当前NAL的条带数据中被获得。根据本发明的一个实 施例，通过检查 adaptive_motion_prediction_flag 禾口 in_crop_window(CurrMbAddr) 的方式，编码器可以不传输和层间预测相关联的信息(510)。举例说来，根据in_cr0p_ window (CurrMbAddr)，如果相应于当前块的区域不存在于基本层的话，或者根据adaptive motiorupredictioruflag，如果和运动向量预测相关联的信息不存在于宏块的话，可以不 传输标志 motion_prediction_flag_10/ll (520/530,620/630)。上述技术思想同样可应用 于图6中所示的子宏块预测。因此，如果在识别上述两种信息后满足上述两条件的话，传输和层间预测相关联 的信息。因此，可以提高编码效率。图7是根据本发明的一个实施例的与通过层间预测的残差预测相关的语法图。在执行层间预测的情形中，当前NAL的条带数据中的和层间预测相关的信息被传 输到解码器。举例来说，在预测当前块的残差信号的情形中，可以从宏块层获得表示是否使 用基本层的残差信号的标志residual_prediCtion_flag(740)。这种情形下，可以通过层表 示信息(layer representation information)知道基本层。根据本发明的一个实施例，通 过确认irucropjindow(CurrMbAddr)的方式，编码器可以不传输和层间预测相关的信息。举例说来，可以根据表示宏块中与残差信号的预测相关的信息的存在的信 息adaptive_residual_prediction_flag及当前块的条带类型的信息，来获得上述 residual—prediction—flag (710)。上:residual—prediction—flag 也可t艮据 base—mode— flag被获得。上述base_m0de_flag表示当前宏块的类型(mb_type)是否从基本层的相 应区域被导出(720)。也可以根据当前宏块的类型和函数in_crop_window(CurrMbAddr)来获得residualpredictior^flag。举例说来，当宏块和子宏块的类型不是帧内模 式(MbPartPredType(mb_type,0) ！ = Intra_16xl6(8x8 and 4x4)),并且 in_crop_ window(CurrMbAddr)的值为“true”时(其表示相应于当前宏块的区域存在于基本层中)， 可获得residual_prediCtion_flag(730)。如果当前宏块的类型不是帧内模式或相应于当 前宏块的区域不存在于基本层(in_crop_WindoW(CurrMbAddr) =0)时，不执行残差预测。 并且，上述编码器102生成增强层而不包含residualpredictior^flag。如果上述residualpredictioruflag被设置为1，则从基本层的残差信号预测当 前块的残差信号。如果residualpredictioruflag被设置为0，则不进行层间预测而编码 残差信号。如果在宏块层中不存在residualpredictioruflag的话，其可被按照下文导 出。举例说来，只有当完全满足下述条件时，residualpredictioruflag可以被推导为预 先设定值(default_residual_prediction_flag)。首先，base_mode_flag 应该被设置为 1 或者当前宏块的类型应该不为帧内模式。其次，in_Cr0p_Wind0W(CurrMbAddr)应被设置为 1。第三，表示是否使用层间预测的标志n0_inter_layer_pred_flag应被设置为0。第四， 条带类型应该不是EI条带。否则的话，推导得出0。通过in_crop_WindoW(CurrMbAddr)，当确认相应于当前序列块的区域不存在于基 本层中时，增强层解码单元116决定运动预测标志(motiorupredictioruflag)信息不存 在于宏块或子宏块中，并且只通过使用增强层的数据比特流来重建视频信号而不进行层间 预测。如果用于残差预测的语法元素不包含在增强层的数据比特流中的话，增强层解码单 元116可以推导出残差预测标志residual_prediction_flag。如此进行时，可以通过in_ crop_window(CurrMbAddr)考虑相应于当前块的区域是否存在于基本层中。如果in_crop_ window (CurrMbAddr)为设置为0的话，增强层解码单元116可以确认相应于当前序列块的 区域不存在于基本层中。在这种情形下，推导出residualpredictior^f lag为0，并且然后 可以只通过使用增强层的数据重建视频信号而不通过使用基本层的残差信号执行残差预 测。图8是根据本发明的一个实施例的用于根据是否进行层间预测来获得自适应预 测信息的语法图。根据本发明的一个实施例，通过确认可伸缩视频编码比特流的配置信息，编码器 可以不传输和层间预测相关的信息。可以从NAL头的扩展区域获得可伸缩视频编码比 特流的配置信息。举例说来，可以基于表示是否使用层间预测的信息n0_inter_layer_ precLflag来获得自适应预测信息(810)。自适应预测信息可以表示和预测相关的语法 是否存在于相应位置。例如，存在表示和预测相关的语法是否存在于条带头和宏块层的 信息adaptive_prediCti0n_flag，表示和运动预测相关的语法是否存在于宏块层的信息 adaptivejnotiorupredictioruflag，和表示和残差预测相关的语法是否存在于宏块层的 flf;§、adaptive_residual_prediction_f lag,等等。当根据表示是否使用层间预测的信息来执行层间预测时，首先可获得表示是 否存在条带数据的标志信息SliCe_Skip_flag(820)。通过确认表示存在条带数据的 信息，为了执行层间预测，可决定是否推导出宏块内的信息。根据表示上述条带数据的 存在的信息，如果条带数据存在于条带中(830)，可以获得自适应预测标志adaptive prediction_flag(840)。并且，可以获得表示和残差预测相关的语法是否存在于宏块层的信息adaptive_residual_prediction_flag(880)。根据上述自适应预测标志，可以从基本 层的相应块获得表示如何推导表示是否预测运动信息等信息的信息defaUlt_base_m0de_ flag(850) 0当运动信息等不是从基本层的相应块被预测得到时(855)，可以获得表示和运 动预测相关的语法是否存在于宏块层中的信息adaptive_motion_prediction_flag (860)。 如果和运动预测相关的语法不存在于宏块层的话(865)，可以获得表示如何推断运动预测 标志信息的信息 default—motion—prediction—flag (870)。可以在宏块层使用表示和运动预测相关的语法是否存在于宏块层的信息 adaptive_motion_prediction_flag和表示和残差预测相关的语法是否存在于宏块层 的信息 adaptive_residual_prediction_flag0 例如，可以基于上述 adaptive_motion_ prediction—flag,获得表示是否使用基本层的运云力向量的标志motion_prediction_flag_ lx。并且，可以基于上述adaptive_residual_prediction_flag，获得表示是否使用基本层 的残差信号的标志 residual_prediction_flag0如上文所述，可应用于本发明的解码器/编码器被提供到用于诸如DMB (数字多媒 体广播)等的多媒体广播的广播发射机/接收机，以用于解码视频信号、数据信号等。并且， 上述多媒体广播发射机/接收机可以包括移动通信终端。一种应用本发明的解码/编码方法，被作为用于计算机执行的程序，并且存储在 计算机可读记录介质中。并且，具有本发明的数据结构的多媒体数据可以被存储在计算机 可读记录介质中。计算机可读记录介质包括用于存储计算机系统可读数据的所有类型的存 储设备。计算机可读记录介质包括ROM、RAM、CD-ROM、磁带、软盘、光盘存储设备等，并且还 包括由载波所实现的设备(例如，通过因特网的传输)。并且，由编码方法所生成的比特流 被存储在计算机可读介质中或通过有线/无线通信网络被传输。工业实用性尽管本发明已参照其优选实施例进行了描述及说明，很明显本领域的技术人员可 对其进行各种修改及变化，而不脱离本发明的精神或范畴。因此，本发明覆盖权利要求书及 其等同物的范围中所提供本发明的修改及变化。
权利要求
一种解码可伸缩视频信号的方法，包括从所述可伸缩视频信号提取参数识别信息，所述参数识别信息指示，用于基本层的上采样过程的参数是否出现在序列参数集和所述可伸缩视频信号的条带头的至少之一中；从所述可伸缩视频信号提取当前条带的层间预测信息，所述层间预测信息指示，所述层间预测是否用于解码在增强层中的当前条带；从所述可伸缩视频信号提取当前条带的质量识别信息，所述质量识别信息识别包含当前条带的当前图像的图像质量；基于所述层间预测信息和所述质量识别信息，当根据参数识别信息用于基本层的上采样过程的参数出现在条带头时，从所述条带头提取与色度信号的相移相关联的相位信息；从已上采样的基本层导出当前块的预测值，所述已上采样的基本层通过使用所述相位信息从所述基本层被上采样，所述当前块被包含在所述当前条带中；以及使用所述当前块的所述预测值重建所述当前块，其中所述相位信息对应于用于基本层的上采样过程的参数。
2.如权利要求1所述的方法，其特征在于，所述相位信息包括水平相移信息和垂直相移信息。
3.如权利要求1所述的方法，其特征在于，还包括获取指示所述当前图像和对应图像间位置差别的偏移量信息，所述对应图像呈现在所 述已上采样的基本层中，其中所述偏移量信息对应于用于基本层的上采样过程的所述参数，且所述已上采样基 本层是从所述基本层中利用所述相位信息和所述偏移量信息上采样的。
4.如权利要求3所述的方法，其特征在于，所述偏移量信息包括左偏移量信息，指示对应图像的至少一左侧像素和当前图像的至少一左侧像素之间的 位置偏移；上偏移量信息，指示对应图像的至少一上侧像素和当前图像的至少一上侧像素之间的 位置偏移；右偏移量信息，指示对应图像的至少一右侧像素和当前图像的至少一右侧像素之间的 位置偏移；下偏移量信息，指示对应图像的至少一下侧像素和当前图像的至少一下侧像素之间的 位置偏移。
5.如权利要求1所述的方法，其特征在于，所述基本层在屏幕比例或空间分辨率上不 同于所述增强层，所述增强层来自与所述基本层相同的视频信号。
6.一种解码可伸缩视频信号的装置，包括增强层解码单元，配置为从所述可伸缩视频信号提取参数识别信息，所述参数识别信 息指示，用于基本层的上采样过程的参数是否出现在序列参数集和所述可伸缩视频信号的 条带头的至少之一中，所述增强层解码单元配置用于从所述可伸缩视频信号提取当前条带 的层间预测信息，所述层间预测信息指示，所述层间预测是否用于解码在增强层中的当前 条带，所述增强层解码单元配置用于从所述可伸缩视频信号提取当前条带的质量识别信 息，所述质量识别信息识别包含当前条带的当前图像的图像质量，所述增强层解码单元配 置用于基于所述层间预测信息和所述质量识别信息，当根据参数识别信息用于基本层的上采样过程的参数出现在条带头时，从所述条带头提取与色度信号的相移相关联的相位信 息，并从已上采样的基本层导出当前块的预测值，所述已上采样的基本层通过使用所述相 位信息从所述基本层被上采样，所述当前块被包含在所述当前条带中，及使用所述当前块 的所述预测值重建所述当前块，其中所述相位信息对应于用于基本层的上采样过程的参 数。
7.如权利要求6所述的装置，其特征在于，所述相位信息包括水平相移信息和垂直相移信息。
8.如权利要求6所述的装置，其特征在于，所述增强层解码单元配置用于获取指示所 述当前图像和对应图像间位置差别的偏移量信息，所述对应图像呈现在所述已上采样的基 本层中，其中所述偏移量信息对应于用于基本层的上采样过程的所述参数，且所述已上采 样基本层是从所述基本层中利用所述相位信息和所述偏移量信息上采样的。
9.如权利要求8所述的装置，其特征在于，所述偏移量信息包括左偏移量信息，指示 对应图像的至少一左侧像素和当前图像的至少一左侧像素之间的位置偏移；上偏移量信 息，指示对应图像的至少一上侧像素和当前图像的至少一上侧像素之间的位置偏移；右偏 移量信息，指示对应图像的至少一右侧像素和当前图像的至少一右侧像素之间的位置偏 移；下偏移量信息，指示对应图像的至少一下侧像素和当前图像的至少一下侧像素之间的 位置偏移。
10.如权利要求6所述的装置，其特征在于，所述基本层在屏幕比例或空间分辨率上不 同于所述增强层，所述增强层来自与所述基本层相同的视频信号。
全文摘要
本发明公开了解码可伸缩视频信号的方法和系统从可伸缩视频信号提取指示用于基本层的上采样过程的参数是否出现在序列参数集和可伸缩视频信号的条带头的至少之一中的参数识别信息；指示层间预测是否用于解码在增强层中的当前条带的层间预测信息；识别包含当前条带的当前图像的图像质量的质量识别信息；基于层间预测信息和质量识别信息，当用于基本层的上采样过程的参数出现在条带头时，从条带头提取与色度信号的相移相关联的相位信息；从已上采样的基本层导出当前块的预测值，已上采样的基本层通过使用相位信息从基本层被上采样，当前块被包含在当前条带中；使用当前块的预测值重建当前块，相位信息对应于用于基本层的上采样过程的参数。
文档编号H04N7/26GK101888559SQ20101023179
公开日2010年11月17日 申请日期2007年11月9日 优先权日2006年11月9日
发明者全柄文, 朴胜煜 申请人:Lg电子株式会社