用于解码/编码视频信号的方法及装置的制作方法

专利名称：用于解码/编码视频信号的方法及装置的制作方法
技术领域：
本发明涉及一种编/解码视频信号的方案。
背景技术：
一般来说，压縮编/解码是指通过通信线路传输数字化的信息，或者 以合适的格式把其储存在存储介质的一系列的信号处理技术。压縮编码的 对象有音频、视频、文字等，尤其是以视频为对象执行压縮编码的方案称 为视频序列压縮。通常，视频序列的特征是具有空间冗余和时间冗余。
尤其是，可伸縮视频编码比特流可以被部分地和选择性地解码。举例
来说，低复杂度的解码器可解码基本层，且为了通过具有限容量的网络被 传输，可提取低数据率的比特流。为了能进一步逐渐地生成高分辨率的图 像，需要分阶段来提高图像的质量。
发内容
技术问题
尤其是，可伸縮视频编码比特流可以被部分地和选择性地解码。举例 来说，低复杂度的解码器可解码基本层，且为了通过具有限容量的网络被 传输，可提取低数据率的比特流。为了能进一步逐渐地生成高分辨率的图 像，需要分阶段来提高图像的质量。
技术手段
因此，本发明是针对一种编/解码视频信号的方案，其充分避免了因 相关技术的限制和缺点而导致的一个或多个问题。
本发明的一个目的是提供一种用于提高编/解码视频信号时的编/解 码效率的方法。
本发明的另一目的是提供一种在增强层中的区域和参考层不相对应 的情形下使与层间预测有关的信息的传输最小化的方法。
本发明的另一目的是提供一种通过确认可伸縮视频编码后的比特流 的配置信息来使得与层间预测相关的信息的传输最小化的方法。
本发明的另一目的是提供一种通过确认表示是否执行层间预测的信 息来使得与层间预测相关的信息的传输最小化的方法。
本发明的一个目的是提供一种通过确认质量识别信息来使得与层间 预测相关的信息的传输最小化的方法。
本发明的另一目的是提供一种通过定义表示条带边界处理的信息来 提高视频信号的编/解码效率的方法。
本发明的进一步目的是提供一种通过在合适的位置确认可伸縮视频 编码后的比特流的配置信息来提高视频信号的编/解码效率的方法。
有益效果
相应地，本发明提供以下效果或优点。
首先，本发明通过检査增强层的当前块是否可以使用层间预测来被预 测。在上述增强层的当前块不通过使用层间预测而被预测的情形下，就不 需要传输用于层间预测的编/解码信息。因此，本发明可以提高编/解码效 率。其次，通过在合适的位置上确认可伸縮视频编码后的比特流的配置信 息，使得与层间预测相关的信息的传输最小化。举例来说，通过识别表示 是否执行层间预测的信息和/或质量识别信息，可以使与层间预测相关的 信息的传输最小化。而且，本发明可以通过定义表示条带边界的处理的信
息，使得并行处理成为可能。通过应用上述解释的各种方法可以显著地提 高视频信号的编/解码效率。


本发明所包括的附图用于提供对本发明的进一步理解，它们被结合在 此并构成了本说明书的一部分，这些附图示出了本发明的实施例，并且与 说明书一起用于解释本发明的原理。 附图中
图1为根据本发明的可伸縮视频编码系统的示意框图2和图3分别为根据本发明的一个实施例的可增加到可伸縮视频编
码比特流中的可伸縮序列的配置信息的结构图和用于说明该配置信息的
图像；
图4为根据本发明的一个实施例的采样后的基本层和增强层之间的 裁切(cropping)关系的图;
图5和图6分别为根据本发明的一个实施例的与通过层间预测的宏块 预测和子宏块预测相关的语法的图7为根据本发明的一个实施例的与通过层间预测的残差预测相关 的语法的图8为根据本发明的一个实施例的用于根据是否进行层间预测来执 行去块滤波的语法的结构图9为根据本发明的一个实施例的根据是否进行层间预测来表示上 采样后的参考图像与当前图像间的位置差异的偏移量信息的语法的结构 图10为根据本发明的一个实施例的根据是否进行层间预测来获得表 示是否限制使用参考层中的帧内块(intra-block)的标志信息的语法的 结构图11为根据本发明的一个实施例的用于根据是否进行层间预测来获 得自适应预测信息的语法的结构图。
最佳实施方式
本发明的其他特征及优点将在下面的描述中被说明，且其部分将可从 说明中被了解，或可通过实施本发明而得到。本发明的目的及其他优点将 可通过说明书及其权利要求以及附图中所具体指出的结构来实现并获得。
为了实现这些和其他优点并根据如同包括并广泛描述的本发明的目 的，根据本发明的一种解码视频信号的方法包括解码第一层的比特流； 获得表示是否对第二层的当前块执行层间预测的标志信息；基于该标志信 息获得至少一个偏移量信息，该偏移量信息表示用于该层间预测的该第一 层的上采样后的图像和该第二层的当前图像间的位置差异；和通过使用该 至少一个偏移量信息，对该第一层的参考图像进行上采样。
优选地，该方法进一步包括获得表示用于该上采样的参数是否存在于 该第二层的相应区域的信息，其中，基于该表示用于该上采样的该参数是 否存在于该第二层的该相应区域的信息，获得该至少一个偏移量信息。
更优选地，该方法进一步包括基于该表示用于该上采样的该参数是否 存在于该第二层的该相应区域的信息，获得关于色度信号的相移的信息， 其中，通过使用该关于色度信号的相移的信息，该第一层被上采样。
这里，基于表示色度格式的信息，获得该关于色度信号的相移的信息。 而且，该关于色度信号的相移的信息包括水平方向上的相移信息和垂直方 向上的相移信息。
更优选地，该方法进一步包括获得用于识别该第二层的该当前块的质 量的质量识别信息，其中，基于该质量识别信息获得该偏移量信息。
优选地，该第二层和该第一层的屏幕比例或空间分辨率不同，该第一 层来自于该第二层的相同视频信号。
为了进一步实现这些和其他优点并根据本发明的目的， 一种用于解码 视频信号的装置包括基本层解码单元，用于解码第一层的比特流；第一
头信息获得单元，用于获得表示是否对第二层的当前块执行层间预测的标
志信息；第二头信息获得单元，用于基于该标志信息获得至少一个偏移量 信息，该偏移量信息表示用于该层间预测的该第一层的上采样后的图像和 该第二层的当前图像间的位置差异；和上采样单元，用于通过使用该至少 一个偏移量信息，对该第一层的参考图像迸行上采样。
可以理解的是以上的一般描述和以下的详细描述都是示例的和解释 性的，并且可以提供对本发明所要求的进一步说明。
发明的实施方式
现在将参考本发明优选实施例进行详细说明，其例子已表示在附图中。
首先，对视频信号数据的压縮编/解码考虑空间冗余、时间冗余、可 伸縮冗余、视角间冗余。考虑可伸縮冗余的压縮编/解码只是本发明的一 个实施例。但是本发明的技术构思可适用于时间冗余、空间冗余、视角间 冗余等。进一步，本说明书中所指的"编/解码"包含编码和解码两个概 念，可以根据本发明的技术构思和技术范围灵活地进行解释。
在视频信号的比特序列配置中，存在称之为NAL (Network Abstraction Layer,网络抽象层)的独立的层结构，其位于执行运动图 像编码过程本身的VCL(Video Code Layer,视频编码层)和传输并存储编 码信息的下级系统之间。编码过程所生成的输出为VCL数据，其在传输或 存储之前被映射为NAL单元。各个NAL单元包含压縮的视频数据或相应于 头信息的数据RBSP (Raw Byte Sequence Payload，原始字节序列载荷， 运动图像压縮的结果数据)。
NAL单元基本上包括NAL头和RBSP两部分。NAL头中包含表示是否包
含作为该NAL单元的参考图像的条带的标志信息(nal—ref_idc)和表示 NAL单元的类型的信息(nal_unit—type)。在RBSP中存储压縮后的原始数 据。并且，为了使RBSP的长度表示为8比特的倍数，在RBSP的末尾部分 加入RBSP拖尾比特(RBSP trailing bit)。 NAL单元的类型有IDR (Instantaneous Decoding Refresh,即时解码刷新)图像，SPS(Sequence Parameter Set,序列参数集)，PPS (Picture Parameter Set,图像参数集) 禾口 SEI (Supplemental Enhancement Information,补充增强信息)等。
因此，如果表示NAL单元的类型的信息(nal—unit—type)表示为可 伸縮视频编码条带的话，可通过增加与上述可伸縮编/解码有关的各种配 置信息来提高编/解码效率。举例来说，可以增加表示当前接入单元是否 为即时解码刷新(以下称为IDR)接入单元的标志信息，表示空间可伸縮 性的依赖关系识别信息，质量识别信息，表示是否使用层间预测的标志信 息(no—inter—layer—pred—flag),优先级识别信息等。其将参考图2进 行详细说明。
在标准中，为了能以适当的费用购买目标产品，规定了对于各种简表 和级别的要求。这种情况下，解码器必须满足根据相应简表和级别中所确 定的要求。类似地，定义了 "简表"和"级别"两种概念来表示函数或参 数，其用于表示解码器可以处理的被压縮序列的范围的大小。可通过简表 识别符(profilejdc)来识别比特流基于预定的简表。简表识别符是指 表示比特流所基于的简表的标志。举例来说，H.264/AVC中，如果简表识 别符为66，其表示比特流基于基准简表；如果简表识别符为77，其表示 比特流基于主要简表;如果简表识别符为88，其表示比特流基于扩展简表。 此外，上述简表识别符可包含在序列参数集中。
因此，为了处理可伸縮序列，需要识别输入的比特流是否为可伸縮序 列的简表，如果识别为与可伸縮序列的简表的话，有必要增加语法使得至 少一个用于可伸縮序列的附加信息可以被传输。这里可伸縮序列的简表，
作为H.264/AVC的附加方案，表示用于处理可伸縮视频的简表模式。因为 对于传统AVC技术，SVC为附加方案，所以，和无条件增加语法相比，增 加语法作为用于SVC模式的附加信息更为有效。举例来说，当AVC的简表 识别符表示为可伸縮序列的简表时，如果增加关于可伸縮序列的信息的 话，可提高编/解码效率。
以下将说明用于提供有效的视频信号解码方法的各种实施例。 图1为根据本发明的可伸縮视频编/解码系统的示意框图。 为了提供用于各种通信环境和各种终端的最优化序列，提供给终端的 序列应该是多样化的。如果对于每个终端最优化的序列被提供到相应终端 的话，表示单个序列源被准备用于各种参数的组合值，这些参数包括每秒 的传输帧数、分辨率、每一像素的比特数等。因此，最优化序列的提供对 内容提供商施加了负担。因此，内容提供商把原始序列编码为高比特率的 压縮序列数据。在接收到由终端做出的序列请求时，内容提供商解码原始 序列，把其编码为适合于终端的序列处理能力的序列数据，并且然后把该 编码后的数据提供给终端。因为该代码转换伴随着编码-解码-编码过程， 所以在提供序列的过程中不能避免产生时间延迟。因此，另外需要复杂的 硬件设备和算法。
另一方面，可伸縮视频编码(SVC)是一种用于以最佳图像质量编码 视频信号的编码方案以使得所产生的图像序列的部分序列通过解码而被 表现为序列。这里，部分序列可以表示由从整个序列中被间歇地挑选出来 的帧构成的序列。对于由SVC编码的图像序列，通过使用空间可伸缩性， 序列尺寸可被縮减用于低比特率。并且，也可使用质量可伸缩性降低序列 的图像质量。这里，具有小尺寸屏幕和/或低每秒帧数的图像序列可被称 为基本层，且具有相对大尺寸屏幕和/或相对高的每秒帧数的序列可被称 为被增强的或增强层。
由上述提到的可伸縮方案编码的图像序列以只接收和处理部分序列
的方式实现低图像质量的序列表示。然而，如果比特率变低的话，图像质 量就降级很多。为了解决降级的图像质量问题，可以为低比特率提供独立 的辅助图像序列，举例来说，具有小尺寸屏幕和/或低每秒帧数的图像序 列。这样的辅助序列可被称为基本层，且主图像序列可被称为被增强的或 增强层。
在描述用于层间预测的各种实施例时，本发明使用了包括基本层和增 强层的概念。例如，增强层可以具有和基本层不一样的空间分辨率或屏幕 比例。并且，增强层可以具有和基本层不一样的图像质量。详细举例来说， 基本层可以是参考层，并且增强层可以是当前层。下文中所解释的基本层 和增强层仅是示例性的，其并不构成对本发明解释的限制。
以下详细说明可伸縮视频编/解码系统。首先，可伸縮编/解码系统包
括编码器102和解码器110。编码器102包括基本层编码单元104，增强 层编码单元106，和复用单元108。并且，解码器可以包括去复用单元112， 基本层解码单元114，和增强层解码单元116。基本层编码单元104能够 通过压縮输入的序列信号X(n)来产生基本比特流。增强层编码单元106 可以通过使用输入的序列信号X(n)和由基本层编码单元104所产生的信 息来产生增强层比特流。并且，复用单元108可以通过使用基本层比特流 和增强层比特流来产生可伸縮比特流。
所产生的可伸縮比特流被通过特定信道传送到解码器110，所传送的 可伸縮比特流可以由解码器110的去复用单元112分为增强层比特流和基 本层比特流。基本层解码单元114接收基本层比特流并且把基本层比特流 解码为宏块间的序列信号及块间的残差和运动信息。这里，可基于单回路 解码方法来执行相应的解码。
增强层解码单元116接收增强层比特流，并且参照由基本层解码单元 114重建的基本层来解码输出序列信号Xe(n)。这里，输出序列信号Xb(n) 将是具有比之后的输出序列信号Xe(n)低的图像质量或分辨率的序列信号。
因此，增强层编码单元106和增强层解码单元116的每一个均通过使 用层间预测来执行编码。层间预测表示通过使用基本层的运动信息和/或 纹理信息预测增强层的序列信号。这里，纹理信息可表示属于宏块的图像 数据或像素值。例如，在层间预测方法中，有帧内基本预测模式(intra base prediction mode)或残差预测模式。帧内基本预测模式可以表示用于预 测基于基本层中的相应区域的增强层的块的模式。这里，基本层中的相应
区域可以表示以层间模式编码的区域。同时，残差预测模式可以使用具有 残差数据的相应区域，该残差数据为基本层中的图像差值。在两种情形中， 上述基本层中的相应区域能够通过采样被扩大或縮小来用于层间预测。采 样表示改变图像分辨率。而且，采样可以包括重采样、下采样、上采样等。 举例来说，能够在样本内重采样以执行层间预测。并且，可以通过使用下 采样滤波器来重新产生像素数据以降低图像分辨率，这可被称为下采样。 而且，可以通过使用上采样滤波器来生成一些附加像素数据以提高图像分 辨率，这可被称为上采样。重采样可以包括下采样和上采样两个概念。本 发明中，可根据本发明的相应实施例的范围和技术思想来正确解释"采样" 这一术语。
同时，对于相同序列内容，为了不同的用途或目的产生基本层和增强 层，并且其在空间分辨率、帧速率、比特率等方面相互不同。在通过层间 预测编码视频信号时，非二阶情况，即在空间分辨率上增强层对基本层的 比率不是2的整数，可被称为扩展空间可伸縮性(ESS)。举例来说，当通 过层间预测将增强层编码为具有16:9 (水平垂直)比率的视频信号时， 可能发生基本层被编码为具有4:3比率的图像这一情形。这种情形下，因 为基本层按照原始视频信号被部分裁切的裁切状态(cropping state)被 编码，即使基本层被扩大以用于层间预测，也不能覆盖增强层的整个区域。 因此，既然增强层的部分区域在被上采样的基本层中没有相应的区域，该
部分区域就不能使用用于层间预测的上采样后的基本层的信息。也就是 说，这表示层间预测不适用于该部分区域。这种情形下，被用于层间预测
的编码信息可能不被传输。下面将参考图5至图11来详细说明有关具体
实施例。
图2和图3分别为根据本发明的一个实施例的可加入到可伸縮视频编 码比特流的可伸縮序列的配置信息的结构图，及用于描述该配置信息的图 像。
图2示出了 NAL单元的结构示例，该NAL单元使得关于可伸縮序列的 配置信息加入其中。首先，NAL单元可以主要包括NAL单元头和RBSP (原 始字节序列载荷运动图像压縮的结果数据)。NAL单元头可以包括表示 NAL单元是否包括参考图像的条带的识别信息(na1—ref—idc)和表示NAL 单元类型的信息(na1—Unit_type)。并且，还可有限制地包括NAL单元头 的扩展区域。举例说来，如果表示NAL单元类型的信息和可伸縮视频编码 相关联或表示前缀NAL单元的话，那么NAL单元可以包含该NAL单元头的 扩展区域。具体而言，如果nal—unit—type等于20或14的话，NAL单元 可以包含NAL单元头的扩展区域。并且，可以根据能够识别其是否为SVC 比特流的标志信息(svc—mvc—flag)来把关于可伸縮序列的配置信息加入 到NAL单元头的扩展区域。
另一示例中，如果表示NAL单元类型的信息为表示子集序列参数集的 信息的话，RBSP可以包括关于子集序列参数集的信息。具体而言，如果 nal_imit—type等于15， RBSP可以包括关于子集序列参数集的信息，关于 条带层的信息等。这种情形下，根据简表信息，子集序列参数集可以包括 序列参数集的扩展区域。举例来说，如果简表信息(profile—idc)为和可 伸縮编码相关的简表，那么子集序列参数集可以包括序列参数集的扩展区 域。或者，根据简表信息，序列参数集可以包括序列参数集的扩展区域。 序列参数集的扩展区域可以包括用于控制层间预测的去块滤波器的特性
的信息，和用于上采样过程的参数相关的信息等。关于可伸縮序列的各种
配置信息，例如，可以包含在NAL单元头的扩展区域、序列参数集的扩展 区域、和条带层中的配置信息将在下文中详细说明。
首先，从序列参数集的扩展区域中可以获得标志信息 (inter—layer—deblocking—filter—control—present—flag)，该标志信息
表示是否存在对于控制用于层间预测的去块滤波器的特性的信息。并且， 从序列参数集的扩展区域中可以获得信息 (extended—spatial—scalability)，该信息表示用于上采样过程的参数相 关的信息的位置。具体而言，举例来说，如果 extended_spatial—scalability等于0的话，可以表示在序列参数集或条
带头中不存在用于上采样过程的任何参数。如果 extended—spatial—scalability等于1的话，可以表示在序列参数集中 存在用于上采样过程的参数。如果extended—spatial—scalability等于 2的话，可以表示在条带头中存在用于上采样过程的参数。下文中将参考 图9详细说明用于上采样过程的参数。
表示是否使用层间预测的信息④可以是指表示层间预测是否在对已 编码条带的解码中被使用的标志信息。标志信息可以从NAL头的扩展区域 中获得。举例来说，如果标志信息被设为1，可以表示没有使用层间预测。 如果标志信息被设为0，根据宏块中的编码方案可以使用或不使用层间预 测。这是因为宏块中的层间预测可以使用或不使用。
质量识别信息③表示识别NAL单元的质量的信息。将参考图3来描述 配置信息。举例来说，单个图像可以被编码成相互质量不同的层。图3中， Spa_LayerO和Spa—Layerl上的层可以被编码为相互质量不同的层。具体 而言，假设识别亂单元质量的信息被命名为quality」d，层Bl， B2，， B10可被设置为qualityjd等于0。并且，层Ql， Q2，， Q10可被设置 为qualityjd等于l。换句话说，层Bl， B2,…，B10可以表示具有最低
图像质量的层。这些被称为基本图像。层Ql, Q2，…，Q10相应于包含层 Bl， B2，…，B10的层，并且具有比层B1， B2，…，B10好的图像质量。并 且，质量识别信息可以按照各种方式被定义。举例来说，质量识别信息可 以表示为16个级别。
表示空间可伸縮性的信息是指表示识别有关NAL单元的依赖关系的信 息。参考图3来描述配置信息。举例来说，依赖关系会根据空间分辨率而 变化。图3中，Spa—LayerO和Spa—Layerl中的层具有相同分辨率。 Spa—LayerO中的层可以包括通过对Spa_Layerl中的层执行下采样而获得 的图像。具体而言，举例来说，假设识别关于NAL单元的依赖关系的信息 被表示为d印endency一id， Spa_UyerO中的层之间的d印endency—id等于 0。并且，Spa_Layerl中的层之间的d印endency—id等于1。依赖关系识
别信息可按照各种方式被定义。因此，具有相同值的识别依赖关系信息的 亂单元可以用依赖关系表示(d印endency representation)来表示。
同时，可根据识别依赖关系的信息和质量识别信息来定义单个层。在 这种情形下，具有相同值的识别依赖关系的信息和质量识别信息的NAL单 元可以用层表示(layer representation)来表示。
表示时间可伸縮性的识别信息是指识别关于NAL单元的时间级别的信 息。可以按照分级B图像结构来描述时间级别。举例说来，Spa_LayerO 中的层(B1， Ql)和层(B3， Q3)可以有相同的时间级别Tem—Layer0。如果 层(B5， Q5)引用层(B1， Q1)和层(B3， Q3)，那么层(B5， Q5)可以有比层(B1， Q1)和层(B3， Q3)的时间级别Tem—LayerO高的时间级别Tem—Layerl。同样 地，如果层(B7， Q7)引用层(B1， Q1)和层(B5, Q5)的话，那么层(B7, Q7) 具有比层(B5， Q5)的时间级别Tem—Layerl高的时间级别Tem—Layer2。在 单个接入单元中的所有NAL单元可以有相同的时间级别值。在IDR接入单 元的情形中，时间级别值可变为O。
表示参考基本图像是否被用作参考图像的标志信息表示在层间预测
过程中参考基本图像是否被用作参考图像或者在层间预测过程中解码图
像是否被用作参考图像。对于同一层中的NAL单元，即具有相同的识别依 赖关系的信息的NAL单元，标志信息可以具有相同的值。
优先级标识信息是指识别NAL单元的优先级的信息。通过使用优先级 标识信息来提供层间可扩展性或图像间可扩展性是可能的。举例来说，通 过使用优先级标识信息来向用户提供各种时间和空间级别的序列是可能 的。因此，用户能够只观看特定时间和空间上的序列，或者只观看根据不 同的限制条件的序列。优先级信息可以根据其参考条件按照不同方式进行 配置。优先权信息能够不基于特定参考而被随机配置。并且，优先级信息 可以由解码器来决定。
并且，在NAL单元头的扩展区域中的配置信息可以包括表示当前接入 单元是否为IDR接入单元的标志信息。
用于层间预测的各种信息可以被包括在条带层中。举例来说，可以包 括表示上采样过程中的对于条带边界的处理的信息 ，和去块滤波器的操 作相关的信息⑥，和色度信号的相移相关的信息⑦，表示基本层和增强层 之间的位置差异的偏移量信息⑧，和表示是否存在自适应预测的信息⑤。 上述信息可以从条带头中被获得。
作为和去块滤波器的操作相关的信息⑥的示例，可以有表示去块滤波 器的方法的信息(disable—deblocking_filter_idc)、去块滤波所必需的 偏 禾多 量 信 息 (inter—Iayer_slice_alpha—c0—offset_div2, inter—layer—slice—beta—offset—div2)。
作为和色度信号的相移相关的信息⑦的示例，可以有关于用于层间预 测的图像的色度分量的水平和垂直相移(scaled_ref_layer—left—off set, scaled_ref—layer_top_offset, scaled—ref—layer一right一offset,
scaled—ref—layer—bottom—offset)的信息。
作为表示层间的位置差异的偏移量信息⑧的示例，可以有表示用于层
间预测的上采样后的参考图像和当前图像的上、下、左、右位置差异的信
息 (scaled—ref一layer—left—offset， scaled_ref—layer_top_offset， scaled_ref—layer—right—offset, scaled—ref—layer—bottom—offset)。 作为表示基本层上采样过程中的条带边界处的宏块的处理的信息⑤ 的示例，可以有表示当基本层中的相应帧内编码块(intra-coded block) 存在于增强层的至少两个条带的情形下，当前宏块是否不能通过使用基本 层中的相应帧内编码块被预测的信息 (constrained—intra—resampling—flag)。
并且，表示是否存在自适应预测的信息③可以表示在条带头和宏块层 中是否存在和预测相关联的信息。根据表示是否存在自适应预测的信息， 可以决定将使用哪种类型的自适应预测方法。稍后将参照图11对其进行 详细说明。
图4为关于采样后的基本层和增强层1之间的裁切关系(cropping relation)的图。
在可伸縮视频编码中，可以检査增强层的当前块是否能使用层间预 测。举例来说，可以检査相应于当前块中的所有像素的区域是否存在于基 本层中。作为检査过程的结果，如果增强层的当前块没有被用于层间预测， 那么就不必传输用于层间预测的编码信息。因此，可以提高编码效率。
因此，可以定义一函数，其能够检查增强层的当前块是否使用了层间 预测。举例来说，函数in—crop—window()可以被定义为用于检査相应于当 前块中的所有像素的区域是否存在于基本层中。假设增强层上的水平方向 上的宏块索引被设置为mbldxX，并且垂直方向上的宏块索引被设置为 mbldxY，如果满足下述条件的话，函数in—crop—window()能够返回值 "TRUE"(或"1")。
mbldxX > (ScaledBaseLeftOffset + 15) / 16
mbldxX《(ScaledBaseLeftOffset + ScaledBaseWidth — 1) / 16
mbldxY》(ScaledBaseTopOffset + 15) / 16 mbldxY《(ScaledBaseTopOffset + ScaledBaseHeight - 1) / 16 可以通过使用宏块地址和水平方向上的宏块数来导出mbldxX。可以通 过根据是否应用宏块自适应帧-场(macroblock adaptive f濯e-field ) 而用不同的方法来导出mbldxY。举例来说，如果应用了宏块自适应帧-场 的话，可以通过考虑宏块对来导出mbldxY。当考虑宏块对时，假定上部宏 块的索引被设置为mbldxYO，底部宏块的索引被设置为mbldxYl。 mbldxY0 可以从表示用于层间预测的上采样后的图像与当前图像之间的上部位置 差异的偏移量信息及水平方向的宏块数信息中导出。这种情形中，水平宏 块数信息的值可以根据当前图像是帧图像或场图像(field picture)而 不同。mbldxYl可以从表示用于层间预测的上采样后的图像与当前图像之 间的上部位置差异的偏移量信息及垂直方向上的宏块数信息中导出。同 时，如果没有应用宏块自适应帧-场的话，mbldxY0和mbldxYl可以被设置 为相同值。
ScaledBaseLeftOffset表示偏移量信息，其表示用于层间预测的上采 样后的图像和当前图像之间的左侧的位置差异。ScaledBaseTopOffset为
表示用于层间预测的上采样后的图像和当前图像之间的上方的位置差异。 ScaledBaseWidth表示上采样后的图像的水平宽度。并且， ScaledBaseHeight表示上采样后的图像的垂直高度。
如果上述条件中的任一项不满足的话，函数in_crop—window()会返 回一 "FALSE"(或"0")值。
当相应于当前块中的至少一个像素的像素不在上采样后的基本层中 时，也就是说，当函数in_crop—window (CurrMbAddr)返回"FALSE"值时， 和层间预测相关联的信息不被用于当前块，并且该信息不会被传输。因此， 根据本发明的实施例，如果通过in—crop—window (CurrMbAddr)识别出基本 层中的相应区域不存在的话，可以省略和用于当前块的层间预测相关的信 息的传输。
根据本发明的实施例，下面说明了通过使用函数in—crop—window() 执行编码的情形。
首先，当通过in_crop—window(CurrMbAddr)识别出相应于当前块的区 域存在于基本层中时，增强层编码单元106通过使用基本层的纹理和/或 运动信息执行层间预测。这种情形下，运动信息可以包含参考索引信息， 运动向量信息，分割(partition)信息等。
在当前块的纹理和/或运动信息被设置为相应块的纹理和/或运动信 息时，或是在当前块的纹理和/或运动信息是从相应块的纹理和/或运动信 息导出时，增强层编码单元106把指示完整或导出信息的指示信息加入到 增强层的数据流中，并且将该加入通知给解码器110。但是，当通过 in_crop_window (CurrMbAddr)识别出相应于当前块的区域不存在于基本 层时，增强层编码单元106可以不执行层间预测而产生增强层。同时，如 果解码器no通过in—crop—window(CurrMbAddr)确认相应于当前块的区 域不存在于基本层时，解码器110决定不传输指示信息。
图5和图6分别是根据本发明的一个实施例的与通过层间预测的宏块 和子宏块预测相关的语法图。
当执行层间预测时，和当前NAL的条带数据的层间预测相关的信息被 传输到解码器。举例说来，在增强层的当前块的运动向量的预测中，可以 从宏块层获得表示是否使用基本层的运动向量的标志 (motion—prediction_flag_lx)。根据本发明的一个实施例，解码器以检 査in_crop—window(CurrMbAddr)的方式来得知和层间预测相关联的信息 是否由编码器来传输(510， 610)。举例说来，根据 in—crop—window (CurrMbAddr)，如果相应于当前块的区域不存在于基本层 的话，标志motion_prediction_flag—10/11将不会在比特流中传输 (520/530， 620/630)。
并且，表示和运动向量预测相关联的信息是否存在于宏块层的标志
adaptive_motion_prediction_flag可以从当前NAL的条带数据中被获 得。根据本发明的 一 个实施例，通过检查 adaptive—motion—prediction_flag禾口 in_crop—window(CurrMbAddr)的方 式，编码器可以不传输和层间预测相关联的信息(510)。举例说来，根据 in_crop—window(CurrMbAddr)，如果相应于当前块的区域不存在于基本层 的话，或者根据adaptive—motion—prediction—flag,如果和运动向量预 测相关联的信息不存在于宏块的话，可以不传输标志 motion—prediction—flag_10/ll (520/530， 620/630)。上述技术思想同样 可应用于图6中所示的子宏块预测。
因此，如果在识别上述两种信息后满足上述两条件的话，传输和层间 预测相关联的信息。因此，可以提高编码效率。
图7是根据本发明的一个实施例的与通过层间预测的残差预测相关的 语法图。
在执行层间预测的情形中，当前NAL的条带数据中的和层间预测相关 的信息被传输到解码器。举例来说，在预测当前块的残差信号的情形中， 可以从宏块层获得表示是否使用基本层的残差信号的标志 residual—prediction—flag(740)。这种情形下，可以通过层表示信息 (layer representation information)知道基本层。根据本发明的一个 实施例，通过确认in—crop—window (CurrMbAddr)的方式，编码器可以不传 输和层间预测相关的信息。
举例说来，可以根据表示宏块中与残差信号的预测相关的信息的存在 的信息adaptive—residual—prediction—flag及当前块的条带类型的信 息，来获得上述 residual—prediction—flag(710)。 上述 residual—prediction—flag也可根据base—mode—flag被获得。上述 base_ni0de_flag表示当前宏块的类型(mb_type)是否从基本层的相应区域
被导出(720)。也可以根据当前宏块的类型和函数 in一crop—window(CurrMbAddr)来获得residual_prediction—f lag。举例说 来，当宏块和子宏块的类型不是帧内模式(MbPartPredType (mb—type, 0) != Intra—16x16(8x8 and 4x4))，并且in—crop一window(CurrMbAddr) 的值为"true"时(其表示相应于当前宏块的区域存在于基本层中)，可 获得residual_prediction—flag(730)。如果当前宏块的类型不是帧内模 式或相应于当前宏块的区域不存在于基本层 (in—crop_window(CurrMbAddr) =0)时，不执行残差预测。并且，上述编 码器102生成增强层而不包含residual_prediction—flag。
如果上述residual_prediction—flag被设置为1，则从基本层的残差 信号预测当前块的残差信号。如果residual—prediction—flag被设置为 0，则不进行层间预测而编码残差信号。如果在宏块层中不存在 residual_prediction—flag的话，其可被按照下文导出。举例说来，只有 当完全满足下述条件时，residual—prediction—flag可以被推导为预先设 定值(default_residua!_prediction—flag)。首先，base一mode一flag应该 被设置为1或者当前宏块的类型应该不为帧内模式。其次， in—crop—window(CurrMbAddr)应被设置为1。第三，表示是否使用层间预 测的标志no—inter_layer—pred—flag应被设置为0。第四，条带类型应该 不是EI条带。否则的话，推导得出O。
通过in_crop_window(CurrMbAddr)，当确认相应于当前序列块的区域 不存在于基本层中时，增强层解码单元116决定运动预测标志 (motion—prediction—flag)信息不存在于宏块或子宏块中，并且只通过 使用增强层的数据比特流来重建视频信号而不进行层间预测。如果用于残 差预测的语法元素不包含在增强层的数据比特流中的话，增强层解码单元 116可以推导出残差预测标志residual_prediction_flag。如此进行时， 可以通过in_crop—window(CurrMbAddr)考虑相应于当前块的区域是否存
在于基本层中。如果in—crop—window(CurrMbAddr)为设置为0的话，增强 层解码单元116可以确认相应于当前序列块的区域不存在于基本层中。在 这种情形下，推导出residual—prediction_flag为0，并且然后可以只通 过使用增强层的数据重建视频信号而不通过使用基本层的残差信号执行 残差预测。
图8是根据本发明的一个实施例的根据是否存在层间预测来执行去块 滤波的语法结构图。
首先，根据本发明的一个实施例，编码器可以通过检查可伸縮视频编 码后的比特流的配置信息，不传输和层间预测相关的信息。可伸縮视频编 码后的比特流的配置信息可以从NAL头的扩展区域获得。举例说来，可以 根据表示是否使用层间预测的信息(no_inter_layer_pred_f lag)和质量 识别信息(quality—id)来获得和去块滤波器相关的信息(810)。作为和去 块滤波器的操作相关的信息的示例，可以有表示去块滤波器的操作方法的 信息(disable—deblocking—filter—idc)，去块滤波所需的偏移量信息 (slice_alpha_cO—offset_div2， slice—beta—offset一div2)等。
首先，可以基于用于控制去块滤波器的特性的信息来获得表示去块滤 波器的操作的信息。在这种情形下，如同图2的描述所提及的，用于控制 去块滤波器的特性的信息可以从序列参数集的扩展区域中获得。举例说 来，作为用于控制去块滤波器的特性的信息，可以有表示控制用于层间预 测的去块滤波器的特性的信息是否存在的标志信息 (inter—layer—deblocking—filter—control—present—flag) (820)。因此， 可以根据上述标志信息获得表示去块滤波器的操作方法的信息(830)。
具体而言，如果disable—deblocking—filter—idc等于0，那么可以 对于当前图像的亮度和色度信号的所有块边缘执行滤波。如果 disable—deblocking—filter_idc等于1的话，可以不对当前图像的所有 块边缘执行滤波。disable—deblocking—filter—idc等于2，则对具有重
叠条带边界的块边缘之外的所有块边缘执行滤波。如果
disable_deblocking_f ilter—idc等于3的话，则对具有不重叠条带边界 的块边缘进行滤波，并且然后对具有重叠条带边界的块边缘进行滤波。如 果disable—deblocking—filter—idc等于4的话，只对亮度信号的块边缘
执行滤波而可以不对色度信号的块边缘执行滤波。如果 disable—deblocking—filterjdc等于5的话，则对具有重叠条带边界的 块边缘之外的亮度信号的所有块边缘进行滤波，并且可以不对色度信号的 块边缘执行滤波。如果disable—deblocking—filter_idc等于6的话，可 以不对色度信号的块边缘进行滤波，但可以只对亮度信号的块边缘进行滤 波。当对于具有不重叠条带边界的亮度信号的块边缘进行滤波后，可以对 具有重叠条带边界的亮度信号的块边缘进行滤波。
基于表示去块滤波器的操作方法的信息，可以获得去块滤波所需的偏 移量信息。举例来说，如果disable—deblocking—filter_idc等于1的话， 对所有的块边缘都不执行去块滤波。因此，只有当 disable—deblocking—filter—idc的值不被设置为1的时候，才能获得去 块滤波所必需的偏移量信息(840)。举例说来， inter—layer—slice—alpha—c0一offset—div2 禾口 inter_layer—slice_beta_offset_div2可以是指层间预测时在宏块中访 问去块滤波器表时所使用的偏移量信息(850)。因此，可以通过使用所 获得的偏移量信息来执行去块滤波。
图9是根据本发明的一个实施例的根据是否存在层间预测来获得表示 上采样后的参考图像和当前图像间的位置差异的偏移量信息的语法结构 图。
根据本发明的一个实施例，编码器可以通过检查可伸縮视频编码比特 流的配置信息，而不传输和层间预测相关的信息。可伸縮视频编码比特流 的配置信息可以从NAL头的扩展区域中获得。举例来说，可以根据表示是
否使用层间预测的信息(no—inter—layer_pred—flag)和质量识别信息 (qualityjd)来获得和用于上采样过程的参数相关的信息(910)。作为和 用于上采样过程的参数相关的信息的示例，存在关于色度信号的相移的信 息(930)，表示图像间的位置差异的偏移量信息(940)等。并且，可以从序
列参数集的扩展区域和条带头获得和用于上采样过程的参数相关的信息。 作为关于色度信号的相移的信息(930)的示例，存在关于用于层间预 测的图像的色度分量的水平相移的信息 (ref—layer—chroma—phase_x_plusl)， 关于其垂直相位变化的信息 (ref—layer—chroma—phase—y_plusl)。作为表示图像间的位置差异的偏移 量信息(940)的示例，存在偏移量信息(scaled—ref_layer—left_off set, scaled_ref—layer_top_offset, scaled—ref_layer_right—offset,
scaled—ref_layer_bottom— offset)，其表示用于层间预测的上采样后 的图像和当前图像间的左、上、右和底部位置差异。
可以基于表示用于上采样过程的参数有关的信息的位置的信息 (extended—spatial_scalability)来获得和用于上采样过程的参数相关 的信息。举例说来，如果上述extended—spatial—scalability被设置为0， 那么可以表示和用于上采样过程的参数相关的信息既不存在于序列参数 集中也不存在于条带头中。如果extended—spatial_scalability被设置 为l，可表示和用于上采样过程的参数相关的信息不存在于条带头中，但 存在于序列参数集中。如果extended—spatial—scalability被设置为2， 可表示和用于上采样过程的参数相关的信息不存在于序列参数集中，但存 在于条带头中。因此，如果extendecLspatia1—scalability被设置为2， 可以控制条带头中的和用于上采样过程的参数相关的信息(920)。而且， 如果extended—spatial_scalability被设置为1，则可以控制序列参数集 中的和用于上采样过程的参数相关的信息。
关于色度信号的相移的信息(930)，及表示参考图像和当前图像间的
位置差异的偏移量信息(940)被用于上采样过程。
图10是根据本发明的一个实施例的根据是否存在层间预测来获得表 示是否限制在基本层中使用帧内块(intra-block )的标志信息的语法结 构图。
根据本发明的一个实施例，通过检查可伸縮视频编码比特流的配置信 息，编码器可以不传输和层间预测相关的信息。上述可伸縮视频编码比特 流的配置信息可以从NAL头的扩展区域获得。举例说来，可以根据表示是 否使用层间预测的信息(no—inter_layer_pred—flag)和质量识别信息 (quality—id)来获得表示上采样过程中的条带边界的处理的信息(1010)。 作为表示条带边界的处理的信息的示例，存在表示对于增强层中的当前块 是否限制使用基本层中的帧内块的信息 (constrained_intra—resampling—flag)。通过定义表示是否限第U使用 帧内块的信息，可以提高执行并行处理时的解码速度。可以从条带头获得 表示是否限制使用帧内块的信息。
因为可以从条带头获得表示是否限制帧内块的使用的信息，即使其值 被设置为1，也需要检查和当前块相应的基本层的参考块是否包含在基本 层的特定条带中。因此，当constrained」ntra—resampling—flag被设置 为1时，可以确认和当前块相应的基本层的参考块是否包含在基本层的特 定条带中。举例说来，当基本层的参考块和基本层中的至少两个条带相交 叠时，当前块被标记为在基本层中不使用帧内块。具体而言，不能通过使 用帧内基本预测模式(intra-base prediction mode)来编码当前块。帧 内基本预测模式可表示基于基本层的相应区域来预测增强层的当前块的 模式。这种情形下，基本层的相应区域表示以帧内模式编码的块。当基本 层的相应区域被包含入基本层的特定条带时，可以通过使用基本层的帧内 块(intra-block)来解码当前块。这种情形下，当前块可以被标记为使 用了帧内基本予页须!l模式(intra—base prediction mode)。
如果上述constrained一intra—resampling—flag设置为1，贝據示参 照图8所描述的去块滤波器的操作方法的信息 (disable_deblocking_filter_idc) 将受到限制。举例i兑来， disable—deblocking—filter_idc只能被设置为1、 2或4。
如果上述constrained一intra—resampling—flag被设置为0，艮卩4吏基 本层中的相应块和基本层中的至少两个条带相交叠，也可以使用基本层的 帧内块(intra-block)来解码增强层的当前块。
以上描述的实施例可以适用于色度信号，同样按照相同方式也适用于 亮度信号。
图11是根据本发明的一个实施例的用于根据是否存在层间预测来获 得自适应预测信息的语法图。
根据本发明的一个实施例，通过确认可伸縮视频编码比特流的配置信 息，编码器可以不传输和层间预测相关的信息。可以从NAL头的扩展区域 获得可伸縮视频编码比特流的配置信息。举例说来，可以基于表示是否使 用层间预测的信息no—inter—layer—pred—flag来获得自适应预测信息 (1110)。自适应预测信息可以表示和预测相关的语法是否存在于相应位 置。例如，存在表示和预测相关的语法是否存在于条带头和宏块层的信息 adaptive_prediction_flag，表示和运动预测相关的语法是否存在于宏块 层的信息adaptive—motion—prediction_flag，和表示和残差预测相关的 语法是否存在于宏块层的信息adaptive—residual—prediction_flag，等 等。
当根据表示是否使用层间预测的信息来执行层间预测时，首先可获得 表示是否存在条带数据的标志信息slice_skip—flag(1120)。通过确认表 示存在条带数据的信息，为了执行层间预测，可决定是否推导出宏块内的 信息。根据表示上述条带数据的存在的信息，如果条带数据存在于条带中 (1130)，可以获得自适应预测标志adaptive—prediction—flag(1140)。并
且，可以获得表示和残差预测相关的语法是否存在于宏块层的信息
adaptive— _residual—prediction—flag(1180)。根据上述自适应预测标志，
可以从基本层的相应块获得表示如何推导表示是否预测运动信息等信息 的信息default—base—mode_flag(1150)。当运动信息等不是从基本层的相 应块被预测得到时(1155)，可以获得表示和运动预测相关的语法是否存在 于宏块层中的信息adaptive—motion—prediction—flag(1160)。如果和运 动预测相关的语法不存在于宏块层的话(1165)，可以获得表示如何推断运 动预测标志信息的信息default—motion—prediction—flag(1170)。
可以在宏块层使用表示和运动预测相关的语法是否存在于宏块层的 信息adaptivejnotion—prediction—flag和表示和残差预测相关的语法是 否存在于宏块层的信息adaptive—residual—prediction—flag。例如，可 以基于上述adaptive—motion—prediction—flag,获得表示是否使用基本 层的运动向量的标志motion—prediction—flag_lx。并且，可以基于上述 adaptive—residual_prediction_flag，获得表示是否使用基本层的残差 信号的标志residual—prediction_flag。
如上文所述，可应用于本发明的解码器/编码器被提供到用于诸如DMB (数字多媒体广播)等的多媒体广播的广播发射机/接收机，以用于解码 视频信号、数据信号等。并且，上述多媒体广播发射机/接收机可以包括 移动通信终端。
一种应用本发明的解码/编码方法，被作为用于计算机执行的程序， 并且存储在计算机可读记录介质中。并且，具有本发明的数据结构的多媒 体数据可以被存储在计算机可读记录介质中。计算机可读记录介质包括用 于存储计算机系统可读数据的所有类型的存储设备。计算机可读记录介质 包括R0M、 RAM、 CD-R0M、磁带、软盘、光盘存储设备等，并且还包括由载 波所实现的设备(例如，通过因特网的传输)。并且，由编码方法所生成 的比特流被存储在计算机可读介质中或通过有线/无线通信网络被传输。
工业实用性
尽管本发明已参照其优选实施例进行了描述及说明，很明显本领域的 技术人员可对其进行各种修改及变化，而不脱离本发明的精神或范畴。因 此，本发明覆盖权利要求书及其等同物的范围中所提供本发明的修改及变 化。
权利要求
1、一种解码视频信号的方法，所述方法包括解码第一层的比特流；获得表示是否对第二层的当前块执行层间预测的标志信息；基于所述标志信息获得至少一个偏移量信息，所述偏移量信息表示用于所述层间预测的所述第一层的上采样后的图像和所述第二层的当前图像间的位置差异；和通过使用所述至少一个偏移量信息，对所述第一层的参考图像进行上采样。
2、 根据权利要求l所述的方法，进一步包括:获得表示用于上采样的 参数是否存在于所述第二层的相应区域的信息，其中，基于所述表示用于 上采样的参数是否存在于所述第二层的相应区域的信息，获得所述至少一 个偏移量信息。
3、 根据权利要求2所述的方法，进一步包括:基于所述表示用于上采 样的参数是否存在于所述第二层的相应区域的信息，获得关于色度信号的 相移的信息，其中，通过使用所述关于色度信号的相移的信息，所述第一 层被上采样。
4、 根据权利要求3所述的方法，其中，基于表示色度格式的信息，获得所述关于色度信号的相移的信息。
5、 根据权利要求3所述的方法，其中，所述关于色度信号的相移的信 息包括水平方向上的相移信息和垂直方向上的相移信息。
6、 根据权利要求2所述的方法，进一步包括:获得用于识别所述第二 层的当前块的质量的质量识别信息，其中，基于所述质量识别信息获得所 述偏移量信息。
7、 根据权利要求l所述的方法，其中，所述第二层和所述第一层的屏 幕比例或空间分辨率不同，所述第一层来自于所述第二层的相同视频信 号。
8、 一种用于解码视频信号的装置，所述装置包括 基本层解码单元，用于解码第一层的比特流；第一头信息获得单元，用于获得表示是否对第二层的当前块执行层间 预测的标志信息；第二头信息获得单元，用于基于所述标志信息获得至少一个偏移量信 息，所述偏移量信息表示用于所述层间预测的所述第一层的上采样后的图 像和所述第二层的当前图像间的位置差异；和上采样单元，用于通过使用所述至少一个偏移量信息，对所述第一层 的参考图像进行上采样。
9、 根据权利要求l所述的方法，其中，所述视频信号以广播信号被接收。
10、 根据权利要求l所述的方法，其中，所述视频信号通过数字媒体 被接收。
11、 一种计算机可读介质，其上记录了执行权利要求l的方法的程序。
全文摘要
公开了一种解码视频信号的方法，本发明包括解码第一层的比特流；获得表示是否对第二层的当前块执行层间预测的标志信息；基于该标志信息获得至少一个偏移量信息，该偏移量信息表示用于该层间预测的该第一层的上采样后的图像和该第二层的当前图像间的位置差异；和通过使用该至少一个偏移量信息，对该第一层的参考图像进行上采样。
文档编号H04N7/24GK101395922SQ200780008172
公开日2009年3月25日 申请日期2007年11月19日 优先权日2006年11月17日
发明者全柄文, 朴胜煜 申请人:Lg电子株式会社