用于视频信号的层间预测方法

专利名称：用于视频信号的层间预测方法
技术领域：
本发明涉及用于在编码/解码视频信号时进行层间预测的方法。
2.
背景技术：
可升降级视频编解码器(svc)将视频编码成具有最高图像质量的画面序
列，同时确保经编码的画面序列的部分(具体地是，从整个帧序列中间歇地选 出的部分帧序列)能够被解码并用于以低图像质量来表现该视频。
尽管可通过接收和处理根据可升降级方案编码的画面序列的部分来表现 低图像质量视频，但仍然存在如果比特率降低则图像质量显著下降的问题。该 问题的一种解决方案是提供低比特率的辅助画面序列——例如具有小屏幕尺 寸和/或低帧率的画面序列——作为阶层结构中的至少一层。
当假设提供两个序列时，辅助(下)画面序列被称为基层，而主(上)画面序 列被称为增强或加强层。基层和增强层的视频信号具有冗余性，因为相同的视 频信号源被编码成两层。为了提高增强层的编解码效率，增强层的视频信号使 用基层的经编解码的信息(运动信息或纹理信息)来编解码。
尽管可如图la所示将单个视频源1编码成具有不同传递率的多个层，但 也可如图lb所示将包含相同内容2a的不同扫描模式下的多个视频源2b编码 成相应各层。同样，在这种情况下，编码上层的编码器可通过利用下层的经编 码的信息执行层间预测来提高编解码增益，因为两个源2b提供相同的内容2a。
因此，需要提供一种在将不同源编码成相应各层时把视频信号的扫描模式 纳入考虑的层间预测方法。当编码隔行视频时，它可被编码成偶场和奇场，并 且也可被编码成一帧中的奇和偶宏块对。相应地，对于层间预测还必须考虑用 于编解码隔行视频信号的画面类型。
一般而言，增强层提供分辨率高于基层分辨率的画面。相应地，如果在将 不同的源编码成相应各层时诸层的画面具有不同的分辨率，则还需要执行内插
来提高画面分辨率(g卩，画面大小)。因为对于预测编解码而言在层间预测中使 用的基层画面的图像越接近于增强层画面的图像，编解码率就越高，所以需要 提供一种将诸层的视频信号的扫描模式纳入考虑的内插方法。
3.

发明内容
本发明的目的是提供一种在两层中至少有一层具有隔行视频信号分量的 状况下执行层间预测的方法。
本发明的另一个目的是提供一种根据画面类型执行对具有不同空间分辨 率(可升降级性)的画面的诸层的层间运动预测的方法。
本发明的又一个目的是提供一种执行对具有不同空间和/或时间分辨率(可 升降级性)的画面的诸层的层间纹理预测的方法。
一种根据本发明的层间运动预测方法包括将内模式宏块的运动相关信息 设置成间模式宏块的运动相关信息，该内模式和间模式宏块是基层的两个垂直 毗邻的宏块；然后基于这两个垂直毗邻的宏块获得垂直毗邻宏块对的运动信息 用于层间运动预测。
另一种根据本发明的层间运动预测方法包括将作为基层的两个垂直毗邻 的内模式和间模式宏块之一的内模式宏块设置成具有O运动相关信息的间模式 块；然后基于这两个垂直毗邻的宏块获得垂直毗邻宏块对的运动信息用于层间 运动预测。
另一种根据本发明的层间运动预测方法包括从基层的垂直毗邻帧宏块对 的运动信息推导单个宏块的运动信息；以及将所推导出的运动信息用作当前层 中的场宏块的运动信息或当前层中的场宏块对的各自的运动信息的预测信息。
另一种根据本发明的层间运动预测方法包括从基层的单个场宏块的运动 信息或选自基层的垂直毗邻场宏块对的单个场宏块的运动信息推导两个宏块 各自的运动信息；以及将所推导出的各自的运动信息用作当前层的帧宏块对各 自的运动信息的预测信息。
一种根据本发明用于具有不同分辨率的画面的诸层的层间运动预测方法 包括通过根据画面的类型和画面中宏块的类型选择性地使用变换成帧宏块的 预测方法将下层的画面变换成相同分辨率的帧画面；升采样该帧画面以使其具
有与上层的分辨率相同的分辨率；然后应用适用于此经升采样的帧画面中的帧宏块的类型和上层画面中的宏块类型的层间预测方法。
另一种根据本发明用于具有不同分辨率的画面的诸层的层间运动预测方法包括标识出下层和上层的画面的类型和/或包括在这些画面中的宏块的类型；根据标识出的结果对下层画面应用从单个场宏块预测帧宏块对的方法以构 造具有与上层画面的纵横比相同的纵横比的虚拟画面；升采样该虚拟画面；然后利用此经升采样的虚拟画面对上层应用层间运动预测。
另一种根据本发明用于具有不同分辨率的画面的诸层的层间运动预测方 法包括标识出下层和上层的画面的类型和/或包括在这些画面中的宏块的类 型；根据标识出的结果对下层画面应用从单个场宏块预测帧宏块对的方法以构 造具有与上层画面的纵横比相同的纵横比的虚拟画面；以及利用所构造出的虚 拟画面对上层的画面应用层间运动预测。
另一种根据本发明用于具有不同分辨率的画面的诸层的层间运动预测方 法包括标识出下层和上层画面的类型；如果下层画面的类型是场且上层画面 的类型是逐行，则拷贝下层画面中的块的运动信息以构造虚拟画面；升采样该 虚拟画面；以及在此经升采样的虚拟画面和上层画面之间应用帧宏块-宏块运 动预测方法。
另一种根据本发明用于具有不同分辨率的画面的诸层的层间运动预测方 法包括标识出下层和上层画面的类型；如果下层画面的类型是场且上层画面 的类型是逐行，则拷贝下层的块的运动信息以构造虚拟画面；以及使用该虚拟 画面来对上层画面应用层间运动预测。
在本发明的实施例中，在层间运动预测中顺序地预测划分模式、参考索引、和运动向量。
在本发明的另一个实施例中，顺序地预测参考索引、运动向量、和划分模式。
在本发明的另一个实施例中，要用于层间运动预测的虚拟基层的场宏块对 的运动信息是从基层的帧宏块对的运动信息推导出的。
在本发明的另一个实施例中，要用于层间运动预测的虚拟基层的偶或奇场 画面中的场宏块的运动信息是从基层的帧宏块对的运动信息推导出的。
在本发明的另一个实施例中，从基层的场宏块对中选择宏块，且要用于层 间运动预测的虚拟基层的帧宏块对的运动信息是从所选宏块的运动信息推导 出的。
在本发明的另 一个实施例中，要用于层间运动预测的虚拟基层的帧宏块对 的运动信息是从基层的偶或奇场画面中的场宏块的运动信息推导出的。
在本发明的另一个实施例中，基层的偶或奇场画面中的场宏块的信息被拷 贝以另外构造虚拟场宏块，且要用于层间运动预测的虚拟基层的帧宏块对的运 动信息是从以此方式构造出的场宏块对的运动信息推导出的。
一种根据本发明的层间纹理预测方法包括由基层的垂直毗邻帧宏块对构 造场宏块对；以及将所构造出的场宏块对各自的纹理信息用作当前层的场宏块 对各自的纹理预测信息。
另一种根据本发明的层间纹理预测方法包括由基层的垂直毗邻帧宏块对 构造单个场宏块；以及将所构造出的单个场宏块的纹理信息用作当前层的场宏 块的纹理预测信息。
另一种根据本发明的层间纹理预测方法包括由基层的单个场宏块或垂直 毗邻场宏块对构造帧宏块对；以及将所构造出的帧宏块对各自的纹理信息用作 当前层的帧宏块对各自的纹理预测信息。
另一种根据本发明的层间纹理预测方法包括由基层的垂直毗邻场宏块对 构造N对帧宏块，其中N是大于1的整数；以及将所构造出的N对帧宏块各 自的纹理信息用作当前层中位于不同时间位置的N对帧宏块各自的纹理预测
〈曰息。
另一种根据本发明的层间纹理预测方法包括将下层的每一帧分成多个场 画面以允许下层具有与上层相同的时间分辨率；在垂直方向上升采样每一个所 分离出的场画面以在垂直方向上扩展每一个所分离出的场画面；然后将每一个 经升采样的场画面用于上层的每一帧的层间纹理预测。
另一种根据本发明的层间纹理预测方法包括在垂直方向上升采样下层的 每一个场画面以在垂直方向上扩展每一个场画面；以及将每一个经升采样的场 画面用于上层的每一帧的层间纹理预测。
另一种根据本发明的层间纹理预测方法包括将上层的每一帧分成多个场
画面；降采样下层的画面以在垂直方向上縮小下层的画面；然后将经降采样的 画面用于上层的分离出的场画面的层间纹理预测。
一种根据本发明利用层间预测编码视频信号的方法包括确定在层间纹理 预测中是使用通过交替地选择基层的任意性画面中的2N块的行然后以选择的 次序编排所选行来构造的2N块各自的纹理信息，还是使用通过内插选自基层
的2N块的一个块来构造的2N块各自的纹理信息；并将指示该确定的信息纳
入到编码的信息中。
一种根据本发明利用层间预测来解码视频信号的方法包括检査特定指示 信息是否被包括在接收到的信号中；并基于所检査出的结果确定在层间纹理预 测中是使用通过交替地选择基层的任意性画面中的2N块的行然后按选择的次 序编排所选行来构造的2N块各自的纹理信息，还是使用通过内插选自基层的 2N块的一个块来构造的2N块各自的纹理信息。
在本发明的实施例中，上层或下层的每一帧被分成两个场画面。
在本发明的实施例中，如果特定指示信息未被包括在所接收到的信号中， 则将该情况视为与接收到包括已被设为O的指示信息的信号且确定了其各自纹 理信息将用于层间预测的块的情况相同。
一种根据本发明将基层的视频信号用于层间纹理预测的方法包括将基层 的隔行视频信号分成偶和奇场分量;在垂直和/或水平方向上将偶和奇场分量各 自放大；然后将经放大的偶和奇场分量组组合用于层间纹理预测。
另一种根据本发明将基层的视频信号用于层间纹理预测的方法包括将基 层的逐行视频信号分成偶行组和奇行组;在垂直和/或水平方向上将偶和奇行组 各自放大；将经放大的偶和奇行组组合并用于层间纹理预测。
另一种根据本发明将基层的视频信号用于层间纹理预测的方法包括在垂 直和/或水平方向上放大基层的隔行视频信号以使其具有与上层的逐行视频信 号相同的分辨率；以及基于经放大的视频信号执行上层的视频信号的层间纹理 预测。
另一种根据本发明将基层的视频信号用于层间纹理预测的方法包括在垂 直和/或水平方向上放大基层的逐行视频信号以使其具有与上层的隔行视频信 号相同的分辨率；以及基于经放大的视频信号执行上层的视频信号的层间纹理 预测。
在本发明的一个实施例中，视频信号分离和放大是在宏块级别(或即在宏 块的基础上)执行的。
在本发明的另一个实施例中，视频信号分离和放大是在画面级别上执行的。
在本发明的另一个实施例中，如果要对其应用层间纹理预测的两个层的画 面格式不同，即如果一层包括逐行画面而另一层包括隔行画面，则执行视频信 号分离和放大。
在本发明的另一个实施例中，如果要对其应用层间纹理预测的两层的画面 都是隔行的，则执行视频信号分离和放大。
4.附图简述
图la和lb示出将单个视频源编码成多个层的方法；
图2a和2b简要示出应用根据本发明的层间预测方法的视频信号编码装置 的配置；
图2c和2d示出用于编码隔行视频信号的画面序列的类型； 图3a和3b示意性示出根据本发明的实施例的其中为层间纹理预测构造基
层画面并执行解块滤波的过程；
图4a至4f示意性示出根据本发明的实施例的其中要用于MBAFF帧中场
宏块的层间运动预测的虚拟基层的场宏块的运动信息利用帧宏块的运动信息
来推导的过程；
图4g示意性示出根据本发明的实施例的其中宏块对的纹理信息被用于 MBAFF帧中的场宏块对的纹理预测的程序；
图4h示出根据本发明的实施例将帧宏块对变换成场宏块对的方法；
图5a和5b示出根据本发明的另一个实施例的参考索引和运动信息推导程
序；
图6a至6c示意性示出根据本发明的实施例的其中利用帧宏块的运动信息 推导虚拟基层中的场宏块的运动信息的程序；
图6d示意性示出根据本发明的实施例的其中帧宏块对的纹理信息被用于
场画面中的场宏块的纹理预测的程序；
图7a和7b示出根据本发明的另一个实施例的参考索引和运动信息推导程
序；
图8a至8c示意性示出根据本发明的实施例的其中要用于层间运动预测的 虚拟基层的场宏块帧宏块的运动信息是利用MBAFF帧中的场宏块的运动信息 来推导的程序；
图8d示意性示出根据本发明的实施例的其中MBAFF帧中的场宏块对的
纹理信息被用于帧宏块对的纹理预测的程序；
图8e示出根据本发明的实施例将场宏块对变换成帧宏块对的方法；
图8f和8g示意性示出根据本发明的实施例的当场宏块对中仅一个宏块是
间模式时将MBAFF帧中的场宏块对的纹理信息用于帧宏块对的层间预测的程
序；
图8h示意性示出根据本发明的实施例的其中MBAFF帧中的场宏块对的 纹理信息被用于多对帧宏块的纹理预测的程序；
图9a和9b示出根据本发明的另一个实施例的参考索引和运动信息推导程
序；


图10a至10c示意性示出根据本发明的实施例的在其中要用于层间运动预 测的虚拟基层的帧宏块的运动信息是利用场画面中的场宏块的运动信息来推 导的程序；
图10d示意性示出根据本发明的实施例的其中场画面中的场宏块的纹理
信息被用于帧宏块对的纹理预测的程序；
图11示出根据本发明的另一个实施例的参考索引和运动信息推导程序； 图12a和12b示意性示出根据本发明的另一个实施例的其中要用于层间运
动预测的虚拟基层的帧宏块的运动信息是利用场画面中的场宏块的运动信息
来推导的程序；
图13a至13d分别根据画面的类型来示意性示出根据本发明的实施例的要 用于层间运动预测的虚拟基层的场宏块的运动信息利用场宏块的运动信息来 推导的程序；
图14a至14k分别根据画面的类型来示出根据本发明的各种实施例的在诸
层的空间分辨率不同时执行层间运动预测的方法；
图15a和15b示意性示出根据本发明的实施例的在增强层是逐行的而基层 是隔行的时候将具有不同空间分辨率的基层的画面用于层间纹理预测的程序；
图16a和16b示意性示出根据本发明的实施例的其中为了将基层的画面用 于层间纹理预测而将画面中的宏块对分成宏块且分离出的宏块被放大的程序；
图17a和17b示意性示出根据本发明的实施例的在增强层是隔行的而基层 是逐行的时候将具有不同空间分辨率的基层的画面用于层间纹理预测的程序；
图18示意性示出根据本发明的实施例的在增强层和基层都是隔行的时候 将具有不同空间分辨率的基层的画面用于层间预测的程序；
图19a示出根据本发明的实施例的在增强层是逐行帧序列且两层的画面 类型和时间分辨率不同时应用层间预测的程序；
图19b示出根据本发明的实施例的在增强层是逐行帧序列且两层具有不 同的画面类型和相同的分辨率时应用层间预测的程序；
图20示出根据本发明的实施例的在基层是逐行帧序列且两层的画面类型 和时间分辨率不同时应用层间预测的程序；以及
图21示出根据本发明的实施例的在基层是逐行帧序列且两层具有不同的 画面类型和相同的分辨率时应用层间预测的程序。
5.本发明的实施方式 现在参考附图详细描述本发明的实施例。
图2a示意性示出应用根据本发明的层间预测方法的视频信号编码装置的 构件块。尽管图2a的装置被实现成将输入视频信号编码成两层，但以下描述 的本发明的原理也适用于在视频信号被编码成三层或甚至更多层时的层间过程。
根据本发明的层间预测方法在图2a的装置中的增强层(EL)编码器20处执 行。经编码的信息(运动信息和纹理信息)在基层(EL)编码器21处接收。基于所 接收的信息执行层间纹理预测或运动预测。如有需要，则解码所接收的信息并 基于解码出的信息执行预测。当然，在本发明中，如图2b所示，输入视频信 号可以是使用已经被编码的基层的视频源3来编解码的。在这种情形中如下所
描述的层间预测方法同样适用。
在图2a的情形中，可以有在其中BS编码器21编码隔行视频信号或在其 中图2b的经编码的视频源3被编解码的两种方法。具体地，在这两种方法之 一中，如图3a所示，将隔行视频信号在逐场的基础上简单地编码成场序列， 而在另一种方法中，如图3b所示，通过以两个(偶和奇)场的宏块对来构造序列 的每一帧来将帧编码成帧序列。以此方式编码的帧中的宏块对中上宏块被称为 "顶宏块"，而下宏块被称为"底宏块"。如果顶宏块由偶(或奇)场图像分量构成， 则底宏块由奇(或偶)场图像分量构成。以此方式构造的帧被称为宏块自适应帧 场(MBAFF)帧。MBAFF帧不仅可包括各自包含奇和偶场宏块的宏块对，还可 包括各自包含两个帧宏块的宏块对。
相应地，当画面中的宏块具有隔行图像分量时，它可能是场中的宏块，并 且也可能是帧中的宏块。每一个具有隔行图像分量的宏块被称为场宏块，而每 一个具有逐行(扫描)图像分量的宏块称为帧宏块。
因此，需要通过确定要在EL编码器20处编码的宏块和要在宏块的层间 预测中使用的基层宏块各自的类型是帧宏块类型还是场宏块类型来确定层间 预测方法。如果宏块是场宏块，则需要通过确定它是场中的还是MBAFF帧中 的场宏块来确定层间预测方法。
将分别针对每一种情况描述该方法。在描述之前，假设当前层的分辨率等 于基层的分辨率。艮卩，假设SpatialScalabilityType()是O。当前层的分辨率高于 基层分辨率时的描述将在稍后给出。在以下的描述和附图中，术语"顶"和 "偶"(或奇)被可互换地使用，并且术语"底"和"奇"(或偶)被可互换地使用。
为了利用基层来执行层间预测以编码或解码增强层，首先需要解码基层。 因此，首先描述基层解码如下。
在解码基层时，不仅解码诸如划分模式、参考索引、和运动向量之类的基 层运动信息，还解码基层的纹理。
当基层的纹理被解码用于层间纹理预测时，并不是基层的所有图像样本数 据都被解码，这是为了降低解码器的负荷。内模式宏块的图像样本数据被解码
出来，而间模式宏块是仅残差数据——即图像样本数据之间的误差数据——被 解码出来而不用毗邻画面进行运动补偿。
此外，用于层间纹理预测的基层纹理解码不是在逐宏块的基础上而是在逐 画面的基础上执行，以构造时间上与增强层画面一致的基层画面。基层画面是 如上所述由从内模式宏块重构出的图像样本数据和从间模式宏块解码出的残 差数据来构造的。
诸如DCT和量化之类的内模式或间模式运动补偿和变换是在图像块基础
上进行的，例如在16x16宏块基础上或在4x4子块基础上进行。这导致块边界 处的分块伪像使图像畸变。应用解块滤波来减少这些分块伪像。解块滤波器使 图像块的边沿平滑以提高视频帧的质量。
是否应用解块滤波来减少分块畸变取决于图像块在边界处的强度和边界 周围像素的梯度。解块滤波器的力度或程度由量化参数、内模式、间模式、指 示块大小等的图像块划分模式、运动向量、解块滤波前的像素值等确定。
层间预测中的解块滤波器是被应用于作为增强层的基内模式(intraBL或层
间内模式)宏块的纹理预测的基础的基层画面中的内模式宏块。
当要根据层间预测方法编码的两层全被如图2c所示地编码成场画面序列 时，这两层全被看作是帧格式，从而使得从针对帧格式的编解码过程可容易地 推导出包括解块滤波的编码/解码过程。
现在将针对基层的画面格式与增强层的画面格式不同的情况——即基层 为帧(或即逐行)格式而基层为场(或即隔行)格式的情况、基层为场格式而基层 为帧格式的情况、或是如图2c和2d所示的尽管增强层和基层两者都为场格式 但增强层和基层之一被编码成场画面序列而另一个被编码成MBAFF帧的情 况——来描述根据本发明的实施例执行解块滤波的方法。
图3a和3b示意性示出根据本发明的实施例的在其中构造基层画面以执行 用于层间纹理预测的解块滤波的过程。
图3a示出其中增强层为帧格式而基层为场格式的实施例，而图3b示出其 中基层为场格式而基层为帧格式的实施例。
在这些实施例中，为了层间纹理预测，基层的间模式宏块和内模式宏块的 纹理被解码，以构造包括图像样本数据和残差数据的基层画面，且在将解块滤 波器应用于所构造出的画面以减少分块伪像之后根据基层的分辨率(或即屏幕 大小)与增强层的分辨率之比来升采样所构造出的画面。
图3a和3b中的第一方法(方法l)是其中基层被分成两个场画面以执行 解块滤波的方法。在该方法中，当利用以不同画面格式编码的基层来创建增强 层时，基层画面被分成偶行场画面和奇行场画面，且这两个场画面被解块(即， 进行用于解块的滤波)并升采样。然后将这两个画面拼接成单个画面，并基于 该单个画面执行层间纹理预测。
该第一方法包括以下三个步骤。
在分离步骤(步骤1)，基层画面被分成包括偶行的顶场(或奇场)画面和包括 奇行的底场(或偶场)画面。基层画面是包括通过运动补偿从基层的数据流重构 出的残差数据(间模式数据)和图像样本数据(内模式数据)的视频画面。
在解块步骤(步骤2)，在分离步骤中被分开的场画面通过解块滤波器被解 块。这里，可使用常规的解块滤波器作为该解块滤波器。
当增强层的分辨率与基层的分辨率不同时，经解块的场画面根据增强层的 分辨率和基层的分辨率之比来升釆样。
在拼接步骤(步骤3)，经升采样的顶场画面和经升采样的底场画面以交替 方式被隔行扫描以拼接成单个画面。之后，基于此单个画面执行增强层的纹理 预测。
在图3a和3b中的第二方法(方法2)中，当利用以不同画面格式编码的基 层来创建增强层时，不将基层画面分成两个场画面而是将其直接对其解块并升 采样，并基于结果所得的画面执行层间纹理预测。
在该第二方法中，与要通过层间纹理预测来编码的增强层画面相对应的基
层画面不被分成顶和底场画面而是被立即解块，然后升采样。之后，基于此经 升采样的画面执行增强层的纹理预测。
应用于为层间运动预测而构造的基层画面的解块滤波器仅被应用于包括 从内模式宏块解码出的图像样本数据的区域，而不被应用于包括残差数据的区 域。
在图3a中的基层被编码成场格式——即基层如图2c所示地被编码成场画 面序列或如图2d所示地被编码成MBAFF帧的情况下，为了应用第二方法， 需要执行交替地隔行扫描顶和底场画面的行以将其组合成单个画面(在图2c的 情况下)或交替地隔行扫描场宏块对的顶和底宏块的行以将其组合成单个画面
(在图2d的情况下)的过程。该过程将参考图8d和8e详细描述。要被隔行扫描
的顶和底场画面或者顶和底宏块是包括通过运动补偿重构出的残差数据(间模 式数据)和图像样本数据(内模式数据)的场画面或宏块。
此外，在如图2d所示的MBAFF帧中的(基层的)场宏块对的顶和底宏块是 不同的模式并且从这些宏块中选择内模式块用于增强层的宏块对的层间纹理 预测的情况下(在稍后描述的图8g的情况下)，在如图2d所示的编码成MBAFF 帧中的场宏块对的基层中的任何帧(画面)在时间上与增强层画面不一致的情况 下(在稍后描述的图8h的情况下)，或在具有宏块对的增强层的纹理是从如图 2c所示的具有场画面的场宏块的基层预测的情况下(在稍后描述的图10d的情 况下)，场宏块中选中的一个被升采样成临时的宏块对(图8g中的"841"和图8h 中的"851"和"852")或两个临时宏块(图10d中的"1021")，并将解块滤波器应用 于这些宏块中的内模式宏块。
在以下各种实施例中描述的层间纹理预测是基于图3a和3b的实施例中描 述的经解块基层画面来执行的。
现在将针对根据要编解码的当前层中的宏块类型和要用于当前层的宏块 的层间预测的基层的宏块类型分类的每一种情况分别描述层间预测方法。在本 描述中，如上所述地假设当前层的空间分辨率等于基层的空间分辨率。
I.帧MB -> MBAFF帧中的场MB的情况
在这种情况下，当前层(EL)中的宏块被编码成MBAFF帧中的场宏块，并 且要用于当前层的宏块的层间预测的基层中的宏块被编码成帧宏块。基层中的 上宏块和下宏块两者中所包括的视频信号成分与当前层中一对同位的宏块中 所包括的视频信号成分是相同的。上和下(顶和底)宏块将被称为宏块对，且术 语"对"在以下的描述中将用于描述一对垂直毗邻的块。首先，描述层间运动预 测如下。
EL编码器20使用通过将基层的宏块对410归并成单个宏块(通过在垂直 方向上压縮至一半大小)来获得的宏块划分模式作为当前宏块的划分模式。图 4a示出该过程的详细例子。如所示，首先，将基层的相应宏块对410归并成单 个宏块(S41)，且通过归并获得的宏块的划分模式被拷贝到另一个宏块以构造出宏块对411(S42)。之后，将该对宏块411各自的划分模式应用于虚拟基层的宏 块对412(S43)。
然而，在相应的宏块对410被归并成单个宏块时，可能会生成在划分模式 中不允许的划分区域。为了防止这种情况，EL编码器20根据以下规则确定划 分模式。
1) 基层的宏块对中的顶和底两个8x8块(图4a中的"B8J)"和"B8—2")被归 并成单个8x8块。但是，如果相应的8x8块中的任何块都未被细分，则它们被 归并成两个8x4块，而如果相应的8x8块中有任何块已被细分，则它们被归并 成四个4x4块(图4a中的"401")。
2) 基层的8x16块縮小成8x8块，16x8块縮小成两个毗邻的8x4块，并且 16x16块縮小成16x8块。
如果相应宏块对中至少有一个宏块是以内模式编码的，则EL编码器20 在归并过程之前首先执行以下过程。
如果这两个宏块中仅有一个是内模式，则间宏块的诸如宏块划分模式、参 考索引、和运动向量之类的运动信息如图4b所示被拷贝到内宏块，或者内宏 块如图4c所示被认为是具有0运动向量和0参考索引的16x16间宏块。或者， 如图4d所示，内宏块的参考索引通过将间宏块的参考索引拷贝到内宏块来设 置，且将O运动向量分配给内宏块。然后，执行上面提及的归并过程，然后如 下所述执行参考索弓I和运动向量推导程序。
EL编码器20执行以下过程以从相应宏块对410的参考索引推导当前宏块 对412的参考索引。
如果对应于当前8x8块的基层8x8块对中的每一块已被细分成相同数目个 部分，则该8x8块对中一块(顶块或底块)的参考索引被确定为当前8x8块的参 考索引。否则，该8x8块对中已被细分成较少数目个部分的那一块的参考索引 被确定为当前8x8块的参考索引。
在本发明的另一个实施例中，为对应于当前8x8块的基层8x8块对设置的 参考索引中较小的一个被确定为当前8x8块的参考索引。图4e的例子中的这 种确定方法可表达如下
当前B8_0的参考索引=min (基顶帧MB的B8—0的参考索引，基顶帧MB
的B8—2的参考索引)
当前B8—1的参考索弓hmin(基顶帧MB的B8J的参考索引，基顶帧MB 的B8—3的参考索引)
当前B8—2的参考索引=min (基底帧MB的B8_0的参考索引，基底帧MB 的B8—2的参考索引)，以及
当前B8—3的参考索弓hmin(基底帧MB的B8—1的参考索引，基底帧MB 的B8—3的参考索引)。
以上的参考索引推导程序可适用于顶和底场宏块两者。将以此方式确定的 每一个8x8块的参考索引乘以2，并将相乘后的参考索引确定为其最终参考索 引。作该乘法的原因是在解码时，画面的数目是帧序列中的数目的两倍，因为 属于画面的场宏块被分成偶场和奇场。取决于解码算法，底场宏块的最终参考 索引可通过将其参考索引乘以2然后将相乘后的参考索引加1来确定。
以下是EL编码器20推导虚拟基层的宏块对的运动向量的程序。
运动向量是在4x4块的基础上确定的，因此基层的相应4x8块被标识出来， 如图4f所示。如果该相应的4x8块已被细分，则其顶或底4x4块的运动向量 被确定为当前4x4块的运动向量。否则，将对应的4x8块的运动向量确定为当 前4x4块的运动向量。所确定的运动向量在其垂直分量除以2后被用作当前4x4 块的最终运动向量。作该除法的原因是包括在两个帧宏块中的图像成分对应于 一个场宏块的图像成分因而使得场图像的大小在垂直方向上减小一半。
一旦虚拟基层的场宏块对412的运动信息以此方式确定，该运动信息就被 用于增强层的目标场宏块对413的层间运动预测。同样，在以下的描述中，一 旦虚拟基层的宏块或宏块对的运动信息被确定，该运动信息就被用于当前层的 相应宏块或相应宏块对的层间运动预测。在以下的描述中，假设即使没有提及 虚拟基层的宏块或宏块对的运动信息被用于当前层的相应宏块或相应宏块对 的层间运动预测该过程也是被应用的。
图5根据本发明的另一个实施例示意性示出要被用于层间预测的虚拟基 层的场宏块对500的运动信息如何从对应于当前宏块对的基层帧宏块对的运动 信息推导。在本实施例中，如图所示，基层的帧宏块对的顶宏块的顶或底8x8 块的参考索引被用作虚拟基层的场宏块对500中的每一个宏块的顶8x8块的参
考索引，且基层的底宏块的顶或底8x8块的参考索引被用作该场宏块对500中 的每一个宏块的底8x8块的参考索引。另一方面，如图所示，基层的帧宏块对 的顶宏块的最顶上的4x4块的运动向量被共用于虚拟基层的场宏块对500中的 每一个宏块最顶上的4x4块，基层的帧宏块对的顶宏块的第三个4x4块的运动 向量被共用于该场宏块对500中的每一个宏块的第二个4x4块，基层的帧宏块 对的底宏块最顶上的4x4块的运动向量被共用于该场宏块对500中的每一个宏 块的第三个4x4 ±央，并且基层的帧宏块对的底宏块的第三个4x4块的运动向量 被共用于该场宏块对500中的每一个宏块的第四个4x4块。
如图5a所示，为用于层间预测而构造的场宏块对500中8x8块中的8x8 块中的顶4x4块501和底4x4块502使用基层的不同8x8块511和512中的4x4 块的运动向量。这些运动向量可能是使用不同参考画面的运动向量。即，不同 的8x8块511和512可能具有不同的参考索引。相应地，在这种情况下，为了 构造虚拟基层的宏块对500， EL编码器20将为顶4x4块501选择的相应4x4 块503的运动向量共用作虚拟基层的第二个4x4块502的运动向量，如图5b 所示(521)。
在参考图4a至4f描述的实施例中，为了构造虚拟基层的运动信息以预测 当前宏块对的运动信息，EL编码器20基于基层的相应宏块对的运动信息顺序 地推导划分模式、参考索引、和运动向量。然而，在参考图5a和5b所述的实 施例中，EL编码器20首先基于基层的相应宏块对的运动信息推导虚拟基层的 宏块对的参考索引和运动向量，然后基于所推导出的值最终确定虚拟基层的宏 块对的划分模式。当划分模式被确定时，具有相同的推导出的运动向量和参考 索引的4x4块单元被组合，且如果组合后的块模式是允许的划分模式，则将划 分模式设置成此组合后的模式，否则将划分模式设置成组合前的模式。
在上述的实施例中，如果基层的相应宏块对410中的两个宏块都是内模 式，则对当前宏块对413只执行基内预测。在这种情况下，不执行运动预测。 当然，在纹理预测的情况下不构造虚拟基层的宏块对。如果基层的相应宏块对 410中只有一个宏块是内模式，则如图4b所示将间宏块的运动信息拷贝至内宏 块，如图4c所示将内宏块的运动向量和参考索引设置成0，或者如图4d所示 通过将间宏块的参考索引拷贝到内宏块来设置内宏块的参考索引并且将内宏
块的运动向量设置成0。然后，虚拟基层的宏块对的运动信息如上所述地推导。
在如上所述为层间运动预测构造虚拟基层的宏块对之后，EL编码器20使 用所构造出的宏块对的运动信息来预测和编码当前场宏块对413的运动信息。
现在将描述层间纹理预测。图4g示出在"帧MB->MBAFF帧中的场MB" 的情况下的示例层间纹理预测方法。EL编码器20标识出基层的相应帧宏块对 410的块模式。如果相应帧宏块对410中的两个宏块或者都是内模式或者都是 间模式，则EL编码器20将基层的相应宏块对410转换(变换)成临时的场宏块 对421，以便或者执行当前场宏块对413的基内预测(当两个帧宏块410都是内 模式时)或者以下面描述的方式执行其残差预测(当两个帧宏块410都是间模式 时)。当相应的宏块对410中的两个宏块都是内模式时，该临时的场宏块对421 包括如前所述的在内模式的情况下在完成解码后被解块(即，进行用于解块的 滤波)的数据。在以下对各种实施例的描述中，对于从用于纹理预测的基层的 宏块推导出的临时宏块对同样如此。
然而，在这两个宏块中仅有一个是间模式时不执行层间纹理预测。用于层 间纹理预测的基层的宏块对410在宏块是内模式的情况下具有未经编码的原始 图像数据(或经解码的图像数据)，而在宏块是间模式的情况下具有经编码的残 差数据(或经解码的残差数据)。在以下对纹理预测的描述中对于基层的宏块对 同样如此。
图4h示出用于将帧宏块对转换成要用于层间纹理预测的场宏块对的方 法。如图所示，顺序地选择一对帧宏块A和B的偶行以构造顶场宏块A'，并 且顺序地选择该对帧宏块A和B的奇行以构造底场宏块B'。当用行来填充一 个场宏块时，它首先以顶块A的偶(或奇)行(A—偶或八_奇傳充，然后以底块B 的奇(或偶)行(B」禹或B—奇)来填充。
II.帧MB－>场画面中的场MB的情况
在这种情况下，当前层中的宏块是被编码成场画面中的场宏块，并且要用 于当前层的宏块的层间预测的基层中的宏块是被编码成帧宏块。基层中的宏块 对中所包括的视频信号成分与当前层中的偶场或奇场中同位的宏块中所包括 的视频信号成分相同。首先，层间运动预测描述如下。
EL编码器20使用通过将基层的宏块对归并成单个宏块(通过在垂直方向
上压縮至一半大小)获得的宏块划分模式作为虚拟基层的偶或奇宏块的划分模
式。图6a示出该过程的详细示例。如图所示，首先将基层的相应宏块对610 归并成单个宏块6U(S61)，且将通过该归并获得的划分模式应用于要用于当前 宏块613的层间运动预测的虚拟基层的宏块(S62)。归并规则与先前的情况I中 的相同。在相应的宏块对610中至少有一个宏块以内模式编码时的处理方法与 先前的情况I中的相同。
用于推导参考索引和运动向量的程序也以与上面在先前的情况I中描述的 方式相同方式执行。在情况I中，将相同的推导程序应用于顶和底宏块，因为 偶和奇宏块对被携带在一个帧中。然而，本情况II与情况I不同之处在于将推 导程序仅应用于一个场宏块，如图6b和6c所示，因为在要编解码的当前场画 面中仅存在一个对应于基层宏块对610的宏块。
在以上的实施例中，为了预测虚拟基层的宏块的运动信息，EL编码器20 基于基层的相应宏块对的运动信息顺序地推导该宏块的划分模式、参考索引、 和运动向量。
在本发明的另一个实施例中，EL编码器20首先基于基层的相应宏块对的 运动信息推导虚拟基层的宏块的参考索引和运动向量，然后，基于所推导出的 值最终确定虚拟基层的宏块的块模式。图7a和7b示意性示出虚拟基层的场宏 块的参考索引和运动向量的推导。在这种情况下用于推导的操作类似于参考图 5a和5b描述的情况I中的操作，区别在于顶或底宏块的运动信息是利用基层 的宏块对的运动信息来推导的。
当划分模式被最终确定时，具有相同的推导出的运动向量和参考索引的 4x4块单元被组合，且如果组合后的块模式是允许的划分模式，则将划分模式 设置成此组合后的模式，否则将划分模式设置成组合前的模式。
在上述的实施例中，如果基层的相应宏块对中的两个宏块都是内模式，则 不执行运动预测，也不构造虚拟基层的宏块对的运动信息，而如果这两个宏块 中仅有一个是内模式，则在该情况下如先前描述地执行运动预测。
现在将描述层间纹理预测。图6d示出在"帧MB)场画面中的场MB"的情 况下的示例层间纹理预测方法。EL编码器20标识出基层的相应宏块对610的
块模式。如果该宏块对中的两个宏块或者都是内模式或者都是间模式，则EL
编码器20由单对帧宏块610构造临时场宏块621 。如果当前宏块613属于偶场 画面，则EL编码器20由相应宏块对610的偶行构造临时场宏块621。如果当 前宏块613属于奇场画面，则EL编码器20由相应宏块对610的奇行构造临时 场宏块621 。构造方法类似于图4h中构造单个场宏块A'或B'的方法。
一旦临时场宏块621被构造出来，EL编码器20就基于场宏块621中的纹 理信息执行当前场宏块613的基内预测(当相应的宏块对610中的两个宏块都 是内模式时)，或执行其残差预测(当相应的宏块对610中的两个宏块都是间模 式时)。
如果相应的宏块对610中只有一个宏块是间模式，则EL编码器20不执 行层间纹理预测。
III. MBAFF帧中的MB-〉帧MB的情况
在这种情况下，当前层中的宏块是被编码成帧宏块，且要用于当前层的帧 宏块的层间预测的基层中的宏块是被编码成MBAFF帧中的场宏块。基层中的 场宏块中所包括的视频信号成分与当前层中的一对同位的宏块中所包括的视 频信号成分是相同的。首先，层间运动预测描述如下。
EL编码器20使用通过扩展基层宏块对的顶或底宏块(在垂直方向上扩展 到两倍)获得的宏块划分模式作为虚拟基层中的宏块对的划分模式。图8a示出 该过程的详细例子。尽管在以下的描述和附图中是顶场宏块被选择，但在底场 宏块被选择时下面所描述的同样适用。
如图8a所示，将基层的相应宏块对810的顶场宏块扩展到两倍以构造出 两个宏块S11(S81)，并将通过扩展获得的划分模式应用于虚拟基层的宏块对 812(S82)。
然而，当相应场宏块在垂直方向上被扩展到两倍时，可能会生成在宏块划 分模式中不允许的划分模式(或图案)。为了防止这种情况，EL编码器20按以 下规则根据经扩展的划分模式来确定划分模式。
1) 基层的4x4、 8x4、和16x8块在扩展后被确定为通过将其在垂直方向上 放大到两倍获得的4x8、 8x8和16x16块。
2) 基层的4x8、 8x8、和16x16块在扩展后各自被确定为相同大小的顶和
底两块。如图8a所示，基层的8x8块B8J)被确定为两个8x8块(801)。 8x8块 B8_0在扩展后未被设置成8x16块的原因是其左侧或右侧上毗邻的经扩展块可 能不是8x16划分块，且在这种情况下没有哪种宏块划分模式得到支持。
如果相应宏块对810中有一个宏块是以内模式编码的，则EL编码器20 不是选择内模式的而是选择间模式的顶或底场宏块，并对其执行以上的扩展过 程以确定虚拟基层中的宏块对812的划分模式。
如果相应的宏块对810中的两个宏块都是内模式，则EL编码器20只执 行层间纹理预测，而不执行通过以上扩展过程进行的划分模式确定和以下描述 的参考索引和运动向量推导过程。
为了从相应场宏块的参考索引推导虚拟基层的宏块对的参考索引，EL编 码器20将基层的相应8x8块B8一0的参考索引确定为该顶和底两个8x8块中的 每一个的参考索引，如图8b所示，并将所确定的每一个8x8块的参考索引除 以2以获得其最终的参考索引。作该除法的原因是为了能应用于帧序列，需要 将画面数减少一半，因为场宏块的参考画面数目是基于分成偶和奇场的画面而 设置的。
当推导虚拟基层的帧宏块对812的运动向量时，EL编码器20将基层的相 应4x4块的运动向量确定为虚拟基层的宏块对812中的4x8块的运动向量，如 图8c所示，并将所确定的运动向量在其垂直分量乘以2之后用作最终运动向 量。作该乘法的原因是一个场宏块中所包括的图像成分对应于两个帧宏块的图 像成分，因而使得帧图像的大小在垂直方向上增加到两倍。
在上述的实施例中，为了预测虚拟基层的宏块对的运动信息，EL编码器 20基于基层的相应场宏块的运动信息顺序地推导该宏块的划分模式、参考索 引、和运动向量。
在本发明的另一个实施例中，当推导要用于当前宏块对的层间预测的虚拟 基层的宏块对的运动信息时，EL编码器20首先基于基层的相应场宏块的运动 信息获得虚拟基层的宏块对的参考索引和运动向量，然后基于所获得的值最终 确定虚拟基层的宏块对中的每一个宏块的块模式，如图9a所示。当划分模式 被最终确定时，具有相同的推导出的运动向量和参考索引的4x4块单元被组合， 且如果组合后的块模式是允许的划分模式，则将划分模式设置成此组合后的模
式，否则将划分模式设置成组合前的模式。
以下是图9a的实施例的更详细的描述。如图所示，基层的间模式场宏块 被选择，并使用所选的宏块的运动向量和参考索引来推导要用于当前宏块对的 运动预测的虚拟基层的帧宏块对的参考索引和运动向量。如果这两个宏块都是
间模式，则顶和底宏块中任意性的一个被选择(901或902)，并使用所选宏块的 运动向量和参考索引信息。如图所示，为了推导参考索引，所选宏块的顶8x8 块的相应值被拷贝至虚拟基层的顶宏块的顶和底8x8块的参考索引，且所选宏 块的底8x8块的相应值被拷贝至虚拟基层的底宏块的顶和底8x8块的参考索 引。如图所示，为了推导运动向量，所选宏块的每一个4x4块的相应值被共用 作虚拟基层的宏块对中相应的一对垂直毗邻的4x4块的运动向量。在本发明的 另一个实施例中，基层的相应宏块对的运动信息可被混合并用于推导虚拟基层 的帧宏块对的运动向量和参考索引，这与图9a所示的实施例不同。图9b示出 根据该实施例的用于推导运动向量和参考索引的程序。虚拟基层的宏块对中的 子块(8x8块和4x4块)的参考索引和运动向量的拷贝关联的详细描述在这里省 略，因为其可从上述的运动信息推导程序的描述和图9b的插图中直观理解。
然而，因为在图9b的实施例中基层的场宏块对中的两个宏块的运动信息 都被使用，所以如果基层的场宏块对中有一个宏块是内模式，则利用作为间模 式宏块的另一个宏块的运动信息推导内模式宏块的运动信息。具体地，可在如 图4b所示地通过将间模式宏块的相应信息拷贝至内模式宏块来构造内模式宏 块的运动向量和参考索引之后，或在如图4c所示将内模式宏块视为具有0运 动向量和0参考索引的间模式宏块之后，或在如图4d所示通过将间模式宏块 的参考索引拷贝至内模式宏块来设置内模式宏块的参考索引并将其运动向量 设置为0之后，如图9b所示来推导虚拟基层的宏块对的运动向量和参考索引 信息。 一旦推导出虚拟基层的宏块对的运动向量和参考索引信息，就如先前所 述地基于所推导出的信息来确定宏块对的块模式。
另一方面，如果基层的相应场宏块对中的两个宏块都是内模式，则不执行 运动预测。
现在将描述层间纹理预测。图8d示出在"MBAFF帧中的场MB-〉帧MB" 的情况下的示例层间纹理预测方法。EL编码器20标识出基层的相应场宏块对810的块模式。如果相应的帧宏块对810中的两个宏块或者都是内模式或者都 是间模式，则EL编码器20将基层的相应场宏块对810转换成临时的帧宏块对 821，以便或者执行当前帧宏块对813的基内预测(当这两个帧宏块810都是内 模式时)或者以下面描述的方式执行其残差预测(当这两个帧宏块810都是间模 式时)。当相应宏块对810中的两个宏块都是内模式时，宏块对810包括已被 解码的数据，并如先前所述地将解块滤波器应用于帧宏块对821。图8e示出用 于将场宏块对转换成帧宏块对的方法。如图所示， 一对场宏块A和B的行从 每一个宏块的顶部开始顺序地被交替选择(A- 〉B->A-〉B->A- >，...)，然后从顶 部开始按所选次序顺序地排列以构造一对帧宏块A'和B'。因为是以此方式重新 编排场宏块对的行，所以顶帧宏块A'是由该对场宏块A和B的上半部分的行 构造的，而底帧宏块B'是由下半部分的行构造的。
另一方面，如果基层的相应场宏块对810中只有一个宏块是间模式，则根 据当前的帧宏块对813的块模式从基层的宏块对810中选择一个块，并将所选 块用于层间纹理预测。或者，在确定当前的帧宏块对813的块模式前，可先应 用以下描述的每一种方法来执行层间预测，然后可确定宏块对813的块模式。
图8f和8g示出其中选择一个块以执行层间预测的示例。在当前的帧宏块 对813是以间模式编码(或者在执行其间模式预测)的情况下，如图8f所示，从 基层的场宏块对810中选择间模式块810a，且所选的块在垂直方向上被升采样 以创建两个相应宏块831。然后将这两个宏块831用于当前的帧宏块对813的 残差预测。在当前的帧宏块对813不是以间模式编码(或者在执行其内模式预 测)的情况下，如图8g所示，从基层的场宏块对810中选择内模式块810b，且 所选的块在垂直方向上被升采样以创建两个相应宏块841。在将解块滤波器应 用于这两个宏块841之后，将这两个宏块841用于当前帧宏块对813的基内预图8f和8g中所示的其中一个块被选择并升采样以创建要用于层间纹理预 测的宏块对的方法在各层具有不同的画面率时也能适用。当增强层的画面率高 于基层的画面率时，增强层的画面序列中的某些画面可能在基层中没有时间上 相对应的画面。在基层中没有时间上相对应的画面的增强层画面中所包括的帧 宏块对的层间纹理预测可利用基层中时间上在前的画面中的一对空间上同位
的场宏块中的一个宏块来执行。
图8h是增强层的画面率是基层画面率的两倍的情况下该方法的例子。 如图所示，增强层的画面率是基层的画面率的两倍。因此，增强层的每两
个画面中有一个——诸如画面次序计数(POC)为"n2"的画面——在基层中没有 画面顺序计数(POC)相同的画面。这里，相同的POC指示时间上的一致性。
当基层中没有时间上一致的画面时(例如，在当前POC是n2时)，先前画 面(即，POC比当前POC低1的画面)中的一对空间上同位的场宏块中所包括 的底场宏块802被垂直升采样以创建临时宏块对852(S82)，然后使用此临时宏 块对852来执行当前宏块对815的层间纹理预测。当基层中有时间上一致的画 面时(例如，在当前POC是nl时)，此时间上一致的画面中的一对空间上同位 的场宏块中所包括的顶场宏块801被垂直升采样以创建临时宏块对S51(S82)， 然后使用此临时宏块对851来执行当前宏块对814的层间纹理预测。当通过升 采样创建的临时宏块对851或852中包括从内模式宏块解码的宏块对时，在对 该宏块对应用解块滤波器之后将该宏块对用于层间纹理预测。
在本发明的另一个实施例中，当基层中有时间上一致的画面时(当图8h的 示例中的当前POC是nl时)，帧宏块对不是使用图8h所示的方法而是可以根 据图8d所示的实施例由场宏块对来创建，然后可将其用于层间纹理预测。此 外，在当前画面在基层中没有时间上一致的画面时(当图8h的示例中的当前 POC是n2时)，层间纹理预测可如图8h地来执行，或者可以不对当前画面中 的宏块执行层间纹理预测。
相应地，本发明的实施例分配标志'field_base_flag (场基标志)'以指 示层间纹理预测是根据图8d所示的方法执行还是根据图8h所示的方法执行 的，并将此标志纳入在编码信息中。例如，在纹理预测是已根据如图8d的方 法执行时将该标志设置为'0'，而当纹理预测是已根据如图8h的方法执行时 将该标志设置为'r 。该标志被定义在要向解码器传送的增强层中的序列参 数集、可升降级扩展中的序列参数、画面参数集、可升降级扩展中的画面参数 集、切片头部、可升降级扩展中的切片头部、宏块层、或可升降级扩展中的宏 块层中。
IV.场画面中的场MB》帧MB的情况
在这种情况下，当前层(EL)中的宏块是被编码成帧宏块，而要用于当前层 的帧宏块的层间预测的基层(BL)中的宏块是被编码成场画面中的场宏块。基层 中的场宏块中所包括的视频信号成分与包括在当前层中一对同位的宏块中的 视频信号成分是相同的。首先，层间运动预测描述如下。
EL编码器20使用通过扩展基层的偶或奇场中的宏块(在垂直方向上扩展 到两倍)获得的划分模式作为虛拟基层中的宏块的划分模式。图10a示出该过程 的详细例子。图10a所示的程序与其中MBAFF帧中的顶或底场宏块被选择的 情况III的程序的不同之处在于很自然地使用偶或奇场中的空间上同位的场宏 块1010，而其与情况III的程序的类似之处在于同位的场宏块1010被扩展且通 过扩展获得的两个宏块的划分模式被应用于虚拟基层的宏块对1012。当相应场 宏块1010在垂直方向上被扩展到两倍时，可能会生成在宏块划分模式中不允 许的划分模式(或图案)。为了防止该情况，EL编码器20按与在情况III中建议 的规则l)和2)相同的规则根据经扩展的划分模式来确定划分模式。
如果相应的宏块是已按内模式编码的，则EL编码器20只执行层间纹理 预测，而不执行通过以上扩展过程进行的划分模式确定和以下描述的参考索引 和运动向量推导过程。即，EL编码器20不执行层间运动预测。
参考索引和运动向量推导程序也与在前面的情况III中所描述的相类似。 然而，本情况IV在以下方面不同于情况III。在情况m中，因为相应的基层 宏块被携带在帧中的偶和奇宏块对中，所以顶和底宏块之一被选择并应用于推 导程序。在本情况IV中，因为基层中仅存在一个对应于要编解码的当前宏块 的宏块，所以虚拟基层的宏块对1012的运动信息从相应场宏块的运动信息推 导，而没有如图10b和10c所示的宏块选择程序，并且推导出的运动信息被用 于当前宏块对1013的层间运动预测。
图11示意性示出根据本发明的另一个实施例的虚拟基层的宏块对的参考 索引和运动向量的推导。在这种情况下，虚拟基层的宏块对的运动信息是从基 层的偶或奇场宏块的运动信息推导的，这与以上参考图9a所述的情况不同。 与图9a的情况相同的推导操作适用于本情况。然而，图9b所示的情况中的混 合并使用宏块对的运动信息的过程在本情况IV中不适用，因为在基层中没有 相应场中的顶和底宏块配对。
在参考图10a至10c描述的实施例中，为了预测虚拟基层的宏块对的运动 信息，EL编码器20基于基层的相应场宏块的运动信息顺序地推导划分模式、 参考索引、和运动向量。然而，在图11的另一个实施例中，EL编码器20首 先基于基层的相应宏块对的运动信息推导虚拟基层的宏块对的参考索引和运 动向量，然后基于所推导出的值最终确定虚拟基层的宏块对的划分模式。当划 分模式被确定时，具有相同的推导出的运动向量和参考索引的4x4块单元被组 合，且如果组合后的块模式是允许的划分模式，则将划分模式设置成此组合后 的模式，否则将划分模式设置成组合前的模式。
当在上述的实施例中执行纹理预测时，如果基层的相应场宏块是内模式， 则对当前宏块执行基内预测编解码。如果相应场宏块是间模式，且如果当前宏 块已以间模式编码，则执行层间残差预测编解码。这里，当然，在预测中使用 的场宏块是在其在垂直方向上被升采样后用于纹理预测的。
在本发明的另一个实施例中，由包括在奇或偶场中的场宏块创建虚拟宏块 以构造宏块对，然后从所构造出的宏块对推导虚拟基层的宏块对的运动信息。 图12a和图12b示出该实施例的例子。
在该实施例中，基层的相应偶(或奇)场宏块的参考索引和运动向量被拷贝 (1201和1202)以创建虚拟奇(或偶)场宏块来构造宏块对1211，且所构造出的宏 块对1211的运动信息被混合以推导虚拟基层的宏块对1212的运动信息(1203 和1204)。在混合并使用运动信息的示例方法中，如图12a和12b所示，相应 顶宏块的顶8x8块的参考索引被应用于虚拟基层的宏块对1212的顶宏块的顶 8x8块，底8x8块的参考索引被应用于底宏块的顶8x8块，相应底宏块的顶8x8 块的参考索引被应用于虚拟基层的宏块对1212的顶宏块的底8x8块，且底8x8 块的参考索引被应用于底宏块的底8x8块(1203)。根据参考索引应用运动向量 (1204)。这里省略了该过程的描述，因为它可从图12a和12b直观地理解。
在图12a和12b所示的实施例中，虚拟基层的宏块对1212的划分模式是 使用与如上所述相同的方法基于推导出的参考索引和运动向量来确定的。
现在将描述层间纹理预测。图10b示出针对"场画面中的场MB-〉帧MB" 的情况的示例层间纹理预测方法。EL编码器20首先升采样基层的相应场宏块 1010以创建两个临时宏块1021。如果相应场宏块1010是内模式，则EL编码
器20将解块滤波器应用于所创建的这两个临时宏块1021 ，然后基于这两个临
时宏块1021执行当前帧宏块对1013的基内预测。如果相应场宏块1010是间 模式，则EL编码器20基于所创建的这两个临时宏块1021执行当前帧宏块对 1013的残差预测。
V.场MB-〉场MB的情况
该情况被细分成以下四种情况，因为场宏块分成包括在场画面中的场宏块 和包括在MBAFF帧中的场宏块。
i) 基层和增强层是MBAFF帧的情况
该情况在图13a中示出。如图所示，基层的相应宏块对的运动信息(划分 模式、参考索引、和运动向量)是通过将相应宏块对的运动信息直接拷贝至虚 拟基层的宏块对而被用作虚拟基层的宏块对的运动信息。这里，运动信息是在 有相同奇偶性的宏块之间被拷贝的。具体地，偶场宏块的运动信息被拷贝至偶 场宏块，而奇场宏块的运动信息被拷贝至奇场宏块，以构造用于当前层的宏块 的运动预测的虚拟层的宏块。
在执行纹理预测时应用已知的帧宏块之间的层间纹理预测的方法。
ii) 基层包括场画面而增强层包括MBAFF帧的情况
该情况在图13b中示出。如图所示，基层的相应场宏块的运动信息(划分 模式、参考索引、和运动向量)是通过将相应场宏块的运动信息直接拷贝至虚 拟基层的宏块对中的每一个宏块而被用作虚拟基层的宏块对中的每一个宏块 的运动信息。这里，相同奇偶性拷贝规则不适用，因为单个场宏块的运动信息 被用于顶和底场宏块两者。
当执行纹理预测时，在具有相同(偶或奇)场属性的增强层和基层宏块之间 应用基内预测(当基层的对应块是内模式时)或应用残差预测(当基层的相应块 是间模式时)。
iii) 基层包括MBAFF帧而增强层包括场画面的情况
该情况在图13c中示出。如图所示，从对应于当前场宏块的基层宏块对中 选择有相同奇偶性的场宏块，并通过将所选场宏块的运动信息直接拷贝至虚拟
基层的场宏块来将所选场宏块的运动信息(划分模式、参考索引、和运动向量)
用作虚拟基层的场宏块的运动信息。
当执行纹理预测时，在具有相同(偶或奇)场属性的增强层和基层宏块之间 应用基内预测(当基层的对应块是内模式时)或应用残差预测(当基层的相应块 是间模式时)。
iv)基层和增强层是场画面的情况
该情况在图13d中示出。如图所示，通过将基层的相应场宏块的运动信息 直接拷贝至虚拟基层的场宏块来将基层的相应场宏块的运动信息(划分模式、 参考索引、和运动向量)用作虚拟基层的场宏块的运动信息。同样在这种情况 下，运动信息是在有相同奇偶性的宏块之间被拷贝的。
在执行纹理预测时应用已知的帧宏块之间的层间纹理预测的方法。 以上层间预测的描述是针对基层和增强层具有相同分辨率的情况给出的。 以下的描述将就在增强层的分辨率高于基层分辨率时(即，当
SpatialScalabilityType ()大于0时)如何标识出每一层的画面类型(逐行帧、 MBAFF帧、还是隔行场)和/或画面中宏块的类型、以及根据标识出的类型应用 层间预测方法来给出。首先描述层间运动预测。
M_A).基层(逐行帧)-〉增强层(MBAFF帧)
图14a示出针对该情况的处理方法。如图所示，首先，基层中的相应帧的 所有宏块的运动信息被拷贝以创建虚拟帧。然后执行升采样。在该升采样中， 利用基层画面的纹理信息以允许该画面的分辨率(或即画面大小)与当前层的分 辨率相等的内插率来执行内插。此外，通过内插被放大的画面的每一个宏块的
运动信息是基于该虚拟帧的每一个宏块的运动信息来构造的。可将多种已知方 法中的一种用于该构造。以此方式构造出的临时性基层的画面具有与当前(增 强)层的画面相同的分辨率。相应地，在这种情况下可应用上述的层间运动预
在这种情况下(图14a)，基层和当前层中的画面中的宏块是帧宏块和 MBAFF帧中的场宏块，因为基层包括帧而当前层包括MBAFF帧。相应地， 应用上述情况I的方法来执行层间运动预测。然而，如上所述不仅场宏块对， 帧宏块对也可能被包括在同一MBAFF帧中。相应地，在对应于临时性基层的
画面中的宏块对的当前层宏块对的类型已被标识出为帧宏块类型而不是场宏 块类型时，应用已知的在帧宏块之间的包括运动信息的简单拷贝的运动预测的 方法(帧-帧预测方法)。
M_B).基层(逐行帧)->增强层(隔行场)
图14b示出针对该情况的处理方法。如图所示，首先，基层中的相应帧的 所有宏块的运动信息被拷贝以创建虚拟帧。然后执行升采样。在该升采样中， 利用基层画面的纹理信息，以允许画面的分辨率与当前层的分辨率相等的内插 率执行内插。此外，通过内插被放大的画面的每一个宏块的运动信息是基于所 创建的虚拟帧的每一个宏块的运动信息来构造的。
应用上述情况II的方法来执行层间运动预测，因为以此方式构造的临时 性基层的画面的每一个宏块均是帧宏块，而当前层的每一个宏块均是场画面中 的场宏块。
M_C).基层(MBAFF帧)->增强层(逐行帧)
图14c示出针对该情况的处理方法。如图所示，首先，将基层的相应 MBAFF帧变换成逐行帧。上述情况III的方法适用于将MBAFF帧的场宏块对 变换成逐行帧，并且已知的帧-帧预测方法适用于MBAFF帧的帧宏块对的变 换。当然，当将情况III的方法应用于本情况中时，是利用通过不需执行对预 测出的数据与实际要编解码的层的数据之差进行编解码的操作的层间预测获 得的数据创建虚拟帧和该帧的每一个宏块的运动信息。
一旦获得虚拟帧，就对该虚拟帧执行升采样。在该升采样中，以允许基层 的分辨率与当前层的分辨率相等的内插率执行内插。此外，利用多种己知方法
中的一种基于虚拟帧的每一个宏块的运动信息构造经放大画面的每一个宏块 的运动信息。这里，执行已知的帧宏块-宏块层间运动预测方法，因为以此方 式构造出的临时性基层的画面的每一个宏块均是帧宏块，且当前层的每一个宏 块均是帧宏块。
M—D).基层(隔行场)->增强层(逐行帧)
图14d示出针对该情况的一种处理方法。在这种情况下，画面的类型与该
画面的宏块的类型相同。如图所示，首先，将基层的相应场变换成逐行帧。变 换出的帧具有与当前层的画面相同的垂直/水平(纵横)比。升采样过程和上述情 况IV的方法适用于将隔行场变换成逐行帧。当然，当将情况IV的方法应用于 本情况中时，是利用通过不需执行对预测出的数据与实际要编解码的层的数据 之差进行编解码的操作的层间预测获得的数据来创建虚拟帧的纹理数据和该 帧的每一个宏块的运动信息。
一旦获得虚拟帧，就对该虚拟帧执行升采样。在该升采样中，执行内插以 允许虚拟帧的分辨率等于当前层的分辨率。此外，使用多种已知方法中的一种 基于虚拟帧的每一个宏块的运动信息构造内插出的画面的每一个宏块的运动 信息。这里是执行已知的帧宏块-宏块层间运动预测方法，因为以此方式构造 的临时性基层的画面的每一个宏块均是帧宏块，而当前层的每一个宏块是帧宏 块。
图14e示出根据本发明的另一个实施例的针对以上情况M—D)的处理方 法。如图所示，该实施例将奇或偶相应场变换成逐行帧。为了将隔行场变换成 逐行帧，如图14d所示应用升采样和上述的情况IV的方法。 一旦获得虚拟帧， 就对虚拟帧应用具有相同纵横比的画面之间的运动预测的方法——其为多种 已知方法中的一种——来进行当前层的画面与临时性层之间的运动预测，以执 行当前层的逐行画面的每一个宏块的运动信息的预测编解码。
图14e所示的方法与图14d的方法的不同之处在于不生成临时的预测信号。
图14f示出根据本发明的另一个实施例的针对以上情况M—D)的处理方 法。如图所示，该实施例拷贝基层的相应场的所有宏块的运动信息以创建虚拟 画面。然后执行升采样。在该升采样中，使用基层的画面的纹理信息，并将不 同的内插率用于垂直和水平内插以使得经放大的画面具有与当前层的画面相 同的大小(或即分辨率)。此外，可将多种已知的预测方法中的一种(例如，扩展 特殊可升降级性(ESS))应用于虚拟画面以构造经放大画面的各种句法信息和运 动信息。在该过程中构造出的运动向量根据放大比率被扩展。 一旦临时性基层 的经升采样画面被构造出来，就将该画面用于执行当前层的画面中的每一个宏 块的层间运动预测，以编解码当前层的画面的每一个宏块的运动信息。这里，
应用已知的帧宏块=宏块层间运动预测方法。
图14g示出根据本发明的另一个实施例的针对以上情况M—D)的处理方 法。如图所示，该实施例首先拷贝基层的相应场的所有宏块的运动信息以创建 虚拟画面。之后，使用基层的画面的纹理信息以对于垂直和水平内插不同的比 率执行内插。通过该操作创建的纹理信息被用于层间纹理预测。此外，虚拟画 面中的运动信息被用于执行当前层的画面中的每一个宏块的层间运动预测。这
里，应用多种已知方法中的一种(例如，在联合可升降级视频模型(JSVM)中定 义的扩展特殊可升降级性(ESS))来执行当前层的画面的运动预测编解码。
图14g所示的方法与图14f的方法的不同之处在于不生成临时的预测信号。
M_E).基层(MBAFF帧)-〉增强层(MBAFF帧)
图14h示出针对该情况的处理方法。如图所示，首先，将基层的相应 MBAFF帧变换成逐行帧。为了将MBAFF帧变换成逐行帧，上述情况III的方 法适用于MBAFF帧的场宏块对的变换，并且帧-帧预测方法适用于MBAFF帧 的帧宏块对的变换。当然，当将情况III的方法应用于本情况中时，是利用通 过不需执行编解码预测出的数据与实际要编解码的层的数据之差的操作的层 间预测获得的数据来创建虚拟帧和该帧的每一个宏块的运动信息。
一旦获得虚拟帧，就对该虚拟帧执行升采样。在该升采样中，以允许基层 的分辨率与当前层的分辨率相等的内插率执行内插。此外，利用多种已知方法
中的一种基于虚拟帧的每一个宏块的运动信息构造经放大的画面的每一个宏 块的运动信息。应用上述情况I的方法来执行层间运动预测，因为以此方式构 造的临时性基层的画面的每一个宏块均是帧宏块，而当前层的每一个宏块均是 MBAFF帧中的场宏块。然而，如上所述不仅场宏块对，帧宏块对也可被包括 在同一MBAFF帧中。相应地，在对应于临时性基层的画面中的宏块对的当前 层宏块对是帧宏块而不是场宏块时，应用已知的在帧宏块之间的包括运动信息 的拷贝的运动预测的方法(帧-帧预测方法)。
M一F).基层(MBFF帧)->增强层(隔行场)
图14i示出该情况的处理方法。如图所示，首先，将基层的相应MBAFF 帧变换成逐行帧。为了将MBAFF帧变换成逐行帧，上述情况III的方法适用 于MBAFF帧的场宏块对的变换，并且帧-帧预测方法适用于MBAFF帧的帧宏 块对的变换。当然，同样，当将情况III的方法应用于本情况中时，是利用通 过不需执行编解码预测出的数据与实际要编解码的层的数据之差的操作的层 间预测获得的数据来创建虚拟帧和该帧的每一个宏块的运动信息。
一旦获取虚拟帧，就以允许分辨率等于当前层的分辨率的内插率对该虚拟 帧执行内插。此外，使用多种已知方法中的一种基于虚拟帧的每一个宏块的运 动信息构造经放大的画面的每一个宏块的运动信息。应用上述情况II的方法来 执行层间运动预测，因为以此方式构造的临时性基层的画面的每一个宏块均是 帧宏块，而当前层的每一个宏块均是偶或奇场中的场宏块。
M—G).基层(隔行场)-〉增强层(MBAFF帧)
图14j示出针对该情况的处理方法。如图所示，首先，将基层的隔行场变 换成逐行帧。应用升采样和上述情况IV的方法将隔行场变换成逐行帧。当然， 同样，当将情况IV的方法应用于本情况中时，是利用通过不需执行对预测出 的数据与实际要编解码的层的数据之差进行编解码的操作的层间预测获得的 数据来创建虚拟帧和该帧的每一个宏块的运动信息。
一旦获得虚拟帧，就对该虚拟帧执行升采样以允许分辨率等于当前层的分 辨率。此外，利用多种已知方法中的一种构造经放大的画面的每一个宏块的运 动信息。应用上述情况I的方法来执行层间运动预测，因为以此方式构造的临 时性基层的画面的每一个宏块均是帧宏块，而当前层的每一个宏块均是 MBAFF帧中的场宏块。然而，如上所述不仅场宏块对，帧宏块对也可被包括 在同一MBAFF帧中。因此，在对应于临时性基层的画面中的宏块对的当前层 宏块对包括帧宏块而不是场宏块时，应用已知的在帧宏块之间的运动预测的方 法(帧-帧预测方法)而不是上述情况I的预测方法。
Mji).基层(隔行场)》增强层(隔行场)
图14k示出针对该情况的处理方法。如图所示，首先，基层中的相应场的
所有宏块的运动信息被拷贝以创建虚拟场，然后对该虚拟场执行升采样。该升 采样以允许基层的分辨率与当前层的分辨率相等的升采样率执行。此外，使用 多种已知方法中的一种基于所创建的虚拟帧的每一个宏块的运动信息构造经 放大的画面的每一个宏块的运动信息。应用上述情况V中的情况iv)的方法来 执行层间运动预测，因为以此方式构造的临时性基层的画面的每一个宏块均是 场画面中的场宏块，而当前层的每一个宏块也均是场画面中的场宏块。
尽管在图14a至14k的实施例的描述中是使用临时性层的虚拟场或帧的纹
理信息而不是基层的画面的纹理信息来进行升采样，但基层画面的纹理信息也 可用于升釆样。此外，如果不是必要的话，当推导要用于在后续级中执行的层 间运动预测的临时性层的画面的运动信息时，在上述的升采样过程中可省略利 用纹理信息的内插过程。
另一方面，尽管纹理预测的描述是针对基层和增强层具有相同空间分辨率 的情况给出的，但如上所述这两个层可能具有不同的空间分辨率。在增强层的 分辨率高于基层的分辨率的情况下，首先，执行使基层的画面的分辨率等于增 强层的画面的分辨率的操作，以创建具有与增强层的分辨率相同的分辨率的基
层画面，并基于该画面中的每一个宏块选择与上述情况I-V中的每一种情况相
对应的纹理预测方法以执行预测编解码。现在详细描述使基层画面的分辨率等 于增强层画面的分辨率的程序。
当考虑用于层间预测的两层时，用于在两层之间编解码的画面格式(逐行
和隔行格式)的组合数目是4，因为有两种视频信号扫描方法， 一种是逐行扫描 而另一种是隔行扫描。因此，将分别针对这四种情况中的每一种描述增加基层 画面的分辨率以执行层间纹理预测的方法。
T一A).增强层是逐行的而基层是隔行的情况
图15a示出针对该情况将基层画面用于层间纹理预测的方法的实施例。如 图所示，时间上对应于当前(增强)层的画面1500的基层画面1501包括在不同 时间输出的偶和奇场。因此，首先，EL编码器20将基层的画面分成偶和奇场 (S151)。基层画面1501的内模式宏块具有用于内模式预测的未被编码的原始图 像数据(或已被解码的图像数据)，且其模式间宏块具有用于残差预测的经编码
的残差数据(或经解码的残差数据)。当在下文中描述纹理预测时，对于基层宏 块或画面同样如此。
在将相应画面1501分成场分量后，EL编码器20在垂直和/或水平方向上 执行分离出的场1501a和1501b的内插，以创建经放大的偶和奇画面1502a和 1502b(S152)。该内插使用多种已知方法中的一种，诸如6抽头滤波和二进制线 性滤波。用于通过内插增加画面的分辨率(即，大小)的垂直和水平比等于增强 层画面1500的大小与基层画面1501的大小的垂直和水平比。垂直和水平比可 彼此相等。例如，如果增强层和基层之间的分辨率是2，则对分离出的偶和奇 场1501a和1501b执行内插，以在垂直和水平方向上在每个场中的每个像素之 间再创建一个像素。
一旦内插完成，则组合经放大的偶和奇场1502a和1502b以构造画面 1503(S153)。在该组合中，交替地选择经放大的偶和奇场1502a和1502b的行 (1502a-〉1502b-〉1502a-〉1502b-X.)然后将其按选择的次序编排以构造出组合的 画面1503。这里，确定组合的画面1503中的每一个宏块的块模式。例如，组 合的画面1503的宏块的块模式被确定为与包括具有相同图像成分的区域的基 层画面1501中的宏块的块模式相等。这种确定方法可应用于以下描述的经放 大的画面的任何情况中。因为以此方式构造的组合画面1503具有与增强层的 当前画面1500相同的空间分辨率，所以基于组合画面1503的相应宏块来执行 当前逐行画面1500中的宏块的纹理预测(例如，帧-帧宏块间纹理预测)(S154)。
图15b示出根据本发明的另一个实施例的在层间纹理预测中使用基层画 面的方法。如图所示，该实施例不在场属性(奇偶性)的基础上分离基层画面， 而是在垂直和/或水平方向上直接执行包括在不同时间输出的偶和奇场的基层 画面的内插(S155)，以构造分辨率与增强层画面的分辨率(即，大小)相同的经 放大画面。以此方式构造的经放大画面被用于执行增强层的当前逐行画面的层 间纹理预测(S156)。
图15a在画面级别上示出通过在场属性的基础上分离具有偶和奇场的画 面来对其进行内插的程序。然而，EL编码器20可通过在宏块级别上执行图15a 所示的程序来达成与图15a所示相同的结果。更具体地，当具有偶和奇场的基 层是已被MBAFF编码时，画面1501中垂直毗邻宏块对——其与目前受到纹
理预测编解码的增强层画面中的宏块对同位——可如图16a或16b中那样包括 的偶和奇场分量的视频信号。图16a示出其中偶和奇场分量在一对宏块A和B 中的每一个宏块中交织的帧MB对模式，而图16b示出其中一对宏块A和B 中的每一个宏块包括具有相同场属性的视频行的场MB对模式。
在图16a的情况下，为了应用图15a中所示的方法，选择该对宏块A和B 中每一个宏块的偶行来构造偶场块A'，并选择其奇行来构造奇场块B'，从而将 每个宏块中都交织有偶和奇场分量的宏块对分成分别具有偶和奇场分量的两 个块A'和B'。对以此方式分离出的两个宏块A'和B'中的每一个执行内插以构 造经放大块。利用经放大块中与当前将受到纹理预测编解码的增强层画面中 intra—BL (基层内)或residual_prediction (残差预测)模式的宏块相对应的区 域中的数据来执行纹理预测。尽管图16a中未示出，但部分地在场属性基础上 组合诸个体地放大的块可构造图15a中的经放大偶和奇画面1502a和1502b， 因此图15a中的经放大偶和奇画面1502a和1502b可通过对每对宏块重复上面 的操作来构造。
在如图16b那样基于场属性分割宏块对以构造每个宏块的情况下，上述的 分离程序是从该宏块对简单地拷贝每个宏块以构造两个分离的宏块的过程。后 续的程序类似于参考图16a所述的程序。
T_B).增强层是隔行的而基层是逐行的情况
图17a示出针对该情况将基层画面用于层间纹理预测的方法的实施例。如 图所示，首先，EL编码器20为当前层画面1700构造两个画面(S171)。在应用 构造两个画面的示例方法中，选择相应画面1701的偶行来构造一个画面 1701a，并选择其奇行来构造另一个画面1701b。 EL编码器20然后在垂直和/ 或水平方向上执行如此构造出的两个画面1701a和1701b的内插以创建两个经 放大的画面1702a和1702b(S172)。该内插使用多种已知方法中的一种，诸如 情况T—A)中的6抽头滤波和二进制线性滤波。用于增加分辨率的比也与情况 TLA)中描述的那些相同。
一旦内插完成，就组合这两个经放大的场1702a和1702b以构造画面 1703(S173)。在该组合中，交替地选择这两个经放大的场1702a和1702b的行
(1702&->17021)->1702&->17021 ...)然后将其按选择的次序编排以构造组合的 画面1703。因为以此方式构造出的组合画面1703具有与增强层的当前画面 1700相同的空间分辨率，所以基于组合的画面1703的相应宏块来执行当前隔 行画面1700中的宏块的纹理预测(例如，帧-帧宏块间纹理预测或参考图4g描 述的纹理预测)(S174)。
图17b示出根据本发明的另一个实施例的在层间纹理预测中使用基层画 面的方法。如图所示，该实施例不将基层画面分成两个画面，而是在垂直和/ 或水平方向上直接执行基层画面的内插(S175)，以构造分辨率与增强层画面分 辨率(g卩，大小)相同的经放大画面。以此方式构造的经放大画面被用于执行增 强层的当前隔行画面的层间纹理预测(S176)。
尽管图17a的描述也是在画面级别上给出的，但EL编码器20可如以上 情况T—A)中所述在宏块级别上执行画面分离过程。当将单个画面1701视为垂 直毗邻宏块对时，图17b的方法类似于图17a所示的分离和内插程序。这里省 略了该程序的详细描述，因为其可从图17a直观地理解。
T—C).增强层和基层两者都是隔行的情况
图18示出针对该情况将基层画面用于层间纹理预测的方法的实施例。在 这种情况下，如图所示，EL编码器20以与情况T—A)中相同的方式将时间上 对应于当前层画面1800的基层画面1801分成偶和奇场(S181)。 EL编码器20 然后在垂直和/或水平方向上执行分离出的场1801a和1801b的内插以创建经放 大的偶和奇画面1802a和1802b(S182)。 EL编码器20然后组合经放大的偶和 奇场1802a和1802b以构造画面1803(S182)。 EL编码器20然后基于组合画面 1803的相应宏块执行当前隔行画面1800中的宏块(MBAFF编码的帧宏块对) 的层间纹理预测(例如，帧-帧宏块间纹理预测或参考图4g描述的纹理预 测)(S184)。
尽管两个层具有相同的画面格式，但EL编码器20在场属性的基础上分 离基层画面1801(S181)并个体地放大分离出的场(S182)然后组合经放大的画面 (S183)，这是因为如果组合偶和奇场的画面1801在其具有偶和奇场的视频信号 变化很大的特性时被直接内插，则与增强层的具有交织的偶和奇场的隔行画面
1800相比，经放大的画面可能会具有畸变的图像(例如，具有伸展边界的图像)。
相应地，即使两个层都是隔行的，根据本发明，EL编码器20也在将基层画面
在场属性的基础上分离后使用其来获得两个场，并个体地放大这两个场，然后 组合经放大的场。
当然，可以并非在两个层的画面都是隔行时总是使用图18所示的方法， 而是代之以根据画面的视频特性选择地使用该方法。
图18在画面级别上示出根据本发明在场属性基础上分离并放大具有偶和 奇场的画面的程序。然而，如以上T一A)中所述，EL编码器20可通过在宏块 级别上执行图18所示的程序来达成与图18所示相同的结果，其包括参考图16a 和16b描述的基于宏块的分离和内插过程(具体而言是将帧宏块对分成偶和奇 行的块并个体地放大分离出的块)以及组合和层间纹理预测过程(具体而言是交 替地选择经放大的块的行以构造一对经放大的块，并利用所构造出的经放大的 块对来执行当前层的帧宏块对的纹理预测)。
T_D).增强层和基层两者都是逐行的情况
在这种情况下，将基层画面放大至与增强层画面相同的大小，并将经放大 的画面用于具有相同画面格式的当前增强层画面的层间纹理预测。
尽管以上已经描述了在基层和增强层具有相同的时间分辨率时的纹理预 测的实施例，但两个层可能具有不同的时间分辨率，即，不同的画面率。如果 即使在诸层具有相同时间分辨率时诸层的画面也是不同的画面扫描类型，则这 些画面可能包含具有不同输出时间的视频信号，即使它们是相同POC的画面 (即，时间上彼此对应的画面)。现在将描述这种情况下的层间纹理预测方法。 在以下的描述中，假设两个层最初具有相同的空间分辨率。如果两层具有不同 的空间分辨率，则如上所述地在升采样基层的每一个画面以使空间分辨率等于 增强层的分辨率之后再应用以下描述的方法。
a)增强层包括逐行帧、基层包括MBAFF帧、且增强层的时间分辨率达 两倍之高的情况
图19a示出针对这种情况的层间纹理预测方法。如图所示，基层的每一个 MBAFF帧包括具有不同输出时间的偶和奇场，因此EL编码器20将每一个
MABFF帧分成偶和奇场(S191)。EL编码器20将每一个MBAFF帧的偶场分量 (例如，偶行)和奇场分量(例如，奇行)分别分成偶场和奇场。在以此方式将 MBAFF帧分成两个场之后，EL编码器20在垂直方向上内插每个场以使其具 有达两倍之高的分辨率(S192)。该内插使用多种已知方法中的一种，诸如6抽 头滤波、二进制线性滤波、和样本行补零。 一旦内插完成，增强层的每一帧在 基层中就有时间上一致的画面，因此EL编码器20对增强层的每帧的宏块执行 已知的层间纹理预测(例如，帧-帧宏块间预测)(S193)。
还可将以上的程序应用于层间运动预测。这里，当将MBAFF帧分成两个 场时，EL编码器20拷贝MBAFF帧中的场宏块对中的每一个宏块的运动信息 作为具有相同场属性(奇偶性)的宏块的运动信息，以将其用于层间运动预测。
即使在基层中没有时间上一致的画面时(在tl、 t3…的情况下)，使用该方法也 能根据上述方法创建出时间上一致的画面以执行层间运动预测。
在两层之一的分辨率如图19a的例子中那样是另一层的分辨率的两倍之 高时并且甚至在其是N倍(三倍或以上)之高时均能直接应用上述的方法。例 如，当分辨率是三倍之高时，可另外拷贝这两个分离出的场之一以构造并使用 三个场，并且当分辨率是四倍之高时，可再一次拷贝这两个分离出的场中的每 一个以构造并使用四个场。显然，在有任何时间分辨率差异的情况下，本领域 的技术人员无需任何创造性思考就可简单地通过应用本发明的原理来执行层 间预测。因此，本说明书中没有描述的用于在有不同时间分辨率的层之间预测 的任何方法自然落入本发明的范围内。以下描述的其他情况同样如此。
如果已经将基层编码成画面自适应场和帧(PAFF)而不是MBAFF帧，则两 层可能如图19b中那样具有相同的时间分辨率。因此，在这种情况下，在通过 无需进行将帧分成两场的过程而直接对帧进行内插来构造具有与当前层相同 的时间分辨率的画面后再执行层间纹理预测。
b)增强层包括MBAFF帧、基层包括逐行帧、且增强层的时间分辨率是 基层的一半的情况
图20示出针对这种情况的层间纹理预测方法。如图所示，增强层的每一 个MBAFF帧包括具有不同输出时间的偶和奇场，因此EL编码器20将每一个
MABFF帧分成偶和奇场(S201)。EL编码器20将每一个MBAFF帧的偶场分量 (例如，偶行)和奇场分量(例如，奇行)分别分成偶场和奇场。EL编码器20在 垂直方向上执行基层的每一帧的子采样以构造分辨率减半的画面(S202)。该子 采样可使用行子采样或各种其它已知的降采样方法中的一种，在图20的例子 中，EL编码器20选择具有偶画面索引的画面(画面tO、 t2、 t4…)的偶行以获得 大小减半的画面，并选择具有奇画面索引的画面(画面tl、 t3…)的奇行以获得 大小减半的画面。也可以按倒序执行帧分离(S201)和子采样(S202)。
一旦完成这两个过程S201和S202，从增强层的帧分离出的场2001在基 层中就有了时间上与场2001 —致且具有与场2001相同的空间分辨率的画面， 由此EL编码器20对每个场中的宏块执行已知的层间纹理预测(例如，帧-帧宏 块间预测)(S203)。
也可将以上的程序应用于层间运动预测。这里，当通过子采样从基层的每 个帧获取大小减小的画面(S202)时，EL编码器20可根据适合的方法(例如，采 用未被完全划分的块的运动信息的方法)从垂直毗邻宏块对中的每一个宏块的 运动信息中获得相应宏块的运动信息，然后可将所获得的运动信息用于层间运 动预测。
在这种情况下，增强层的画面被PAFF编码以便传送，因为层间预测是对 从MBAFF帧分离出的每个场画面2001执行的。
c)增强层包括MBAFF帧、基层包括逐行帧、且两层具有相同的时间分 辨率的情况
图21示出针对这种情况的层间纹理预测方法。如图所示，增强层的每一 个MBAFF帧包括具有不同输出时间的偶和奇场，因此EL编码器20将每一个 MABFF帧分成偶和奇场(S211)。EL编码器20将每一个MBAFF帧的偶场分量 (例如，偶行)和奇场分量(例如，奇行)分别分成偶场和奇场。EL编码器20在 垂直方向上执行基层的每一帧的子采样以构造分辨率减半的画面(S212)。该子 采样可使用行子采样或各种其它已知的降采样方法中的一种。也可以按倒序执 行帧分离(S211)和子采样(S212)。
EL编码器20还可由MBAFF帧构造场(例如，偶场画面)，而不是将MBAFF
帧分成两个场。这是因为两层具有相同的时间分辨率，因此从一个帧中分离出 的两个场画面中仅有一个(而不是两者全都)在基层中具有可用于层间预测的相 应帧。
一旦完成这两个过程S211和S212， EL编码器20就基于基层中相应的经 子采样的画面对从增强层的帧中分离出的场中的仅偶(奇)场执行已知的层间纹 理预测(例如，帧-帧宏块间预测)(S213)。
同样在这种情况下，可按与情况b)所述相同的方式对为其执行层间纹理预 测的增强层的分离出的场执行层间运动预测。
尽管以上的描述是就由图2a或2b的EL编码器20执行的层间预测操作 给出的，但层间预测操作的所有描述可共同地适用于从基层接收经解码的信息 并解码增强层流的EL解码器。在编码和解码程序中，上述的层间预测操作(包 括用于分离、放大、和组合画面或宏块中的视频信号的操作)以相同的方式执 行，但层间预测之后的操作以不同的方式执行。此差别的示例是在执行运动 和纹理预测之后，编码器编码预测出的信息或者预测出的信息与实际信息之间 的差分信息，以便将其传送给解码器，而解码器通过将藉由执行与在编码器处 所执行的相同的层间运动和纹理预测而获得的信息直接应用于当前宏块或通 过另外使用实际接收到的宏块编解码信息来获得实际运动信息和纹理信息。本 发明的以上从编码角度描述的详情和原理直接适用于解码接收到的两层的数 据流的解码器。
然而，当EL编码器在如参考图20和21所述将增强层分离成场序列并执 行层间预测之后以PAFF方式传送具有MBAFF帧的增强层时，解码器不对当 前接收到的层执行上述将MBAFF帧分成场画面的程序。
此外，解码器然后从接收到信号解码出标识EL编码器20是已如图8d所 示还是如图8h所示执行了宏块之间的层间纹理预测的标志'fiekLbase—flag'。基 于解码出的标志值，解码器确定宏块之间的预测是如图8d所示地执行还是如 图8h所示地执行的，并根据此确定获取纹理预测信息。如果没有接收到标志 'field—base—flag'，则EL解码器假设已接收具有"O"值的标志。g卩，EL解码器假 设宏块之间的纹理预测是根据如图8d所示的方法执行的，并获得当前宏块对 的预测信息以重建当前宏块或宏块对。
本发明的上述有限实施例中至少有一个甚至可在使用不同格式(或模式) 的视频信号源时执行层间预测。因此，当编解码多个层时，可提高数据编码率，
而不拘于视频信号的画面类型，诸如隔行信号、逐行信号、MBAFF帧画面、
和场画面。此外，当两层之一是隔行视频信号源时，预测中使用的画面的图像 可被构造成更类似于用于预测编解码的原始图像，从而提高数据编码率。
尽管已参考优选实施例描述了本发明，但对本领域的技术人员显而易见的 是，可在本发明中进行各种改进、修改、替换、和增加而不会脱离本发明的范 围和精神。因此，本发明旨在涵盖对本发明的改进、修改、替换、和增加，只 要它们落在所附权利要求及其等效方案的范围内即可。
权利要求
1. 一种将基层的隔行视频信号用于层间预测的方法，所述方法包括以下步骤a)由包括在所述隔行视频信号中的垂直毗邻场宏块对构造帧宏块对；b)将包括所述帧宏块对的视频信号分成偶和奇场分量；c)在垂直和/或水平方向上内插所述偶和奇场分量中的每一者；以及d)交织所述经内插的偶和奇场分量以获得组合的图像数据。
2. 如权利要求1所述的方法，其特征在于，所述步骤a)包括一行接一行顺序地交替选择所述场宏块对的顶宏块和底宏块的行并按所述选择的次序编 排所选择的行来构造所述帧宏块对。
3. 如权利要求l所述的方法，其特征在于，还包括以下步骤 将所述组合的图像数据用作当前层的视频信号的纹理预测信息。
4. 如权利要求3所述的方法，其特征在于，所述用作纹理预测信息的所 述组合的图像数据是已被解码的图像数据。
5. 如权利要求1所述的方法，其特征在于，所述步骤a)包括如果所述场 宏块对是内模式场宏块和间模式场宏块，则选择所述场宏块对中的一个场宏块 并在垂直方向内插所选场宏块来构造所述帧宏块对。
6. 如权利要求1所述的方法，其特征在于，所述垂直毗邻场宏块对是包 括在隔行视频信号按MBAFF方案被编码成的帧中。
7. 如权利要求1所述的方法，其特征在于，所述宏块对是设置成内模式 的宏块对。
8. 如权利要求1所述的方法，其特征在于，要向其应用层间预测的、所 述基层的上层是逐行视频信号。
9. 如权利要求1所述的方法，其特征在于，要向其应用层间预测的、所 述基层的上层是隔行视频信号。
10. 如权利要求9所述的方法，其特征在于，所述上层的所述隔行视频信 号是已被或将被编码成帧宏块对的图像数据。
全文摘要
本发明涉及将基层的隔行视频信号用于层间纹理预测的方法。本方法由属于基层的隔行视频信号的垂直毗邻的两个场宏块构造帧宏块对，将包含该帧宏块对的视频信号分成偶场和奇场分量，分别在垂直和/或水平方向上内插该偶场和奇场分量，并通过交织此经内插的偶场和奇场分量来构造组合的视频数据。
文档编号H04N7/32GK101385355SQ200780005782
公开日2009年3月11日 申请日期2007年1月9日 优先权日2006年1月9日
发明者全柄文, 朴志皓, 朴胜煜 申请人:Lg电子株式会社