用于视频编码中扩展空间可分级性的改进层间预测的制作方法
【专利说明】用于视频编码中扩展空间可分级性的改进层间预测
[0001]分案申请说明
[0002]本申请是于2008年I月5日提交的PCT国际申请PCT/IB2008/050022的名称为“用于视频编码中扩展空间可分级性的改进层间预测”的中国国家阶段申请(国家申请号:200880005411.2)的分案申请。
技术领域
[0003]本发明总体上涉及视频编码领域。更具体地，本发明涉及支持扩展空间可分级性的可分级视频编码。
【背景技术】
[0004]本部分意在为权利要求书中阐述的本发明提供背景或上下文。此处的描述可以包括可被探宄的概念，但是这些概念并不必须是以前已经构思过或者探宄过的那些。因此，除非在此指出，否则在本部分中所描述的并不是本申请中说明书和权利要求书的现有技术，也不因为包括在此部分中就承认是现有技术。
[0005]已经针对不同技术规定了不同标准。视频编码标准包括ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262 或 ISO/IEC MPEG_2Visual、ITU-T H.263、ISO/IECMPEG-4Visual和ITU-T H.264(也称为ISO/IEC MPEG-4高级视频编码(AVC)或简称为H.264/AVC)。另外，当前，正在为开发新的视频编码标准而进行着努力。正在开发的一个这种标准是可分级视频编码(SVC)标准，其将成为对H.264/AVC标准的可分级扩展。SVC的最新草案是H.264/高级视频编码(AVC)标准的附录F(现在是附录G)。具体地，附录F包括公知为扩展空间可分级性(ESS)的特征，其在没有保持基本层宏块(MB)与增强层宏块之间的边缘对齐的情况下，提供了对信号的编码和解码。当利用为I或2的比例进行空间分级并且宏块边缘在不同层之间对齐时，可以将其视为空间可分级性的特殊案例。
[0006]例如，当利用二元(dyadic)分辨率分级(g卩，幂为2的分级分辨率)时，可以保持宏块的边缘对齐。此现象在图1中示出，其中左侧的半分辨率帧(基本层帧1000)被上采样，以便给出右侧的帧的全分辨率版本(增强层帧1100)。考虑基本层帧1000中的宏块MB。，经过上采样的此宏块的边界被示出为增强层帧1100中的外边界。在此情形下，需要注意的是，经过上采样的宏块精确地包含增强层处的四个全分辨率宏块，MB1, MB2, MB3^P MB 4。四个增强层宏块的MBp MB2, MBjP MB 4边缘精确地对应于宏块MB C1的上采样的边界。重要的是，所标识的基本层宏块是覆盖增强层宏块MBpMB2JBjP MB 4中每一个的唯一基本层宏块。换言之，为了形成对MBp MB2、MB 4的预测，不需要其它的基本层宏块。
[0007]另一方面，在非二元可分级性的情形中，情况大有不同。这在图2中针对为1.5的分级因子示出。在此情形中，基本层帧1000中的基本层宏块MBltl和MB2tl被从16X16上采样至较高分辨率增强层帧1100中的24X24。然而，考虑增强层宏块MB3tl，可以清楚地看到此宏块由经过上采样的两个不同宏块MBltl和MB 2Q覆盖。这样，为了形成针对增强层宏块MB 30的预测，需要两个基本层宏块MBltl和MB 2(|。事实上，取决于所使用的分级因子，单个增强层宏块可以由多达四个基本层宏块覆盖。
[0008]在H.264/AVC标准的附录F的当前草案中，即使形成预测可能需要若干基本层宏块，但是，相对于相关联的基本层帧对增强层宏块进行编码也是可能的。由于编码效率与预测准确度紧密相关，所以期待的是:形成对增强层宏块的准确预测，以便改进编码效率。
[0009]根据H.264/AVC标准的附录F的当前草案，当前增强层宏块的很多方面可以从与其对应的基本层宏块预测出。例如，对来自基本层的帧内编码宏块(也称为帧内宏块或者帧内MB)进行完全地解码或重建，使得它们可以被上采样并直接用于预测相应增强层处的亮度像素值和色度像素值。另外，来自基本层的帧间编码宏块(也称为帧间宏块或帧间MB)并未完全重建。取而代之的是，仅对每个基本层帧间MB的预测残差进行解码，并且可以用于预测增强层预测残差，而不对基本层帧间MB进行运动补偿。这称为“残差预测”。此外，对于帧间MB，基本层运动矢量也被上采样，并用于预测增强层运动矢量。
[0010]除了上述以外，在H.264/AVC标准的附录F中，针对每个增强层宏块定义了名称为base_mode_flag的标志。当此标志等于I时，则应当从与增强层宏块对应的基本层MB完全预测(或导出)该增强层宏块的类型、模式和运动矢量。由于用于从基本层MB推导出增强层宏块的宏块类型、模式和运动矢量的相同方法对于编码器和解码器都是已知的，所以在这种情况下，不需要进一步将宏块类型和模式以及其运动矢量信息编码成比特流。如果base_mode_flag等于0，则不导出增强层的宏块类型和模式信息。
[0011]如上所述，在某些情况下，增强层宏块的宏块类型和模式信息可以从其基本层MB完全预测。根据H.264/AVC标准的附录F的当前草案，当增强层宏块并未与基本层宏块边缘对齐时，针对每个增强层宏块，基于覆盖了该增强层宏块的基本层宏块来推导出虚拟基本层宏块。虚拟基本层宏块的类型、模式和运动矢量都是基于基本层MB确定的。随后，该虚拟基本层宏块将被视为来自基本层的精确地覆盖此增强层宏块的唯一宏块。如果对于当前增强层宏块的baSe_m0de_flag等于1，则其类型、模式和运动矢量被设置得与虚拟基本层宏块的那些相同。
[0012]在H.264/AVC标准的附录F的当前草案中定义的、用于确定虚拟基本层宏块的类型、模式和运动矢量的方法是自下至上的过程。首先，对于虚拟基本层宏块的每个4X4块，位于该块的第二行和第二列中的一个像素被用作该块的代表点，其在图3中示出。在图3中，宏块在300处表示。该宏块内的4X4块在310处表示，而每个4X4块中的代表像素在320处表示。当虚拟基本层宏块中的当前4 X 4块仅由来自基本层的一个4 X 4块覆盖时，使用虚拟基本层宏块的每个4X 4块中的一个像素具有简单这一优势。但是，当其由来自基本层的多个4X4块覆盖时，这种方法可能不够准确。
[0013]图4(a)和图4(b)示出了虚拟基本层宏块300与相应基本层宏块之间的关系。在上采样之后，基本层中将精确地覆盖当前增强层宏块的区域在图4(b)中的410处表示。这也是对应于虚拟基本层宏块300的区域。虚拟基本层宏块300中的4X4块中的代表像素被标记为IV其在基本层中的对应像素是Pb。根据H.264/AVC标准的附录F的当前草案，基本层中Pb所位于的、在图4(b)中指示为420的4X4块的宏块分区信息被用作增强层处Pe所在的4X4块的分区信息。换言之，基本层中覆盖像素P泗4X4块的分区信息用作P e所位于的4X4块的分区信息。这样，虚拟基本层宏块300中的每个4X4块可以具有分区信息。与分区信息相关联的运动矢量还用作对增强层运动矢量的预测值。
[0014]在虚拟基本层宏块中的四个8X8块中的每一个内，在4X4块级别处激活块合并过程。如图5所示，如果块1、2、3和4都从来自基本层的相同单独分区推导出它们的分区，则8 X 8块的模式被设置为8 X 8。否则，如果块I和块2从来自基本层的相同分区推导出它们的分区，并且块3和块4也从来自基本层的另一相同分区推导出它们的分区，则8X8块的模式被确定为8X4。类似地，如果块I和块3具有相同分区，并且块2和块4具有来自基本层的相同分区，则8X8块的模式被确定为4X8。否则，8X8块的模式被确定为4X4。此过程在其他所有三个8X8块内单独重复。
[0015]如果所有四个8 X 8块都处于8X8模式，则如图6所示，也在8X8块级别处执行块合并过程。在图6中，块1、2、3和4都代表8X8块。如果块1、2、3和4都从来自基本层的相同单独分区推导出它们的分区，则虚拟基本层宏块的模式被确定为16X16。如果块I和块2具有相同分区，并且块3和块4也具有来自基本层的相同分区，则虚拟基本层宏块的模式被确定为16X8。如果块I和块3具有相同分区，并且块2和块4也具有相同分区，则虚拟基本层宏块的模式被设置为8X 16。否则，虚拟基本层宏块的模式被设置为8X8。
[0016]根据H.264/AVC标准的附录F的当前草案，对宏块模式的预测仅仅基于来自基本层的分区信息。在此布置中，仅当块共享来自基本层的相同分区信息时，块才可以合并。然而，在扩展空间可分级性的情况下，来自基本层的不同分区具有相同的参考帧索引和运动矢量是相当常见的。例如，来自基本层的两个相邻宏块可以具有相同的参考帧索引和运动矢量。另外，在扩展空间可分级性的情况下，增强层宏块由来自基本层的多个宏块覆盖是非常常见的。因此，在确定是否应当合并两个块时仅使用分区信息经常不必要地创建出宏块内的小分区。这种小分区增大了运动补偿中采样插值过程期间的计算复杂度。
[0017]鉴于上述内容，期待的是:为扩展空间可分级性的情况提供用于宏块模式和运动矢量的改进的层间预测的