层间预测方法和使用层间预测方法的装置制造方法

层间预测方法和使用层间预测方法的装置制造方法
【专利摘要】本发明涉及层间预测方法和使用其的装置。该层间预测方法包括：从参考层推导层间运动信息的步骤；和使用层间运动信息对在当前层中的当前块执行预测的步骤。层间运动信息可以包括从参考层推导的层间运动矢量。
【专利说明】层间预测方法和使用层间预测方法的装置

【技术领域】
[0001] 本发明涉及视频压缩技术，尤其是，涉及用于执行可缩放的视频编译的方法和装 置。

【背景技术】
[0002] 近年来，对高分辨率和高质量视频的需要已经在各种应用领域中越来越增长。随 着在视频的分辨率和质量方面的改善，视频的数据量也增加。
[0003] 随着在数据量方面的增加，已经开发了具有各种性能的装置和具有各种环境的网 络。
[0004] 随着具有各种性能的装置和具有各种环境的网络的发展，相同的内容可以以各种 质量被使用。
[0005] 具体地，由于可以由终端支持的视频质量多样化，并且构成的网络环境多样化，具 有一般质量的视频可以在某些环境下使用，但是具有较高质量的视频可以在其它的环境下 使用。
[0006] 例如，己经利用移动终端购买视频内容的用户可以在他的或者她的家中使用大屏 幕显示器以更大的屏幕和更高的分辨率欣赏该视频内容。
[0007] 随着近来具有高清晰度（HD)分辨率的广播服务，用户已经习惯于高分辨率和高 质量的视频，并且服务提供者和用户已经对具有HDTV以及HDTV四倍以上的分辨率的超高 清晰度（UHD)服务感兴趣。
[000S] 因此，为了在各种环境中取决于质量提供由用户请求的视频服务，能够基于对大 容量视频的高效率的编码/解码方法对视频质量，诸如视频的图像质量、视频的分辨率、视 频的大小，和视频的帧率提供可缩放性。


【发明内容】

[0009] 技术问题
[0010] 本发明的一个目的是提供能够提高可缩放视频编译效果，并且降低要通过层复制 发送的信息量的方法和装置。
[0011]本发明的另一个目的是提供能够提高使用基本层的信息对于增强层的编码/解 码效果的方法和装置。
[0012]本发明的再一个目的是提供能够取决于各种可缩放性利用基本层信息的方法和 装置。
[0013]本发明的再一个目的是提供能够使用各种层间预测方法改善编译效率的方法和 装置。
[0014]1本发明的再一个目的是提供能够使用纹理信息、运动信息、语法信息、单元信息、 参数信息、残留信息，和基本层的差分信息的至少一个提高对于增强层的编译效率的方法 和装置。 tool 5] 问题的解决方案
[0016] 根据本发明的一个方面，提供了一种层间预测方法。该方法包括从参考层推导层 间运动信息，和使用层间运动信息预测在当前层中的当前块。层间运动信息可以包括从参 考层推导的层间运动矢量。在这里，层间运动矢量是通过基于参考层和当前层的分辨率比 率缩放参考层的运动矢量推导的。
[0017] 根据本发明的另一个方面，提供了一种可缩放视频解码器。该可缩放视频解码器 包括：第一预测模块，该第一预测模块预测参考层；第二预测模块，该第二预测模块基于第 一预测模块的预测，使用层间运动信息预测在当前层中的当前块。在这里，层间运动信息包 括从参考层推导的层间运动矢量，并且第二预测模块基于在参考层和当前层之间的分辨率 比率缩放参考层的运动矢量。
[0018] 有益效果
[0019] 根据本发明，能够提高可缩放视频编译效果，并且降低要通过层复制发送的信息 量。
[0020] 根据本发明，能够提高使用基本层的信息对于增强层的编码/解码效果。
[0021] 根据本发明，能够取决于各种可缩放性利用基本层的信息。
[0022] 根据本发明，能够使用各种层间预测方法改善编译效率。

【专利附图】

【附图说明】
[0023] 图1是示意地图示根据本发明的一个实施例的支持可缩放性的视频编码器的方 框图。
[0024] 图2是图示根据本发明在执行可缩放编译的视频编码器中的层间预测的示例的 方框图。
[0025]图3是示意地图示根据本发明的一个实施例的支持可缩放性的视频解码器的方 框图。
[0026]图4是图示根据本发明在执行可缩放编译的视频解码器中的层间预测示例的方 框图。
[0027]图5是示意地图示根据本发明的层间内部预测示例的示意图。
[0028]图6是示意地图示根据本发明在层间内部预测的过程中应用的重新缩放（下采样 /上采样）示例的示意图。
[0029]图7是示意地图示根据本发明的相移的上采样示例的示意图。
[0030] 图8疋图不根据本发明使用Interpolation_filter_indicator的方法示例的示意 图，g卩，当Interpolati〇n_filter_indicator的值是10的时候的采样方法。
[0031]图9是简要地图示用于不参考另一个层在层中执行中间预测的运动信息候选者 的示例的示意图。
[0032]图10是图不根据本发明执行层间运动预测的方法示例的流程图。
[0033]图η是示意地图示根据本发明推导参考层的运动信息方法的示意图。
[0034]图I2疋不思地图不根据本发明缩放mvIL方法的示意图。
[0035]图I3是简要地图示根据本发明执行层间语法麵彳方法的示例的示意图。
[0036]图14是示意地图示根据本发明应用层间残留预测方法的示例的示意图。
[0037]图15是示意地图示根据本发明的层间单元信息预测的示例的示意图。
[0038]图16是示意地图示根据本发明的层间单元预测的应用示例的示意图。
[0039]图I7是示意地图示根据本发明的层间单元预测的另一个示例的示意图。
[0040]图1S是示意地图示根据本发明的层间单元预测的再一个示例的示意图。
[0041] 图19是简要地图示根据本发明执行层间纹理预测的方法示例的示意图。
[0042] 图20是示意地图示根据本发明的层间滤波器参数预测的示例的示意图。
[0043]图21是示意地图示根据本发明当应用层间差分模式的时候执行内部预测方法的 示意图。

【具体实施方式】
[0044] 本发明可以以各种各形式不同地修改，并且其特定的实施例将在附图中描述和示 出。但是，实施例不意欲限制本发明。在以下的描述中使用的术语仅仅用于描述特定的实施 例，但是，不意欲限制本发明。单数的表示包括多数表示，只要其清楚不同地读取。诸如"包 括"和"具有"的术语意欲表亦存在在以下的描述中使用的特征、数目、步骤、操作、元件、组 件，或者其组合，并且因此，应该理解，不排除存在或者增加一个或多个不同的特征、数目、 步骤、操作、元件、组件，或者其组合的可能性。
[0045] 另一方面，在本发明描述的附图中的元件是为了解释在图像编码/解码装置中的 不同的特定功能的便利的目的而独立地绘制，并且不意味该元件由单独的硬件或者单独的 软件实施。例如，单元的两个或更多个元件可以合并以形成单个元件，或者一个单元可以被 分成多个元件。不脱离本发明的概念,单元被合并和/或分解的实施例属于本发明的范围。 [0046]在下文中，将参考附图详细描述本发明的示例性实施例。在附图中类似的组成将 由类似的附图标记引用，并且不会重复地描述。
[0047]在支持可缩放性的视频编译（在下文中，称为"可缩放编译"）方法中，输入信号可 以通过层来处理。取决于层，输入信号（输入视频）可以在分辨率、帧率、比特深度、颜色格 式和长宽比的至少一个方面彼此不同。
[0048] 在本说明书中，可缩放编译包括可缩放编码和可缩放解码。
[0049]在可缩放编码/解码中，能够通过使用在层之间的差别，也就是说，基于可缩放性 执行层间预测来减少信息的重复传输/处理，并且提高压缩效率。
[0050] 图1是示意地图示根据本发明的一个实施例的支持可缩放性的视频编码器的方 框图。
[0051] 参考图1，视频编码器100包括用于层1的编码模块105,和用于层0的编码模块 155〇
[0052] 层〇可以是基本层、参考层或者下层，并且层1可以是增强层、当前层或者上层。
[0053] 用于层1的编码模块105包括中间/内部预测模块110、变换/量化模块U5、滤 波模块120、解码图片缓存器（DPB) 125、熵编译模块130、单元参数预测模块135、运动预 测/重新缩放模块140、纹理预测/重新缩放模块145、参数预测模块 150和多路复用器 (MUX)185〇
[0054] 用于层〇的编码模块155包括中间/内部预测模块16〇、变换/量化模块165、滤 波模块170、DPB 175和熵编译模块180。
[0055]中间/内部预测模块110和16〇可以分别对输入视频执行中间预测和内部预测。 中间/内部预测模块110和16〇可以通过预先确定的处理单元执行预测。用于预测的处理 单元可以是编译单元（⑶)、预测单元（PU)，或者可以是变换单元（TU)。
[0056] 例如，中间/内部预测模块110和160可以以⑶为单位确定应用中间预测或者内 部预测中的哪一个，可以以PU为单位确定预测模式，并且可以以PU或者TU为单位执行预 测。要执行的预测包括预测块的构造和残留块（残留信号）的构造。
[0057]在中间预测中，预测可以基于当前图片的先前图片和/或后续图片的至少一个的 信息执行来构造预测块。在内部预测中，预测可以基于在当前图片中的像素信息执行来构 造预测块。
[0058]中间预测模式或者方法的不例包括跳过模式、合并模式、运动矢量预测（MVP)方 法。在中间预测中，可以选择用于要预测的当前的参考图片，并且对应于当前PU的参考 块可以是从参考图片中选择出来的。中间/内部预测模块1 6〇可以基于参考块来构造预测 块。
[0059]预测块可以以整数像素采样为单位，或者以小于整数像素的像素采样为单位来构 造。在这里，运动矢量也可以以整数像素采样为单位，或者以小于整数像素的像素釆样为单 位表示。
[0060] 在中间预测中的运动信息，也就是说，诸如参考图片索引、运动矢量和残留信号的 信息被熵编码，并且发送到视频解码器。当应用跳过模式的时候，残留信号完全可以不必产 生、变换、量化和发送。
[0061] 在内部预测中，预测模式可以包括33个方向预测模式，和至少2个无方向模式。无 方向模式可以包括DC预测模式和平面模式。在内部预测中，在滤波应用于参考采样之后， 可以构造预测的块。
[0062] PU可以是具有各种大小和形状的块。例如，在中间预测的情况下，PU可以是具有 诸如2NX2N、2NXN、NX2N和NXN大小的块（这里N是整数）。在内部预测的情况下，PU 可以是具有诸如2NX2N和NXN大小的块（这里N是整数）。具有NXN大小的PU可以被 设置为仅仅应用于特定的情形。例如，具有NXN大小的PU可以被设置为仅仅用于最小的 ⑶，或者可以被设置为仅仅用于内部预测。除了具有以上提及大小的PU之外，诸如NXmN 块、mNXN块、2NXmN块，和raNX2N块（这里m<l)的PU可以另外定义和使用。
[0063] 变换/量化模块115和165以TU为单位对残留块执行变换处理以产生变换系数， 并且量化该变换系数。
[0064] 变换块是采样的矩形块，并且是对其应用相同的变换的块。变换块可以是TU，并且 可以具有四树结构。
[0065] 变换/量化模块115和165可以取决于应用于残留块的预测模式和变换块的大小 执行变换处理以产生变换系数的二维阵列。例如，当内部预测应用于残留块，并且残留块具 有4X4阵列的时候，可以使用离散正弦变换（DST)来变换该残留块。另外，可以使用离散 余弦变换（DCT)来变换残留块。
[0066] 无论预测模式和变换块的大小如何，变换/量化模块115和165可以固定地使用 特定的变换。例如，变换/量化模块115和165可以仅仅将DST应用于所有变换块。变换 /量化模块115和165可以仅仅将DCT应用于所有变换块。
[0067] 变换/量化模块115和165可以量化变换系数以产生量化的变换系数。
[0068] 变换/量化模块115和165可以将量化的变换系数发送到熵编译模块130和180。 此时，变换/量化模块115和165可以以预先确定的扫描顺序将量化的变换系数的二维阵 列重新排列为一维阵列，并且可以将重新排列的一维阵列发送到熵编译模块 130和18〇。变 换/量化模块115和165可以将基于残留块和预测块产生的重建的块发送到滤波模块120 和170用于中间预测，而无需变换/量化。
[0069] 另一方面，变换/量化模块115和165可以跳过变换，并且仅仅执行量化，或者必 要时，可以跳过变换和量化两者。例如，对于对其应用了特定预测方法或者具有特定的大小 的块，或者对于对其应用了特定预测块并且具有特定大小的块，变换/量化模块115和165 可以跳过变换。
[0070] 熵编译模块130和180可以对量化的变换系数执行熵编码。编码方法，诸如指数 Golomb方法和上下文自适应二进制算数编译（CABAC)，可以用于熵编码。
[0071] 滤波模块120和170可以将去块滤波、自适应环路滤波（ALH或者采样自适应偏 移（SA0)应用于重建的图片。
[0072] 去块滤波在重建的图片中除去在块之间的边界上产生的块失真。ALF基于将原始 图片与其块由去块滤波器滤波的重建的图片比较的结果值执行滤波处理。SA0重建在对其 应用了去块滤波的残留块和原始图片之间的偏移差值，并且以带偏移、边缘偏移等等的形 式应用。
[0073] 滤波模块120和170可以不必应用所有去块滤波、ALF和SA0,而是可以仅仅应用 去块滤波，或者可以仅仅应用去块滤波和ALF，或者可以仅仅应用去块滤波和SA0。
[0074] DPB 125和175可以从滤波单元125和170接收和存储重建的块或者重建的图片。 DPB I25和I75可以将重建的块或者图片提供给执行中间预测的中间/内部预测模块110 和 160。
[0075]从用于层〇的熵编译模块180输出的信息和从用于层1的熵编译模块130输出的 信息可以由MUX 185多路复用，并且可以输出为比特流。
[0076]另一方面，用于层1的编码模块1〇5可以包括单元参数预测模块135、运动预测/ 重新缩放模块140、纹理预测/重新缩放模块145,和参数预测模块150,用于使用层〇的信 息预测层1的视频的层间预测。
[0077]中间参数预测模块135可以推导作为增强层的单元信息使用的基本层的单元 (⑶、PU和/或TU)信息，或者可以基于基本层的单元信息确定增强层的单元信息。
[0078]运动预测模块140执行层间运动预测。层间运动预测也称为层间中间预测。运动 预测換块140可以使用参考层（基本层）的运动信息预测当前层（增强层）的当前块。 [0079]必要时，运动预测模块140可以缩放参考层的运动信息。
[0080]纹理预测模块145可以基于层0的信息执行层间纹理预测。层间纹理预测也称为 层间内部预测或者内部BL(基本层）预测。当重建参考层的参考块的时候可以使用纹理预 测。在层间纹理预测中,在参考层中参考块的纹理可以用作在增强层中当前块的预测值。在 这里，参考块的纹理可以通过上采样缩放。
[0081]参数预测模块150可以推导在基本层中使用的参数，供在增强层中重新使用，或 者可以基于在基本层中使用的参数预测用于增强层的参数。
[0082]另一方面，为了解释便利的目的描述用于层1的编码模块105包括MUX 185,但是， MUX可以是与用于层1的编码模块105和用于层0的编码模块I55无关的设备或者模块。 [0083]图2是图示根据本发明在执行可缩放编译的视频编码器中的层间预测示例的方 框图。
[0084] 参考图2,用于层1的预测模块210包括中间/内部预测模块220和层间预测模块 230。
[00851用于层1的预测模块210可以执行从层0的信息预测层1所必需的层间预测。 [0086] 例如，层间预测模块230可以从中间/内部预测模块250和/或用于层〇的滤波 模块260接收层0的信息，并且可以执行预测层1所必需的层间预测。
[0087]用于层1的中间/内部预测模块220可以使用层1的信息执行中间预测或者内部 预测。
[0088]用于层1的中间/内部预测模块220可以使用从层间预测模块230发送的信息基 于层〇的信息执行预测。
[0089]此外，用于层1的滤波模块240可以基于层0的信息执行滤波操作,或者可以基于 层1的信息执行滤波操作。层0的信息可以从用于层0的滤波模块260被发送到用于层i 的滤波模块240,或者可以从用于层1的层间预测模块230被发送到用于层1的滤波模块 240。
[0090] 另一方面，从层〇发送到层间预测模块230的信息可以是有关层〇的单元参数的 信息、层〇的运动信息、层0的纹理信息和层0的滤波器参数信息的至少一个。
[0091] 因此，层间预测模块230可以包括在图1中执行层间预测的单元参数预测模块 135、运动预测模块140、纹理预测模块145,和参数预测模块150的一部分或者全部。
[0092] 在层1中，中间/内部预测模块220可以对应于在图1中的中间/内部预测模块 110,并且滤波模块240可以对应于在图1中的滤波模块12〇。在层〇中，中间/内部预测模 块 25〇可以对应于在图1中的中间/内部预测模块160,并且滤波模块260可以对应于在图 1中的滤波模块170。
[0093]图3是示意地图示根据本发明的一个实施例的支持可缩放性的视频解码器的方 框图。
[0094] 参考图3,视频解码器300包括用于层1的解码模块310和用于层〇的解码模块 350。
[0095]层〇可以是基本层、参考层或者下层，并且层1可以是增强层、当前层或者上层。 [0096]用于层1的解码模块310可以包括熵解码模块315、重排列模块320、去量化模块 325、反变换模块 33〇、预测模块335、滤波模块340和存储器345。
[0097] 用于层〇的解码模块350可以包括熵解码模块355、重排列模块360、去量化模块 365、反变换模块37〇、预测模块375、滤波模块380和存储器385。
[0098]当包括视频信息的比特流从视频编码器被发送的时候，DEMUX305可以通过层多路 分解信息，并且可以通过层将信息发送到解码器。
[0099] 熵解码模块3丨5和355可以执行熵解码以对应于在视频编码器中使用的熵编译方 法。例如，当在视频编码器中使用CABAC的时候，熵解码模块315和355可以使用CABAC执 行熵解码。
[0100]在由熵解码模块315和355解码的信息之中用于构造预测块的信息可以提供给预 测模块335和375,并且经历由熵解码模块315和355熵解码的残留值，即，量化的变换系 数，可以输入到重排列模块320和360。
[0101]重排列模块320和360可以基于由视频编码器使用的重新排列方法重新排列经历 由熵解码模块315熵解码的比特流的信息，g卩，量化的变换系数。
[0102] 例如，重排列模块32〇和360可以将一维阵列的量化的变换系数再次重新排列为 二维阵列的系数。重排列模块320和3 6〇可以基于应用于当前块（变换块）的预测模式和 /或变换块的大小执行扫描操作以构造系数（量化的变换系数）的二维阵列。
[0103] 去量化模块325和365可以基于从视频编码器发送的量化参数和块的重新排列的 系数值执行去量化操作以产生变换系数。
[0104] 去量化模块325和365可以不必去量化熵解码的残留，而是可以取决于预先确定 的条件，或者取决于由视频编码器使用的量化方法将残留发送到反变换模块330和370。
[0105] 反变换模块330和370可以对变换系数执行由视频编码器的变换模块执行的变换 的反变换。反变换模块330和370可以执行由视频编码器执行的DCT和DST的反DCT和/ 或反DST。
[0106] 在视频编码器中的DCT和/或DST可以取决于多条信息，诸如预测方法、当前块的 大小，和预测方向有选择地执行，并且视频解码器的反变换模块330和370可以基于由视频 编码器使用的变换信息执行反变换。
[0107] 例如，反变换模块330和370可以取决于预测模式/块大小执行反DCT和反DST。 例如，反变换模块330和370可以对已经对其应用内部预测的4X4亮度块执行反DST。 [0108] 反变换模块330和370可以固定地使用特定的反变换方法，无论预测模式/块大 小如何。例如，反变换模块330和370可以仅仅对所有变换块执行反DST。反变换模块330 和370可以仅仅对所有变换块执行反DCT。
[0109] 反变换模块330和370可以对变换系数或者变换系数的块进行反向变换以构造残 留信号或者残留块。
[0110] 必要时或者取决于由视频编码器使用的编码方法，反变换模块330和370可以跳 过变换。例如，对于对其应用了特定预测方法或者具有特定大小的块，或者具有特定的预测 方法并且具有特定的大小的块，反变换模块330和370可以跳过变换。
[0111] 预测模块335和375可以基于从熵解码模块315和355提供的预测块构造信息， 和预先地解码的块和/或从存储器345和385提供的图片信息构造当前块的预测块。
[0112] 在当前块的预测模式是内部预测模式的时候，预测模块335和375可以基于当前 图片的像素信息对当前块执行内部预测。
[0113] 当用于当前块的预测模式是中间预测模式的时候，预测模块335和375可以基于 在当前图片的先前图片和后续图片的至少一个中包括的信息对当前块执行中间预测。中间 预测所必需的运动信息的一部分或者全部可以取决于从视频编码器接收的信息被推导出。
[0114] 当跳过模式用作中间预测模式的时候，残留可以不必从视频编码器发送,并且预 测块可以用作重建块。
[0115] 另一方面，用于层1的预测模块335可以仅仅使用在层1中的信息执行中间预测 或者内部预测，并且可以使用另一个层（层0)的信息执行层间预测。
[0116L例如，用于层1的预测模块335可以使用层i的运动信息、层！的纹理信息、层i 的单元信息和层1的参数信息的一个预测当前块。用于层i的预测模块335可以使用层1 的运动信息、层1的纹理信息、层1的单元信息和层i的参数信息的多条信息预测当前块。 [0 117]用于层1的预测模块335可以从用于层0的预测模块375接收层1的运动信息， 并且可以执行运动预测。层间运动预测也称为层间中间预测。通过层间运动预测，可以使 用参考层（基本层）的运动信息预测当前层（增强层）的当前块。必要时，预测模块335 可以缩放和使用参考层的运动信息。
[0118]用于层1的预测模块335可以从用于层0的预测模块375接收层1的纹理信息， 并且可以执行层间纹理预测。层间纹理预测也称为层间内部预测或者内部基本层（BL)预 测。当重建参考层的参考块的时候可以使用层间纹理预测。在层间纹理预测中，在参考层 中参考块的纹理可以用作在增强层中当前块的预测值。在这里，参考块的纹理可以通过上 采样缩放。
[0119] 用于层1的预测模块335可以从用于层0的预测模块375接收层1的单元参数信 息，并且可以执行单元参数预测。通过单元参数预测，基本层的单元（⑶、PU和/或TU)信 息可以用作增强层的单元信息，或者增强层的单元信息可以基于基本层的单元信息确定。 [0 120]用于层1的预测模块3：35可以从用于层0的预测模块375接收层1的滤波参数信 息，并且可以执行参数预测。通过参数预测，用于基本层的参数可以被推导和对于增强层重 新使用，或者增强层的参数可以基于用于基本层的参数来预测。
[0121] 加法器39〇和3%可以使用由预测模块335和375构造的预测块和由反变换模块 330和370构造的残留块构造重建的块。在这种情况下，加法器390和395可以被认为是构 造重建块的特定模块（重建块构造模块）。
[0122]由加法器390和395重建的块和/或图片可以提供给滤波模块340和380。
[0123] 滤波模块340和380可以将去块滤波、SAO和/或ALF应用于重建的块和/或图 片。
[0124] 滤波模块340和380可以不必应用所有去块滤波、ALF和SAO,而是可以仅仅应用 去块滤波，或者可以仅仅应用去块滤波和ALF，或者可以仅仅应用去块滤波和SA0。
[0125]参考在图3中图示的示例，用于层1的滤波模块340可以使用从用于层1的预测 模块335和/或用于层1的滤波模块380发送的参数信息对重建的图片执行滤波操作。例 如，用于层1的滤波模块340可以使用从应用于层0的滤波参数预测的参数对层1执行滤 波操作，或者层间滤波操作。
[0126]存储器345和385可以存储作为参考图片或者参考块使用的重建的块或者图片。 存储器345和385可以经由预先确定的输出模块（未图示）或者显示器（未图示）输出存 储在存储器345和385中的重建的图片。
[0127]在图3图示的示例中，重排列模块、去量化模块、反变换模块等等已经描述为单独 的模块，但是，视频解码器可以被构造使得去量化/反变换模块的一个模块顺序地执行类 似在图1中图示的视频编码器的重新排列、去量化和反变换。 '
[0128]另一方面，已经参考图3描述预测模块，但是，如图1图示的，用于层1的预测模块 可以包括使用另一个层（层〇)的信息执行预测处理的层间预测模块，和不使用另一个层 (层〇)的信息执行预测处理的中间/内部预测模块。
[0129]图4是图示根据本发明在执行可缩放编译的视频解码器中的层间预测示例的方 框图。
[0130]参考图4,用于层1的预测模块410包括中间/内部预测模块420和层间预测模块 430。
[0131]用于层1的预测模块410可以执行从层0的信息预测层1所必需的层间预测。 [0132]例如，层间预测模块430可以从中间/内部预测模块450和/或用于层〇的滤波 模块4eo接收层〇的信息，并且可以执行预测层1所必需的层间预测。
[0133]用于层1的中间/内部预测模块42〇可以使用层1的信息执行中间预测或者内部 预测。
[0134]用于层1的中间/内部预测模块420可以使用从层间预测模块430发送的信息基 于层〇的信息执行预测。
[0135]用于层1的滤波模块440可以基于层0的信息执行滤波，或者可以基于层丨的信 息执行滤波。层0的信息可以从用于层0的滤波模块460发送到用于层1的滤波模块440， 或者可以从用于层1的层间预测模块430发送到用于层1的滤波模块440。
[0136]另一方面，从层〇发送到层间预测模块430的信息可以是有关层〇的单元参数的 信息、层〇的运动信息、层0的纹理信息和层0的滤波器参数信息的至少一个。
[0137] 在层1中，预测模块410可以对应于在图3中的预测模块355,并且滤波模块440 可以对应于在图3中的滤波模块340。在层0中，预测模块450可以对应于在图3中的预测 模块375,并且滤波模块460可以对应于在图3中的滤波模块380。
[0138]虽然未图示，取决于要执行的层间预测的类型（例如，运动预测、纹理预测、单元 参数预测和参数预测），层间预测模块430可以包括运动预测模块、纹理预测模块、单元参 数预测模块、参数预测模块。
[0139]在可缩放视频编译中，可以使用另一个层的信息执行当前层的预测信息的层间预 测。如参考图1至4描述的，运动预测、纹理预测、单元预测和参数预测可以被认为是层间 预测的示例。
[0140] 层间预测的相应的类型将在下面参考附图具体描述。
[0141] 层间内部预测
[0142]层间内部预测也称为层间纹理预测或者内部BL(基本层）预测。在本说明书中， 为了解释便利的目的，层间内部预测、纹理预测和内部BL预测的术语可以混用。
[0143]此时，为了在图片大小或者分辨率方面互相匹配基本层的重建的图片和增强层的 图片，基本层的重建的图片可以经历上采样。
[0144]例如，可以使用DCTIF(基于DCT的内插滤波器）执行上采样。例如，亮度采样可 以经历使用8抽头DCTIF的上采样，并且色度采样可以经历使用4抽头DCTIF的上采样。 [0145] 上采样可以使用内插执行。
[0146]另一方面，根据本发明的层间内部预测取决于编码/解码单元呈现除现有技术以 外的特点。例如，在编译块（例如，CU)级别，层间内部预测可以取决于单独的cu分割被应 用，无论基本层的块大小如何。
[0147]在预测块（例如，PU)级别，层间内部预测的成本可以与在当前层（增强层）中的 内部预测的成本相当。在这里，在无需使用内部预测模式，使用基本层（参考层）的重建的 图片作为参考图片的情况下，层间内部预测在率失真优化（RDO)方面与内部预测相当。 [0148]为了应用层间内部预测，是否应用层间内部预测可以在更高级别以标记的形式用 信号通知，而无需生成用于的新的模式。例如，表示是否使用层间内部预测的信息可以 在对块模式执行分析或者分割之前，以在划分标记（split_flag)之后的位置上的标记的 形式发送。
[0149] 在变换块（例如，TU)级别，在保持HEVC的四树结构的情况下，层间内部预测可以 被应用于执行变换。
[0150]图5是示意地图示根据本发明执行层间内部预测示例的示意图。
[0151] 在图5图示的示例中，基本层的图片510和增强层的图片530具有64X64的相同 的大小，但是，增强层的图片530具有基本层的图片510的分辨率四倍的分辨率。
[0152] 因此，为了在预测增强层的图片530的时候参考基本层的图片510,通过上采样以 内部预测模式重建的基本层的图片510构造参考图片520,并且然后用于预测增强层。
[0153] 在增强层的图片530中的阴影部分表示层间内部预测没有应用于其的块。
[0154] 当以这种方法应用层间内部预测的时候，基本层的图片可以经历重新缩放。
[0155] 特别地，视频编码器可以对输入图片执行下采样处理，以便通过具有不同分辨率 的多层编码/解码输入图片。视频编码器/视频解码器可以上采样下层的重建的图片，以 便在编码/解码的过程中将下层的图片作为参考图片。
[0156] 当执行下采样和上采样的时候，在相位特性上的失配可能在编码/解码过程中导 致损失，并且可能对编码性能具有直接影响。
[0157] 图6是示意地图示根据本发明在层间内部预测的过程中应用的重新缩放（下采样 /上采样）示例的示意图。
[0158] 图6(a)图示共置的整数采样用作下采样的采样的示例。图6(b)图示不使用共置 的整数采样，而是使用偏离1/2相位的采样的示例。
[0159] 如图6(a)和图6(b)图示的，当半像素上采样滤波器应用于通过下采样原始采样 获得的采样的时候，采样可以在从下采样的采样位置偏离1/2相位的位置上产生。
[0160] 在图6(a)中，其中在下采样的时候相位没有移位，通过上采样在与原始采样相同 的位置上产生采样。相反地，在图6(b)中，其中相位在下采样的时候被移位，采样在除原始 采样位置以外的位置（偏离1/2相位的位置）上产生。因此，在图6(b)中，由于相位失配， 可能在原始采样和上采样的采样之间出现损失。
[0161] 为了解决这个问题，可以考虑在上采样过程中执行在相位上匹配原始采样（原始 图片）的相移上采样。
[0162] 图7是示意地图示根据本发明的相移上采样的示例的示意图。
[0163] 在图7中，下层的采样表示从原始采样移位1/2相位的下采样的采样，和从下采样 的采样进行上采样的采样。
[0164] 在图7图示的示例中，为了在下采样过程中补偿相移，在上采样过程中在1/4相位 和3/4相位的位置上对下采样的采样执行上采样。
[0165] 通过使用1/4相位和3/4相位的采样内插下采样的采样，能够去除相位失配。参 考图7,可以看到，在离下采样的采样1/4相位和3/4相位的位置处的上采样的采样不与原 始米样相位失配。
[0166]在应用上采样滤波的时候，通过什么相移在相位上匹配原始采样可以取决于在下 采样的时候使用的相移来确定。
[0167]例如，为了在视频解码器中应用上采样滤波，以便在原始采样和上采样的采样之 间不导致相位失配，必须从视频编码器到视频解码器发送有关由视频编码器应用的下采样 滤波的信息，或者有关要由视频解码器使用的上采样滤波的信息。
[0168] 表1示出根据本发明对于相位匹配发送的下采样/上采样滤波信息的示例。
[0169] 〈表 1>
[0170]

【权利要求】
1. 一种层间预测方法，包括： 从参考层推导层间运动信息；和 使用所述层间运动信息预测在当前层中的当前块， 其中，所述层间运动信息包括从所述参考层推导的所述层间运动矢量，以及 其中，所述层间运动矢量是通过基于所述参考层和所述当前层的分辨率比率缩放所述 参考层的运动矢量推导的。
2. 根据权利要求1所述的层间预测方法，其中，所述参考层的所述运动矢量是在参考 位置上的运动矢量，所述参考位置对应于用于在所述参考层中指定所述当前块的位置。
3. 根据权利要求2所述的层间预测方法，其中，用于指定所述当前块的位置是所述当 前块的左上位置。
4. 根据权利要求2所述的层间预测方法，其中，所述参考位置是通过基于所述参考层 和所述当前层的分辨率比率缩放用于指定所述当前块的位置推导的。
5. 根据权利要求2所述的层间预测方法，其中，所述参考位置的所述运动矢量是包括 所述参考位置的预测块的运动矢量。
6. 根据权利要求1所述的层间预测方法，其中，所述当前块的预测包括： 取决于所述当前块的预测模式构造包括所述层间运动信息的候选列表；和 使用从所述候选列表的候选者中选择的运动信息预测所述当前块。
7. 根据权利要求6所述的的层间预测方法，其中，所述当前块的所述预测模式是合并 模式，以及 其中，所述层间运动信息被作为所述合并模式的候选者添加到所述候选列表的头部。
8. 根据权利要求6所述的层间预测方法，其中，所述当前块的所述预测模式是合并模 式，以及 其中，所述层间运动信息被作为所述合并模式的候选者添加到所述候选列表的尾部。
9. 根据权利要求6所述的层间预测方法，其中，所述当前块的所述预测模式是合并模 式，以及 其中，所述层间运动信息被作为所述合并模式的候选者比所述当前层的时间候选者更 晚地添加到所述候选列表。
10. 根据权利要求6所述的层间预测方法，其中，所述当前块的所述预测模式是合并模 式，以及 其中，所述层间运动信息被作为所述合并模式的候选者比所述当前层的空间候选者更 晚地添加到所述候选列表。
11. 根据权利要求6所述的层间预测方法，其中，所述当前块的所述预测模式是使用运 动矢量预测器（MVP)的模式，以及 其中，所述层间运动矢量被作为所述当前块的候选MVP添加到所述候选列表的头部。
12. 根据权利要求6所述的层间预测方法，其中，所述当前块的所述预测模式是使用运 动矢量预测器（MVP)的模式，以及 其中，所述层间运动矢量被作为所述当前块的候选MVP添加到所述候选列表的尾部。
13. 根据权利要求6所述的层间预测方法，其中，所述当前块的所述预测模式是使用运 动矢量预测器（MVP)的模式，以及 其中，所述层间运动矢量被作为所述当前块的候选MVP比位于所述当前块的左侧的空 间候选者更晚地添加到所述候选列表。
14. 根据权利要求6所述的层间预测方法，其中，所述当前块的所述预测模式是使用运 动矢量预测器（MVP)的模式，以及 其中，所述层间运动矢量被作为所述当前块的候选MVP比位于所述当前块的顶端侧的 空间候选者更晚地添加到所述候选列表。
15. 根据权利要求6所述的层间预测方法，其中，所述当前块的所述预测模式是使用运 动矢量预测器（MVP)的模式，以及 其中，所述层间运动矢量被作为所述当前块的候选MVP比所述当前块的空间候选者更 晚地添加到所述候选列表。
16. 根据权利要求6所述的层间预测方法，其中，所述当前块的所述预测模式是使用运 动矢量预测器（MVP)的模式，以及 其中，所述层间运动矢量在被缩放之后作为所述当前块的候选MVP添加到所述候选列 表。
17. 根据权利要求16的层间预测方法，其中，所述参考层的所述运动矢量是包括所述 参考位置的参考块的运动矢量，所述参考位置对应于用于在所述参考层中指定所述当前块 的位置， 其中，当所述当前块的参考图片不同于所述参考块的参考图片时，所述当前块的预测 通过缩放所述层间运动矢量添加到所述候选列表。
18. 根据权利要求16所述的层间预测方法，其中，所述层间运动矢量基于以下被缩放： 在当前图片和所述当前图片的参考图片之间的POC(图片顺序计数）差；和 在图片和图片的参考图片之间的POC差，在所述参考层中从所述图片推导所述层间运 动信息。
19. 一种可缩放视频解码器，包括： 第一预测模块，所述第一预测模块预测参考层；和 第二预测模块，所述第二预测模块基于所述第一预测模块的预测，使用层间运动信息 预测在当前层中的当前块， 其中，所述层间运动信息包括从所述参考层推导的层间运动矢量，以及 其中，所述第二预测模块基于在所述参考层和所述当前层之间的分辨率比率缩放所述 参考层的运动矢量。
20. 根据权利要求19所述的可缩放视频编码器，其中，所述第二预测模块： 取决于所述当前块的预测模式构造包括所述层间运动信息的候选列表，以及 使用从所述候选列表的候选者中选择的运动信息预测所述当前块。
【文档编号】H04N19/513GK104255031SQ201380021904
【公开日】2014年12月31日 申请日期:2013年2月28日 优先权日:2012年2月29日
【发明者】金哲瑾, 朴胜煜, 林宰显, 全勇俊, 朴俊永, 朴奈利, 全柄文 申请人:Lg 电子株式会社