用于对多层视频信号进行编码/解码的方法和装置的制造方法
【技术领域】
[0001 ]本发明涉及用于对多层视频信号进行编码/解码的方法和装置。
【背景技术】
[0002]近来，在各应用领域中对高分辨率、高品质图像如高清晰度(HD)图像和超高清晰 度(UHD)图像的需求已经增长。随着视频数据具有较高分辨率和较高品质，视频数据在量上 大于传统视频数据。因此，如果视频数据通过现有介质如有线/无线宽带电路进行传输或者 被存储在现有存储介质中，则传输成本和存储成本增大。为了避免较高分辨率、较高品质的 视频数据遇到这些问题，可以使用高效的视频压缩技术。
[0003]存在如下各种视频压缩技术:该技术包括其中根据当前图片（picture)的先前图 片或后续图片对包括在当前图片中的像素值进行预测的图片间预测、其中使用当前图片中 的像素信息对包括在当前图片中的像素值进行预测的图片内预测、以及其中将短码分配给 较频繁的值和将长码分配给较不频繁的值的熵编码。使用这样的视频压缩技术可以对视频 数据进行高效地压缩以及传输或存储。
[0004] 随着对高分辨率视频的日益增长的需求，对三维(3D)视频内容的需求也作为新的 视频服务而增长。对用于高效地提供HD和UHD 3D视频内容的视频压缩技术进行讨论。
【发明内容】
[0005] 技术问题
[0006] 本发明的目的是提供一种用于在对多层视频信号进行编码/解码中确定上层的当 前图片的层间参考图片的方法和装置。
[0007] 本发明的另一目的是提供一种用于在对多层视频信号进行编码/解码中对下层图 片进行上采样的方法和装置。
[0008] 本发明的另一目的是提供一种用于在对多层视频信号进行编码/解码中通过层间 预测高效地引入(induce)上层的纹理信息的方法和装置。
[0009] 本发明的另一目的是提供一种用于在对多层视频信号进行编码/解码中基于层间 瓦片(slice)对齐来执行层间预测的方法和装置。
[0010] 本发明的另一目的是提供一种用于在对多层视频信号进行编码/解码中将环路滤 波器应用于经重构的图片的瓦片边界的方法和装置。
[0011] 技术方案
[0012] 在根据本发明的用于对多层视频信号进行解码的方法和装置中，可以确定属于下 层的相应图片以用在对属于上层的当前图片的层间预测中，可以使用所确定的下层的相应 图片执行对当前图片的层间预测，可以使用与当前图片有关的残差样本和通过层间预测获 得的预测样本来重构当前图片，以及基于与上层有关的层滤波器标记可以将环路滤波器选 择性地应用于经重构的当前图片的瓦片边界。
[0013] 在根据本发明的用于对多层视频信号进行解码的方法和装置中，当层滤波器标记 的值为1时，施加不将环路滤波器应用于当前图片的瓦片边界的约束，当层滤波器标记的值 为0时，不施加不将环路滤波器应用于当前图片的瓦片边界的约束。
[0014] 在根据本发明的用于对多层视频信号进行解码的方法和装置中，层滤波器标记可 以是基于属于上层的图片的瓦片的数量限制性地获得的。
[0015] 在根据本发明的用于对多层视频信号进行解码的方法和装置中，当属于上层的至 少一个图片包括多个瓦片时，可以从比特流获得层滤波器标记。
[0016] 在根据本发明的用于对多层视频信号进行编码的方法和装置中，可以确定属于下 层的相应图片以用在对属于上层的当前图片的层间预测中，可以使用所确定的下层的相应 图片执行对当前图片的层间预测，可以使用与当前图片有关的残差样本和通过层间预测获 得的预测样本来重构当前图片，以及基于与上层有关的层滤波器标记可以将环路滤波器选 择性地应用于经重构的当前图片的瓦片边界。
[0017] 在根据本发明的用于对多层视频信号进行编码的方法和装置中，当层滤波器标记 的值为1时，施加不将环路滤波器应用于当前图片的瓦片边界的约束，当层滤波器标记的值 为0时，不施加不将环路滤波器应用于当前图片的瓦片边界的约束。
[0018] 在根据本发明的用于对多层视频信号进行编码的方法和装置中，层滤波器标记可 以是基于属于上层的图片的瓦片的数量限制性地获得的。
[0019] 在根据本发明的用于对多层视频信号进行编码的方法和装置中，当属于上层的至 少一个图片包括多个瓦片时，可以从比特流获得层滤波器标记。
[0020] 有益效果
[0021] 根据本发明，可以通过将下层图片自适应地用作当前上层图片的层间参考图片来 高效地管理存储器。
[0022] 根据本发明，可以对下层图片进行高效地上采样。
[0023] 根据本发明，可以通过层间预测来高效地引入上层的纹理信息。
[0024] 根据本发明，可以通过基于多层结构中的层间瓦片对齐来限制性地执行层间预测 以增大视频信号的编码效率。根据本发明，可以通过将环路滤波器选择性地应用于经重构 的图片的瓦片边界以增大视频信号的编码效率。
【附图说明】
[0025] 图1是示出根据本发明的实施方式的编码装置的框图。
[0026] 图2是示出根据本发明的实施方式的解码装置的框图。
[0027] 图3是示出在应用本发明的实施方式中的用于使用下层的相应图片重构上层的当 前图片的操作的流程图。
[0028] 图4是示出在应用本发明的实施方式中的用于基于参考活动标记确定下层的相应 图片的方法的流程图。
[0029] 图5是示出在应用本发明的实施方式中的用于获取关于当前图片的层间参考信息 的方法的流程图。
[0030] 图6是示出在应用本发明的实施方式中的层间参考信息的语法的表。
[0031] 图7示出了在应用本发明的实施方式中的片与瓦片之间的关系。
[0032] 图8是示出在应用本发明的实施方式中的用于使用多个层之间的瓦片对齐来执行 层间预测的方法的流程图。
[0033] 图9是示出在应用本发明的实施方式中的用于基于可丢弃标记来自适应地执行层 间瓦片对齐的方法的流程图。
[0034] 图10、图11和图12是示出在应用本发明的实施方式中的用于基于下层的时间级标 识符(TemporallD)来自适应地执行层间瓦片对齐的方法的流程图。
[0035] 图13是示出在应用本发明的实施方式中的用于根据层间瓦片对齐或层间瓦片不 对齐来执行限制性层间预测的方法的流程图。
[0036] 图14、图15和图16示出了在应用本发明的实施方式中的瓦片边界对齐标记的语 法。
[0037] 图17是示出在应用本发明的实施方式中的用于对下层的相应图片进行上采样的 方法的流程图。
[0038] 图18示出了在应用本发明的实施方式中的用于基于层滤波器标记将环路滤波器 应用于属于上层的图片的瓦片边界的方法。
[0039] 图19示出了在应用本发明的实施方式中的与层滤波器标记有关的语法。
[0040] 最优实施方式
[0041] 根据本发明的一种用于对多层视频信号进行解码的方法和装置，其中，确定属于 下层的相应图片以用在对属于上层的当前图片的层间预测中，使用所确定的下层的相应图 片执行对当前图片的层间预测，可以使用与当前图片有关的残差样本和通过层间预测获得 的预测样本来重构当前图片，以及基于与上层有关的层滤波器标记可以将环路滤波器选择 性地应用于经重构的当前图片的瓦片边界。
[0042] 根据本发明的用于对多层视频信号进行解码的方法和装置，其中，当层滤波器标 记的值为1时，施加不将环路滤波器应用于当前图片的瓦片边界的约束，当层滤波器标记的 值为〇时，不施加不将环路滤波器应用于当前图片的瓦片边界的约束。
[0043] 根据本发明的用于对多层视频信号进行解码的方法和装置，其中，层滤波器标记 可以是基于属于上层的图片的瓦片的数量限制性地获得的。
[0044] 根据本发明的用于对多层视频信号进行解码的方法和装置，其中，当属于上层的 至少一个图片包括多个瓦片时，可以从比特流获得层滤波器标记。
[0045] 根据本发明的一种用于对多层视频信号进行编码的方法和装置，其中，确定属于 下层的相应图片以用在对属于上层的当前图片的层间预测中，使用所确定的下层的相应图 片执行对当前图片的层间预测，可以使用与当前图片有关的残差样本和通过层间预测获得 的预测样本来重构当前图片，以及基于与上层有关的层滤波器标记可以将环路滤波器选择 性地应用于经重构的当前图片的瓦片边界。
[0046] 根据本发明的用于对多层视频信号进行编码的方法和装置，其中，当层滤波器标 记的值为1时，施加不将环路滤波器应用于当前图片的瓦片边界的约束，当层滤波器标记的 值为〇时，不施加不将环路滤波器应用于当前图片的瓦片边界的约束。
[0047] 根据本发明的用于对多层视频信号进行编码的方法和装置，其中，层滤波器标记 可以是基于属于上层的图片的瓦片的数量限制性地获得的。
[0048] 根据本发明的用于对多层视频信号进行编码的方法和装置，其中，当属于上层的 至少一个图片包括多个瓦片时，可以从比特流获得层滤波器标记。
[0049] 本发明的实施方式
[0050] 参照附图将在下面详细描述本发明的优选实施方式。在详细描述之前，应理解，如 在本公开内容和权利要求中所使用的术语或词汇不应当解释为其常用或字典意义，而应当 基于发明人以最佳方式合适地定义术语的概念的原则来解释为匹配本发明的范围和精神 的意义和概念。因此，如下所述的实施方式和在附图中示出的配置仅是本发明的优选实施 方式，并不表示本发明的所有技术主题。因此，应理解，在提交本发明时本发明的实施方式 可以替换为各种等同物和修改示例。
[0051] 当部件被称为"与……耦接/耦接到"或"连接到"另一部件时，应当理解为一个部 件直接或者通过部件之间的任何其他部件耦接或连接到其他部件。在本公开内容中，术语 "包括"并不排除存在除了特定部件以外的任何其他部件，这意指附加部件可以包括在本发 明的范围或本发明的实施方式中。
[0052] 如在本公开内容中所使用的术语，第一或第二可以用来描述各种部件而不是限制 部件。这些表达用于将一个部件与另一部件区分开。例如，在不脱离本公开的范围的前提 下，第一部件可以被称为第二部件，反之，第二部件可以被称为第一部件。
[0053]此外，本发明的实施方式中的部件被独立地示出以说明不同的特性功能，并不意 指每个部件被配置在单独的硬件单元或者一个软件单元中。也就是说，为了方便描述，单独 列举每个部件。因此，两个或更多个部件可以结合成一个部件或者一个部件可以被分成多 个部件。部件被集成的实施方式和部件被分离的实施方式落入本发明的范围中。
[0054] 一些部件可以是用于提高性能的可选部件，而不是针对本发明的主要功能的基本 部件。本发明可以仅使用对于本发明的主题而言的基本的部件而不只是用来提高性能的部 件来实现，其落入本发明的范围内。
[0055] 支持比特流的多个层的视频编码和解码被称为可伸缩视频编码。因为多个层之间 存在强关联，所以可以通过基于所述关联执行预测来去除数据的冗余分量以及增加视频编 码性能。使用关于另一层的信息进行的当前层的预测被称为层间预测。
[0056] 多个层可以具有不同的分辨率。分辨率可以意指空间分辨率、时间分辨率和图像 品质中的至少一者。为了在层间预测期间控制分辨率，可以执行对层的重采样如上采样或 下采样。
[0057] 图1是示意性地示出根据本发明的实施方式的编码装置的框图。
[0058]根据本发明的编码装置100包括针对上层的编码单元100a和针对下层的编码单元 100b〇
[0059] 上层可以被称为当前层或增强层，以及下层可以被称为与上层、基本层或参考层 相比具有较低分辨率的增强层。上层与下层之间可以在下述至少之一方面不同：空间分辨 率、基于帧速率的时间分辨率、颜色格式以及基于量化步长的图像品质。当针对层间预测需 要改变分辨率时，可以对层执行上采样或下采样。
[0060] 针对上层的编码单元100a可以包括划分单元110、预测单元120、变换单元130、量 化单元140、重排单元150、熵编码单元160、逆量化单元170、逆变换单元180、滤波器单元190 以及存储器195。
[0061 ] 针对下层的编码单元100b可以包括划分单元111、预测单元125、变换单元131、量 化单元141、重排单元151、熵编码单元161、逆量化单元171、逆变换单元181、滤波器单元191 以及存储器196。
[0062] 可以通过以下描述的本发明的实施方式中所描述的视频编码方法来实现编码单 元，但是可以不执行一些部分的操作以降低编码装置的复杂度或能够进行快速实时编码。 例如，针对在预测单元执行帧内预测时的实时编码，不执行其中所有的帧内预测模式方法 用来选择最佳帧内编码方法的方法，而是可以执行其中从有限数量的帧内预测模式中选择 一个帧内预测模式并且将所选择的一个帧内预测模式设置为最终帧内预测模式的方法。在 另一示例中，用于帧间预测或帧内预