用于对支持多个层的视频进行编码的方法和设备的制造方法
【技术领域】
[0001] 本发明总体上涉及视频压缩技术，以及更特别地涉及用于支持多个层的视频编码 的方法和设备。
【背景技术】
[0002] 近来，对高分辨率、高质量视频例如HD (高清晰度）视频和UHD (超高清）视频的 需求在各应用领域中不断增加。因为视频数据具有高分辨率、高质量图像，所以数据量高于 现有视频数据。因此，当使用例如现有的有线和无线宽带线路的介质传输视频数据或者将 视频数据存储于现有的存储介质中时，传输成本和存储成本增加。为了解决这些由高分辨 率、高质量视频数据所引起的问题，可以使用高效视频压缩技术。
[0003] 例如存在以下各种技术作为视频压缩技术：帧间预测技术，其用于根据在当前图 片之前或之后的图片来预测包括在当前图片中的像素的数目；帧内预测技术，其用于使用 与包括在当前图片中的像素有关的信息来预测当前图片中的像素的数目；熵编码技术，在 熵编码技术中，将最短的码分配给最频繁使用的值并且将最长的码分配给最不频繁使用的 值；等等。可以使用这些视频压缩技术来有效地压缩视频数据，并且然后可以对视频数据进 行传输或存储。
【发明内容】
[0004] 技术问题
[0005] 本发明提供了用于在可扩展视频编码中通过执行层间预测来对增强层进行编码 和解码的方法和设备。
[0006] 本发明提供了用于对可扩展视频编码中的相位差进行补偿的重新采样的方法和 设备。
[0007] 技术方案
[0008] 根据本发明的实施方式，提供了支持多个层的视频解码方法。视频解码方法包括： 根据用于当前层图片的层间预测的参考层图片来导出参考层样本位置；基于参考层样本位 置来对参考层图片进行重新采样；以及通过基于重新采样的参考层图片对当前层图片的当 前块执行层间预测来生成当前块的预测样本。
[0009] 导出参考层样本位置可以被配置成：基于与相位偏移有关的信息来导出与当前块 的左上样本位置相对应的参考层样本位置，其中，相位偏移用于对层之间的相位差进行补 偿。
[0010] 与相位偏移有关的信息可以包括亮度分量的相位偏移和色度分量的相位偏移中 的至少一个。
[0011] 根据本发明的另一实施方式，提供了支持多个层的视频解码装置。视频解码装置 包括预测单元，该预测单元用于：根据用于当前层图片的层间预测的参考层图片来导出参 考层样本位置；基于参考层样本位置来对参考层图片进行重新采样；以及通过基于重新采 样的参考层图片对当前层图片的当前块执行层间预测来生成当前块的预测样本。
[0012] 预测单元可以基于与相位偏移有关的信息来导出与当前块的左上样本位置相对 应的参考层样本位置，其中，相位偏移用于对层之间的相位差进行补偿。
[0013] 与相位偏移有关的信息可以包括亮度分量的相位偏移和色度分量的相位偏移中 的至少一个。
[0014] 有益效果
[0015] 当使用根据本发明的实施方式的重新采样方法执行层间预测时，可以通过得出相 位偏移来减小在重新采样处理期间引起的相位差。因此，可以减小可归因于在重新采样处 理中所引起的相位差的误差。此外，根据本发明的实施方式，因为减小了可归因于在重新采 样处理中所引起的相位差的误差，所以可以提高预测精度，并且还可以提高编码和解码效 率。
【附图说明】
[0016] 图1为示意性地示出根据本发明的实施方式的编码装置的框图；
[0017] 图2为示意性地示出根据本发明的实施方式的解码装置的框图；
[0018] 图3为用于说明根据本发明的实施方式的对层间参考图片进行重新采样的方法 (其对层之间的重新采样相位差进行补偿）的视图；以及
[0019] 图4为示意性地描述根据本发明的实施方式的用于在可扩展编码结构中使用重 新采样方法（其用于对层之间的重新采样相位差进行补偿）来执行层间预测的方法的流程 图。
【具体实施方式】
[0020] 在下文中，将参照附图来详细地描述本发明的实施方式。在对本发明的实施方式 的描述中，如果认为对相关的已知元件或功能的详细描述不必要地使得本发明的主旨变模 糊，则将省去对其的详细描述。
[0021] 在本说明书中，在说到一个元件与另一元件"连接"或"耦接"时，这可以指一个元 件可以与其它元件直接连接或耦接，并且第三元件可以"连接"或"耦接"在两个元件之间。 此外，在本说明书中，在说到"包括"特定元件时，这可以指不排除除了特定元件以外的元 件，并且在本发明的实施方式中或本发明的技术精神的范围内可以包括另外的元件。
[0022] 例如"第一"和"第二"的术语可以用于描述各个元件，但是元件不受术语的限制。 术语仅用于将一个元件与其它元件进行区分。例如，在不偏离本发明的范围的情况下，可以 将第一元件命名为第二元件。同样地，可以将第二元件命名为第一元件。
[0023] 此外，将在本发明的实施方式中描述的元件模块独立地示出，以表明不同的且特 征性的功能，但是这并不意味着每个元件模块均由单块的硬件或软件形成。也就是说，出于 描述的方便性来布置和包括元件模块，并且元件模块中的至少两个元件模块可以形成一个 元件模块或者可以将一个元件模块划分成多个元件模块以执行它们自身的功能。将元件模 块集成的实施方式和将元件模块分开的实施方式除非其偏离本发明的本质，否则的话均包 括在本发明的范围内。
[0024] 此外，在本发明中，一些元件并非用于执行本质功能的必要元件，而可能是仅用于 改善性能的可选元件。可以仅使用除了仅用于改善性能的元件以外的用于实现本发明的本 质的必要元件来实现本发明，并且仅包括必要元件而不包括仅用于改善性能的可选元件的 结构被包括在本发明的范围内。
[0025] 支持多层比特流的视频编码和解码被称为可扩展编码。因为在多个层之间存在较 强的关联，所以在使用该关联来执行预测时，可以移除重复元件并且可以改善视频编码性 能。使用与另一层有关的信息来预测作为预测目标的当前层被称为层间预测。
[0026] 分辨率、帧速率和颜色格式中的至少一个可以在多个层之间互不相同，并且在层 间预测期间可以执行对层的重新采样例如上采样或下采样，以调整分辨率。
[0027] 图1为示意性地示出根据本发明的实施方式的编码装置的框图。
[0028] 根据本发明的编码装置100包括用于上层的编码单元100a和用于下层的编码单 元 100b。
[0029] 上层可以被称为当前层或增强层，而下层可以被称为参考层或基本层。分辨率、帧 速率和颜色格式中的至少一个可以在上层与下层之间互不相同。当需要改变分辨率以用于 层间预测时，可以对层执行上采样或下采样。
[0030] 上层的编码单元100a可以包括：划分单元110、预测单元100、帧内预测单元121、 帧间预测单元122、层间预测单元123、变换单元130、量化单元140、重新布置单元150、 熵编码单元160、解量化单元170、逆变换单元180、滤波器单元190、存储器195和复用器 (MUX)197〇
[0031] 下层的编码单元100b可以包括：划分单元111、预测单元125、帧内预测单元126、 帧间预测单元127、变换单元131、量化单元141、重新布置单元151、熵编码单元161、解量化 单元171、逆变换单元181、滤波器单元191和存储器196。
[0032] 可以通过在本发明的实施方式中描述的视频编码方法（将在下面对其进行描述） 来实现编码单元，但是可以不执行一些部件的操作，以减小编码装置的复杂性或者使得能 够快速实时地进行编码。例如，当预测单元执行帧内预测时，可以执行从有限数目的帧内预 测模式中选择一个并且将所选择的一个设置为最终的帧内预测模式的方法，以用于进行实 时编码，而不是执行将所有帧内预测模式方法用来选择最佳帧内编码方法的方法。在另一 示例中，用于帧内预测或帧间预测的预测块可以具有有限的形式。
[0033] 在编码装置中处理的块的单元可以是用于执行编码的编码单元、用于执行预测的 预测单元以及用于执行变换的变换单元。可以将编码单元、预测单元和变换单元分别表示 为 CU、PU 和 TU。
[0034] 划分单元110和划分单元111可以通过以下来对层进行划分：将层图片划分成编 码块、预测块和变换块的多个组合，并且基于预定的参考（例如成本函数）来选择编码块、 预测块和变换块的一个组合。例如，为了将层图片划分成编码单元，可以使用递归树结构例 如四叉树结构。在下文中，在本发明的实施方式中，编码块不仅可以指用于编码的块，而且 可以指用于解码的块。
[0035] 预测块可以是用于执行预测（例如帧内预测或帧间预测）的单元。用于帧内预测 的块可以是具有正方形的形式的块，例如2NX2N或NXN。存在以下作为用于帧间预测的 块：正方形形式的块，例如2NX2N或NXN ;通过将具有正方形形式的预测块分成两个而获 得的2NXN和NX2N形式的块；以及通过使用非对称运动划分（AMP)的预测块划分方法而 获得的具有非对称形式的块。变换单元115可以根据预测块的形式而使用不同的变换方 法。
[0036] 编码单元100a的预测单元120和编码单元100b的预测单元125可以包括：用于 执行帧内预测的帧内预测单元121和126 ;以及用于执行帧间预测的帧间预测单元122和 126。用于上层的编码单元100a的预测单元120还包括使用与下层有关的信息对上层执行 预测的层间预测单元123。
[0037] 预测单元120和125可以确定是否针对预测块来执行帧内预测或帧间预测。被执 行预测的处理单元可以不同于用于确定预测方法的处理块的单元。例如，当执行帧内预测 时，可以基于预测块来确定预测模式，并且可以基于变换块来执行预测处理。可以将所生成 的预测块与原始块之间的残差（残差块）输入至变换单元130和131。此外，用于预测的预 测模式信息和运动矢量信息等连同残差一起通过熵编码单元130进行编码，并且可以被传 输至解码装置。
[0038] 当使用脉冲编码调制（PCM)模式时，原始块可以在无需预测单元120和125执行 预测的情况下被编码，并且可以被传输至解码单元。
[0039] 帧内预测单元121和126可以基于位于当前块（预测目标块）附近的参考像素来 生成经帧内预测的块。在帧内预测方法中，帧内预测模式可以具有方向性预测模式和非方 向性模式，其中，方向性预测模式根据预测方向来使用参考像素信息，非方向性模式在进行 预测时不使用方向信息。用于预测亮度信息的模式可以不同于用于预测色度信息的模式。 通过预测亮度信息所获得的帧内预测模式信息或者与所预测的亮度信号有关的信息可以 用于预测色度信息。同时，如果参考像素不可用，则可以通过将不可用的参考像素用其它像 素进行替换来生成预测块。
[0040] 预测块可以包括多个变换块。如果当执行帧内预测时预测块的大小与变换块的大 小相同，则可以基于预测块的左侧的像素、左上像素和上方的像素来执行针对预测块的帧 内预测。然而，如果当执行帧内预测时预测块的大小与变换块的大小不同，并且因此预测块 包括多个变换块，则可以基于以变换块为基础所确定的参考像素来执行帧内预测。
[0041] 帧内预测方法可以在根据帧内预测模式将模式依赖帧内平滑（MDIS)滤波器应用 于参考像素之后生成预测块。应用于参考像素的MDIS滤波器的类型可以互不相同。MDIS 滤波器是应用于