编码视频的方法、解码视频的方法以及使用其的装置的制造方法
【技术领域】
[0001] 本发明涉及视频编码和视频解码，并且更具体而言，涉及在多层结构中基于关于 另一层的信息来将要在当前层中编码/解码的图片重构的方法和装置。
【背景技术】
[0002] 最近，在各种应用领域中，对于高分辨率和高质量图片的需求已经上升。随着图片 具有高分辨率和高质量，图片中的信息量也上升。
[0003] 随着信息量增长，引入了具有各种环境的网络和多功能设备。因此，可以以不同的 质量水平来利用相同的内容。
[0004] 具体地，随着终端能够支持多样的图片质量并且各种网络环境得以建立，在一个 环境中可以启用一般质量的图片而在另一环境中可以使用高质量图片。
[0005] 例如，在家时，用户可以在大屏幕显示器上享受通过便携终端购买的视频内容。
[0006] 近年来，随着可以使用高清（HD)广播服务，大量用户正变得习惯于高分辨率和高 质量，并且服务提供商和服务用户也注意到超清（UHD)服务，其具有的分辨率是HDTV的四 倍高。
[0007] 从而，对于用户的需求，基于对于大容量视频的高效编码和解码方法，存在着对于 提供对例如视频的图像质量、分辨率、尺寸和帧率的视频质量的可缩放性的需要，以便在不 同环境中提供不同质量的视频服务。此外，同样必须的是，对于在可缩放性中涉及的各种视 频处理方法的讨论。
【发明内容】
[0008] 技术问题
[0009] 本发明的目标是提供在多层结构的可缩放视频编译中执行有效的层间预测的方 法和装置。
[0010] 本发明的另一目标是提供在多层结构的可缩放视频编译中对用于层间预测的参 考层中的图片执行选择性处理的方法和装置。
[0011] 本发明的另一目标是提供在多层结构的可缩放视频编译中在用于层间预测的参 考层中的图片之中指定用于当前层的参考图片的方法和装置。
[0012] 本发明的另一目标是提供在多层结构的可缩放视频编译中基于用于层间预测所 指定的参考层中的图片来有效地执行层间预测的方法和装置。
[0013] 技术方案
[0014] 根据本发明的一方面，提供了在多层结构中编码可缩放视频的方法，包括从参考 层的解码图片得到在当前层中的当前块的预测中被参考的层间参考图片、构建包括层间参 考图片和当前层中的参考图片的参考图片列表、通过基于参考图片列表对当前层中的当前 块进行预测来得到当前块的预测采样、基于预测采样和当前块的预测块来得到当前块的重 构采样、以及发送指示参考层中的图片之中可用于层间预测的图片的参考信息。
[0015] 根据本发明的另一方面，提供了在多层结构中解码可缩放视频的方法，包括接收 指示参考层中的图片可用于层间预测的参考信息、基于参考信息来解码并存储参考层中的 图片、从参考层的解码图片得到在当前层中的当前块的预测中被参考的层间参考图片、构 建包括层间参考图片和当前层中的参考图片的参考图片列表、通过基于参考图片列表对当 前层中的当前块进行预测来得到当前块的预测采样、以及基于预测采样和当前块的残留采 样来得到当前块的重构采样。
[0016] 有益效果
[0017] 根据本发明，可以在多层结构的可缩放视频编译中执行有效的层间预测。
[0018] 根据本发明，可以对用于多层结构的可缩放视频编译的层间预测的参考层中的图 片执行选择性处理。
[0019] 根据本发明，在用于多层结构的可缩放视频编译的层间预测的参考层中的图片之 中可以指定用于当前层的参考图片。
[0020] 根据本发明，可以基于多层结构的可缩放视频编译中用于层间预测所指定的参考 层中的图片来有效地执行层间预测。
【附图说明】
[0021] 图1是示意性地图示根据本发明实施例的支持可缩放性的视频解码器的框图。
[0022] 图2是示意性地图示根据本发明的在执行可缩放编译的编码器中的层间预测的 示例的框图。
[0023] 图3示意性地图示根据本实施例的两个空间层的序列结构的示例。
[0024] 图4是示意性地图示本实施例的图，其示出去除无需发送到解码器或解码的编译 图片的方法的示例。
[0025] 图5示意性地图示存储器管理的示例。
[0026] 图6示意性地图示根据本发明的存储器管理的示例。
[0027] 图7示意性地图示不需解码的图片从图6的示例中排除的情况。
[0028] 图8不意性地图不解码每个图片中的内容/存储器状态/DPB状态的不例。
[0029] 图9是示意性地图示根据本发明的视频编码器的操作的示例的流程图。
[0030] 图10是示意性地图示根据本发明的视频解码器的操作的示例的流程图。
【具体实施方式】
[0031] 本发明可以以各种形式修改，并且其特定的实施例将在附图中描述和显示。然而， 实施例没有意图限制本发明。下面的描述中使用的术语仅用于描述特定实施例，而没有意 图限制本发明。只要其被清楚地、不同地读出，单数的表示包括复数的表示。诸如"包括"和 "具有"的术语意图指示在下面的描述中使用的特征、数目、步骤、操作、元件、组件或其组合 存在，并且因此应当理解为，没有排除一个或多个不同的特征、数目、步骤、操作、元件、组件 或其组合的存在或增加的可能性。
[0032] 另一方面，为了方便解释在图像编码/解码装置中的不同的特定功能，在本发明 所描述的附图中的元件被独立画出，但是并不意味着元件由独立的硬件或独立的软件来实 施。例如，元件中的两个或更多个元件可以组合以形成单一元件，或者一个元件可以分开为 多个元件。元件被组合和/或分开的实施例属于本发明的范围而不偏离本发明的概念。
[0033] 下文中，将参考附图来详细描述本发明的示例性实施例。附图中相似的构成将以 相似的附图标记进行引用，并且不会对其重复描述。
[0034] 在支持可缩放性（下文中，称为"可缩放编译"）的视频编译方法中，可以通过层来 处理输入信号。依据层，在分辨率、帧率、比特深度、颜色格式和纵横比中的至少一个中，输 入信号（输入视频）可以彼此不同。
[0035] 在本描述中，可缩放编译包括可缩放编码和可缩放解码。
[0036] 在可缩放编码/解码中，通过使用层间差异执行层间预测，即，基于可缩放性，可 以减少信息的重复发送和处理并增加压缩效率。
[0037] 图1是示意性地图示根据本发明实施例的支持可缩放性的视频解码器的框图。
[0038] 为便于描述，图1图示包括两层的多层结构。然而，本发明不限于此，根据本发明 的多层结构可以包括两个或更多层。
[0039] 参考图1，视频编码器100包括用于层1的编码模块105和用于层0的编码模块 135〇
[0040] 层0可以是基层、参考层或下层，而层1可以是增强层、当前层或上层。
[0041] 用于层1的编码模块105包括预测模块110、变换/量化模块115、滤波模块120、 解码图片缓存OPB) 125、熵编译模块130以及复用器（MUX) 165。
[0042] 用于层0的编码模块135包括预测模块140、变换/量化模块145、滤波模块150、 DPB 155、熵编译模块160。
[0043] 预测模块110和140可以对输入视频执行间预测（inter prediction)和内预测 (intra prediction)。预测模块110和140可以通过预定的处理单元来执行预测。用于预 测的处理单元可以是编译单元（CU)、预测单元（PU)或者可以是变换单元（TU)。
[0044] 例如，预测模块110和140可以通过CU来确定是否进行间预测或内预测，可以通 过PU来确定预测模式，并且可以通过PU或TU来执行预测。要被执行的预测包括预测块的 构建以及残留块（残留信号）的构建。
[0045] 在间预测中，可以基于关于当前图片的之前图片和/或之后图片的信息来执行预 测，以构建预测块。在内预测中，可以基于关于当前图片中的像素的信息来执行预测以构建 预测块。
[0046] 间预测模式或方法的示例包括跳过模式、合并模式、运动矢量预测（MVP)方法。在 间预测中，可以选择要被预测的用于当前PU的参考图片，并且与当前TO相对应的参考块可 以从参考图片选择。预测模块110和140可以基于参考块来构建预测块。
[0047] 预测块可以被构建为整数采样单元或分数像素单元。这里，运动矢量也可以以分 数像素表示。
[0048] 间预测中的运动信息，即诸如参考图片的索引、运动矢量和残留信号的信息被熵 编码并且被发送到视频解码器。当应用跳过模式时，残留信号可以完全不被创建、变换、量 化和发送。
[0049] 间预测中的预测模式包括33个方向性预测模式以及至少两个无方向性模式。非 方向性模式可以包括DC预测模式和平面模式。在间预测中，预测块可以在滤波器被应用到 参考采样之后构建。
[0050] ro可以是具有各种尺寸和形状的块。例如，在间预测中，PU可以是2NX2N、2NXN、 NX2N或NXN块（N是整数）。在内预测中，PU可以是2NX2N或NXN块（N是整数）。具 有NXN的尺寸的PU可以设定为仅应用到特定情况。例如，具有NXN的尺寸的PU可以设 定为仅用于最小的CU或仅用于内预测。除了具有上述尺寸的PU，PU可以进一步限定为用 于使用的NXmN块、mNXN块、2NXmN块或mNX2N块（其中m〈l)。
[0051] 预测模块110可以使用关于层0的信息来执行用于层1的预测。在本说明书中， 为方便起见，使用另一层信息预测当前层信息的过程被定义为层间预测。
[0052]使用其他层信息预测的当前层信息（即，由层间预测进行预测的）可以包括纹理、 运动信息、单元信息、预定参数（例如，滤波参数）中的至少一个。
[0053] 用于预测当前层信息的其他层信息（即，用于层间预测的）可以包括纹理、运动信 息、单元信息、预定参数（例如，滤波参数）中的至少一个。
[0054] 在层间预测中，当前块是在当前层（图1中的层1)中的当前图片中的块，其可以 是要被编码的块。参考块是在属于与