用于对多层视频进行解码的方法和设备以及用于对多层视频进行编码的方法和设备的制造方法
【技术领域】
[0001] 本发明构思涉及对多层视频进行编码和解码，更具体地，涉及对存储被解码的画 面的解码画面缓冲器进行管理的方法。
【背景技术】
[0002] 通常，根据指定的数据压缩标准（例如，运动图像专家组（MPEG)压缩标准）对视 频数据进行编码，并将视频数据存储在数据存储介质中或以比特流的形式经由通信信道发 送视频数据。
[0003] 可伸缩视频编码（SVC)是用于与各种类型的通信网络和终端相应地调整数据量 并发送数据的视频压缩方法。此外，多视点编码（MVC)是用于压缩诸如三维（3D)画面的多 视点视频。
[0004] 在现有技术中的SVC和MVC中，根据基于指定尺寸的宏块的有限编码方法对视频 进行编码。
【发明内容】
[0005] 抟术问题
[0006] 本发明构思提供了一种对用于对多层视频中所包括的画面进行解码的解码画面 缓冲器有效地进行管理的方法。本发明构思也提供了一种有效地发送与多层视频中所包括 的各个画面有关的参考画面信息的方法，以便在多层视频正被解码的同时有效地管理解码 画面缓冲器。
[0007] 抟术方案
[0008] 根据本发明构思的一方面，提供了一种对多层视频进行预测解码的方法，所述方 法包括：获取指示存储第一层的解码画面缓冲器（DPB)与存储第二层的DPB是否同样地进 行操作的信息；基于获取的信息对存储第二层的DPB进行操作。
[0009] 所述方法还包括：如果存储第二层的DPB与存储第一层的DPB同样地进行操作，则 参考与第一层有关的信息获取以下项中的至少一项：与第二层有关的参考画面集、与DPB 有关的信息和与时间子层排序有关的信息。
[0010] 所述方法还包括：如果存储第二层的DPB与存储第一层的DPB同样地进行操作，则 通过使用参考与第一层有关的信息获取的与第二层有关的信息对画面进行预测解码。
[0011] 对DPB进行操作的步骤包括：如果存储第二层的DPB与存储第一层的DPB同样地 进行操作并且第一层从DPB中被删除，则基于获取的信息从DPB中删除第二层。
[0012] 对DPB进行操作的步骤包括：如果存储第二层的DPB与存储第一层的DPB同样地 进行操作并且第一层的画面在DPB中被标记为短期参考画面或长期参考画面，则基于获取 的信息与第一层的画面同样地对至少一个画面进行标记。
[0013] 所述方法还包括：如果存储第二层的DPB不与存储第一层的DPB同样地进行操作， 则从与第二层有关的序列参数集和条带头中的至少一个获取以下项中的至少一项：与第二 层有关的参考画面集、与DPB有关的信息和与时间子层排序有关的信息；通过使用与第二 层有关的信息对画面进行解码。
[0014] 根据本发明构思的另一方面，提供了一种多层视频预测解码设备，包括：解析单 元，获取指示存储第一层的解码画面缓冲器（DPB)与存储第二层的DPB同样地进行操作的 信息；DPB，存储第一层和第二层；DPB控制器，对存储第二层的DPB进行操作；视频解码器， 对第一层和第二层进行解码。
[0015] 如果存储第二层的DPB与存储第一层的DPB同样地进行操作，则解析单元参考与 第一层有关的信息获取以下项中的至少一项：与第二层有关的参考画面集、与DPB有关的 信息和与时间子层排序有关的信息。
[0016] 如果存储第二层的DPB与存储第一层的DPB同样地进行操作，则视频解码器通过 使用参考与第一层有关的信息获取的与第二层有关的信息对画面进行预测解码。
[0017] 如果存储第二层的DPB与存储第一层的DPB同样地进行操作并且第一层从DPB中 被删除，则DPB控制器基于获取的信息从DPB中删除第二层。
[0018] 如果存储第二层的DPB与存储第一层的DPB同样地进行操作并且第一层的画面在 DPB中被标记为短期参考画面或长期参考画面，则DPB控制器基于获取的信息与第一层的 画面同样地对至少一个画面进行标记。
[0019] 如果存储第二层的DPB不与存储第一层的DPB同样地进行操作，则解析单元从与 第二层有关的序列参数集和条带头中的至少一个获取以下项中的至少一项：与第二层有关 的参考画面集、与DPB有关的信息和与时间子层排序有关的信息；视频解码器通过使用与 第二层有关的信息对画面进行解码。
[0020] 根据本发明构思的另一方面，提供了一种对多层视频进行预测编码的方法，所述 方法包括：确定存储第一层的DPB与存储第二层的DPB是否同样地进行操作；基于确定的 结果产生指示存储第一层的DPB与存储第二层的DPB是否同样地进行操作的信息。
[0021] 所述方法还包括：基于确定的结果对多层视频进行编码。
[0022] 根据本发明构思的另一方面，提供了一种多层视频预测解码设备，包括：DPB操作 信息产生器，确定存储第一层的DPB与存储第二层的DPB是否同样地进行操作并基于确定 的结果产生指示存储第一层的DPB与存储第二层的DPB是否同样地进行操作的信息；视频 编码器，基于确定的结果对多层视频进行编码。
【附图说明】
[0023] 图1是根据本发明的实施例的视频编码设备的框图；
[0024] 图2是根据本发明的实施例的视频解码设备的框图；
[0025] 图3是用于描述根据本发明的实施例的编码单元的构思的示图；
[0026] 图4是根据本发明构思的示例性实施例的基于编码单元的图像编码器的框图；
[0027] 图5是根据本发明的实施例的基于编码单元的图像解码器的框图；
[0028] 图6是示出根据本发明的实施例的根据深度的较深层编码单元以及分区的示图；
[0029] 图7是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图；
[0030] 图8是用于描述根据本发明的实施例与编码深度相应的编码单元的编码信息的 示图；
[0031] 图9是根据本发明的实施例的根据深度的较深层编码单元的示图；
[0032] 图10到图12是用于描述根据本发明的实施例的编码单元、预测单元和变换单元 之间的关系的不图；
[0033] 图13是用于描述根据表1的编码模式信息的编码单元、预测单元或分区、以及变 换单元之间的关系的示图；
[0034] 图14是根据本发明的实施例的多层视频编码设备的框图；
[0035] 图15是根据本发明的实施例的对多层视频进行解码的方法的流程图；
[0036] 图16是根据本发明的实施例的基于存储各个层的DPB是否同样地进行操作而对 多层视频进行解码的方法的流程图；
[0037] 图17是示出根据本发明的实施例的多层视频解码设备的框图；
[0038] 图18是根据本发明的实施例的对多层视频进行解码的方法的流程图；
[0039] 图19是根据本发明的实施例的基于存储各个层的DPB是否同样地进行操作而对 多层视频进行解码的方法的流程图；
[0040] 图20是根据本发明的实施例的示出对每个层的DPB进行操作的方法的示例的示 图；
[0041] 图21是示出根据本发明的实施例的包括指示是否对各个层的DPB同样地进行操 作的信息的vps_extension的示例的示图；
[0042] 图22a和图22b是示出包括指示是否对各个层的DPB同样地进行操作的信息的 SPS的示例的示图；
[0043] 图23a到图23c是示出根据本发明的实施例的包括基于各个层的DPB是否被同样 地操作的RPS信息的条带头的示例的示图。
【具体实施方式】
[0044] 在下文中，将通过参照附图解释本发明的优选实施例而详细地描述本发明。在本 发明的描述中，当认为对现有技术的特定的详细解释会不必要地模糊本发明的实质时，所 述详细解释可被省略。
[0045] 在下文中参照附图详细地描述本发明的优选实施例。在说明书和权利要求书中使 用的术语不应被理解为具有通常含义或词典含义，而应被理解为在发明人能够限定这些术 语的概念以按照最佳方法解释本发明的原则下具有与本发明的精神相匹配的含义和概念。 因此，在说明书中描述实施例和在附图中示出的配置不超出本发明的最优选的实施例，并 且不全面地覆盖本发明的精神。相应地，应被理解的是在本申请被提交时会存在能够替代 实施例和配置的各种等同物和修改。
[0046] 贯穿说明书，在部分"包括"元件时，另一元件还可被包括，而不排除其它元件的存 在，除非另有描述。此外，贯穿说明书使用的术语"~单元"或"模块"指示处理至少一个功 能或操作的单元并可被实施为硬件软件或硬件与软件的组合。
[0047] 贯穿说明书使用的术语"画面"可不被用于指示"画面"，而也可被用于共同地指示 在本领域中能够被获知的各种类型的视频图像数据（诸如，"帧"、"域"和"条带"）。
[0048] 在下文中，将参照示出了示例性实施例的附图来更全面地描述本发明。然而，可 按照许多不同的形式来实施本发明，并且不应将本发明理解为限于在此阐述的示例性实施 例。相反地，提供这些实施例使得本公开将是彻底且完整的，并将全面地向本领域普通技术 人员传达本发明的范围。在附图中，为了清楚而省略了与本发明的描述无关的内容，并且在 附图中的同样的附图标号始终指示同样的元件。
[0049] 在下文中，将参照附图描述本发明。
[0050] 图1是根据本发明的实施例的视频编码设备100的框图。
[0051] 视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元 130〇
[0052] 最大编码单元划分器110可基于最大编码单元对当前画面进行划分，其中，所述 最大编码单元是具有针对图像的当前画面的最大尺寸的编码单元。如果当前画面大于最大 编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据本发明的实施 例的最大编码单元可以是具有32X32、64X64、128X128或256X256等尺寸的数据单元， 其中，数据单元的形状是宽和高为2的平方的正方形。宽和高中的每个大于8。图像数据可 根据所述至少一个最大编码单元被输出到编码单元确定器120。
[0053] 根据本发明的实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从 最大编码单元开始被空间划分的次数，并且随着深度增加，根据深度的较深层编码单元可 从最大编码单兀被划分到最小编码单兀。最大编码单兀的深度是最尚深度，最小编码单兀 的深度是最低深度。由于与每个深度相应的编码单元的尺寸随着最大编码单元的深度增加 而减小，因此与更高深度相应的编码单元可包括与更低深度相应的多个编码单元。
[0054] 如上所述，根据编码单元的最大尺寸将当前画面的图像数据划分为多个最大编码 单元，每个最大编码单元可包括根据深度划分的较深层编码单元。由于根据本发明的实施 例的最大编码单元根据深度被划分，因此在最大编码单元中所包括的空间域中的图像数据 可根据深度被分层地分类。
[0055] 可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 制最大编码单元的高度和宽度被分层划分的总次数。
[0056] 编码单元确定器120对通过根据深度划分最大编码单元的区域而获取的至少一 个划分的区域进行编码，并根据所述至少一个划分的区域确定用于输出最终编码的图像数 据的深度。换而言之，根据当前画面的最大编码单元，编码单元确定器120通过按照根据 深度的较深层编码单元对图像数据进行编码并选择具有最小编码误差的深度，确定编码深 度。因此，与确定的编码深度相应的编码单元的编码的图像数据最终被输出。此外，与编码 深度相应的编码单元可被理解为编码的编码单元。确定的编码深度和根据确定的编码深度 的编码的图像数据被输出到输出单元130。
[0057] 基于与等于或小于最大深度的至少一个深度相应的较深层编码单元对最大编码 单元中的图像数据进行编码，并基于每个较深层编码单元来比较对图像数据进行编码的结 果。可在对较深层编码单元的编码误差进行比较之后选择具有最小编码误差的深度。可针 对每个最大编码单元选择至少一个编码深度。
[0058] 随着编码单元根据深度被分层划分并且随着编码单元的数量增加，最大编码单元 的尺寸被划分。另外，即使编码单元在一个最大编码单元中相应于相同深度，仍通过单独测 量每个编码单元的图像数据的编码误差来确定是否将相应于相同深度的每个编码单元划 分为更低深度。因此，即使在数据被包括在一个最大编码单元中时，图像数据被划分为根据 深度的区域并且编码误差会根据一个最大编码单元中的区域而不同，因此编码深度会根据 图像数据中的区域而不同。因此，可在一个最大编码单元中确定一个或更多个编码深度，并 可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。
[0059] 因此，编码单元确定器120可确定在最大编码单元中所包括的具有树结构的编码 单元。根据本发明的实施例的"具有树结构的编码单元"包括最大编码单元中所包括的所 有较深层编码单元之中与被确定为编码深度的深度相应的编码单元。可在最大编码单元的 相同区域中根据深度分层地确定编码深度的编码单元，并可在不同区域中独立地确定编码 深度的编码单元。类似地，当前区域中的编码深度与另一区域中的编码深度可被独立地确 定。
[0060] 根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元执行划分 的次数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编 码单元执行划分的总次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到 最小编码单兀的深度级别的总数。例如，在最大编码单兀的深度是0时，最大编码单兀被划 分一次的编码单元的深度可被设置为1，最大编码单元被划