用于对多层视频进行解码的方法和设备以及用于对多层视频进行编码的方法和设备的制造方法
【技术领域】
[0001] 本发明构思涉及对多层视频进行编码和解码，更具体地讲，涉及管理存储解码画 面的解码画面缓冲器的方法。
【背景技术】
[0002] 通常，视频数据根据指定的数据压缩标准（例如运动图像专家组（MPEG)压缩标 准）被编码，并被存储在数据存储介质中或以比特流的形式经由通信信道来发送。
[0003] 可伸缩视频编码（SVC)是根据各种类型的通信网络和终端适当调整数据量并发 送数据的视频压缩方法。另外，多视点编码（MVC)被用于对多视点视频（诸如3D画面）进 行压缩。
[0004] 在现有技术的SVC和MVC中，基于指定尺寸的宏块，根据受限的编码方法对视频进 行编码。
【发明内容】
[0005] 技术问题
[0006] 本发明构思提供一种有效管理用于对多层视频中包括的画面进行解码的解码画 面缓冲器的方法。本发明构思还提供一种有效发送与多层视频中包括的各个画面有关的参 考画面信息以在多层视频被解码的同时有效管理解码画面缓冲器的方法。
[0007] 有益效果
[0008] 根据示例性实施例，可通过反映包括在多层视频中的画面之间的层间预测来有效 地发送包括在多层视频中的画面之间的参考关系。此外，根据本发明的实施例，可有效地管 理用于对多层视频进行解码的解码画面缓冲器。
【附图说明】
[0009] 图1示出根据本发明的实施例的视频编码设备的框图。
[0010] 图2示出根据本发明的实施例的视频解码设备的框图。
[0011] 图3是用于描述根据本发明的实施例的编码单元的构思的示图。
[0012] 图4是根据本发明的实施例的基于编码单元的图像编码器的框图。
[0013] 图5是根据本发明的实施例的基于编码单元的图像解码器的框图。
[0014] 图6是示出根据本发明的实施例的根据深度的较深层编码单元以及分区的示图。
[0015] 图7是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图。
[0016] 图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息 的示图。
[0017] 图9是根据本发明的实施例的根据深度的较深层编码单元的示图。
[0018] 图10至图12是用于描述根据本发明的实施例的编码单元、预测单元和变换单元 之间的关系的示图。
[0019] 图13是用于描述根据表1的编码模式信息的编码单元、预测单元或分区和变换单 元之间的关系的示图。
[0020] 图14是根据本发明的实施例的多层视频编码设备的框图。
[0021] 图15是示出根据本发明的实施例的对多层视频进行编码的方法的流程图。
[0022] 图16是根据本发明的实施例的多层视频解码设备的框图。
[0023] 图17和图18是根据本发明的实施例的对多层视频进行解码的方法的流程图。
[0024] 图19是根据本发明的另一实施例的对多层视频进行解码的方法的流程图。
[0025] 图20是根据本发明的实施例的基于层间RPS信息对多层视频进行解码的方法的 流程图。
[0026] 图21a和图21b是根据本发明的实施例的基于层间预测标志对多层视频进行解码 的方法的流程图。
[0027] 图22是示出根据本发明的实施例的层间预测结构的示例的示图。
[0028] 图23是示出用于描述根据本发明的实施例的RPS的编码结构的示图。
[0029] 图24是示出根据本发明的实施例的对RPS信息进行解码并对当前图像进行解码 的流程图。
[0030] 图25是用于描述根据本发明的实施例的除了层间RPS信息之外的RPS子集的示 图。
[0031] 图26是用于描述层间RPS信息的示图。
[0032] 图27是用于描述根据本发明的实施例的执行层间预测的示例的示图。
[0033] 图28示出根据本发明的实施例的用于执行层间预测的代码的示例。
[0034] 图29示出根据本发明的另一实施例的用于执行层间预测的代码的示例。
[0035] 图30示出根据本发明的实施例的用于基于层间RPS信息执行层间预测的代码的 示例。
[0036] 图31示出根据本发明的实施例的用于基于层间预测标志执行层间预测的代码的 示例。
[0037] 图32示出根据本发明的实施例的用于获得层间预测标志的代码的示例。
[0038] 图33示出根据本发明的实施例的用于基于层间预测标志标记画面的代码的示 例。
[0039] 最佳模式
[0040] 根据本发明构思的一方面，提供一种对多层视频进行解码的方法，所述方法包括： 对第一层画面进行解码，将解码的第一层画面存储在解码画面缓冲器（DPB)中，并将第一 层画面标记为短期参考画面；获得关于与第一层画面具有相同第一画面顺序计数（P0C)的 第二层画面的层间参考画面集（RPS)信息；基于所述层间RPS信息将被标记为短期参考画 面的第一层画面标记为长期参考画面；参考第一层画面针对第二层画面执行层间预测；基 于执行层间预测的结果对第二层画面进行解码；在第二层画面被解码之后，将被标记为长 期参考画面的第一层画面标记为短期参考画面。
[0041] 所述层间RPS信息包括与被用于对第二层画面或在第二层画面之后解码并具有 第一P0C的画面进行层间预测的参考画面有关的信息，在将第一层画面标记为长期参考画 面的过程中，如果在所述层间RPS信息中包括的关于参考画面的层信息RefLayerld包括关 于第一层画面的层信息nuh_layer_id，则将被标记为短期参考画面的第一层画面标记为长 期参考画面。
[0042] 所述方法还包括：获得关于在第二层画面之后被解码并与第一层画面具有不同的 第二P0C的画面的RPS信息；基于获得的RPS信息来更新被标记为短期参考画面的第一层 画面的参考画面状态。
[0043] 将被标记为长期参考画面的第一层画面标记为短期参考画面的步骤包括：在当前 访问单元的层的编码画面中的至少一个编码画面被解码之后，将被标记为长期参考画面的 第一层画面标记为短期参考画面。
[0044] 根据本发明构思的另一方面，提供一种对多层视频进行解码的方法，所述方法包 括：对第一层画面进行解码，将解码的第一层画面存储在解码画面缓冲器（DPB)中；获得指 示第一层画面是否被用作用于层间预测的参考画面的信息；基于获得的信息对第一层画面 进行标记。
[0045] 对第一层画面进行标记的步骤包括：如果第一层画面被用作用于层间预测的参考 画面，则将第一层画面标记为长期参考画面。
[0046] 如果第一层画面被用作用于层间预测的参考画面，则所述方法还包括：参考第一 层画面针对第二层画面执行层间预测；基于执行层间预测的结果来对第二层画面进行解 码。
[0047] 所述方法还包括：在当前访问单元的层的编码画面之中的至少一个编码画面被解 码之后，将被标记为长期参考画面的第一层画面标记为短期参考画面。
[0048] 对第一层画面进行标记的步骤包括：如果第一层画面不被用作用于对其它层的具 有第一P0C值的画面进行层间预测的参考画面，则将第一层画面标记为短期参考画面。
[0049] 获得指示第一层画面是否被用作用于层间预测的参考画面的信息的步骤包括：基 于关于第一层画面的画面质量和时间分层信息之中的至少一个，获得指示第一层画面是否 被用作用于对其它层的具有第一P0C值的画面进行层间预测的参考画面的信息。
[0050] 对第一层画面进行标记的步骤包括：如果第一层画面不被用作用于对其它层的具 有第一P0C值的画面进行层间预测的参考画面，则将第一层画面标记为不被用作参考画面 的画面。
[0051] 根据本发明构思的另一方面，提供一种对多层视频进行解码的方法，所述方法包 括：对第一层画面进行解码，将解码的第一层画面存储在解码画面缓冲器（DPB)中，并将第 一层画面标记为长期参考画面；在当前访问单元中包括的所有画面被解码之后，获得关于 与第一层画面具有不同的第二P0C的画面的RPS信息；基于获得的RPS信息来更新被标记 为长期参考画面的第一层画面的参考画面状态。
[0052] 根据本发明构思的另一方面，提供一种多层视频解码设备，包括：解码画面缓冲 器，存储解码的画面；解析单元，获得关于与先前解码的第一层画面具有相同的第一画面顺 序计数（P0C)的第二层画面的层间参考画面集（RPS)信息；解码画面缓冲器控制器，将第 一层画面存储在解码画面缓冲器中，将第一层画面标记为短期参考画面，基于所述层间RPS 信息将被标记为短期参考画面的第一层画面标记为长期参考画面，并在第二层画面被解码 之后，将被标记为长期参考画面的第一层画面标记为短期参考画面；视频解码器，对多层中 包括的画面进行解码，并参考第一层画面针对第二画面进行层间预测。
[0053] 根据本发明构思的另一方面，提供一种多层视频解码设备，包括：解码画面缓冲 器，存储解码的画面；解析单元，获得指示第一层画面是否被用作用于层间预测的参考画面 的信息；解码画面缓冲器控制器，将第一层画面存储在解码画面缓冲器中，并基于获得的信 息对第一层画面进行标记；视频解码器，对多层中包括的画面进行解码。
【具体实施方式】
[0054] 在下文中，将通过参照附图解释本发明的优选实施例来详细描述本发明。在本发 明的描述中，当认为现有技术的某些详细解释可能不必要地使本发明的本质模糊时，省略 它们。另外，附图中的相同的标号始终表示相同的元件。
[0055] 在下文中参照附图详细描述本发明的优选实施例。在描述实施例之前，在说明书 和权利要求书中使用的术语和科技名词不应被解释为具有普通含义或字典含义，而应解释 为在发明人可恰当地定义这些术语的概念来以最佳方法解释本发明的原则下与本发明的 精神匹配的含义和概念。因此，在说明书中描述的实施例和附图中示出的配置不超过本发 明的最优实施例，但是不完全涵盖本发明的精神。因此，应理解，在本申请被提交时可存在 可替换所述实施例的各种等价形式和修改方式。
[0056] 贯穿说明书，当部件"包括"元件时，还可包括另一元件，而不排除存在其它元件， 除非另有描述。另外，贯穿说明书所使用的术语"~单元"或"模块"是指处理至少一个功 能或操作的单元，并且可被实现为硬件、软件或硬件和元件的组合。
[0057] 贯穿说明书所使用的术语"画面"可不用于指示"画面"，还用于泛指可在本领域中 已知的各种类型的视频图像数据，诸如"帧"、"场"和"条带"。
[0058] 在下文中，将参照附图更全面地描述本发明，其中，在附图中示出了本发明的示例 性实施例。然而，本发明可以以不同形式来实现，并且不应被解释为受限于在此阐述的示例 性实施例。相反，提供这些实施例，使得本公开将是彻底和完整的，并且将把本发明的范围 充分传达给本领域的普通技术人员。在附图中，为了清楚起见，省略与本发明的描述无关的 任何内容，并且附图中的相同的标号始终表示相同的元件。
[0059] 在下文中，将参照附图描述本发明。
[0060] 图1是根据本发明的实施例的视频编码设备100的框图。
[0061] 视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元 130〇
[0062] 最大编码单元划分器110可通过图像的当前画面的最大编码单元来划分当前画 面。如果当前画面大于最大编码单元，则可将当前画面的图像数据划分为至少一个最大编 码单元。根据本发明的实施例的最大编码单元可以是尺寸为32X32、64X64、128X128、 256X256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。图 像数据可根据至少一个最大编码单元被输出到编码单元确定器120。
[0063] 根据本发明的实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从 最大编码单元被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最 大编码单元被划分到最小编码单元。最大编码单元的深度为最高深度，最小编码单元的深 度为最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减 小，因此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
[0064] 如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单 元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根 据本发明的实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的 空间域的图像数据进行分层分类。
[0065] 可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 制最大编码单元的高度和宽度被分层划分的总次数。
[0066] 编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的 至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码的 图像数据的深度。换言之，编码单元确定器120通过根据当前画面的最大编码单元以根据 深度的较深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定编 码深度。因此，最终输出与确定的编码深度相应的编码单元的编码的图像数据。此外，与编 码深度相应的编码单元可被视为编码的编码单元。将确定的编码深度和根据确定的编码深 度的编码的图像数据输出到输出单元130。
[0067] 基于与等于或小于最大深度的至少一个深度相应的较深层编码单元，对最大编码 单元中的图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结 果。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可 针对每个最大编码单元选择至少一个编码深度。
[0068] 随着编码单元根据深度而被分层地划分以及随着编码单元的数量增加，最大编码 单元的尺寸被划分。另外，即使在一个最大编码单元中编码单元与同一深度相应，仍通过分 别测量每个编码单元的图像数据的编码误差来确定是否将与同一深度相应的每个编码单 元划分到更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，图像数据仍被 划分为根据深度的区域，并且编码误差可根据所述一个最大编码单元中的区域而不同，因 此编码深度可根据图像数据中的区域而不同。因此，可在一个最大编码单元中确定一个或 更多个编码深度，并且可根据至少一个编码深度的编码单元来对最大编码单元的图像数据 进行划分。
[0069] 因此，根据实施例的编码单元确定器120可确定包括在最大编码单元中的具有树 结构的编码单元。根据本发明的实施例的"具有树结构的编码单元"包括最大编码单元中 包括的所有较深层编码单元中的与确定为编码深度的深度相应的编码单元。可根据最大编 码单元的同一区域中的深度来分层地确定编码深度的编码单元，并可在不同区域中独立地 确定编码深度的编码单元。类似地，可独立于另一区域中的编码深度而确定当前区域中的 编码深度。
[0070] 根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元的划分次 数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编码单 元的总划分次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码 单元的深度等级的总数。例如，当最大编码单元的深度是0时，对最大编码单元划分一次的 编码单元的深度可被设置为1，对最大编码单元划分两次的编码单元的深度可被设置为2。 这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度〇、1、2、3和4 的5个深度等级，并因此第一最大深度可被设置为4,第二最大深度可被设置为5。
[0071] 可根据最大编码单元执行预测编码和变换。还根据最大编码单元，基于根据等于 或小于最大深度的深度的较深层编码单元来执行预测编码和变换。可根据正交变换或整数 变换的方法来执行变换。
[0072] 由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量增加，因 此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。为了便 于解释，在最大编码单元中，现在将基于当前深度的编码单元来描述预测编码和变换。
[0073] 视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或 形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所 有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。
[0074] 例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可 选择不同于编码单元的数据单元，以便对编码单元中的图像数据执行预测编码。
[0075] 为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元（即， 基于不再被划分为与更低深度相应的编码单元的编码单元）来执行预测编码。以下，不再 被划分且成为用于预测编码的基本单元的编码单元现在将被称为"预测单元"。通过划分预 测单元而获得的分区可包括预测单元或通过对预测单元的高度和宽度中的至少一个进行 划分而获得的数据单元。
[0076] 例如，当2NX2N(其中，N是正整数）的编码单元不再被划分并且成为2NX2N的 预测单元时，分区的尺寸可以是2NX2N、2NXN、NX2N或NXN。分区类型的示例包括通过 对预测单元的高度或宽度进行对称地划分而获得的对称分区、通过对预测单元的高度或宽 度进行非对称地划分（诸如，1 :n或η: 1)而获得的分区、通过对预测单元进行几何地划分 而获得的分区、以及具有任意形状的分区。
[0077] 预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如， 可对2ΝX2Ν、2ΝXΝ、ΝX2Ν或ΝXΝ的分区执行帧内模式或帧间模式。另外，可仅对2ΝX2Ν 的分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而选择具有最 小编码误差的预测模式。
[0078] 视频编码设备100不仅可基于用于对图像数据进行编码的编码单元还可基于与 编码单元不同的数据单元，来对编码单元中的图像数据执行变换。
[0079] 为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元 来执行变换。例如，用于变换的数据单元可包括帧内模式的数据单元和帧间模式的数据单 JL·〇
[0080] 被用作变换的基础的数据单元现在将被称为"变换单元"。与编码单元类似，编码 单元中的变换单元可被递归地划分为更小尺寸的区域，使得变换单元可以以区域为单位被 独立地确定。因此，可基于根据变换深度的具有树结构的变换单元，对编码单元中的残差数 据进行划分。
[0081] 还可在变换单元中设置变换深度，其中，变换深度指示通过对编码单元的高度和 宽度进行划分而达到变换单元的划分次数。例如，在2ΝΧ2Ν的当前编码单元中，当变换单 元的尺寸是2ΝΧ2Ν时，变换深度可以是0,当变换单元的尺寸是ΝΧΝ时，变换深度可以是 1，当变换单元的尺寸是Ν/2XΝ/2时，变换深度可以是2。也就是说，还可根据变换深度设置 具有树结构的变换单元。
[0082] 根据与编码深度相应的编码单元的编码信息不仅要求关于编码深度的信息，还要 求关于与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码 误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换 的变换单元的尺寸。
[0083] 随后在下面将参照图3至图12详细描述根据本发明的实施例的最大编码单元中 的具有树构的编码单元以及确定分区的方法。
[0084] 编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化，来测量根据深 度的较深层编码单元的编码误差。
[0085] 输出单元130在比特流中输出最大编码单元的图像数据和关于根据编码深度的 编码模式的信息，其中，所述最大编码单元的图像数据基于由编码单元确定器120确定的 至少一个编码深度而被编码。
[0086] 可通过对图像的残差数据进行编码来获得编码图像数据。
[0087] 关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于预测单元 中的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。
[0088] 可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，根据深度的 划分信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的 当前深度是编码深度，则对当前编码单元中的图像数据进行编码并输出，因此可将划分信 息定义为不将当前编码单元划分到更低深度。可选地，如果当前编码单元的当前深度不是 编码深度，则对更低深度的编码单元执行编码，并因此可将划分信息定义为对当前编码单 元进行划分来获得更低深度的编码单元。
[0089] 如果当前深度不是编码深度，则对被划分到更低深度的编码单元的编码单元执行 编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低 深度的每个编码单元重复执行编码，并