用于确定合并模式的方法和装置的制造方法
【技术领域】
[0001 ]本发明构思设及视频编码和视频解码。
【背景技术】
[0002] 能够播放和存储高分辨率或高图像质量视频内容的硬件的发展和分发 (dis化化Ution)已经导致了用于对高分辨率或高图像质量视频内容有效地进行编码或解 码的视频编解码器的必要性的增加。根据现存视频编解码器，基于具有预先确定的尺寸的 宏块、使用有限的编码方法来对视频进行编码。
[0003] 在相互（inter)预测中，运动预测和补偿被用于通过去除画面之间的时间冗余来 对图像进行压缩。在运动预测中，通过使用至少一个参考画面来预测当前画面的块。视频编 解码器通过使用可用的预测模式来计算每个预测模式的成本，并且确定最佳预测模式。
【发明内容】
[0004] 技术问题
[0005] 发明构思提供了一种从树形结构的层级编码单元(unit)的预测模式之中确定使 用之前块的运动信息的合并模式的更加快速的操作。
[0006] 技术方案
[0007] 根据一个或多个实施例，基于通过使用较高深度(upper d邱th)的编码单元的合 并候选的运动信息所获得的较高深度的编码单元的合并模式成本，来获得较低深度的编码 单元的合并模式成本，所述较高深度的编码单元的合并候选与较低深度的编码单元的合并 候选一致。
[000引有利效果
[0009] 根据一个或多个实施例，在确定合并模式的操作中，通过在获得较低深度的编码 单元的合并模式成本的操作中使用关于较高深度的编码单元所获得的合并模式成本并且 跳过计算较低深度的编码单元的合并模式成本的操作，可W提高确定合并模式的操作的速 度，并且可W降低确定合并模式所需要的计算量。
【附图说明】
[0010] 图1是根据本发明构思的实施例的视频编码装置的框图；
[0011] 图2是根据本发明构思的实施例的视频解码装置的框图；
[0012] 图3是用于描述根据本发明构思的实施例的编码单元的构思的图；
[0013] 图4是根据本发明构思的实施例、基于编码单元的图像编码器的框图；
[0014] 图5是根据本发明构思的实施例、基于编码单元的图像解码器的框图；
[0015] 图6是根据本发明构思的实施例、示出了根据深度和分区(partition)的编码单元 的图；
[0016]图7是根据本发明构思的实施例、用于描述编码单元与变换（transformat ion)单 元之间的关系的图；
[0017] 图8是根据本发明构思的实施例、用于描述根据深度的编码单元的编码信息的图；
[0018] 图9是根据本发明构思的实施例、根据深度的编码单元的图；
[0019] 图10至图12是根据本发明构思的实施例、用于描述编码单元、预测单元W及变换 单元之间的关系的图；
[0020] 图13是根据表1的编码模式信息、用于描述编码单元、预测单元W及变换单元之间 的关系的图；
[0021] 图14是示出了根据实施例的合并模式确定装置的结构的框图；
[0022] 图15示出了根据实施例的块合并的示例；
[0023] 图16示出了根据实施例在合并模式中所使用的空间合并候选；
[0024] 图17示出了根据实施例在合并模式中所使用的时间合并候选；
[0025] 图18示出了在用于并行合并模式处理的并行合并编码单元中所包括的编码单元；
[0026] 图19A是用于解释根据第一深度的编码单元的合并模式来确定合并模式成本的操 作的参考图；
[0027] 图19B和图19C是用于解释根据第二深度的编码单元的合并模式来确定合并模式 成本的操作的参考图；
[0028] 图20是用于解释通过使用较高深度的编码单元的合并模式成本来获得较低深度 的编码单元的合并模式成本的操作的参考图；
[0029] 图21示出了当未使用根据实施例的确定合并模式的方法时，计算用于确定图19A 和图19B中所示的编码单元的合并模式的合并模式成本的操作；
[0030] 图22示出了根据实施例计算用于确定图19A和图19B中所示的编码单元的合并模 式的合并模式成本的操作；
[0031] 图23示出了根据另一个实施例计算用于确定图19A和图19B中所示的编码单元的 合并模式的合并模式成本的操作；W及
[0032] 图24是根据实施例确定合并模式的方法的流程图。
【具体实施方式】
[0033] 最佳方式
[0034] 根据一个或多个实施例，提供了一种确定合并模式的方法，所述方法包括:从与第 一深度的编码单元在空间上和时间上相关联的之前预测单元之中，确定在第一深度的编码 单元的合并模式中要被使用的至少一个合并候选;通过使用第一合并候选的运动信息来获 得第一深度的编码单元的合并模式成本;通过分割第一深度的编码单元来获得第二深度的 编码单元;从与第二深度的编码单元之一在空间上和时间上相关联的之前预测单元之中， 确定在第二深度的编码单元之一的合并模式中要被使用的至少一个第二合并候选;W及通 过使用第二合并候选来获得第二深度的编码单元的合并模式成本，第二合并候选基于通过 使用与第二合并候选相对应的第一合并候选的运动信息之前所获得的第一深度的编码单 元的合并模式成本。
[0035] 根据一个或多个实施例，提供了一种合并模式确定装置，包括:合并候选确定器， 被配置为:从与第一深度的编码单元在空间上和时间上相关联的之前预测单元之中，确定 在第一深度的编码单元的合并模式中要被使用的至少一个合并候选，并且从与第二深度的 编码单元之一在空间上和时间上相关联的之前预测单元之中，确定在第二深度的编码单元 之一的合并模式中要被使用的至少一个第二合并候选;W及合并模式确定器，被配置为:通 过使用第一合并候选的运动信息来获得第一深度的编码单元的合并模式成本，并且通过使 用第二合并候选来获得第二深度的编码单元的合并模式成本，第二合并候选基于通过使用 与第二合并候选相对应的第一合并候选的运动信息之前所获得的第一深度的编码单元的 合并模式成本。
[0036] 发明的具体方式
[0037] 现在将参考在其中示出了实施例的附图来更加全面地描述本发明构思。
[0038] 图1是根据本发明构思的实施例的视频编码装置的框图。
[0039] 根据实施例的视频编码装置100包括最大编码单元分割器110、编码单元确定器 120W及输出器130。
[0040] 最大编码单元分割器110可W基于最大编码单元来分割当前画面，最大编码单元 是用于图像的当前画面的、具有最大尺寸的编码单元。如果当前画面大于最大编码单元，贝U 当前画面的图像数据可W被分割为至少一个最大编码单元。根据实施例的最大编码单元可 W是具有32 X 32、64 X 64、128 X 128或256 X 256的尺寸的数据单元，其中，数据单元的形状 是具有大于8且为2的平方的宽度和长度的正方形。根据至少一个最大编码单元，图像数据 可W被输出到编码单元确定器120。
[0041] 根据实施例的编码单元可W通过最大尺寸和深度被表征。深度指示从最大编码单 元在空间上分割出编码单元的次数，并且随着深度增加，从最大编码单元到最小编码单元 可W分割出根据深度的较深的编码单元。最大编码单元的深度是最高深度并且最小编码单 元的深度是最低深度。因为随着最大编码单元的深度增加与每个深度相对应的编码单元的 尺寸减小，所W与较高深度相对应的编码单元的可W包括与较低深度相对应的多个编码单 J L O
[0042] 如上所述，当前画面的图像数据根据编码单元的最大尺寸被分割为最大编码单 元，并且最大编码单元中的每个可W包括根据深度被分割的较深编码单元。因为根据实施 例的最大编码单元根据深度被分割，所W在最大编码单元中所包括的空间域的图像数据可 W根据深度分层级地来分类。
[0043] 可W预先设定编码单元的最大深度和最大尺寸，其限制了最大编码单元的高度和 宽度分层级地分割的总次数。
[0044] 编码单元确定器120对通过根据深度分割最大编码单元的区域所获得的至少一个 分割出的区域进行编码，并且根据至少一个分割出的区域来确定输出最终编码结果的深 度。换言之，编码单元确定器120通过根据当前画面的最大编码单元、对根据深度的较深编 码单元中的图像数据进行编码并且选择具有最小编码误差的深度，来确定编码的深度。根 据最大编码单元所确定的编码的深度和图像数据被输出到输出器130。
[0045] 基于与等于或小于最大深度的至少一个深度相对应的较深编码单元，对最大编码 单元中的图像数据进行编码，并且基于较深编码单元中的每个，对编码结果进行比较。在对 较深编码单元的编码误差进行比较之后，可W选择具有最小编码误差的深度。针对每个最 大编码单元，可W选择至少一个编码的深度。
[0046] 随着根据深度分层级地分割出编码单元，最大编码单元的尺寸被分割，并且编码 单元的数量增加。另外，即使一个最大编码单元中，编码单元与同一深度相对应，也要通过 单独地测量每个编码单元的数据的编码误差来确定是否将与同一深度相对应的编码单元 中的每个分割为较低深度。因此，即使数据被包括在一个最大编码单元中，根据深度的编码 误差也可能根据区域而不同，并且因此编码的深度可能根据区域而不同。因此，针对一个最 大编码单元可W设定一个或多个编码的深度，并且可W根据一个或多个编码的深度的编码 单元来划分最大编码单元的数据。
[0047] 因此，根据实施例的编码单元确定器120可W确定在当前最大编码单元中所包括 的具有树形结构的编码单元。根据本发明构思的实施例的"具有树形结构的编码单元"包 括:在最大编码单元中所包括的与深度相对应的所有编码单元之中、与被确定为编码的深 度的深度相对应的编码单元。编码的深度的编码单元可W在最大编码单元的同一区域中根 据深度分层级地确定，并且可W在不同的区域中独立地被确定。类似地，当前区域中的编码 的深度可W独立于在另一个区域中的编码的深度被确定。
[0048] 根据实施例的最大深度是与从最大编码单元到最小编码单元所执行的分割的次 数相关联的索引。根据实施例的第一最大深度可W指示从最大编码单元到最小编码单元所 执行的分割的总次数。根据实施例的第二最大深度可W指示从最大编码单元到最小编码单 元的深度等级的总数量。例如，当最大编码单元的深度为0时，其中最大编码单元被分割一 次的编码单元的深度可W被设定为1，并且其中最大编码单元被分割两次的编码单元的深 度可W被设定为2。在运种情况下，如果最小编码单元是通过将最大编码单元分割四次所获 得的编码单元，则存在深度〇、1、2、3和4的5个深度等级，并且因此，第一最大深度可W被设 定为4而第二最大深度可W被设定为5。
[0049] 可W针对最大编码单元执行预测编码和频率变换。还根据最大编码单元，基于根 据等于或小于最大深度的深度的较深编码单元来执行预测编码和变换。
[0050] 因为每当根据深度分割最大编码单元时较深编码单元的数量增加，所W需要对随 着深度增加而生成的较深编码单元的全部来执行包括所述预测编码和所述频率变换的编 码。为了描述的方便，现在将基于至少一个最大编码单元之中的当前深度的编码单元来描 述预测编码和频率变换。
[0051] 根据实施例的视频编码装置100可W不同地选择用于对图像数据进行编码的数据 单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、频率变换W及赌编码的 操作，并且此时，针对所有操作可W使用相同的数据单元或者针对每个操作可W使用不同 的数据单元。
[0052] 例如，视频编码装置100不仅可W选择用于对图像数据进行编码的编码单元，并且 还可W选择与编码单元不同的数据单元，W便对编码单元中的图像数据执行预测编码。
[0053] 为了在最大编码单元中执行预测编码，可W基于与编码的深度相对应的编码单 元，即，基于不再被分割为与较低深度相对应的编码单元的编码单元，来执行预测编码。在 下文中，不再被分割的并且变为用于预测编码的基础单元的编码单元现在将被称为"预测 单元"。通过分割预测单元所获得的分区可W包括预测单元和通过分割预测单元的高度和 宽度中的至少一个所获得的数据单元。
[0054] 例如，当2NX2N(其中，N为正整数）的编码单元不再被分割时，编码单元可W变为 2NX2N的预测单元，并且分区的尺寸可W为2NX2N、2NXN、NX2N或NXN。分区类型的示例 包括:通过对称分割预测单元的高度或宽度所获得的对称分区、通过诸如I :n或n: I地不对 称分割预测单元的高度或宽度所获得的分区、通过几何地分割预测单元所获得的分区、W 及具有任意形状的分区。
[0055] 预测单元的预测模式可W为内部模式（intra mode)、相互模式（inter mode)和跳 过模式(skip mode)中的至少一个。例如，可W对2N X 2N、2NX N、NX 2N或NX N的分区执行内 部模式或相互模式。另外，可W仅对2NX2N的分区执行跳过模式。对编码单元中的一个预测 单元独立地执行编码，从而选择具有最小的编码误差的预测模式。
[0056] 根据实施例的视频编码装置100也可W不仅基于用于对图像数据进行编码的编码 单元并且还基于与该编码单元不同的数据单元，来对该编码单元中的图像数据执行变换。
[0057] 为了在该编码单元中执行频率变换，可W基于具有小于或等于该编码单元的尺寸 的数据单元来执行频率变换。例如，用于频率变换的数据单元可W包括用于内部模式的数 据单元和用于相互模式的数据单元。
[0058] 在下文中，作为用于频率变换的基础的数据单元可W被称为"变换单元"。类似于 编码单元，编码单元中的变换单元可W递归地被分割为更小尺寸的变换单元，并且因此，编 码单元中的剩余数据可W根据具有根据变换深度的树形结构的变换单元被划分。
[0059] 还可W在根据实施例的变换单元中设定变换深度，其指示通过分割编码单元的高 度和宽度W达到变换单元所执行的分割的次数。例如，在2NX2N的当前编码单元中，当变换 单元的尺寸为2NX2N时，变换深度可W为0;当变换单元的尺寸为NXN时，变换深度可W为 1; W及当变换单元的尺寸为N/2XN/2时，变换深度可W为2。即，还可W根据变换深度来设 定具有树形结构的变换单元。
[0060] 根据与编码的深度相对应的编码单元的编码信息不仅需要关于编码的深度的信 息并且还需要关于与预测和变换相关联的信息的信息。因此，编码单元确定器120不仅确定 具有最小编码误差的编码的深度并且还确定预测单元中的划分类型、根据预测单元的预测 模式W及用于变换的变换单元的尺寸。
[0061] 稍后将参考图3至图12详细地描述根据实施例的、最大编码单元中具有树形结构 的编码单元W及确定编码单元和分区的方法。
[0062] 编码单元确定器120可W通过使用基于拉格朗日化agrangian)乘子的失真率 (Rate-Distodion，RD)优化来测量根据深度的较深编码单元的编码误差。
[0063] 输出器130W比特流输出，基于由编码单元确定器120所确定的至少一个编码的深 度被编码的最大编码单元的图像数据，和关于根据该编码的深度的编码模式的信息。
[0064] 可W通过对图像的剩余数据进行编码来获得编码的图像数据。
[0065] 关于根据编码的深度的编码模式的信息可W包括关于编码的深度的信息、预测单 元中的分区类型、预测模式W及变换单元的尺寸。
[0066] 可W通过使用根据深度的分割信息来定义关于编码的深度的信息，其指示是否对 较低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码的深 度，则对当前深度的当前编码单元执行编码，并且因此分割信息可W被限定为不将当前编 码单元分割为较低深度。可替换地，如果当前编码单元的当前深度不是编码的深度，则对较 低深度的编码单元执行编码，并且因此，当前深度的分割信息可W被定义为对当前编码单 元进行分割W获得较低深度的编码单元。
[0067] 如果当前深