换单元之间 的关系的图。
[0163] 最大编码单元1300包括编码的深度的编码单元1302、1304、1306、1312、1314、1316 W及1318。运里，因为编码单元1318是编码的深度的编码单元，所W分割信息可W被设定为 0。关于具有2NX2N的尺寸的编码单元1318的分区类型的信息可W被设定为下述分区类型 中的一个:具有2NX2N的尺寸的分区类型1322、具有2NXN的尺寸的分区类型1324、具有NX 2N的尺寸的分区类型1326、具有NXN的尺寸的分区类型1328、具有2NXnU的尺寸的分区类 型1332、具有2NXnD的尺寸的分区类型1334、具有化X2N的尺寸的分区类型1336W及具有 nRX2N的尺寸的分区类型1338。
[0164] 例如，当分区类型被设定为对称，即，分区类型1322、1324、1326或132別寸，如果变 换单元的分割信息(TU尺寸标志)为0,则可W设定具有2NX2N的尺寸的变换单元1342,并且 如果TU尺寸标志为1，则可W设定具有NXN的尺寸的变换单元1344。
[01化]当分区类型被设定为不对称，即，分区类型1332、1334、1336或133別寸，如果TU尺寸 标志为0,则设定具有2NX2N的尺寸的变换单元1352,并且如果TU尺寸标志为1，则设定具有 N/2XN/2的尺寸的变换单元1354。
[0166] 在下文中，将描述由根据实施例的图像编码装置400的合并模式预测器402所执行 的确定合并模式的操作。运里，W上所述的层级编码单元、预测单元W及预测单元的分区将 被称为块。
[0167] 当在相互预测中执行运动预测和补偿之后，被相互预测的块的运动信息被传送到 解码器。在下文中，为了描述的方便，运动向量、参考画面信息W及残余信息将被定义为运 动信息。
[0168] 根据传统H. 264/AVC，为了提高编码效率引入跳过模式。关于在跳过模式中所预测 的块，仅指示跳过模式的标志被传送，并且其他运动信息不被传送。根据实施例，除了跳过 模式之外，合并模式被用作新的预测模式。
[0169] 在合并模式中，当前块和与其相邻的块被组合，使得不每次都传送每个块的运动 信息，而是一次性地传送所有合并的块的运动信息，W提高编码效率。不同于在跳过模式中 所预测的块，关于在合并模式中所预测的块，指示合并模式的标志信息和残余信息一起被 传送。合并候选的运动向量信息和参考画面信息被用作在合并模式中所预测的块的运动向 量信息和参考画面信息。
[0170] 图15示出了根据实施例的块合并的示例。
[0171] 在图15中，当前块为X1510,并且阴影区域指示在当前块X1510之前已经对其执行 了编码的块。在合并模式中，在当前块X1510之前对其执行了编码的块之中的可用合并候选 可W与当前块X1510合并。例如，当前块X1510可W与块A 1530或块B 1520合并。如同块A 1530或块B 1520、在合并模式中可W与当前块X1510合并的块被定义为合并候选。合并意味 着当前块和合并候选共享除了残余信息之外的运动信息，并且不意味着它们物理上被合 并。即，当前块X1510仅共享块A 1530或块B 1520运两个块的运动信息作为其自己的运动信 息。
[0172] 在合并模式中，当所传送的运动信息的数据量降低时，可W提高编码效率。当不存 在对于合并模式可用的块时，不执行根据合并模式的预测。仅相互预测块可W是可用块。在 合并模式中所使用的合并候选是作为位于当前块的周围的块的空间合并候选，W及作为被 包括在包括当前块的画面之前所处理的其他画面中的块的时间合并候选。
[0173] 在合并模式中，在当前块共享之前所处理的块的运动信息时，在对当前块的处理 之前应当完成在合并候选中所包括的块的预测模式的确定。换言之，在合并模式中，在当前 块与在合并候选中所包括的之前块之间存在数据依赖性。如果存在数据依赖性，则应当顺 序地处理当前块和在合并候选中所包括的之前块。即，在当前块使用在合并候选中所包括 的块的运动信息时，仅可W在被包括在合并候选中的块之后处理当前块。运样的顺序的块 处理是对于并行执行合并模式预测的妨碍，并且增加了执行合并模式预测所需要的处理时 间。为了解决该问题，可W设定指示下述编码单元的尺寸的并行合并等级:对于该编码单元 可W并行地确定合并模式;并且根据所设定的并行合并等级、针对在预先确定的尺寸的编 码单元中所包括的编码单元可W并行地确定合并模式，使得对于一些编码单元并行合并模 式确定操作是可能的。
[0174] 并行合并等级指示对于其可W并行地确定合并候选的编码单元的一侧的长度。并 行合并等级可W被定义为化rMrgLevel。例如，当化rMrgLevel被设定为32时，在32 X 32的编 码单元中所包括的预测单元或编码单元的合并候选可W并行地处理。并行合并等级通过使 用 1^0邑2_9日抑1161_1116巧6_16￥61_111；[]11132被传送到解码器，1^0邑2_9日拘1161_1116巧6_16￥61_ 111；[]11132是具有（1〇旨2?日'11'化6￥61-2)的值的语法。如上所述，当化'1'旨1^6￥61为32时， log2F*arMrgLevel 的值为 5,并且因此，语法(X〇g2_parallel_merge_level_minus2)具有 3的 值。语法(X〇g2_parallel_merge_level_minus2)可W被包括在序列参数集(SPS)、画面参数 集(PPS)或切片报头中W被传送。
[0175] 为了确定关于树形结构的层级编码单元的最佳合并模式，编码器应当通过计算编 码成本来确定各种尺寸的编码单元中的每个的最佳合并候选。因此，需要大量处理时间来 确定用于具有各种尺寸的层级编码单元的最佳合并模式。例如，为了确定是否在合并模式 中预测具有16X16的尺寸的编码单元，或者是否将具有16X16的尺寸的编码单元分割为较 低深度的具有8 X 8的尺寸的编码单元并且然后确定用于具有8 X 8的尺寸的每个编码单元 的合并模式，要将根据具有16 X 16的尺寸的编码单元的合并模式的编码成本与根据具有8 X 8的尺寸的编码单元的合并模式的编码成本进行比较。
[0176] 如稍后将描述地，在根据较高深度的编码单元的合并模式来确定编码成本的操作 中所执行的计算可能关于在根据通过分割较高深度的编码单元所获得的较低深度的编码 单元的合并模式来确定编码成本的操作中所执行的计算是冗余的。因此，根据较高深度的 编码单元的合并模式的编码成本可W包括根据较低深度的编码单元的合并模式的编码成 本。计算编码成本的冗余操作可能增加编码处理时间。因此，根据实施例的确定合并模式的 方法，通过使用根据较高深度的编码单元的合并模式的编码成本，可W获得根据较低深度 的编码单元的合并模式的编码成本，并且可W跳过计算根据较低深度的编码单元的合并模 式的编码成本的操作。另外，根据另一个实施例的确定合并模式的方法，当确定根据较低深 度的编码单元的合并模式的编码成本时，仅使用与较高深度的编码单元的合并候选相对应 的较低深度的编码单元的合并候选的成本。通过仅使用与较高深度的编码单元的合并候选 相对应的较低深度的编码单元的合并候选的成本，可W跳过关于较低深度的编码单元来计 算根据合并模式的编码成本的操作。
[0177] 在下文中，将详细地描述根据实施例确定合并模式的操作。
[0178] 图14是示出了根据实施例的合并模式确定装置1400的结构的框图。图14的合并模 式确定装置1400与图4的图像编码装置400的合并模式预测器402相对应。
[0179] 参考图14,合并模式确定装置1400包括合并候选确定器1410和合并模式确定器 1420。
[0180] 合并候选确定器1410针对在合并模式中要被预测的层级结构的每个编码单元来 确定合并候选。具体地，合并候选确定器1410从与第一深度的编码单元在空间上和时间上 相关联的之前预测单元之中，确定在第一深度的编码单元的合并模式中要被使用的至少一 个第一合并候选。另外，合并候选确定器1410从与第二深度的编码单元之一在空间上和时 间上相关联的之前预测单元之中，确定在通过分割第一深度的编码单元所获得的第二深度 的编码单元之一的合并模式中要被使用的至少一个第二合并候选。例如，合并候选确定器 1410针对具有2NX2N(n是整数)的尺寸的最大编码单元确定合并候选。另外，合并候选确定 器1410针对通过分割最大编码单元n次(n是整数)所获得的具有(2N/(2~n)X2N/(2~n))的 尺寸和第n深度的编码单元来确定合并候选。稍后将描述确定合并候选的方法。
[0181] 合并模式确定器1420通过使用作为较高深度的第一深度的编码单元的第一合并 候选的运动信息，来获得第一深度的编码单元的合并模式成本。另外，合并模式确定器1420 基于之前通过使用与作为较低深度的第二深度的编码单元的第二合并候选相对应的第一 合并候选的运动信息所获得的第一深度的编码单元的合并模式成本，通过使用第二合并候 选，来获得第二深度的编码单元的合并模式成本。例如，当第一深度的编码单元的尺寸为16 X 16时，合并模式确定器1420通过使用具有16 X 16的尺寸的编码单元的合并候选的运动信 息，来获得具有16X 16的尺寸的编码单元的合并模式成本。另外，在具有通过分割具有16X 16的尺寸的编码单元所获得的具有8 X 8的尺寸的较低深度的编码单元的合并候选之中，当 存在与在具有16 X 16的尺寸的编码单元的合并模式中所使用的合并候选相对应的合并候 选时，合并模式确定器1420可W跳过关于相对应的合并候选计算合并模式成本的操作，并 且通过使用之前在计算具有16 X 16的尺寸的编码单元的合并模式成本的操作中所获得的 合并模式成本，来获得关于具有8X8的尺寸的编码单元的合并模式成本。
[0182] 合并模式确定器1420可W通过仅使用与第一合并候选相对应的第二合并候选，来 获得第二深度的编码单元的合并编码成本。具体地，在被用于第一深度的编码单元的合并 模式中的第一合并候选之中，当存在与被用于第二深度的编码单元的合并模式中的第二合 并候选相对应的合并候选时，合并模式确定器1420可W仅将相对应的合并候选确定为在确 定第二深度的编码单元的合并模式中被使用的合并候选，并且通过使用在确定第一深度的 编码单元的合并模式的之前操作中使用相对应的合并候选所获得的合并模式成本，可W获 得第二深度的编码单元的合并模式成本。
[0183] 如上所述，在合并模式中所使用的合并候选包括作为位于当前块的周围的块的空 间合并候选W及作为被包括在包括当前块的画面之前所处理的其他画面中的块的时间合 并候选。
[0184] 图16示出了根据实施例在合并模式中所使用的空间合并候选。
[0185] 参考图16,合并候选确定器1410可W从当前块1610的周围块之中，将包括被布置 在当前块1610的左侧并且与当前块1610的最左下的像素1612相邻的周围像素1621的块A 1620;包括被布置在当前块1610的上侧并且与当前块1610的最右上的像素1611相邻的周围 像素1631的块B 1630;与块B 1630的右侧相邻且包括右上角的像素1641的块C 1640;与块A 1620下侧相邻且包括左下角的像素1651的块D 1650; W及被布置在当前块1610的左上角并 且包括最左上角的像素1661的块E 1660,确定为在合并模式中所使用的空间合并候选。在 确定空间合并候选中所使用的块可W是编码单元或预测单元。
[01化]合并候选确定器1410可W包括块A 1620、块B 1630、块C 1640、块D 1650W及块E 1660之中的、仅具有运动信息的块，即，仅是合并候选中的相互预测块，并且从合并候选中 排除不具有运动信息的块。合并候选确定器1410可W从合并候选中排除具有冗余运动信息 的块。
[0187] 另外，合并候选确定器1410可W按照块A 1620、块B 1630、块C 1640、块D 1650 W 及块E 1660的顺序来捜索在合并候选中所包括的周围块，并且可W按照块被发现的顺序来 分配合并模式索引m^ge_idx。当块A 1620、块B 1630、块C 1640、块D 1650W及块E 1660均 为相互预测的块，并且不具有彼此冗余的运动时，块A 1620的合并模式索引（merge_idx)可 W为0、块B1630的合并模式索引（merge_idx)可W为1、块C 1640的合并模式索引（merge, idx)可W为2、块D 1650的合并模式索引（merge_idx)可W为3W及块E 1660的合并模式索 引 (merge_idx)可W为4。当在合并模式中预测当前块1610时，除了指示在合并模式中预测 当前块1610的合并模式标志(merge_flag)之外，合并模式索引（merge_idx)也被传送到解 码器，W便可W确定可W带来在当前块1610的合并模式预测操作中要使用的运动信息的合 并候选。可W被包括在空间合并候选中的周围块的位置(location)和地点(position)不限 于W上示例，而是可W变化。
[0188] 图17示出了根据实施例在合并模式中所使用的时间合并候选。
[0189] 参考图17,根据合并模式、对于在当前画面1710中所包括的当前块1720的预测，合 并候选确定器1410可W将同位(co-located)块1740和同位块1740周围的块包括在时间合 并候选中，同位块1740被包括在参考画面1730中并且与当前块1720处于相同位置处。在确 定时间合并候选中所使用的块可W是编码单元或预测单元。
[0190] 图18示出了在用于并行合并模式处理的并行合并编码单元中所包括的编码单元。
[0191] 如上所述，可W设定指示下述编码单元的尺寸的并行合并等级：对于该编码单元 可W并行地确定合并模式;并且根据所设定的并行合并等级、关于在预先确定的尺寸的编 码单元中所包括的编码单元可W并行地确定合并模式。可W根据并行合并等级并行地处理 的编码单元的组，被定义为并行合并编码单元1800。
[0192] 在并行合并编码单元1800中所包括的编码单元CUO 1810、CU1 1820、CU2 1830W 及CU3 1840是对于其可W并行地确定合并模式的块。为了关于编码单元CUO 1810、CU1 1820、CU2 1830W及CU3 1840并行地确定合并模式，在同一个并行合并编码单元1800中所 包括的编码单元应当从合并候选中排除。例如，如参考图16所描述的实施例，位于编码单元 CUl 1820的左侧的编码单元CUO 1810被包括在编码单元CUl 1820的空间合并候选中。然 而，为了并行地处理编码单元CUO 1810和CUl 1820,在编码单元CUO 1810与编码单元CUl 1820之间不应当存在数据依赖性。因此，当针对在一个并行合并编码单元1800中所包括的 每个编码单元确定合并候选时，在同一并行合并编码单元1800中所包括的编码单元从合并 候选中被排除。
[0193] 编码单元CUl 1820的空间合并候选可W包括编码单元CUl 1820上方的编码单元 1851、1852W及1853之中的相互预测的编码单元。另外，编码单元CUl 1820的左侧空间合并 候选可W包括除了编码单元CUO 1810和编码单元CU2 1830之外的、在并行合并候选编码单 元1800外部的编码单元1854和1855之中的相互预测的编码单元。编码单元CU2 1820的空间 合并候选可W包括在左侧的编码单元1854、1855和1856之中的相互预测的编码单元。另外， 编码单元CU2 1830上方的空间合并候选可W包括除了与编码单元CU2 1830相邻的编码单 元CUO 1810和CUl 1820之外的、并行合并编码单元1800上方的编码单元1851、1852和1853 之中的相互预测的编码单元。编码单元CU3 1840的左侧空间合并候选可W包括除了与编码 单元CU3 1840相邻的编码单元CUO 1810和编码单元CU2 1830之外的、在并行合并编码单元 1800外部的编码单元1854和1855之中的相互预测的编码单元。另外，编码单元CU3 1840上 方的空间合并候选可W包