中划分 分区类型918,并对深度为2和尺寸为Ν_0ΧΝ_0的编码单元930重复地执行编码来搜索最 小编码误差。
[0338] 用于对深度为1和尺寸为2N_1X2N_1( =Ν_0ΧΝ_0)的编码单元930进行预测编 码的预测单元940可包括以下分区类型的分区：尺寸为2N_1X2N_1的分区类型942、尺寸 为2N_1XN_1的分区类型944、尺寸为N_1X2N_1的分区类型946以及尺寸为N_1XN_1的 分区类型948。
[0339] 如果在分区类型948中编码误差最小，则深度从1改变到2以在操作950中划分 分区类型948,并对深度为2和尺寸为N_2XN_2的编码单元960重复执行编码来搜索最小 编码误差。
[0340] 当最大深度是d时，根据每个深度的划分操作可被执行直到深度变成d-Ι，并且划 分信息可被编码直到深度是〇到d-2之一。换句话说，当编码被执行直到在与d-2的深度 相应的编码单元在操作970中被划分之后深度是d-Ι时，用于对深度为d-Ι和尺寸为2N_ (d-1)X2N_(d-l)的编码单元980进行预测编码的预测单元990可包括以下分区类型的分 区：尺寸为2N_(d-l)X2N_(d-l)的分区类型992、尺寸为2N_(d-l)XN_(d-l)的分区类型 994、尺寸为N_(d-l)X2N_(d-l)的分区类型996和尺寸SN_(d-l)XN_(d-l)的分区类型 998 〇
[0341] 可对分区类型992至998中的尺寸为2N_(d_l)X2N_(d_l)的一个分区、尺寸 为21((1-1)\1((1-1)的两个分区、尺寸为1((1-1)\21((1-1)的两个分区、尺寸为1 (d-1)XN_(d-Ι)的四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。
[0342] 即使当分区类型998具有最小编码误差时，由于最大深度是d，因此深度为d-Ι的 编码单元CU_(d-ι)也不再被划分到更低深度，用于构成当前LCU900的编码单元的编码深 度被确定为d-Ι，并且当前IXU900的分区类型可被确定SN_(d-l)XN_(d-l)。此外，由于 最大深度是d，因此不设置编码单元的划分信息。
[0343] 数据单元999可以是用于当前LCU的"最小单元"。根据一个或更多个实施例的最 小单元可以是通过将具有最低编码深度的SCU980划分成4份而获得的正方形数据单元。 通过重复地执行编码，视频编码设备100可通过比较根据编码单元900的深度的编码误差 来选择具有最小编码误差的深度以确定深度，并将相应分区类型和预测模式设置为编码深 度的编码模式。
[0344] 这样，在所有深度1至d中对根据深度的最小编码误差进行比较，并且具有最小编 码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型和预测模式可作为关 于编码模式的信息被编码并发送。另外，由于编码单元从〇的深度被划分到编码深度，因此 仅将编码深度的划分信息设置为〇,并且将除了编码深度以外的深度的划分信息设置为1。
[0345] 视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元 900的编码深度和预测单元的信息，来对分区912进行解码。视频解码设备200可通过使用 根据深度的划分信息，将划分信息为〇的深度确定为编码深度，并且使用关于相应深度的 编码模式的信息来进行解码。
[0346] 图22、图23和图24是用于描述根据一个或更多个实施例的在编码单元1010、预 测单元1060和变换单元1070之间的关系的示图。
[0347] 编码单元1010是LCU中的与由视频编码设备100确定的编码深度相应的具有树 结构的编码单元。预测单元1060是与编码深度相应的每个编码单元1010中的预测单元的 分区，变换单元1070是与编码深度相应的每个编码单元1010的变换单元。
[0348] 当在编码单元1010中IXU的深度是0时，编码单元1012和1054的深度是1，编 码单元 1014、1016、1018、1028、1050 和 1052 的深度是 2,编码单元 1020、1022、1024、1026、 1030、1032和1048的深度是3,编码单元1040、1042、1044和1046的深度是4。
[0349] 在预测单元1060中，通过划分编码单元1010中的编码单元来获得一些分区1014、 1016、1022、1032、1048、1050、1052 和 1054。换句话说，分区 1014、1022、1050 和 1054 中的 分区类型的尺寸是2NXN，分区1016U048和1052中的分区类型的尺寸是NX2N，分区1032 的分区类型的尺寸为NXN。编码单元1010的预测单元和分区小于或等于每个编码单元。
[0350] 在小于编码单元1052的数据单元中的变换单元1070中，对编码单元1052的图 像数据执行变换或逆变换。另外，在尺寸和形状方面，变换单元1070中的编码单元1014、 1016、1022、1032、1048、1050 和 1052 不同于预测单元 1060 中的编码单元 1014、1016、1022、 1032、1048、1050和1052。换句话说，视频编码设备100和视频解码设备200可对同一编码 单元中的数据单元独立地执行帧内预测/运动估计/运动补偿以及变换/逆变换。
[0351] 因此，对LCU的每个区域中的具有分层结构的每个编码单元递归地执行编码来确 定最优编码单元，从而可获得具有递归树结构的编码单元。编码信息可包括关于编码单元 的划分信息、关于分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。表 5不出可由视频编码设备100和视频解码设备200设置的编码信息。
[0352][表 5]
[0353]
[0354] 视频编码设备100的输出器130可输出关于具有树结构的编码单元的编码信息， 视频解码设备200的图像数据和编码信息提取器220可从接收到的比特流提取关于具有树 结构的编码单元的编码信息。
[0355] 划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d 的划分信息是〇,则当前编码单元不再被划分成更低深度的深度是编码深度，从而可针对所 述编码深度来定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元 根据划分信息被进一步划分，则对更低深度的四个划分编码单元独立地执行编码。
[0356] 预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分区类型中 定义帧内模式和帧间模式，仅在尺寸为2NX2N的分区类型中定义跳过模式。
[0357] 关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获得的尺 寸为2NX2N、2NXN、NX2N和NXN的对称分区类型，以及通过非对称地划分预测单元的高 度或宽度而获得的尺寸为2NXnU、2NXnD、nLX2N和nRX2N的非对称分区类型。可通过按 1:3和3:1来划分预测单元的高度来分别获得尺寸为2NXnU和2NXnD的非对称分区类型， 可通过按1:3和3:1来划分预测单元的宽度来分别获得尺寸为nLX2N和nRX2N的非对称 分区类型。
[0358] 可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。换 句话说，如果变换单元的划分信息是0,则变换单元的尺寸可以是2NX2N，即当前编码单元 的尺寸。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单 元。另外，如果尺寸为2NX2N的当前编码单元的分区类型是对称分区类型时，则变换单元 的尺寸可以是NXN，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸 可以是N/2XN/2。
[0359] 关于具有树结构的编码单元的编码信息可包括与编码深度相应的编码单元、预测 单元和最小单元中的至少一个。与编码深度相应的编码单元可包括包含相同编码信息的预 测单元和最小单元中的至少一个。
[0360] 因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在与编 码深度相应的同一编码单元中。另外，通过使用数据单元的编码信息来确定与编码深度相 应的相应编码单元，并因此可确定LCU中的编码深度的分布。
[0361] 因此，如果基于邻近数据单元的编码信息来对当前编码单元进行预测，则可直接 参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。
[0362] 可选地，如果基于邻近数据单元的编码信息来对当前编码单元进行预测，则使用 数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并可参考搜索到的邻近编码 单元以对当前编码单元进行预测。
[0363] 图25是用于描述根据表5的编码模式信息的编码单元、预测单元和变换单元之间 的关系的示图。
[0364]LCU1300包括多个编码深度的编码单元1302、1304、1306、1312、1314、1316和 1318。这里，由于编码单元1318是一个编码深度的编码单元，因此划分信息可被设置成0。 可将关于尺寸为2NX2N的编码单元1318的分区类型的信息设置成以下分区类型中的一 种：尺寸为2NX2N的分区类型1322、尺寸为2NXN的分区类型1324、尺寸为NX2N的分区 类型1326、尺寸为NXN的分区类型1328、尺寸为2NXnU的分区类型1332、尺寸为2NXnD 的分区类型1334、尺寸为nLX2N的分区类型1336以及尺寸为nRX2N的分区类型1338。
[0365] 变换单元的划分信息（TU尺寸标记）是一种类型的变换索引。与变换索引相应的 变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。
[0366]例如，当分区类型被设置成对称（S卩，分区类型1322、1324、1326或1328)时，如果 变换单元的TU尺寸标记是0,则设置尺寸为2NX2N的变换单元1342,如果TU尺寸标记是 1，则设置尺寸为NXN的变换单元1344。
[0367] 当分区类型被设置成非对称（S卩，分区类型1332、1334、1336或1338)时，如果TU 尺寸标记是0,则设置尺寸为2NX2N的变换单元1352,如果TU尺寸标记是1，则设置尺寸为Ν/2ΧΝ/2的变换单元1354。
[0368] 参照图25,TU尺寸标记是具有值0或1的标记，但是TU尺寸标记不限于1比特， 并且变换单元可在TU尺寸标记从0开始增加时被分层划分为具有树结构。变换单元的划 分信息（TU尺寸标记）可以是变换索引的示例。
[0369] 在这种情况下，根据一个或更多个实施例，可通过使用变换单元的TU尺寸标记以 及变换单元的最大尺寸和最小尺寸来表示实际上已使用的变换单元的尺寸。视频编码设备 100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码。 对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码的结果可 被插入SPS。视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息 和最大TU尺寸标记来对视频进行解码。
[0370] 例如，（a)如果当前编码单元的尺寸是64X64并且最大变换单元尺寸是32X32， 则（a-Ι)当TU尺寸标记为0时，变换单元的尺寸可以是32X32,（a-2)当TU尺寸标记为1 时，变换单元的尺寸可以是16X16,（a-3)当TU尺寸标记为2时，变换单元的尺寸可以是 8X8。
[0371] 作为另一示例，（b)如果当前编码单元的尺寸是32X32并且最小变换单元尺寸是 32X32,则（b-Ι)当TU尺寸标记为0时，变换单元的尺寸可以是32X32。这里，由于变换单 元的尺寸不能够小于32X32,因此TU尺寸标记不能够被设置为除了 0以外的值。
[0372] 作为另一示例，（c)如果当前编码单元的尺寸是64X64并且最大TU尺寸标记为 1，则TU尺寸标记可以是0或1。这里，TU尺寸标记不能够被设置为除了 0或1以外的值。
[0373] 因此，当TU尺寸标记为0时，如果定义最大TU尺寸标记为 "MaxTransformSizelndex"，最小变换单元尺寸为"MinTransformSize"，变换单元尺寸为 "RootTuSize"，则可通过等式（1)来定义可在当前编码单元中确定的当前最小变换单元尺 寸"CurrMinTuSize" ：
[0374]CurrMinTuSize=max(MinTransformSize,RootTuSize/ (2'MaxTransformSizeIndex)) ··· (1)
[0375] 与可在当前编码单元中确定的当前最小变换单元尺寸"CurrMinTuSize"相 比，当TU尺寸标记为0的变换单元尺寸"RootTuSize"可指示可在系统中选择的最大 变换单元尺寸。在等式（1)中，"RootTuSize/(2~MaxTransformSizeIndex)" 指不当TU 尺寸标记为〇时，变换单元尺寸"RootTuSize"被划分了与最大TU尺寸标记相应的次 数时的变换单元尺寸，"MinTransformSize"指示最小变换尺寸。因此，"RootTuSize/ (2~MaxTransformSizeIndex) "和"MinTransformSize"中较小的值可以是可在当前编码单 元中确定的当前最小变换单元尺寸"CurrMinTuSize"。
[0376] 根据一个或更多个实施例，最大变换单元尺寸RootTuSize可根据预测模式的类 型而改变。
[0377] 例如，如果当前预测模式是帧间模式，则可通过使用以下的等式（2)来确定 "RootTuSize"。在等式（2)中，"MaxTransformSize"指不最大变换单元尺寸，"PUSize"指 示当前预测单元尺寸：
[0378]RootTuSize=min(MaxTransformSize,PUSize)......(2)
[0379] 也就是说，如果当前预测模式是帧间模式，则当TU尺寸标记为0时的变换单元尺 寸"RootTuSize"可以是最大变换单元尺寸和当前预测单元尺寸中较小的值。
[0380] 如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式（3)来确定 "RootTuSize"。在等式（3)中，"PartitionSize"指示当前分区单元的尺寸：
[0381]RootTuSize=min(MaxTransformSize,PartitionSize)......(3)
[0382] 也就是说，如果当前预测模式是帧内模式，则当TU尺寸标记为0时的变换单元尺 寸"RootTuSize"可以是最大变换单元尺寸和当前分区单元的尺寸之中较小的值。
[0383] 然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸 "RootTuSize"仅是示例，并且实施例不限于此。
[0384] 如上参照图13至图25描述的包括具有树结构的编码单元的IXU被称为诸如编码 块树、块树、根块树、编码树、编码路径或树干的各种名称中的任何一个。
[0385] 本发明可被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介 质是存储之后可由计算机系统读取的数据的任何类型的记录装置。计算机可读记录介质的 示例包括ROM、RAM、⑶-R0M、磁带、软盘和光学数据存储介质。计算机可读记录介质还可分 布在联网的计算机系统上，使得计算机可读代码以分布式方法被存储和运行。
[0386] 尽管已参照本发明的实施例具体示出并描述了本发明，但是将明白的是：在不脱 离权利要求的精神和范围的情况下可对本发明进行形式和细节上的各种改变。
【主权项】
1. 一种对多层视频进行解码的图像解码方法，所述图像解码方法包括： 从多层视频比特流获得至少一个解码目标层图像的层标识符； 从所述多层视频比特流获得指示可伸缩性信息是否已包括在层标识符中的标志； 当所述标志表示多条可伸缩性信息从层标识符被获得时，从层标识符获得多种不同类 型的可伸缩性信息之中的至少一种类型的可伸缩性信息； 通过使用可伸缩性信息对解码目标层图像进行解码来恢复图像。2. 如权利要求1所述的图像解码方法，其中， 解码目标层图像包括多条可伸缩性信息， 层标识符的表示包括维度标识符作为层标识符的表示的一部分，其中，所述维度标识 符表示针对多种可伸缩性类型的可伸缩性维度。3. 如权利要求1所述的图像解码方法，其中， 解码目标层图像包括多条可伸缩性信息， 该多条可伸缩性信息作为标识符部分以二进制形式延续，并包括在层标识符的二进制 表示中。4. 如权利要求1所述的图像解码方法，其中，获得可伸缩性信息的步骤包括： 从比特流获得指示包括在层标识符中的可伸缩性信息的类型的数量的语法； 通过使用指示类型的数量的语法，从层标识符获得解码目标层图像的可伸缩性信息。5. 如权利要求1所述的图像解码方法，其中，获得可伸缩性信息的步骤包括： 从比特流获得指示包括在层标识符中的可伸缩性信息占据层标识符的二进制表示的 位长的语法； 通过使用指示位长的语法，从层标识符获得解码目标层图像的可伸缩性信息。6. 如权利要求5所述的图像解码方法，其中，以最后次序包括在层标识符中的可伸缩 性信息的长度是通过使用层标识符的长度以及包括在层标识符中的多条可伸缩性信息之 中的除了以最后次序包括在层标识符中的可伸缩信息信息之外的多条可伸缩性信息的长 度确定的。7. 如权利要求1所述的图像解码方法，其中，获得可伸缩性信息的步骤包括： 根据表示可伸缩性信息集是否包括在比特流中的标志的值，获得可伸缩性信息集，其 中，可伸缩性信息集是根据所述至少一个解码目标层图像的可伸缩性信息以及所述至少一 个解码目标编码图像的层标识符的标识符部分产生的； 通过使用可伸缩性信息集来获得解码目标层图像的可伸缩性信息。8. -种对多层视频进行编码的图像编码方法，所述方法包括： 将图像数据编码为多层编码图像； 针对来自于多层编码图像的至少一个编码目标层图像，产生不同类型的可伸缩性信息 之中的至少一种类型的可伸缩性信息； 通过使用可伸缩性信息来产生编码目标层图像的层标识符； 从比特流获得指示可伸缩性信息是否已包括在层标识符中的标志； 产生包括层标识符和所述标志的比特流。9. 如权利要求8所述的图像编码方法，其中，通过使用可伸缩性信息产生编码目标层 图像的层标识符的步骤包括：以这样的方式产生层标识符：层标识符的值的表示包括可伸 缩性信息的值作为层标识符的值的表示的一部分。10. 如权利要求9所述的图像编码方法，其中，产生层标识符的步骤包括：产生指示包 括在层标识符中的可伸缩性信息占据层标识符的二进制表示的位长的语法。11. 如权利要求10所述的图像编码方法，其中， 多条可伸缩性信息被顺序地包括在层标识符中， 指示所述位长的指示符不指示以最后次序包括在层标识符中的可伸缩性信息的位长。12. 如权利要求8所述的图像编码方法，其中，所述比特流还包括所述至少一个编码 目标层图像的可伸缩性信息集，并且还包括指示可伸缩性信息集包括在所述比特流中的标 志，其中，可伸缩性信息集是根据包括在所述至少一个编码目标层图像中的可伸缩性信息 类型以及所述至少一个编码目标层图像的层标识符的标识符部分而产生的。13. -种用于对多层视频进行解码的图像解码设备，所述图像解码设备包括： 接收器，被配置为接收多层视频比特流； 解码器，被配置为当从所述比特流获得的指示可伸缩性信息是否已包括在至少一个编 码目标层图像的层标识符中的标志表示多条可伸缩性信息从层标识符被获得时，通过使用 从层标识符获得的多种不同类型的可伸缩性信息之中的至少一种类型的可伸缩性信息，对 解码目标层图像进行解码，从而恢复图像。14. 一种用于对多层视频进行编码的图像编码设备，所述图像编码设备包括： 编码器，被配置为针对来自于多层编码图像的至少一个编码目标层图像产生不同类型 的可伸缩性信息之中的至少一种类型的可伸缩性信息，通过使用可伸缩性信息产生编码目 标层图像的层标识符，产生指示可伸缩性信息是否已包括在层标识符中的标志，并将图像 数据编码为多层编码图像； 输出器，被配置为产生包括层标识符和所述标志的比特流。15. -种计算机可读记录介质，其中，所述计算机可读记录介质上记录有用于运行如权 利要求1所述的方法的程序。
【专利摘要】提供了一种多层视频编码方法和装置以及多层视频解码方法和装置。所述多层视频编码方法包括：通过根据数据单元划分多层视频来产生网络抽象层(NAL)单元；将可伸缩性信息添加到针对每个数据单元的多条传输单元数据之中的视频参数集(VPS)NAL单元。
【IPC分类】H04N19/30
【公开号】CN105308962
【申请号】CN201480032613
【发明人】崔秉斗, 朴慜祐, 魏浩千, 尹载元, 李振荣, 曹容振
【申请人】三星电子株式会社
【公开日】2016年2月3日
【申请日】2014年4月7日
【公告号】EP2983364A1, US20160134879, WO2014163463A1