用于对图像进行编码和解码的方法和设备与流程

本发明涉及对图像进行编码和解码，更具体地讲，涉及一种用于经由可改进图像压缩效率的帧内预测，通过使用像素值的分布被改变的邻近参考像素执行帧内预测来对图像进行编码和解码的方法和设备。

背景技术：

根据图像压缩方法(诸如运动图像专家组(mpeg)-1、mpeg-2、mpeg-4或h.264/mpeg-4先进视频编码(avc))，画面被划分为多个宏块以对图像进行编码。在所述多个宏块中的每个宏块按照帧间预测和帧内预测编码模式中的任意模式被编码之后，根据用于对每个宏块进行编码所需的比特率以及原始宏块和解码的宏块之间的可允许失真来选择合适的编码方法，随后每个宏块按照选择的编码模式被编码。

随着用于再现和存储高分辨率或高质量视频内容的硬件正被开发和提供，对于用于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。根据传统的视频编解码器，基于具有预定尺寸的宏块，按照受限的预测模式来对视频进行编码。

在帧内预测模式中，可通过参考比将被预测的当前块更早重建的邻近参考像素来预测当前块。由于当前块和通过使用帧内预测而被预测出的预测块的像素值之间的差被表示为残差数据，因此编码效率和解码效率可被提高。

技术实现要素：

技术问题

可提供一种用于通过使用像素值的分布被改变的邻近参考像素通过帧内预测对视频进行编码和解码的方法和设备。

还可提供一种其上实施有用于在计算机中执行对视频进行编码和解码的方法的程序的计算机可读记录介质。本实施例将要解决的技术问题不限于上述技术问题，并且本领域普通技术人员将从以下实施例获知其它技术问题。

技术方案

根据实施例的一种视频解码设备可包括：接收器，被配置为接收编码的视频的比特流；预测器，被配置为改变先前解码的邻近参考像素的像素值的分布，并通过使用像素值的分布被改变的邻近参考像素对当前块执行帧内预测来产生预测块；解码器，被配置为基于从比特流获得的残差数据以及所述预测块来重建当前块。

预测器还可被配置为通过以下操作改变所述分布：基于邻近参考像素的像素值将邻近参考像素划分为多个集合，并通过使用针对每个集合的预定偏移值来改变所述多个集合中的每个集合中所包括的像素的像素值。

预测器还可被配置为通过以下操作来改变所述分布：将邻近参考像素划分为第一集合和第二集合，其中，具有比邻近参考像素的像素值的平均值更小的像素值的像素被包括在第一集合中，具有比邻近参考像素的像素值的平均值更大的像素值的像素被包括在第二集合中；将第一偏移值与第一集合中所包括的像素的像素值相加，并将第二偏移值与第二集合中包括的像素的像素值相加，其中，第一偏移值和第二偏移值中的每个偏移值是正数或负数。

接收器还可被配置为从比特流获得包括关于邻近参考像素的像素值的分布是否将被改变的信息的第一标记，预测器还可被配置为：当第一标记指示所述分布将被改变时，改变邻近参考像素的像素值的分布，并且当第一标记未指示所述分布将被改变时，不改变邻近参考像素的像素值的分布。

接收器还可被配置为：当第一标记指示所述分布将被改变时，从比特流获得指示多个模式之中的任意模式的第二标记，其中，所述多个模式指示改变像素值的分布的方法，预测器还可被配置为根据由第二标记指示的模式来改变所述分布。

在当前块是宽度和高度为n(其中，n是正数)的n×n的块时，邻近参考像素可包括n×4+1个邻近像素，其中，所述n×4+1个邻近像素包括与当前块邻近的位于上侧的n+1个邻近像素、与当前块邻近的位于右上侧的n个邻近像素、与当前块邻近的位于左侧的n个邻近像素、以及与当前块邻近的位于左下侧的n个邻近像素。

根据实施例的一种视频编码设备可包括：预测器，被配置为改变先前编码的多个邻近参考像素的像素值的分布，并通过使用像素值的分布被改变的多个邻近参考像素对当前块执行帧内预测来产生预测块；编码器，被配置为通过对所述预测块与当前块之间的残差数据进行编码来产生比特流。

根据实施例的一种视频解码方法可包括：接收编码的视频的比特流；改变先前解码的邻近参考像素的像素值的分布；通过使用像素值的分布被改变的邻近参考像素对当前块执行帧内预测来产生预测块；基于从比特流获得的残差数据以及所述预测块来重建当前块。

根据实施例的一种视频编码方法可包括：改变先前编码的多个邻近参考像素的像素值的分布；通过使用像素值的分布被改变的多个邻近参考像素对当前块执行帧内预测来产生预测块；通过对所述预测块与当前块之间的残差数据进行编码来产生比特流。

可提供一种其上实施有用于在计算机中执行视频解码方法或视频编码方法的程序的计算机可读记录介质。

附图说明

图1a是根据实施例的视频编码设备的框图。

图1b是根据实施例的视频编码方法的流程图。

图2a是根据实施例的视频解码设备的框图。

图2b是根据实施例的视频解码方法的流程图。

图3示出将对其执行帧内预测的当前块的像素以及可在帧内预测中使用的邻近参考像素。

图4示出根据实施例的改变可在帧内预测中使用的邻近参考像素和当前块的像素的像素值的分布的方法。

图5示出根据实施例的改变可在帧内预测中使用的邻近参考像素和当前块的像素的像素值的分布的方法。

图6a示出根据实施例的改变可在帧内预测中使用的邻近参考像素和当前块的像素的像素值的分布的方法。

图6b示出根据实施例的改变可在帧内预测中使用的邻近参考像素和当前块的像素的像素值的分布的方法。

图7a示出根据实施例的指示改变邻近参考像素的分布所需的信息的标记。

图7b是根据实施例的视频解码设备根据第一标记和第二标记不同地确定执行帧内预测的方法的方法的流程图。

图8是根据本发明的实施例的基于具有树结构的编码单元的视频编码设备800的框图。

图9是根据实施例的基于具有树结构的编码单元的视频解码设备900的框图。

图10示出根据实施例的编码单元的概念。

图11是根据实施例的基于编码单元的视频编码器1100的框图。

图12是根据实施例的基于编码单元的图像解码器1200的框图。

图13示出根据实施例的根据深度的较深层编码单元以及分区。

图14示出根据实施例的编码单元与变换单元之间的关系。

图15示出根据实施例的多条编码信息。

图16示出根据实施例的根据深度的较深层编码单元。

图17、图18和图19示出根据实施例的编码单元、预测单元和变换单元之间的关系。

图20示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系。

具体实施方式

现在将参照附图更充分地描述本发明的优选实施例。通过参考优选实施例的以下详细描述和附图，多种优点和特征及实现所述优点和特征的方法可被更容易地理解。然而，本发明可以以不同的形式被实现，并且不应被解释为限于在此阐述的实施例。而是，提供这些实施例使得本公开将是彻底和完整的并将本发明的范围充分传达给本领域普通技术人员，并且本发明的范围由所附权利要求限定。在此使用的包括描述性术语或技术术语的全部术语应被解释为具有对于本领域普通技术人员显而易见的含义。然而，所述术语可根据本领域普通技术人员的意图、前例或新技术的出现而具有不同的含义。此外，一些术语可由申请人任意选择，并且在这种情况下，所选术语的含义将在本发明的详细描述中被详细描述。因此，在此使用的术语必须基于所述术语的含义以及贯穿说明书的描述一起来定义。现在将参照附图更充分地描述实施例。因此，在说明书中描述的实施例以及在附图中示出的配置仅是本发明的示例，并且不表示本发明的所有技术构思，本发明可包括实施例在提交时的所有修改形式、等同形式或替换形式。

如在此使用的术语“单元”或“模块”是指(但不限于)硬件组件或电路(诸如现场可编程门阵列(fpga)或专用集成电路(asic))。

现在将参照图1a至图7b解释视频编码设备和方法以及视频解码设备和方法。

此外，将参照图8至图20解释可被应用于视频编码方法和视频解码方法的根据实施例的基于具有树结构的编码单元的视频编码技术和视频解码技术。

此外，参照图21至图27，将描述视频编码方法和视频解码方法适用的各种实施例。

在下文中，“图像”可表示视频的静止图像或运动画面，即，视频本身。

在下文中，“样点”指分配给图像的采样位置并且将被处理的数据。例如，空间域的图像中的像素可以是样点。

在下文中，“当前块”可指将被编码或解码的当前图像的编码单元或预测块。

首先，现在将参照图1a至图7b解释根据实施例的通过执行帧内预测来对视频进行编码的设备和方法以及通过执行帧内预测来对视频进行解码的设备和方法。

图1a是根据实施例的视频编码设备10的框图。

帧内预测是指使用当前块和与当前块空间邻近的其他区域之间的相似性的预测方法。在帧内预测中，可通过参照比当前块更早编码或解码的邻近参考像素来预测当前块。当前块和通过使用帧内预测而被预测出的预测块的像素值之间的差可被表示为残差数据。因此，由于通过对当前块的帧内预测而输出关于帧内预测模式和残差数据的信息，而不是直接输出当前块的图像信息，因此编码/解码效率可被提高。

视频编码设备10可包括预测器12和编码器14。

预测器12可通过使用将被编码的当前块的邻近参考像素执行帧内预测来产生针对当前块的预测块。在帧内预测中使用的邻近参考像素是位于与当前块邻近的并被预先编码的像素。

预测器12可改变多个邻近参考像素的像素值的分布。根据实施例的术语“像素值”可指像素的亮度值。例如，当图像的颜色空间是ycbcr(其中，y是亮度分量，cb和cr分别是蓝色差色度分量和红色差色度分量)时，像素值可指y分量的值。当颜色空间是rgb(其中，r是红色，g是绿色并且b是蓝色)时，像素值可指通过将r分量、g分量和b分量之和除以3而获得的值。根据实施例，当像素值是8比特的值时，像素值可被表示为范围从0到255的灰度值。此外，当具有各种像素值的像素被分布在邻近参考像素中时，邻近参考像素的像素值的分布可指邻近参考像素的像素值由水平轴表示并且与每个像素值对应的像素的数量由垂直轴表示的直方图。

预测器12可通过使用分布被改变的邻近参考像素根据预定帧内预测模式对当前块执行帧内预测来产生预测块。帧内预测模式的示例可包括dc模式、平面模式和角度模式。

dc模式是一种利用使用当前块的邻近参考像素的平均值来填充预测块的预测样点的方法的帧内预测模式。

此外，平面模式是一种根据针对预测样点predsample[x],[y]的等式1而计算出的帧内预测模式(其中，x和y中的每一个的范围从0到ntbs-1)。

predsamples[x][y]＝((ntbs-1-x)*p[-1][y]+(x+1)*p[ntbs][-1]+(ntbs-1-y)*p[x][-1]+(y+1)*p[-1][ntbs]+ntbs)>>(log2(ntbs)+1)…(1)

在等式1中，ntbs表示预测块的水平长度或垂直长度。

此外，角度模式是一种屏幕内的多个预测模式之中的考虑根据预测角度的方向从邻近参考像素来确定当前像素的预测值的帧内预测模式。

在帧内预测中使用的邻近参考像素可包括与当前块邻近的位于上侧、右上侧、左侧和左下侧的像素之中的至少一个。在当前块是宽度和高度为n(n是正数)的n×n的块时，预测器12可将包括下述像素的邻近参考像素确定为在帧内预测中使用的邻近参考像素：与当前块邻近的位于上侧的n+1个像素、与当前块邻近的位于右上侧的n个像素、与当前块邻近的位于左侧的n个像素以及与当前块邻近的位于左下侧的n个像素。也就是说，预测器12可通过使用与当前块邻近的位于上侧、右上侧、左侧和左下侧的n×4+1个邻近参考像素来执行帧内预测，并可产生当前块的预测块。

参照图3，在当前块具有8×8的尺寸时，预测器12可通过使用上侧像素32、右上像素33、左侧像素34和左下像素35来执行帧内预测。以下将参照图3详细描述邻近参考像素。

返回参照图1a，根据实施例的预测器12可改变邻近参考像素的像素值的分布。根据实施例的预测器12可基于邻近参考像素的像素值，通过将邻近参考像素划分为多个集合并将预定偏移值与每个集合中所包括的像素的像素值相加来改变邻近参考像素的像素值的总体分布。所述预定偏移值可以是正数或负数。当所述预定偏移值是正数时，每个像素的像素值可增加(也就是说，像素可更亮)，当所述预定偏移值是负数时，每个像素的像素值可降低(也就是说，像素可更暗)。

例如，预测器12可确定分布将被改变的邻近参考像素的平均像素值，并可将邻近参考像素划分为两个集合。所述两个集合可包括第一集合和第二集合，其中，具有比所述平均像素值更低的像素值的像素被包括在第一集合中，具有比所述平均像素值更高的像素值的像素被包括在第二集合中。根据实施例的预测器12可通过将“α”与第一集合中所包括的像素的像素值相加并将“β”与第二集合中所包括的像素的像素值相加来改变所述分布。α和β可以是如上所述的正数或负数。

根据另一实施例的预测器12可在不改变邻近参考像素的像素值的分布的情况下执行帧内预测。也就是说，预测器12可通过直接使用邻近参考像素的像素值或者在通过仅使用滤波器来改变邻近参考像素之中的至少一个像素的像素值之后来执行帧内预测。当邻近参考像素的像素值的分布未被改变时，根据实施例的预测器12可使第一标记指示邻近参考像素的像素值的分布未被改变。

根据实施例的预测器12可产生指示关于邻近参考像素的像素值的分布是否被改变的信息的第一标记。当根据实施例的1比特数据的第一标记具有值1时，第一标记可指示邻近参考像素的像素值的分布被改变。当第一标记具有值0时，第一标记可指示邻近参考像素的像素值的分布未被改变。

根据实施例的预测器12可产生指示多个模式之中的任意模式的第二标记，其中，所述多个模式指示改变邻近参考像素的像素值的分布的方法。当根据实施例的预测器12产生指示邻近参考像素的像素值的分布被改变的第一标记时，预测器12可另外产生指示多种模式之中的任意模式的第二标记，其中，所述多个模式指示改变邻近参考像素的像素值的分布的方法。根据实施例的第二标记可指示以下参照图4至图6b描述的改变所述分布的方法或者是任意其他方法。

编码器14可通过对当前块进行编码来产生比特流。根据实施例的编码器14可通过对指示帧内预测模式的信息以及指示当前块和预测块之间的残差数据的信息进行编码以产生比特流。此外，当预测器12产生指示关于邻近参考像素的像素值的分布是否被改变的信息的第一标记以及指示改变邻近参考像素的像素值的分布的多个模式之中的任意模式的第二标记时，编码器14可通过对第一标记和第二标记进行编码来产生比特流。编码的比特流可被发送到将在下面解释的视频解码设备20。

图1b是根据实施例的视频编码方法的流程图。

在操作11，视频编码设备10可改变先前解码并且是帧内预测所需的邻近参考像素的像素值的分布。在帧内预测中使用的邻近参考像素可包括与当前块邻近的位于上侧、右上侧、左侧和左下侧的像素中的至少一个。在当前块是宽度和高度为n(n是正数)的n×n的块时，邻近参考像素可包括：与当前块邻近的位于上侧的n+1个像素、与当前块邻近的位于右上侧的n个像素、与当前块邻近的位于左侧的n个像素以及与当前块邻近的位于左下侧的n个像素。

在操作11，根据实施例的视频编码设备10可通过将邻近参考像素划分为多个集合并将预定偏移值与每个集合中所包括的像素的像素值相加来改变邻近参考像素的像素值的分布。所述预定偏移值可以是正数或负数。当所述预定偏移值是正数时，每个像素的像素值可增加(也就是说，像素可更亮)，当所述预定偏移值是负数时，每个像素的像素值可降低(也就是说，像素可更暗)。例如，根据实施例的视频编码设备10可确定分布将被改变的邻近参考像素的平均像素值，并可将邻近参考像素划分为两个集合。所述两个集合可包括第一集合和第二集合，其中，具有比所述平均像素值更低的像素值的像素被包括在第一集合中，具有比所述平均像素值更高的像素值的像素被包括在第二集合中。视频编码设备10可通过将“α”与第一集合中所包括的像素的像素值相加并将“β”与第二集合中所包括的像素的像素值相加来改变所述分布。

在操作11，根据实施例的视频编码设备10可产生指示关于邻近参考像素的像素值的分布是否被改变的信息的第一标记。当根据实施例的1比特数据的第一标记具有值1时，第一标记可指示邻近参考像素的像素值的分布被改变。当第一标记具有值0时，第一标记可指示邻近参考像素的像素值的分布未被改变。根据实施例的视频编码设备10可产生指示多个模式之中的任意模式的第二标记，其中，所述多个模式指示改变邻近参考像素的像素值的分布的方法。当根据实施例的视频编码设备10产生指示邻近参考像素的像素值的分布被改变的第一标记时，视频编码设备10可另外产生指示多个模式之中的任意模式的第二标记，其中，所述多个模式指示改变邻近参考像素的像素值的分布的方法。根据实施例的第二标记可指示以下参照图4至图6b描述的改变所述分布的方法或者是任意其他方法。

在操作13，视频编码设备10可通过使用邻近参考像素来对当前块执行帧内预测。由于与通过使用像素值分布未被改变的邻近参考像素而产生的预测块相比，通过使用像素值分布被改变的邻近参考像素而产生的预测块与当前块具有更高相似度，因此编码/解码效率可提高。视频编码设备10可通过确定帧内预测模式并且确定当前块中的像素的预测值来产生预测块。

在操作15，视频编码设备10可产生编码的视频的比特流。根据实施例的视频编码设备10可通过对指示帧内预测模式的信息以及指示当前块和预测块之间的残差数据的信息进行编码以产生比特流。此外，当在操作11指示邻近参考像素的像素值的分布是否被改变的第一标记以及指明指示改变邻近参考像素的像素值的分布的方法的多个模式之中的任意模式的第二标记被产生时，视频编码设备10可通过对第一标记和第二标记进行编码来产生比特流。

图2a是根据实施例的视频解码设备20的框图。

视频解码设备20可包括接收器22、预测器24以及解码器26。

接收器22可接收编码的视频的比特流。根据实施例的接收器22可从比特流接收用于对当前块进行解码的帧内预测模式信息。

根据实施例的接收器22可从比特流接收指示关于邻近参考像素的像素值的分布是否被改变的信息的第一标记。此外，根据实施例的接收器22可接收指示多个模式之中的任意模式的第二标记，其中，所述多个模式指示改变邻近参考像素的像素值的分布的方法。根据实施例的接收器22可仅在第一标记指示邻近参考像素的像素值的分布被改变时另外接收第二标记。当根据实施例的1比特数据的第一标记具有值1时，第一标记可指示邻近参考像素的像素值的分布被改变。当第一标记具有值0时，第一标记可指示邻近参考像素的像素值的分布未被改变。根据实施例的第二标记可指示以下参照图4至图6b描述的改变所述分布的方法或者是任意其他方法。

预测器24可改变先前解码的邻近参考像素的像素值的分布，并可通过使用分布被改变的邻近参考像素来执行帧内预测。

在帧内预测中使用的邻近参考像素可包括与当前块邻近的位于上侧、右上侧、左侧和左下侧的像素之中的至少一个。在当前块是宽度和高度为n(n是正数)的n×n的块时，预测器24可将包括下述像素的邻近参考像素确定为在帧内预测中使用的邻近参考像素：与当前块邻近的位于上侧的n+1个像素、与当前块邻近的位于右上侧的n个像素、与当前块邻近的位于左侧的n个像素以及与当前块邻近的位于左下侧的n个像素。也就是说，预测器24可通过使用与当前块邻近的位于上侧、右上侧、左侧和左下侧的n×4+1个邻近参考像素来执行帧内预测，并可产生当前块的预测块。

根据实施例的预测器24可基于邻近参考像素的像素值，通过将邻近参考像素划分为多个集合并将预定偏移值与每个集合中所包括的像素的像素值相加来改变邻近参考像素的像素值的总体分布。所述预定偏移值可以是正数或负数。当所述预定偏移值是正数时，每个像素的像素值可增加(也就是说，像素可更亮)，当所述预定偏移值是负数时，每个像素的像素值可降低(也就是说，像素可更暗)。

例如，预测器24可确定分布将被改变的邻近参考像素的平均像素值，并可将邻近参考像素划分为两个集合。所述两个集合可包括第一集合和第二集合，其中，具有比所述平均像素值更低的像素值的像素被包括在第一集合中，具有比所述平均像素值更高的像素值的像素被包括在第二集合中。根据实施例的预测器24可通过将“α”与第一集合中所包括的像素的像素值相加并将“β”与第二集合中所包括的像素的像素值相加来改变所述分布。α和β可以是如上所述的正数或负数。根据实施例的预测器24可根据接收到的第二标记不同地确定改变所述分布的方法。

根据实施例的预测器24可基于邻近参考像素，通过根据接收到的帧内预测模式确定当前块中的像素的预测值来产生预测块。

根据另一实施例的预测器24可基于分布未被改变的邻近参考像素来执行帧内预测。也就是说，基于接收器22接收到的第一标记，当第一标记指示邻近参考像素的像素值的分布未被改变时，预测器24可通过直接使用邻近参考像素的像素值或者在通过仅使用滤波器来改变邻近参考像素之中的至少一个像素的像素值之后来执行帧内预测。

解码器26可通过使用接收到的残差数据和产生的预测块来重建当前块。

图2b是根据实施例的视频解码方法的流程图。

在操作21，视频解码设备20可接收编码的视频的比特流。接收到的比特流可包括关于当前块的帧内预测模式的信息以及残差数据信息。根据实施例的视频解码设备20可从比特流获得指示关于邻近参考像素的像素值的分布是否被改变的信息的第一标记。此外，根据实施例的视频解码设备20可获得指示改变邻近参考像素的像素值的分布的多个模式之中的任意模式的第二标记。根据实施例的视频解码设备20可仅在第一标记指示邻近参考像素的像素值的分布被改变时另外接收第二标记。

在操作23，视频解码设备20可改变当前块的邻近参考像素的像素值的分布。在帧内预测中使用的邻近参考像素可包括与当前块邻近的位于上侧、右上侧、左侧和左下侧的像素之中的至少一个。在当前块是宽度和高度为n(n是正数)的n×n的块时，在帧内预测中视频解码设备20可使用包括下述像素的邻近参考像素：与当前块邻近的位于上侧的n+1个像素、与当前块邻近的位于右上侧的n个像素、与当前块邻近的位于左侧的n个像素以及与当前块邻近的位于左下侧的n个像素。也就是说，视频解码设备20可通过使用与当前块邻近的位于上侧、右上侧、左侧和左下侧的n×4+1个邻近参考像素来执行帧内预测，并可产生当前块的预测块。

在操作23，视频解码设备20可基于在操作21获得的第二标记来确定关于改变邻近参考像素的像素值的分布的模式的模式信息，并可根据所述模式信息来改变邻近参考像素的像素值的分布。例如，根据实施例的视频解码设备20可基于邻近参考像素的像素值，通过将邻近参考像素划分为多个集合并将预定偏移值与每个集合中所包括的像素的像素值相加来改变邻近参考像素的像素值的总体分布。所述预定偏移值可以是正数或负数。当所述预定偏移值是正数时，每个像素的像素值可增加(也就是说，像素可更亮)，当所述预定偏移值是负数时，每个像素的像素值可降低(也就是说，像素可更暗)。例如，视频解码设备20可确定分布将被改变的邻近参考像素的平均像素值，并可将邻近参考像素划分为两个集合。所述两个集合可包括第一集合和第二集合，其中，具有比所述平均像素值更低的像素值的像素被包括在第一集合中，具有比所述平均像素值更高的像素值的像素被包括在第二集合中。根据实施例的视频解码设备20可通过将“α”与第一集合中所包括的像素的像素值相加并将“β”与第二集合中所包括的像素的像素值相加来改变所述分布。α和β可以是如上所述的正数或负数。

在操作25，视频解码设备20可通过使用在操作23分布被改变的邻近参考像素来对当前块执行帧内预测。根据实施例的视频解码设备20可通过使用邻近参考像素，通过根据在操作21获得的帧内预测模式确定当前块中的像素的预测值来产生预测块。

在操作27，视频解码设备20可重建当前块。根据实施例的视频解码设备20可通过使用在操作21接收到的残差数据信息以及在操作25产生的预测块来重建当前块。

图3示出根据实施例的可在帧内预测中使用的邻近参考像素。

视频编码设备10和视频解码设备20可使用邻近参考像素，以执行帧内预测。

在将被执行帧内预测的当前块31具有8×8的尺寸时，在帧内预测中使用的当前块31的邻近参考像素可包括9个上侧邻近参考像素32、8个右上邻近参考像素33、8个左侧邻近参考像素34以及8个左下邻近参考像素35。也就是说，视频解码设备20可通过使用33个邻近参考像素(包括9个上侧邻近参考像素32、8个右上邻近参考像素33、8个左侧邻近参考像素34以及8个左下邻近参考像素35)来执行帧内预测。尽管为了便于解释视频解码设备20仅将上侧邻近参考像素32、右上邻近参考像素33、左侧邻近参考像素34以及左下邻近参考像素35用作用于对当前块31执行帧内预测的像素，但实施例不限于此，视频解码设备20可在帧内预测中使用除了上侧邻近参考像素32、右上邻近参考像素33、左侧邻近参考像素34以及左下邻近参考像素35以外的像素。

视频解码设备20可改变如上所述的邻近参考像素32、33、34和35的像素值的分布。例如，视频解码设备20可基于像素值将按照一维(1d)阵列存储的所述33个邻近参考像素划分为多个集合，并可通过调整每个集合中所包括的像素的像素值来改变所述分布。

根据实施例的视频解码设备20可改变邻近参考像素32、33、34和35之中的仅一些像素的像素值的分布。例如，视频解码设备20可改变仅17个像素(包括所述9个上侧邻近参考像素32以及所述8个左侧邻近参考像素34)的像素值的分布。

现在将参照图4至图6b解释视频编码设备10和视频解码设备20改变可在帧内预测中使用的邻近参考像素的像素值的分布的方法。

图4示出根据实施例的改变可在帧内预测中使用的邻近参考像素的像素值的分布的方法。

根据实施例的视频解码设备20可将当前块410的邻近参考像素420和430存储在1d阵列contextorg[x+y+1]440中。

作为分布被改变之前的初始邻近参考像素的像素值的分布的原始分布450是存储在1d阵列contextorg[x+y+1]440中的像素的像素值由水平轴表示并且像素的数量由垂直轴表示的直方图。例如，存储在1d阵列contextorg[x+y+1]440中的像素的像素值的原始分布450可以是存在两个高斯分布452和454的混合高斯分布。高斯分布452可包括像素值低于参考值451的像素，高斯分布454可包括像素值大于参考值451的像素。

根据实施例的视频解码设备20可在不改变高斯分布454的情况下将预定偏移值与包括在高斯分布452中的所有像素的像素值相加。在这种情况下，高斯分布452被向右移位从而成为高斯分布462，并且所述原始分布450变为改变后的分布460。例如，作为均值为m并且方差为σ²的分布g(m,σ²)的高斯分布452可被改变偏移值α以成为作为分布g(m-α,σ2)的高斯分布462(α是正实数)。

根据实施例的视频解码设备20可在不改变高斯分布454的情况下将负偏移值与包括在高斯分布452中的所有像素的像素值相加。在这种情况下，高斯分布452被向左移位从而成为高斯分布472，并且所述原始分布450变为改变后的分布470。例如，作为均值为m并且方差为σ²的分布g(m,σ²)的高斯分布452可被改变偏移值β以成为作为分布g(m-β,σ2)的高斯分布462(β是负实数)。

尽管在图4中没有示出，但根据实施例的视频解码设备20还可通过将预定偏移值与包括在高斯分布454而不是高斯分布452中的所有像素的像素值相加来使高斯分布454向左或向右移位。

尽管为了便于解释而假设邻近参考像素的原始分布450是两个高斯分布的混合，但邻近参考像素可具有任意各种其他分布，并且邻近参考像素的分布可通过使用任意方法，通过将邻近参考像素划分为多个集合来改变。

图5示出根据实施例的改变可在帧内预测中使用的邻近参考像素以及当前块的像素的像素值的分布的方法。

分布505是示出对当前块执行帧内预测所需的邻近参考像素的像素值的直方图。

根据实施例的视频解码设备20可确定分布将被改变的邻近参考像素的像素值的平均值515。视频解码设备20可将邻近参考像素划分为第一集合510和第二集合520，其中，具有比所述平均值515小的像素值的像素被包括在第一集合510中，具有比所述平均值515大的像素值的像素被包括在第二集合520中。

根据实施例的视频解码设备20可通过将包括在第一集合510中的像素的像素值减少3并将包括在第二集合520中的像素的像素值增加4来改变分布505。改变后的分布535可包括分布被改变的第一集合530和分布被改变的第二集合540。

例如，当第一集合510是均值为m1且方差为σ1²的高斯分布g1(m1,σ1²)并且第二集合520是均值m2为且方差为σ2²的高斯分布g2(m2,σ2²)时，分布被改变的第一集合530可变为高斯分布g1(m1+3,σ1²)，分布被改变的第二集合540可变为高斯分布g2(m2-4,σ2²)。

图6a示出根据实施例的改变可在帧内预测中使用的邻近参考像素的像素值的分布的方法。

分布610是示出邻近参考像素的像素值的直方图，其中，29个邻近参考像素的像素值由水平轴表示，针对每个像素值的像素的数量由垂直轴表示。

根据实施例的视频解码设备20可将最小亮度值615和最大亮度值645之间的间隔等分为n(n是整数)个子间隔，并可将每个子间隔中所包括的像素分组为一个集合。

根据实施例的视频解码设备20可通过将相同的偏移值与每个集合相加来改变分布610。例如，视频解码设备20可通过将α与第一集合620中所包括的像素的像素值相加，将β与第二集合630中所包括的像素的像素值相加，并将γ与第三集合640中所包括的像素的像素值相加来改变分布。α、β和γ可以是正数或负数。

图6b示出根据实施例的改变可在帧内预测中使用的邻近参考像素的像素值的分布的方法。

分布650是示出邻近参考像素的像素值的直方图，其中，30个邻近参考像素的像素值由水平轴表示，针对每个像素值的像素的数量由垂直轴表示。第一峰值665指示分布650中像素的数量最大(＝6)的像素值，第二峰值675指示第一峰值665之后的像素的数量第二大(＝4)的像素值。

根据实施例的视频解码设备20可基于第一峰值665和第二峰值675之间的中间值680将邻近参考像素划分为多个集合。例如，视频解码设备20可将邻近参考像素划分为第一集合660和第二集合670，其中，具有小于所述中间值680的像素值的像素被包括在第一集合660中，具有大于所述中间值680的像素值的像素被包括在第二集合670中。视频解码设备20可通过将α与第一集合660中所包括的像素的像素值相加，并将β与第二集合670中所包括的像素的像素值相加来改变分布650。

图7a示出根据实施例的指示改变邻近参考像素的分布所需的信息的标记。

根据实施例的视频编码设备10可产生如上所述的指示邻近参考像素的像素值的分布是否被改变的第一标记73以及指明指示改变邻近参考像素的像素值的分布的方法的多个模式之中的任意模式的第二标记75。根据实施例的第一标记73可以是1比特数据，第二标记75可以是n比特数据。

视频编码设备10可根据每个编码单元或预测单元71产生第一标记73。

根据实施例的视频编码设备10可根据每个编码单元产生第一标记73。在这种情况下，邻近参考像素的像素值的分布可针对一个编码单元中存在的所有预测单元被改变，并且用于当前编码单元的第一标记73可指示邻近参考像素的像素值的分布被改变。当根据实施例的视频解码设备20根据每个编码单元获得第一标记73并且针对当前编码单元的第一标记73指示邻近参考像素的像素值的分布被改变时，可通过针对当前编码单元中存在的所有预测单元改变邻近参考像素的像素值的分布来执行帧内预测。

根据实施例的视频编码设备10可根据每个预测单元产生第一标记73。在这种情况下，邻近参考像素的像素值的分布可针对当前预测单元被改变，并且用于当前预测单元的第一标记73可指示邻近参考像素的像素值的分布被改变。当根据实施例的视频解码设备20根据每个预测单元获得第一标记73并且针对当前预测单元的第一标记73指示邻近参考像素的像素值的分布被改变时，可通过针对当前预测单元改变邻近参考像素的像素值的分布来执行帧内预测。

第二标记75可指明改变像素的像素值的分布的方法。例如，第二标记75可指示参照图5描述的第一模式、参照图6a描述的第二模式以及参照图6b描述的第三模式之中的任意模式。当从比特流获得的第二标记75指示第一模式时，根据实施例的视频解码设备20可通过使用参照图5描述的方法改变邻近参考像素的分布，并可执行帧内预测。

根据实施例的视频编码设备10可根据每个变换单元产生第一标记73和第二标记75，并且视频解码设备20可根据每个变换单元获得第一标记73和第二标记75。

图7b是根据实施例的视频解码设备20根据第一标记和第二标记不同地确定执行帧内预测的方法的方法的流程图。

操作71、76和77分别与操作21、25和27相同，因此将不给出其解释。

在操作72，根据实施例的视频解码设备20可从编码的比特流获得指示邻近参考像素的像素值的分布是否被改变的第一标记。

在操作73，根据实施例的视频解码设备20可基于第一标记确定邻近参考像素的像素值的分布是否被改变以对当前块执行帧内预测。例如，第一标记可以是具有值0或1的1比特标记。当第一标记具有值1时，所述方法进行到操作74，当第一标记具有值0时，所述方法进行到操作76。当第一标记具有值0时，根据实施例的视频解码设备20进行到操作76。在操作76，视频解码设备20可在不改变邻近参考像素的像素值的分布的情况下直接执行帧内预测，或者可通过对邻近参考像素仅应用滤波器改变像素值来执行帧内预测。

在操作74，根据实施例的视频解码设备20可获得指示多个模式之中的任意模式的第二标记，其中，所述多个模式指示改变邻近参考像素的像素值的分布的方法。例如，第二标记可以是指明将邻近参考像素划分为多个集合的方法的n比特的标记，并且包括关于用于改变像素值的偏移值的信息。

在操作75，根据实施例的视频解码设备20可根据第二标记改变邻近参考像素的像素值的分布。例如，视频解码设备20可基于邻近参考像素的平均亮度值将邻近参考像素划分为两个集合，并可通过将偏移值α和β分别与所述两个集合中所包括的像素的像素值相加来改变所述分布。

在操作76，根据实施例的视频解码设备20可通过参照邻近参考像素来执行帧内预测。根据实施例的视频解码设备20可通过使用邻近参考像素，通过使用从比特流获得的帧内预测模式来对当前块执行帧内预测，并可产生针对当前块的预测块。

在操作77，根据实施例的视频解码设备20可通过使用从比特流获得的残差数据以及在操作76产生的预测块来重建当前块。

尽管为了便于解释，在图3至图7b中通过省略视频解码设备20的操作仅视频编码设备10的操作被描述，或者通过省略视频编码设备10的操作仅视频解码设备20的操作被描述，但本领域普通技术人员将理解，视频编码设备10和视频解码设备20可分别执行与视频解码设备20和视频编码设备10相应的操作。

根据实施例的视频编码设备10和视频解码设备20可将图像划分为多个最大编码单元，并可针对每个最大编码单元，基于具有树结构的编码单元来执行编码/解码。例如，视频解码设备20可确定最大编码单元的尺寸，可将图像划分为多个最大编码单元，并可基于划分信息来确定当前块。此外，视频解码设备20可如上所述根据每个编码单元或预测单元接收指示邻近参考像素的像素值的分布是否被改变的第一标记以及指示改变邻近参考像素的像素值的分布的多个模式之中的任意模式的第二标记。

现在将参照图8至图20描述根据实施例的基于具有树结构的编码单元和变换单元的视频编码方法和设备以及视频解码方法和设备。

图8是根据本发明的实施例的基于根据树结构的编码单元的视频编码设备800的框图。

参照图1a至图7b描述的视频编码设备10的操作可由视频编码设备800执行。也就是说，视频编码设备800可通过基于树结构对图像进行分层划分来确定当前块，并可通过改变当前块的邻近参考像素的分布来执行帧内预测。

例如，视频编码设备10的预测器12的操作可由视频编码设备800的最大编码单元划分器810和编码单元确定器820来执行。此外，视频编码设备10的编码器14的操作可由视频编码设备800的输出单元830来执行。

根据实施例的涉及基于具有树结构的编码单元进行视频预测的视频编码设备800包括最大编码单元划分器810、编码单元确定器820和输出单元830。在下文中，为便于描述，涉及基于具有树结构的编码单元进行视频预测的视频编码设备800被称为“视频编码设备800”。

最大编码单元划分器110可基于图像的当前画面的最大编码单元(作为具有最大尺寸的编码单元)来对当前画面进行划分。如果当前画面大于最大编码单元，则可将当前画面的图像数据划分为至少一个最大编码单元。根据实施例的最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。

根据实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度可被定义为最高深度，最小编码单元的深度可被定义为最低深度。由于随着最大编码单元的深度加深，与每个深度对应的编码单元的尺寸减小，因此与更高深度对应的编码单元可包括多个与更低深度对应的编码单元。

如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根据实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的空间域的图像数据进行分层地分类。

可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制对最大编码单元的高度和宽度进行分层划分的次数。

编码单元确定器820对通过根据深度对最大编码单元的区域进行划分而获取的至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码的图像数据的深度。也就是说，编码单元确定器820通过根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定最终深度。确定的最终深度和根据最大编码单元的图像数据被输出到输出单元830。

基于与等于或低于最大深度的至少一个深度对应的较深层编码单元，对最大编码单元中的图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结果。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个最终深度。

随着编码单元根据深度而被分层地划分并且随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中编码单元与同一深度对应，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与同一深度对应的每个编码单元划分为更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，在一个最大编码单元中编码误差可根据区域而不同，因此在图像数据中最终深度可根据区域而不同。因此，可在一个最大编码单元中确定一个或更多个最终深度，并且可根据至少一个最终深度的编码单元来对最大编码单元的图像数据进行划分。

因此，根据实施例的编码单元确定器820可确定包括在当前最大编码单元中的具有树结构的编码单元。根据实施例的“具有树结构的编码单元”包括当前最大编码单元中所包括的所有较深层编码单元之中的与被确定为最终深度的深度对应的编码单元。可在最大编码单元的相同区域中根据深度来分层地确定最终深度的编码单元，并可在不同区域中独立地确定最终深度的编码单元。类似地，可与另一区域中的最终深度相独立地确定当前区域中的最终深度。

根据实施例的最大深度是与从最大编码单元到最小编码单元的划分次数有关的索引。根据实施例的第一最大深度可表示从最大编码单元到最小编码单元的总划分次数。根据实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度等级的总数。例如，当最大编码单元的深度是0时，对最大编码单元划分一次的编码单元的深度可被设置为1，对最大编码单元划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、1、2、3和4的深度等级，并因此第一最大深度可被设置为4，第二最大深度可被设置为5。

可根据最大编码单元执行预测编码和变换。还根据最大编码单元，基于根据等于或小于最大深度的深度的较深层编码单元来执行预测编码和变换。

由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量增加，因此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。在下文中为了便于描述，在至少一个最大编码单元中，将基于当前深度的编码单元来描述预测编码和变换。

根据实施例的视频编码设备800可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。

例如，视频编码设备800不仅可选择用于对图像数据进行编码的编码单元，还可选择不同于编码单元的数据单元，以便对编码单元中的图像数据执行预测编码。

根据实施例，为了在最大编码单元中执行预测编码，可基于与最终深度对应的编码单元(即，基于不再被划分到与更低深度对应的编码单元的编码单元)来执行预测编码。以下，不再被划分且成为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元获得的分区可包括预测单元和通过对预测单元的高度和宽度中的至少一个进行划分而获得的数据单元。分区是编码单元的预测单元被划分的数据单元，预测单元可以是与编码单元具有相同的尺寸的分区。

例如，当2n×2n(其中，n是正整数)的编码单元不再被划分，并且成为2n×2n的预测单元时，分区的尺寸可以是2n×2n、2n×n、n×2n或n×n。分区模式的示例可包括通过对预测单元的高度或宽度进行对称地划分而获得的对称分区，并可选择性地包括通过对预测单元的高度或宽度进行非对称地划分(诸如，1：n或n:1)而获得的分区、通过对预测单元进行几何地划分而获得的分区、以及具有任意形状的分区等。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2n×2n、2n×n、n×2n或n×n的分区执行帧内模式和帧间模式。另外，可仅对2n×2n的分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而可选择具有最小编码误差的预测模式。

根据实施例的视频编码设备800不仅可基于用于对图像数据进行编码的编码单元，还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的变换单元来执行变换。例如，变换单元可包括针对帧内模式的数据单元和针对帧间模式的变换单元。

根据实施例，以与根据树结构划分编码单元类似的方式，编码单元中的变换单元可被递归地划分为更小尺寸的区域。因此，可基于根据变换深度的具有树结构的变换单元，对编码单元中的残差数据进行划分。

根据实施例，还可在变换单元中设置变换深度，其中，变换深度表示对编码单元的高度和宽度进行划分以达到变换单元的划分次数。例如，在2n×2n的当前编码单元中，当变换单元的尺寸是2n×2n时，变换深度可以为0，当变换单元的尺寸是n×n时，变换深度可以为1，当变换单元的尺寸是n/2×n/2时，变换深度可以为2。也就是说，针对变换单元，可根据变换深度设置具有树结构的变换单元。

根据深度的划分信息不仅需要关于深度的信息，还需要与预测和变换相关的信息。因此，编码单元确定器820不仅确定具有最小编码误差的深度，还确定预测单元被划分为分区的分区模式、根据预测单元的预测模式和用于变换的变换单元的尺寸。

稍后将参照图9至图19详细描述根据实施例的最大编码单元中的根据树结构的编码单元和确定预测单元/分区以及变换单元的方法。

编码单元确定器820可通过使用基于拉格朗日乘数的率失真优化，测量根据深度的较深层编码单元的编码误差。

输出单元830在比特流中输出最大编码单元的图像数据和根据深度的划分信息，其中，所述最大编码单元的图像数据基于由编码单元确定器820确定的至少一个深度被编码。

编码图像数据可与通过对图像的残差数据进行编码而获得的结果对应。

根据深度的划分信息可包括深度信息、预测单元的分区模式信息、预测模式信息和变换单元的划分信息。

可通过使用根据深度的划分信息来定义最终深度信息，其中，根据深度的划分信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是深度，则通过使用当前深度的编码单元对当前编码单元进行编码，因此可将当前深度的划分信息定义为不将当前编码单元划分到更低深度。相反，如果当前编码单元的当前深度不是深度，则必须对更低深度的编码单元执行编码，并因此可将当前深度的划分信息定义为将当前编码单元划分到更低深度的编码单元。

如果当前深度不是深度，则对被划分到更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复执行编码，并且因此可对具有相同深度的编码单元递归地执行编码。

由于针对一个最大编码单元确定具有树结构的编码单元，并且必须针对具有深度的编码单元确定至少一个条划分信息，所以可针对一个最大编码单元确定至少一条划分信息。另外，由于根据深度对数据进行分层划分，因此最大编码单元的数据可根据位置而不同，因此可针对所述数据设置深度和划分信息。

因此，根据实施例的输出单元830可将关于对应深度的编码信息和编码模式分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。

根据实施例的最小单元是通过将构成最低深度的最小编码单元划分为4份而获得的正方形数据单元。可选择地，根据实施例的最小单元可以是可包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中的最大正方形数据单元。

例如，由输出单元830输出的编码信息可被分类为根据较深层编码单元的编码信息和根据预测单元的编码信息。根据较深层编码单元的编码信息可包括预测模式信息和分区尺寸信息。根据预测单元发送的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、关于帧内模式的插值方法的信息、关于帧内预测模式的信息以及关于改变帧内预测所需的参考像素的分布的信息。

根据画面、条带或gop定义的关于编码单元的最大尺寸的信息和关于最大深度的信息可被插入到比特流的头、序列参数集或画面参数集。

还可通过比特流的头、序列参数集或画面参数集输出关于针对当前视频允许的变换单元的最大尺寸的信息和关于变换单元的最小尺寸的信息。输出单元830可对与预测相关的参考信息、预测信息以及条带类型信息进行编码和输出。

根据针对视频编码设备800的最简单的实施例，较深层编码单元可以是通过将更高深度(更高一层)的编码单元的高度和宽度划分成两份而获得的编码单元。也就是说，在当前深度的编码单元的尺寸是2n×2n时，更低深度的编码单元的尺寸是n×n。另外，尺寸为2n×2n的当前编码单元可包括最多4个尺寸为n×n的更低深度的编码单元。

因此，视频编码设备800可基于考虑当前画面的特征而确定的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最优尺寸的编码单元来形成具有树结构的编码单元。另外，由于可通过使用各种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特征来确定最优编码模式。

因此，如果以传统宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩的信息，并且数据压缩效率降低。然而，通过使用根据实施例的视频编码设备，由于考虑图像的尺寸，在增加编码单元的最大尺寸的同时，考虑图像的特征来调整编码单元，因此图像压缩效率可增加。

图9是根据实施例的基于具有树结构的编码单元的视频解码设备900的框图。

参照图2a至图7b描述的视频解码设备20的操作可由视频解码设备900执行。也就是说，视频解码设备900可通过基于树结构对将被解码的图像进行分层划分来确定当前块，并可通过改变当前块的邻近参考像素的分布来执行帧内预测。

例如，视频解码设备900的接收器910以及图像数据和编码信息提取器920可执行视频解码设备20的接收器22的操作，并且视频解码设备900的的图像数据解码器930可执行视频解码设备20的解码器24的操作。

根据实施例的涉及基于具有树结构的编码单元的视频预测的视频解码设备900包括接收器910、图像数据和编码信息提取器920以及图像数据解码器930。在下文中，为便于解释，根据实施例的涉及基于具有树结构的编码单元的视频预测的视频解码设备900被称为“视频解码设备900”。

用于根据实施例的视频解码设备900的解码操作的各种术语(诸如编码单元、深度、预测单元、变换单元和各种类型的划分信息)的定义与参照图8和视频编码设备800描述的定义相同。

接收器910接收和解析编码的视频的比特流。图像数据和编码信息提取器920从解析的比特流针对每个编码单元提取编码的图像数据，并将提取的图像数据输出到图像数据解码器930，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器920可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。

另外，图像数据和编码信息提取器920从解析的比特流，根据每个最大编码单元，提取关于具有树结构的编码单元的划分信息和最终深度。提取的最终深度和提取的划分信息被输出到图像数据解码器930。也就是说，比特流中的图像数据被划分为最大编码单元，使得图像数据解码器930可针对每个最大编码单元对图像数据进行解码。

此外，图像数据和编码信息提取器920可从解析的比特流提取关于帧内预测模式的信息以及关于改变帧内预测所需的参考像素的分布的信息。

可针对一条或更多条深度信息设置根据每个最大编码单元的划分信息和深度，根据深度的划分信息可包括对应编码单元的分区模式信息、预测模式信息和变换单元的划分信息。另外，根据深度的划分信息可被提取为深度信息。

由图像数据和编码信息提取器920提取的根据每个最大编码单元的划分信息和深度是这样的划分信息和深度：该划分信息和深度被确定为在编码器(诸如，视频编码设备800)根据每个最大编码单元对根据深度的每个较深层编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备900可通过根据产生最小编码误差的编码方法对数据进行解码来重建图像。

由于关于深度和编码模式的编码信息可被分配给对应的编码单元、预测单元和最小单元之中的预定数据单元，因此图像数据和编码信息提取器920可根据预定数据单元，提取深度和划分信息。如果对应最大编码单元的深度和划分信息根据每个预定数据单元被记录，则可将具有相同的深度和划分信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。

图像数据解码器930基于根据每个最大编码单元的深度和划分信息，通过对每个最大编码单元中的图像数据进行解码来重建当前画面。也就是说，图像数据解码器930可基于读取的关于包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码单元的分区模式、预测模式和变换单元的信息，对编码的图像数据进行解码。解码处理可包括预测处理(包含帧内预测和运动补偿)和逆变换处理。

图像数据解码器930可基于关于根据深度的编码单元的预测单元的分区模式和预测模式的信息，根据每个编码单元的分区和预测模式，执行帧内预测或运动补偿。

另外，为了对每个最大编码单元进行逆变换，图像数据解码器930可读取每个编码单元的关于根据树结构的变换单元的信息，以便基于每个编码单元的变换单元执行逆变换。通过逆变换，可重建编码单元的空间域的像素值。

图像数据解码器930可通过使用根据深度的划分信息来确定当前最大编码单元的深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是深度。因此，图像数据解码器930可通过使用针对与当前深度对应的每个编码单元的关于预测单元的分区模式、预测模式和变换单元的尺寸的信息，对当前最大编码单元的编码数据进行解码。

也就是说，可通过观察分配给编码单元、预测单元和最小单元之中的预定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可被认为是将由图像数据解码器930以相同编码模式进行解码的一个数据单元。这样，可通过获得关于每个编码单元的编码模式的信息来对当前编码单元进行解码。

图10示出根据实施例的编码单元的概念。

可按照宽度×高度表示编码单元的尺寸，并且编码单元的尺寸可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。

在视频数据1010中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是2。在视频数据1020中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是3。在视频数据1030中，分辨率是352×288，编码单元的最大尺寸是16，最大深度是1。图10中示出的最大深度表示从最大编码单元到最小编码单元的划分总次数。

如果分辨率高或数据量大，则优选的是编码单元的最大尺寸大，从而不仅提高编码效率，而且准确地反映图像的特征。因此，比视频数据1030具有更高分辨率的视频数据1010和1020的编码单元的最大尺寸可被选择为64。

由于视频数据1010的最大深度是2，因此由于通过对最大编码单元划分两次，深度加深至两层，因此视频数据1010的编码单元1015可包括长轴尺寸为64的最大编码单元和长轴尺寸为32和16的编码单元。另一方面，由于视频数据1030的最大深度是1，因此由于通过对最大编码单元划分一次，深度加深至一层，因此视频数据1030的编码单元1035可包括长轴尺寸为16的最大编码单元和长轴尺寸为8的编码单元。

由于视频数据1020的最大深度是3，因此由于通过对最大编码单元划分三次，深度加深至3层，因此视频数据1020的编码单元1025可包括长轴尺寸为64的最大编码单元和长轴尺寸为32、16和8的编码单元。随着深度加深，详细信息可被精确地表示。

图11是根据实施例的基于编码单元的视频编码器1100的框图。

根据实施例的视频编码器1100执行视频编码设备800的画面编码器1520中对图像数据进行编码所需的操作。换句话说，帧内预测器1120根据预测单元对当前帧1105之中的帧内模式下的编码单元执行帧内预测，帧间预测器1115通过使用当前图像1105和从重建画面缓冲器1110获取的参考图像，根据预测单元对帧间模式下的编码单元执行帧间预测。当前图像1105可被划分为最大编码单元并且随后最大编码单元可被顺序编码。在这一点上，将被划分为具有树结构的编码单元的最大编码单元可被编码。

通过从关于当前图像1105的已编码的编码单元的数据去除从帧内预测器1120或帧间预测器1115输出的关于每个模式的编码单元的预测数据来产生残差数据，并且所述残差数据通过变换器1125和量化器1130根据变换单元被输出为量化的变换系数。量化的变换系数通过反量化器1145和逆变换器1150被重建为空间域中的残差数据。空间域中的重建的残差数据被添加到从帧内预测器1120或帧间预测器1115输出的针对每个模式的编码单元的预测数据，从而被重建为用于当前图像1105的编码单元的空间域中的数据。重建的空间域中的数据通过去块单元1155和sao执行器1160被产生为重建图像。重建图像被存储在重建画面缓冲器1110中。存储在重建画面缓冲器1110中的重建图像可被用作用于另一图像的帧间预测的参考图像。由变换器1125和量化器1130量化的变换系数可通过熵编码器1135被输出为比特流1140。

为了将图像编码器1100应用到视频编码设备800中，图像编码器1100的所有元件(即，帧间预测器1115、帧内预测器1120、变换器1125、量化器1130、熵编码器1135、反量化器1145、逆变换器1150、去块单元1155和sao执行器1160)根据每个最大编码单元，基于具有树结构的编码单元之中的每个编码单元执行操作。

具体地讲，帧内预测器1120和帧间预测器1115可考虑当前最大编码单元的最大尺寸和最大深度来确定具有树结构的编码单元之中的每个编码单元的分区模式和预测模式，变换器1125可确定是否对具有树结构的编码单元之中的每个编码单元中的具有四叉树结构的变换单元进行划分。

图12是根据实施例的基于编码单元的图像解码器1200的框图。

熵解码器1215从比特流1205解析作为解码目标的编码的图像数据和解码所需的编码信息。编码的图像数据是量化的变换系数，反量化器1220和逆变换器1225从该量化的变换系数重建残差数据。

帧内预测器1240根据每个预测单元对帧内模式下的编码单元执行帧内预测。帧间预测器1235通过使用从重建画面缓冲器1230获取的参考图像，针对每个预测单元对当前图像之中的帧间模式下的编码单元执行帧间预测。

对经过帧内预测器1240或帧间预测器1235的关于每个模式的编码单元的预测数据和残差数据求和，由此可重建关于当前图像1105的编码单元的空间域中的数据，并且重建的空间域中的数据可通过去块单元1245和sao执行器1250被输出为重建图像1260。存储在重建画面缓冲器1230中的重建图像可被输出为参考图像。

为了视频解码设备900的画面解码器930对图像数据进行解码，根据实施例的图像解码器1200的熵解码器1215之后的操作可被执行。

为了将图像解码器1200应用于根据实施例的视频解码设备900中，图像解码器1200的所有元件(即，熵解码器1215、反量化器1220、逆变换器1225、帧间预测器1235、去块单元1245和sao执行器1250)可针对每个最大编码单元，基于具有树结构的编码单元执行操作。

具体地，帧内预测器1240和帧间预测器1235可确定用于每个具有树结构的编码单元的分区模式和预测模式，并且逆变换器1225可确定是否针对每个编码单元划分根据四叉树结构的变换单元。

图13示出根据实施例的根据深度的较深层编码单元以及分区。

视频编码设备800和视频解码设备900使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可根据用户需求不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来确定根据深度的较深层编码单元的尺寸。

在根据实施例的编码单元的分层结构1300中，编码单元的最大高度和最大宽度均是64，最大深度是3。在这种情况下，最大深度表示编码单元从最大编码单元被划分到最小编码单元的总次数。由于深度沿着编码单元的分层结构1300的垂直轴加深，因此较深层编码单元的高度和宽度均被划分。另外，预测单元和分区沿着编码单元的分层结构1300的水平轴被示出，其中，所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。

也就是说，在编码单元的分层结构1300中，编码单元1310是最大编码单元，其中，深度为0，尺寸(即，高度乘宽度)为64×64。深度沿着垂直轴加深，存在尺寸为32×32且深度为1的编码单元1320、尺寸为16×16且深度为2的编码单元1330、尺寸为8×8且深度为3的编码单元1340。尺寸为8×8且深度为3的编码单元1340是最小编码单元。

编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换句话说，如果尺寸为64×64且深度为0的编码单元1310是预测单元，则可将预测单元划分成包括在尺寸为64×64的编码单元1310中的分区，即，尺寸为64×64的分区1310、尺寸为64×32的分区1312、尺寸为32×64的分区1314或尺寸为32×32的分区1316。

同样，可将尺寸为32×32且深度为1的编码单元1320的预测单元划分成包括在尺寸为32×32的编码单元1320中的分区，即，尺寸为32×32的分区1320、尺寸为32×16的分区1322、尺寸为16×32的分区1324和尺寸为16×16的分区1326。

同样，可将尺寸为16×16且深度为2的编码单元1330的预测单元划分成包括在尺寸为16×16的编码单元1330中的分区，即，包括在编码度单元1330中的尺寸为16×16的分区1330、尺寸为16×8的分区1332、尺寸为8×16的分区1334和尺寸为8×8的分区1336。

同样，可将尺寸为8×8且深度为3的编码单元1340的预测单元划分成包括在尺寸为8×8的编码单元1340中的分区，即，包括在编码单元1340中的尺寸为8×8的分区、尺寸为8×4的分区1342、尺寸为4×8的分区1344和尺寸为4×4的分区1346。

为了确定最大编码单元1310的深度，视频编码设备800的编码单元确定器820必须对包括在最大编码单元1310中的与多个深度分别对应的编码单元执行编码。

随着深度加深，包括相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2对应的编码单元来覆盖包括在与深度1对应的一个编码单元中的数据。因此，为了根据深度比较对相同数据进行编码的结果，必须通过使用与深度1对应的编码单元和四个与深度2对应的编码单元中的每一个来对数据进行编码。

为了根据每个深度执行编码，可沿着编码单元的分层结构1300的水平轴，通过对根据深度编码单元中的每个预测单元执行编码来选择作为对应深度的代表性编码误差的最小编码误差。可选地，随着深度沿着编码单元的分层结构1300的垂直轴加深，可通过针对每个深度执行编码，比较根据深度的代表性编码误差来搜索最小编码误差。最大编码单元1310中的产生最小编码误差的深度和分区可被选为最大编码单元1310的深度和分区模式。

图14示出根据实施例的编码单元和变换单元之间的关系。

视频编码设备800或视频解码设备900针对每个最大编码单元，根据具有小于或等于最大编码单元的尺寸的编码单元，对图像进行编码或解码。可基于不大于对应编码单元的数据单元，选择用于在编码处理期间进行变换的变换单元的尺寸。

例如，在视频编码设备800或视频解码设备900中，当编码单元1410的尺寸是64×64时，可通过使用尺寸为32×32的变换单元1420来执行变换。

此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的每个变换单元执行变换，来对尺寸为64×64的编码单元1410的数据进行编码，然后可选择相对于原始图像具有最小编码误差的变换单元。

图15示出根据实施例的多条编码信息。

视频编码设备800的输出单元830可对与深度对应的每个编码单元的分区模式信息1500、预测模式信息1510以及变换单元尺寸信息1520进行编码，并将分区模式信息1500、预测模式信息1510以及变换单元尺寸信息1520作为划分信息来发送。

分区模式信息1500指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，可将尺寸为2n×2n的当前编码单元cu_0划分成以下分区中的任意一个：尺寸为2n×2n的分区1502、尺寸为2n×n的分区1504、尺寸为n×2n的分区1506以及尺寸为n×n的分区1508。这里，关于当前编码单元的分区模式信息1500被设置来指示尺寸为2n×n的分区1504、尺寸为n×2n的分区1506以及尺寸为n×n的分区1508中的一个。

预测模式信息1510指示每个分区的预测模式。例如，预测模式信息1510可指示对由分区模式信息1500指示的分区执行的预测编码的模式，即，帧内模式1512、帧间模式1514或跳过模式1516。

变换单元尺寸信息1520指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元1522、第二帧内变换单元1524、第一帧间变换单元1526或第二帧间变换单元1528。

根据实施例的视频解码设备900的图像数据和编码信息提取器920可根据每个较深层编码单元，提取并使用分区模式信息1500、预测模式信息1510以及变换单元尺寸信息1520用于解码。

图16示出根据实施例的根据深度的较深层编码单元。

划分信息可用来表示深度的改变。划分信息指示当前深度的编码单元是否被划分成更低深度的编码单元。

用于对深度为0且尺寸为2n_0×2n_0的编码单元1600进行预测编码的预测单元1610可包括以下分区模式的分区：尺寸为2n_0×2n_0的分区模式1612、尺寸为2n_0×n_0的分区模式1614、尺寸为n_0×2n_0的分区模式1616和尺寸为n_0×n_0的分区模式1618。示出了通过对称地划分预测单元而获得的分区模式1612、1614、1616和1618，但是如上所述，分区模式不限于此，并且可包括非对称分区、具有预定形状的分区和具有几何形状的分区。

根据每种分区模式，必须对尺寸为2n_0×2n_0的一个分区、尺寸为2n_0×n_0的两个分区、尺寸为n_0×2n_0的两个分区和尺寸为n_0×n_0的四个分区重复地执行预测编码。可对尺寸为2n_0×2n_0、n_0×2n_0、2n_0×n_0和n_0×n_0的分区执行帧内模式和帧间模式下的预测编码。可仅对尺寸为2n_0×2n_0的分区执行跳过模式下的预测编码。

如果在尺寸为2n_0×2n_0、2n_0×n_0、n_0×2n_0的分区模式1612、1614和1616中的一个分区模式中编码误差最小，则可不将预测单元1610划分到更低深度。

如果在尺寸为n_0×n_0的分区模式1618中编码误差最小，则深度从0改变到1并执行划分(操作1620)，并可对深度为2且尺寸为n_0×n_0的分区模式的编码单元1630重复地执行编码来搜索最小编码误差。

用于对深度为1且尺寸为2n_1×2n_1(＝n_0×n_0)的编码单元1630进行预测编码的预测单元1640可包括以下分区模式：尺寸为2n_1×2n_1的分区模式1642、尺寸为2n_1×n_1的分区模式1644、尺寸为n_1×2n_1的分区模式1646以及尺寸为n_1×n_1的分区模式1648。

如果在尺寸为n_1×n_1的分区模式1648中编码误差最小，则深度从1改变到2并执行划分(操作1650)，并对深度为2且尺寸为n_2×n_2的编码单元1660重复执行编码来搜索最小编码误差。

当最大深度是d时，可设置根据深度的较深层编码单元直到深度对应于d-1，并且划分信息可被设置直到深度对应于d-2。换句话说，当编码被执行直到在与d-2的深度对应的编码单元被划分之后(在操作1670中)深度是d-1时，用于对深度为d-1且尺寸为2n_(d-1)×2n_(d-1)的编码单元1680进行预测编码的预测单元1690可包括以下分区模式的分区：尺寸为2n_(d-1)×2n(d-1)的分区模式1692、尺寸为2n_(d-1)×n(d-1)的分区模式1694、尺寸为n_(d-1)×2n(d-1)的分区模式1696和尺寸为n_(d-1)×n(d-1)的分区模式1698。

可对分区模式之中的尺寸为2n_(d-1)×2n_(d-1)的一个分区、尺寸为2n_(d-1)×n_(d-1)的两个分区、尺寸为n_(d-1)×2n_(d-1)的两个分区、尺寸为n_(d-1)×n_(d-1)的四个分区重复地执行预测编码，以搜索产生最小编码误差的分区模式。

即使当尺寸为n_(d-1)×n(d-1)的分区模式1698具有最小编码误差时，由于最大深度是d，因此深度为d-1的编码单元cu_(d-1)不再被划分到更低深度，构成当前最大编码单元1600的编码单元的深度被确定为d-1，并且当前最大编码单元1600的分区模式可被确定为n_(d-1)×n(d-1)。此外，由于最大深度是d，因此不设置与深度d-1对应的编码单元1652的划分信息。

数据单元1699可以是用于当前最大编码单元的“最小单元”。根据实施例的最小单元可以是通过将具有最低深度的最小编码单元划分成4份而获得的正方形数据单元。通过重复地执行编码，根据实施例的视频编码设备800可通过比较根据编码单元1600的深度的编码误差来选择产生最小编码误差的深度以确定深度，并将对应分区模式和预测模式设置为所述深度的编码模式。

这样，在所有深度0、1、…、d-1、d中对根据深度的最小编码误差进行比较，并且具有最小编码误差的深度可被确定为深度。深度、预测单元的分区模式和预测模式可作为划分信息被编码并被发送。另外，由于编码单元必须从深度0被划分到深度，因此仅该深度的划分信息被设置为“0”，并且除了该深度以外的深度的划分信息被设置为“1”。

根据实施例的视频解码设备900的图像数据和编码信息提取器920可提取并使用关于编码单元2600的深度和预测单元信息，来对编码单元1612进行解码。根据实施例的视频解码设备900可通过使用根据深度的划分信息，将划分信息为“0”的深度确定为深度，并且可使用关于对应深度的划分信息来进行解码。

图17、图18和图19示出根据实施例的编码单元、预测单元和变换单元之间的关系。

编码单元1710是最大编码单元中的根据由视频编码设备800确定的深度的较深层编码单元。根据深度，预测单元1760是每个编码单元1710中的预测单元的分区，变换单元1770是每个根据深度的编码单元1710的变换单元。

当在较深层编码单元1710中最大编码单元的深度是0时，编码单元1712和编码单元1754的深度是1，编码单元1714、1716、1718、1728、1750和1752的深度是2，编码单元1720、1722、1724、1726、1730、1732和1748的深度是3，编码单元1740、1742、1744和1746的深度是4。

在预测单元1760中，通过划分编码单元获得一些分区1714、1716、1722、1732、1748、1750、1752和1754。也就是说，分区1714、1722、1750和1754是尺寸为的2n×n分区模式，分区1716、1748和1752是尺寸为的n×2n分区模式，分区1732是尺寸为的n×n分区模式。较深层编码单元1710的预测单元和分区小于或等于每个编码单元。

在小于编码单元1752的数据单元中的变换单元1770中，对编码单元1752的图像数据执行变换或逆变换。另外，在尺寸和形状方面，变换单元1760中的编码单元1714、1716、1722、1732、1748、1750和1752是不同于预测单元1760中的编码单元1714、1716、1722、1732、1748、1750和1752的数据单元。换句话说，根据实施例的视频编码设备800和视频解码设备900可对同一编码单元中的独立数据单元执行帧内预测/运动估计/运动补偿以及变换/逆变换。

因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行编码来确定最优编码单元，从而可获得根据递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、分区模式信息、预测模式信息和变换单元尺寸信息。下表1示出根据实施例的可由视频编码设备800和视频解码设备900设置的编码信息。

[表1]

根据实施例的视频编码设备800的输出单元830可输出关于具有树结构的编码单元的编码信息，根据实施例的视频解码设备900的图像数据和编码信息提取器920可从接收到的比特流提取关于具有树结构的编码单元的编码信息。

划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是深度，从而可针对所述深度来定义分区模式信息、预测模式信息和变换单元尺寸信息。如果当前编码单元根据划分信息必须被进一步划分，则对更低深度的四个划分编码单元中的每一个独立地执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可针对所有分区模式定义帧内模式和帧间模式，仅针对尺寸为2n×2n的分区模式定义跳过模式。

分区模式信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2n×2n、2n×n、n×2n和n×n的对称分区模式，以及通过非对称地划分预测单元的高度或宽度而获得的尺寸为2n×nu、2n×nd、nl×2n和nr×2n的非对称分区模式。可通过按1:3和3:1划分预测单元的高度来分别获得尺寸为2n×nu和2n×nd的非对称分区模式，可通过按1:3和3:1划分预测单元的宽度来分别获得尺寸为nl×2n和nr×2n的非对称分区模式。

可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。也就是说，如果变换单元的划分信息是0，则变换单元的尺寸可以是2n×2n，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单元。另外，如果尺寸为2n×2n的当前编码单元的分区模式是对称分区模式，则变换单元的尺寸可以是n×n，如果当前编码单元的分区模式是非对称分区模式，则变换单元的尺寸可以是n/2×n/2。

根据实施例的关于具有树结构的编码单元的编码信息可被分配给与深度对应的编码单元、预测单元和最小单元中的至少一个。与深度对应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较邻近数据单元的多条编码信息来确定邻近数据单元是否被包括在与同一深度对应的编码单元中。另外，通过使用数据单元的编码信息来确定与深度对应的对应编码单元，并因此可推断最大编码单元中的深度的分布。

因此，如果基于邻近数据单元来对当前编码单元进行预测，则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。

在另一实施例中，如果基于邻近数据单元来对当前编码单元进行预测编码，则按照通过使用与当前编码单元邻近的较深层编码单元的编码信息在较深层编码单元中搜索与当前编码单元邻近的数据的方式来参考邻近数据单元。

图20示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系。

最大编码单元20300包括多个深度的编码单元2002、2004、2006、2012、2014、2016和2018。这里，由于编码单元2018是具有深度的编码单元，因此划分信息可以被设置成0。可将尺寸为2n×2n的编码单元2018的分区模式信息设置成以包括2n×2n2022、2n×n2024、n×2n2026、n×n2028、2n×nu2032、2n×nd2034、nl×2n2036以及nr×2n2038的分区模式中的一种。

变换单元划分信息(tu尺寸标记)是一类变换索引，与变换索引对应的变换单元的尺寸可根据编码单元的预测单元类型或分区模式而改变。

例如，当分区模式信息被设置成对称分区模式2n×2n2022、2n×n2024、n×2n2026或n×n2028之一时，如果变换单元划分信息是0，则设置尺寸为2n×2n的变换单元2042，如果变换单元划分信息是1，则可设置尺寸为n×n的变换单元2044。

当分区模式信息被设置成非对称分区模式2n×nu2032、2n×nd2034、nl×2n2036以及nr×2n2038之一时，如果变换单元划分信息(tu尺寸标记)是0，则可设置尺寸为2n×2n的变换单元2052，如果变换单元划分信息是1，则可设置尺寸为n/2×n/2的变换单元2054。

以上参照图19所述的变换单元划分信息(tu尺寸标记)是具有值0或1的标记，但是根据实施例的变换单元划分信息不限于具有1比特的标记，在变换单元划分信息根据设置按照0、1、2、3、…、等的方式增加的同时，变换单元可被分层划分。变换单元划分信息可以是变换索引的示例。

在这种情况下，根据实施例，可通过使用变换单元划分信息以及变换单元的最大尺寸和变换单元的最小尺寸来表示实际上已使用的变换单元的尺寸。根据实施例的视频编码设备800可对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码的结果可被插入sps。根据实施例的视频解码设备900可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息来对视频进行解码。

例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，则(a-1)当tu尺寸标记为0时，变换单元的尺寸可以是32×32，(a-2)当tu尺寸标记为1时，变换单元的尺寸可以是16×16，(a-3)当tu尺寸标记为2时，变换单元的尺寸可以是8×8。

作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，则(b-1)当tu尺寸标记为0时，变换单元的尺寸可以是32×32。这里，由于变换单元的尺寸不能够小于32×32，因此tu尺寸标记不能够被设置为除了0以外的值。

作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大tu尺寸标记为1，则tu尺寸标记可以是0或1。这里，tu尺寸标记不能够被设置为除了0或1以外的值。

因此，如果定义最大tu尺寸标记为“maxtransformsizeindex”，最小变换单元尺寸为“mintransformsize”，并且当tu尺寸标记为0时的变换单元尺寸为“roottusize”，则可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元尺寸“currmintusize”：

currmintusize＝max(mintransformsize,roottusize/(2^maxtransformsizeindex))…(1)

与可在当前编码单元中确定的当前最小变换单元尺寸“currmintusize”相比，当tu尺寸标记为0时的变换单元尺寸“roottusize”可指示可在系统中选择的最大变换单元尺寸。也就是说，在等式(1)中，“roottusize/(2∧maxtransformsizeindex)”指示当tu尺寸标记为0时的变换单元尺寸“roottusize”被划分了与最大tu尺寸标记对应的次数时的变换单元尺寸，“mintransformsize”指示最小变换尺寸。因此，“roottusize/(2^maxtransformsizeindex)”和“mintransformsize”之中较小的值可以是可在当前编码单元中确定的当前最小变换单元尺寸“currmintusize”。

根据实施例，最大变换单元尺寸roottusize可根据预测模式的类型而改变。

例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来确定“roottusize”。在等式(2)中，“maxtransformsize”指示最大变换单元尺寸，“pusize”指示当前预测单元尺寸：

roottusize＝min(maxtransformsize,pusize)……(2)

也就是说，如果当前预测模式是帧间模式，则当tu尺寸标记为0时的变换单元尺寸“roottusize”可以是最大变换单元尺寸和当前预测单元尺寸之中较小的值。

如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定“roottusize”。“partitionsize”指示当前分区单元的尺寸：

roottusize＝min(maxtransformsize,partitionsize)……(3)

也就是说，如果当前预测模式是帧内模式，则当tu尺寸标记为0时的变换单元尺寸“roottusize”可以是最大变换单元尺寸和当前分区单元的尺寸之中较小的值。

然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“roottusize”仅是示例，本发明不限于此。

根据以上参照图8至图20描述的基于树结构的编码单元的视频编码方法，针对树结构的每个编码单元对空间域的图像数据进行编码，根据基于树结构的编码单元的视频解码方法，按照针对每个最大编码单元执行解码的方式来重建空间域的图像数据，从而可重建由画面和画面序列形成的视频。重建的视频可通过再现设备被再现，可被存储在存储介质中，或者可通过网络被发送。

视频编码方法和视频解码方法可被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质的示例包括可存储可由计算机系统读取的数据的任意存储装置。计算机可读记录介质的示例包括只读存储器(rom)、随机存取存储器(ram)、cd-rom、磁带、软盘和光学数据存储装置。此外，所述计算机可读记录介质可以是经由例如互联网传输数据的载波。此外，所述计算机可读记录介质也可被分布在通过网络互连的计算机系统之中，使得处理器可读代码以分布式方式被存储和执行。

尽管已经结合其优选实施例描述了本发明，但是本领域的普通技术人员将理解，在不脱离权利要求所限定的本发明的范围的情况下，可做出替换、改变和修改。因此，将理解，说明书和附图的描述仅是示例性的，而不限制本发明。