使用用于自适应加权预测的语法信令对图像进行编码或解码的方法和设备与流程

本发明涉及一种图像编码和解码方法，更具体地说，涉及一种使用添加到比特流的用于执行加权双向预测的一个或更多个前缀和附加语法元素的图像编码和解码方法以及设备。

背景技术：

最近，对于高分辨率和高质量图像的需求在各种应用中已增加。然而，由于图像的分辨率和质量变高，关于图像的信息量也增加。因此，当通过使用介质(诸如现有的有线或无线宽带线)传输图像信息时或者当通过使用现有的存储介质存储图像信息时，信息传输代价和信息存储代价增加。

高效图像压缩技术可被用于有效地传输或存储并再现高分辨率和高质量图像的信息。

为了提高图像压缩的有效性，可使用在不直接传输当前块的信息的情况下通过使用当前块的邻近块的信息来预测当前块的方法。

可使用帧间预测和帧内预测作为预测方法。在帧间预测方法中，通过参考另一画面的信息来预测当前画面的像素值。在帧内预测方法中，通过使用同一画面中的像素之间的相关性来预测像素值。在执行帧间预测的情况下，可在帧间预测模式下利用指示参考画面的信息和指示与邻近块的运动矢量的信息以指定另一画面中的用于预测的部分。

编码设备对包括预测结果的图像信息进行熵编码，并将经过熵编码的图像信息作为比特流来发送，解码设备对接收到的比特流进行熵解码，并重建图像信息。

图像信息的压缩效率可通过熵编码和熵解码而被提高。

技术实现要素：

技术问题

本发明将解决的技术问题在于通过使用用于自适应加权预测的语法信令提高帧间预测的精确度来提高整个图像的编码和解码效率。

技术方案

一种根据实施例的图像解码方法包括：从接收到的比特流获得包括第一计数器值的一个或更多个前缀，其中，第一计数器值指示在主语法元素之后的附加语法元素的数量；基于所述一个或更多个前缀，获得附加语法元素，其中，附加语法元素包括权重信息以及关于是否对为预测当前块而划分的预测单元执行加权双向预测的信息；基于主语法元素和附加语法元素产生包括预测值的预测块。

此外，在根据实施例的图像解码方法中，附加语法元素中的每一个可包括用于指示关于权重信息的信息和关于是否执行加权双向预测的信息的两个二进制位的集合。

此外，在根据实施例的图像解码方法中，所述一个或更多个前缀可包括第二计数器值，其中，第二计数器值指示附加语法元素之中的包括指示将执行加权双向预测的信息的附加语法元素的数量。

此外，在根据实施例的图像解码方法中，获得附加语法元素的步骤可包括：基于第一计数器值和第二计数器值确定附加语法元素的二进制位的概率信息；基于所述概率信息顺序地对附加语法元素的二进制位进行解码。

此外，在根据实施例的图像解码方法中，确定概率信息的步骤可包括：根据附加语法元素的二进制位的顺序解码来缩小第二计数器值；通过使用第一计数器值和缩小的第二计数器值来更新所述概率信息。

此外，在根据实施例的图像解码方法中，产生预测块的步骤可包括：从包括在主语法元素中的第一运动矢量和第二运动矢量确定第一参考画面的第一相应区域和第二参考画面的第二相应区域，其中，第一参考画面的第一相应区域和第二参考画面的第二相应区域与当前块最相似；确认是否基于第一相应区域和第二相应区域执行加权双向预测；通过使用第一运动矢量、第二运动矢量和权重信息对当前块执行块单元或像素单元的加权双向运动补偿。

此外，在根据实施例的图像解码方法中，确认是否执行加权双向预测的步骤可包括：当与当前块的每个像素相应的第一参考画面的第一相应像素和第二参考画面的第二相应像素之间的差值小于预定阈值时，不执行加权双向预测；当所述差值不小于所述预定阈值时，确定执行加权双向预测。

一种图像解码设备包括：获得器，被配置为从接收到的比特流获得包括第一计数器值的一个或更多个前缀，基于所述一个或更多个前缀，获得附加语法元素，其中，第一计数器值指示在主语法元素之后的附加语法元素的数量，附加语法元素包括权重信息以及关于是否对为预测当前块而划分的预测单元执行加权双向预测的信息；解码器，被配置为基于主语法元素和附加语法元素产生包括预测值的预测块。

此外，在根据实施例的图像解码设备中，附加语法元素中的每一个可包括用于指示关于权重信息的信息和关于是否执行加权双向预测的信息的两个二进制位的集合。

此外，在根据实施例的图像解码设备中，所述一个或更多个前缀可包括第二计数器值，其中，第二计数器值指示附加语法元素之中的包括指示将执行加权双向预测的信息的附加语法元素的数量。

此外，在根据实施例的图像解码设备中，可通过基于第一计数器值和第二计数器值确定附加语法元素的二进制位的概率信息，并基于所述概率信息顺序地对附加语法元素的二进制位进行解码，从而获得附加语法元素。

此外，在根据实施例的图像解码设备中，可通过根据附加语法元素的二进制位的顺序解码来缩小第二计数器值，并通过使用第一计数器值和缩小的第二计数器值来更新所述概率信息，从而确定所述概率信息。

此外，在根据实施例的图像解码设备中，为了产生预测块，解码器可从包括在主语法元素中的第一运动矢量和第二运动矢量确定第一参考画面的第一相应区域和第二参考画面的第二相应区域，确认是否基于第一相应区域和第二相应区域执行加权双向预测，并通过使用第一运动矢量、第二运动矢量和权重信息对当前块执行块单元或像素单元的加权双向运动补偿，其中，第一参考画面的第一相应区域和第二参考画面的第二相应区域与当前块最相似。

此外，在根据实施例的图像解码设备中，为了确认是否执行加权双向预测，当与当前块的每个像素相应的第一参考画面的第一相应像素和第二参考画面的第二相应像素之间的差值小于预定阈值时，解码器可不执行加权双向预测，当所述差值不小于所述预定阈值时，解码器可确定执行加权双向预测。

一种根据实施例的图像编码方法包括：确定第一运动矢量和第二运动矢量，其中，第一运动矢量和第二运动矢量指示第一参考画面和第二参考画面中与当前块最相似的第一相应区域和第二相应区域；确认是否基于第一相应区域和第二相应区域执行加权双向预测；当确认将执行加权双向预测时，通过使用第一运动矢量、第二运动矢量和权重值对当前块执行块单元或像素单元的加权双向预测；将附加语法元素添加到编码的比特流，其中，附加语法元素包括指示附加语法元素的数量的前缀以及指示是否对当前块执行加权双向预测的信息。

本公开的各种实施例可提供通过使用被添加到比特流以执行加权双向预测一个或更多个前缀和附加语法元素来减小解析依赖性的有效的图像编码方法和设备以及有效的图像解码方法和设备。

附图说明

图1a是根据实施例的图像解码设备10的示意性框图。

图1b是用于描述根据实施例的图像解码方法的流程图。

图2a是根据实施例的图像编码设备20的示意性框图。

图2b是用于描述根据实施例的图像编码方法的流程图。

图3示出根据实施例的用于双向预测的参考帧。

图4a是示出根据实施例的在编码单元中混合帧内预测和帧间预测的示例的示图。

图4b是示出根据实施例的在预测单元中执行加权双向预测的条件的示图。

图5a示出根据实施例的用于执行加权双向预测的语法元素。

图5b示出根据另一实施例的用于执行加权双向预测的语法元素。

图6a示出根据实施例的前缀的结构。

图6b示出根据实施例的附加语法元素的结构。

图7是根据实施例的获得附加语法元素的方法的流程图。

图8a是根据实施例的确定是否执行加权双向预测的方法的流程图。

图8b是示出针对参考帧中的每个像素检查相似度的结果的示例的示图。

图9示出根据各种实施例的基于根据树结构的编码单元的视频编码设备100的框图。

图10示出根据各种实施例的基于根据树结构的编码单元的视频解码设备200的框图。

图11示出根据各种实施例的编码单元的概念。

图12示出根据各种实施例的基于编码单元的图像编码器400的框图。

图13示出根据各种实施例的基于编码单元的图像解码器500的框图。

图14示出根据各种实施例的根据深度的编码单元和分区。

图15示出根据各种实施例的在编码单元和变换单元之间的关系。

图16示出根据各种实施例的多条编码信息。

图17示出根据各种实施例的根据深度的更深层编码单元。

图18、图19和图20示出根据各种实施例的在编码单元、预测单元和变换单元之间的关系。

图21示出根据表1的编码模式信息的在编码单元、预测单元和变换单元之间的关系。

具体实施方式

这里使用的术语“单元”和“模块”表示用于处理至少一个功能或操作的单元，并可通过硬件、软件或硬件和软件的组合来实现。

这里使用的术语“实施例”或“多个实施例”表示结合包括在至少一个实施例中的实施例描述的特征、结构、特性等。因此，在整个说明书中的各个地方出现的短语“实施例”或“多个实施例”不必指示相同的实施例。

在本说明书中，编码可根据情况被解释为编码或解码，信息可被理解为包括所有的值、参数、系数、元素等。

“屏幕”或“画面”通常是指表示特定时区中的单个图像的单元，“条带”、“帧”等是构成在对实际视频信号进行编码中的画面的一部分的单元，并可与画面交换使用。

“像素”或“像点(pel)”是指构成单个图像的最小单元。此外，“样点”可被用作指示特定像素的值的术语。样点可被划分为亮度分量和色度分量，但可被用作包括亮度分量和色度分量两者的术语。色度分量表示预定颜色之间的差，一般包括cb和cr。

“单元”表示图像处理的基本单位或图像的特定位置(诸如，编码单元(cu)、预测单元(pu)和变换单元(tu))，并且在一些情况下，可与“块”或“区域”交换使用。此外，块还可被用作指示变换系数的集合或由m列n行构成的样点的集合的术语。

“当前块”可表示将被编码或解码的图像的块。

“邻近块”表示与当前块邻近的至少一个编码或解码块。例如，邻近块可位于当前块的上端、当前块的右上端、当前块的左侧或当前块的左上端或左下端。此外，邻近块可包括时间邻近块以及空间邻近块。例如，作为时间邻近块的同位块可包括参考画面中的与当前块位于相同位置的块或者与所述位于相同位置的块邻近的邻近块。

以下，将参照图1至图8描述根据各种实施例的使用用于自适应加权预测的语法信令对图像进行编码或解码的方法和设备。此外，将参照图9至图21描述根据各种实施例的基于具有树结构的编码单元的图像编码和解码设备以及图像编码和解码方法。

图1a是根据实施例的图像解码设备10的示意性框图。

参照图1a，根据实施例的图像解码设备10包括获得器11和解码器12。

当从图像编码设备输入了比特流时，可根据在编码设备中处理图像信息的过程的逆向处理来对输入的比特流进行解码。

例如，当在图像编码设备中使用可变长编码(vlc)(诸如上下文自适应可变长编码(cavlc))来执行熵编码时，获得器11可通过实施与在编码设备中使用的vlc表相同的vlc表来执行熵解码。此外，当在图像编码设备中使用内容自适应二进制算术编码(cabac)来执行熵编码时，获得器11可使用与用于执行熵编码的cabac相应的cabac来执行熵解码。下面将参照图5至图7描述根据实施例的由获得器11执行的熵解码的详细操作。

在图像解码设备10中，多条经过熵解码的信息之中的用于产生预测块的信息以及通过执行熵解码而获得的残差值被用于在解码器12中重建图像。具体地，解码器12可基于图像编码设备中的重排列方法来对经过熵解码的比特流进行重排列。解码器12可通过将以一维矢量形式表示的系数重建为二维块形式的系数来对以一维矢量形式表示的系数进行重排列。解码器12可接收关于由编码设备执行的系数扫描的信息，并通过基于由编码设备执行的扫描顺序进行逆扫描的方法来执行重排列。此外，解码器12可基于由编码设备提供的量化参数以及经过重排列的块的系数值来执行反量化。解码器12可针对由图像编码设备执行量化结果，对由编码设备的变换器执行的离散余弦变换(dct)或离散正弦变换(dst)执行逆dct或逆dst。可基于由编码设备确定的图像划分单元或传输单元来执行逆变换。编码设备的变换器可根据多条信息(诸如预测方法、当前块的尺寸、预测方向等)来选择性地执行dct或dst，图像解码设备10的解码器12可基于在图像编码设备的变换器中执行的变换信息来执行逆变换。

可基于由获得器11提供的与预测块产生相关的信息以及先前解码的块和/或画面信息来产生预测块。可通过使用预测块和残差块来产生重建的块。由解码器12执行的详细预测方法与由图像编码设备执行的预测方法相同。

在当前块的预测模式是帧内预测模式时，可基于当前画面中的像素信息来执行帧内预测以产生预测块。

在当前块的预测模式是帧间预测模式时，可将在当前画面之前的画面或在当前画面之后的画面中的至少一个设置为参考画面，并可基于包括在参考画面中的信息来对当前块执行帧间预测。具体地，在帧间预测中，可针对当前块选择参考画面，可选择与当前块的尺寸具有相同尺寸的参考块，并可针对当前块产生预测块。例如，在帧间预测中，可产生预测块使得当前块的残差信号最小化并且运动矢量也最小化。此时，为了利用关于参考画面的信息，可使用关于当前画面的邻近块的信息。例如，可通过跳过模式、合并模式、先进运动矢量预测(amvp)等，基于关于邻近块的信息来产生当前块的预测块。

可通过对当前块的像素值执行运动补偿来产生预测块。当前块的运动矢量以及由运动矢量指示的参考块的位置可通过子样点单元(诸如1/2像素样点单元和1/4像素样点单元)来表示。例如，亮度像素的运动矢量可通过1/4像素单元来表示，色度像素的运动矢量可通过1/8像素单元来表示。

可响应于检查从图像编码设备接收到的跳过标记、合并标记等来获得对当前块进行帧间预测所需的运动信息，例如，关于运动矢量或参考画面索引的信息。

执行预测的数据单元与确定预测方法和详细内容的处理单元可彼此不同。例如，预测模式可被确定为预测单元，并且可按照该预测单元执行预测，预测模式可被确定为预测单元，并且可按照变换单元执行帧内预测。

解码器12可通过将残差块与在已执行了预测之后输出的预测块相加来重建原始图像。

重建的块和/或画面可被提供给滤波器(未示出)。滤波器(未示出)可对重建的块和/或画面应用去块滤波、样点自适应偏移(sao)和/或自适应环路滤波。

存储器(未示出)可存储重建的画面或块，从而重建的画面或块被用于参考画面或参考块，或者可将重建的画面提供给输出单元。

图1b是用于描述根据实施例的图像解码方法的流程图。

根据实施例的由图像解码设备10执行的图像解码方法包括：从接收到的比特流获得包括第一计数器值的一个或更多个前缀，其中，第一计数器值指示在主语法元素之后的附加语法元素的数量(s1010)；基于所述一个或更多个前缀获得附加语法元素，其中，附加语法元素包括权重信息以及关于是否对为预测当前块而划分的预测单元执行加权双向预测的信息(s1020)；基于主语法元素和附加语法元素来产生包括预测值的预测块。

具体地，可在最大编码单元(lcu)结构或条带结构中用信号发送主语法元素、一个或更多个前缀和附加语法元素。在根据实施例的图像解码方法中，主语法元素可包括关于从编码单元划分的一个或更多个预测单元的运动信息。在根据实施例的图像解码方法中，一个或更多个前缀可包括指示附加语法元素的数量的第一计数器值。在根据另一实施例的图像解码方法中，一个或更多个前缀可包括第二计数器值，其中，第二计数器值指示附加语法元素之中的包括指示将执行加权双向预测的信息的附加语法元素的数量。在根据实施例的图像解码方法中，每个附加语法元素可包括用于指示关于是否执行加权双向预测的信息以及权重信息的两个二进制位的集合。

图2a是根据实施例的图像编码设备20的示意性框图。

参照图2a，根据实施例的图像编码设备20包括编码器21和发送器22。

根据实施例的图像编码设备20以条带、画面等为单位接收图像，将每个图像划分为块，并基于块对每个图像进行编码。块的类型可以是正方形、矩形或任意几何形状。块不限于具有恒定尺寸的数据单元。根据实施例的块可以是具有树结构的编码单元之中的最大编码单元、编码单元、预测单元、变换单元等。下面将参照图9至图21来描述基于具有树结构的编码单元的图像编码或解码方法。

编码器21执行帧间预测以寻找当前画面中的当前块的预测值。在执行帧间预测中，根据实施例的编码器21可使用平均值来执行双向预测，并可通过执行应用了加权值的加权双向预测来获得当前块的预测值。

根据实施例的发送器22以比特流的形式发送由编码器21确定的预测信息。此外，发送器22可以以语法元素、标记、索引等形式将关于预测单元的运动信息、指示是否执行加权双向预测的信息、权重信息等插入比特流，并随后将比特流发送到图像解码设备10。

图2b是用于描述根据实施例的图像编码方法的流程图。

根据实施例的由图像编码设备20执行的图像编码方法包括：确定第一运动矢量和第二运动矢量，其中，第一运动矢量和第二运动矢量指示在第一参考画面和第二参考画面中与当前块最相似的第一相应区域和第二相应区域(s2010)；确认是否基于第一相应区域和第二相应区域执行加权双向预测(s2020)；当加权双向预测将被执行时，通过使用第一运动矢量、第二运动矢量和加权值执行当前块的块单元或像素单元的加权双向预测(s2030)；将附加语法元素添加到编码比特流，其中，附加语法元素包括指示附加语法元素的数量的前缀以及指示是否对当前块执行加权双向预测的信息。

在根据实施例的图像编码方法中，主语法元素、一个或更多个前缀和附加语法元素可被添加到最大编码单元结构或条带结构。在根据实施例的图像编码方法中，主语法元素可包括关于从编码单元划分的一个或更多个预测单元的运动信息。在根据实施例的图像编码方法中，一个或更多个前缀可包括指示附加语法元素的数量的第一计数器值。在根据另一实施例的图像编码方法中，一个或更多个前缀可包括第二计数器值，其中，第二计数器值包括指示附加语法元素之中的包括指示加权双向预测将被执行的信息的附加语法元素的数量。在根据实施例的图像编码方法中，每个附加语法元素可包括关于是否执行加权双向预测的信息以及权重信息。

图3示出根据实施例的用于双向预测的参考帧。

在帧间预测模式中，图像编码设备20或图像解码设备10可获得当前块的运动信息，并基于获得的运动信息对当前块执行帧间预测。

用于预测当前块的图像作为参考画面或参考帧被参考。可通过使用指示参考画面的参考画面索引(refldx)、运动矢量等来表示参考画面中的区域。

用于预测当前画面的多个画面可构成参考画面列表，参考画面索引可指示参考画面列表中的特定参考画面。在p画面的情况下，需要一个参考画面列表(例如，参考列表0)，在b画面的情况下，需要两个参考画面列表(例如，参考列表0和参考列表1)。

具体地，i画面是通过帧内预测来编码或解码的画面。p画面是可通过使用至少一个运动矢量和参考画面索引进行帧间预测以预测每个块的样点值来编码或解码的画面。b画面是可通过使用至少两个运动矢量和参考画面索引进行帧间预测以预测每个块的样点值来编码或解码的画面。

p画面需要一个参考画面列表(被称为参考画面列表0(l0))。

b画面是可通过使用一个或更多个参考画面(例如，两个参考画面)进行前向、后向、双向帧间预测而编码的画面。b画面需要两个参考画面列表(被称为参考画面列表0(l0)和参考画面列表1(l1))。

使用从l0选择的参考画面进行的帧间预测被称为l0预测，l0预测通常用在前向预测中。使用从l1选择的参考画面进行帧间预测被称为l1预测，l1预测通常用在后向预测中。然而，l0预测和l1预测的方向仅是实施例，并不被解释为受限于上述实施例。此外，使用分别从l0和l1选择的两个参考画面进行的帧间预测也被称为双向预测。

i画面、p画面和b画面的特征也可不按照画面单元来限定，而是可按照条带单元来限定。例如，可在条带单元中限定具有i画面的特征的i条带、具有p画面的特征的p条带和具有b画面的特征的b条带。

参照图3，根据实施例，参考帧p03010和参考帧p13030可被参考以用于对当前帧3020进行双向预测。根据实施例的双向预测方法可利用通过使用具有恒定尺寸的矩形块3025(例如，16×16宏块)在参考帧p03010和参考帧p13030中选择与当前编码的宏块最相似的区域来执行产生预测值的块匹配算法。例如，可搜索在先前帧p03010和下一帧p13030中的与编码的当前块最相似的区域3015和3035，并且可通过使用与在先前帧p03010中找到的区域3015和在下一帧p13030中找到的区域3035相应的像素的平均值来产生当前块的预测值。通过使用像素的平均值对运动进行预测的方法可在大多数视频序列中搜索到相对精确的运动。然而，当在p03010中找到的区域3015和在p13030中找到的区域3035中包括的像素值之间的差别大时，使用像素的平均值的预测可能不精确。因此，根据实施例的图像编码设备20和图像解码设备10可在执行双向预测时产生通过考虑参考区域的像素值之间的差而应用加权值的预测块。

使用加权值的预测方法可被粗略分为显式模式和隐式模式。显式模式是以条带为单位计算加权预测参数，针对每个条带获得最佳加权预测参数，并将获得的最佳加权预测参数发送到图像解码设备的方法，隐式模式是在不单独计算或编码用于预测当前块的加权值的情况下通过图像编码设备和图像解码设备之间预先设置的相同方法根据当前图像和参考图像之间的时间距离计算加权值的方法。当执行加权单向预测时，可使用等式1。

[等式1]

p′＝w×p+o

p是在参考画面中通过使用运动矢量而产生的预测像素，w是用于预测加权值的缩放因子，其中，加权值指示运动补偿预测块和加权预测块之间的比例关系，o是指示用于加权预测的运动补偿预测块和加权预测块之间的差的偏移因子，p’是加权预测块。

缩放因子和偏移因子是加权预测参数。加权预测参数可按任意单元被确定并被编码。任意单元可以是序列、画面、条带等。例如，当最佳加权预测参数按条带单元被确定，并且模式为显式模式时，可将加权预测参数编码为条带头或自适应参数头。图像解码设备可通过使用从相应的头提取的加权预测参数来产生加权预测块。

当执行根据实施例的加权双向预测时，可使用等式2。

[等式2]

p'＝((w0×p0+o0)+(w1×p1+o1))/2

p0是在l0的参考画面中通过使用运动矢量而产生的预测像素，w0是用于l0的加权预测的缩放因子，o0是用于l0的加权预测的偏移因子，p1是在l1的参考画面中通过使用运动矢量而产生的预测像素，w1是用于l1的加权预测的缩放因子，o1是用于l1的加权预测的偏移因子，p’是加权预测像素。在这种情况下，l0和l1可计算它们的最佳加权预测参数，在显式模式下，加权预测参数可被编码到任意的头。

图4a是示出根据实施例的在编码单元中混合帧内预测和帧间预测的示例的示图。

当通过以编码单元划分高分辨率输入图像执行编码或解码时，图像编码设备20和图像解码设备10可通过将编码树单元(ctu)(例如，像素尺寸为64×64至256×256的正方形块)4100中的编码单元4110、4160和4170划分为更小的编码单元4120、4130、4140和4150，执行帧内预测或帧间预测。此时，可通过将帧内预测和帧间预测混合来对ctu中的编码单元进行编码。根据实施例的加权双向预测可仅应用于执行帧间预测的编码单元4110、4130、4140和4150。因此，当相应编码单元满足执行帧间预测的条件时，可执行加权双向预测。下面将参照图4b描述用于执行加权双向预测的附加条件。

图4b是示出根据实施例的在预测单元中执行加权双向预测的条件的示图。

参照图4b，可基于根据各种实施例的最终深度的编码单元(即，不再被划分的编码单元)执行预测编码。不再被划分并且作为预测编码的基础的编码单元将被称为“预测单元”。编码单元可通过至少一个预测单元被预测。例如，在执行帧间预测的当前编码单元4200中可存在预测单元pu14210、pu24220、pu34230和pu44240。如果pu14210使用两个运动矢量mv0和mv1以预测当前区域的样点值并且与这两个运动矢量相应的参考画面的像素之间的差值不小于预定阈值，则可对pu14210执行加权双向预测。然而，如果pu24220仅使用一个运动矢量mv0以预测当前区域的样点值，则无法对pu24220执行加权双向预测。如果pu34230和pu44240使用两个运动矢量mv0和mv1来预测当前区域的样点值，但是与这两个运动矢量相应的参考画面的像素之间的差值小于预定阈值，则无法对pu34230和pu44240执行加权双向预测。在这种情况下，可使用与两个运动矢量mv0和mv1相应的参考画面的像素的平均值来执行双向预测。根据实施例的预定阈值可以是取决于当前预测单元的量化参数的值。

图5a示出根据实施例的用于执行加权双向预测的语法元素，图5b示出根据另一实施例的用于执行加权双向预测的语法元素。

图5a示出lcu语法元素5110、前缀5120和附加语法元素5130被包括在lcu结构5100中的结构，图5b示出cu语法元素5210、前缀5220和附加语法元素5230被包括在条带结构5200中的结构。在图5a和图5b中示出的语法元素可包括参数集，诸如，视频参数集(vps)、序列参数集(sps)、或画面参数集(pps)。

如图5a和图5b所示，根据实施例的前缀5120或5220以及附加语法元素5230可被添加到比特流中的lcu语法元素5110或cu语法元素5210之后。根据实施例的lcu语法元素5110或cu语法元素5210可包括对图像进行解码所需的信息。根据实施例的前缀可包括指示附加语法元素的数量的第一计数器值。例如，前缀还可包括指示附加语法元素之中的包括指示将执行加权双向预测的信息的附加语法元素的数量的第二计数器值。根据各种实施例，可存在一个或更多个前缀。前缀除了可包括第一计数器值或第二计数器值之外，还可包括解析附加语法元素所需的其它信息。根据实施例的每个附加语法元素可包括用于指示关于是否执行加权双向预测的信息和权重信息的两个二进制位的集合。

图6a示出根据实施例的前缀的结构。

在普通熵解码操作中，可使用用于数据的块的每个二进制位的概率估计值来对用于数据的块的每个二进制位进行编码。概率估计值可表示二进制位具有给定二进制值(例如，“0”或“1”)的可能性。概率估计值可被包括在概率模型(也可被称为“上下文模型”)中。图像解码设备可通过确定二进制位的上下文来选择概率模型。语法元素的二进制位的上下文可包括与先前编码的邻近语法元素相关联的二进制位的值。

作为一个示例，针对语法元素(例如，编码块样式、或“cbp”)的二进制位的上下文可包括与在当前语法元素的上端和左侧的先前编码的邻近语法元素相关联的二进制位的值。在这种情况下，针对每个上下文定义不同的概率模式。在对二进制位编码之后，基于二进制位的值另外更新概率模型以反映最新的概率估计值。

然而，当上下文自适应编码被执行时，在一些示例中，由于多个反馈环路而可存在相对高的连环依赖性。例如，指示用于对二进制位进行编码的特定概率模型的上下文可受到先前编码的二进制位(例如，与先前编码的语法元素相关联的二进制位)的值的影响。此外，用于对二进制位进行编码的概率模型也可受到先前编码的二进制位的值的影响。

参照图6a，根据实施例的一个或更多个前缀可包括第一前缀6110和第二前缀6120。第一前缀6110可包括指示在主语法元素之后的附加语法元素的数量的第一计数器值n。第二前缀6120可包括指示由两个二进制位的集合构成的附加语法元素之中的第一二进制位的值为1的附加语法元素的数量的第二计数器值n1。结果，根据实施例的图像解码设备10可通过使用第一前缀6110和第二前缀6120来计算每个语法元素的第一二进制位的出现概率(p＝n1/n)。由于图像解码设备10可精确地计算二进制位的出现概率，因此可改善在估计二进制位的出现概率时发生的解析依赖性的问题。

图6b示出根据实施例的附加语法元素的结构。

参照图6b，根据实施例的附加语法元素可包括用于指示关于是否执行加权双向预测的信息以及权重信息的两个二进制位的集合。根据实施例的附加语法元素可通过使用第一二进制位6210和第二二进制位6220用信号发送预测的三种模式。当第一二进制位6210为1时，其可指示执行加权双向预测，当第一二进制拉6210为0时，其可指示不执行加权双向预测。当执行加权双向预测时，可根据第二二进制位6220的值确定加权值。例如，当第二二进制位6220的值为0时，可将用于加权预测的缩放因子应用于p0而不应用于p1，当第二二进制位6220的值为1时，可将用于加权预测的缩放因子应用于p1而不应用于p0。

图7是根据实施例的获得附加语法元素的方法的流程图。

参照图7，根据实施例的图像解码设备10可使用包括在一个或更多个前缀中的计数器值以获得附加语法元素。包括在一个或更多个前缀中的第一计数器值n指示附加语法元素的数量，第二计数器值n1指示附加语法元素之中的第一二进制位的值为1的附加语法元素的数量(s7100)。根据实施例的图像解码设备10通过使用第一计数器值n和第二计数器值n1通过cnt_1/cnt来计算附加语法元素的第一二进制位的出现概率p(bin1＝＝1)(s7200)。根据实施例的图像解码设备10基于第一二进制位的出现概率p(bin1＝＝1)对附加语法元素的二进制位进行熵解码(s7300)，如果需要，可对第二二进制位进行熵解码。随后，根据实施例的图像解码设备10根据顺序地对附加语法元素的二进制位进行熵解码来缩小第一计数器值和/或第二计数器值(s7500、s7600)。在执行熵解码之后，缩小的第一计数器值和/或缩小的第二计数器值被用于更新附加语法元素的第一二进制位的概率信息。

图8a是根据实施例的确认是否执行加权双向预测的方法的流程图。

根据实施例的图像编码设备20和图像解码设备10确认编码单元的预测模式、语法信息和运动矢量(s8100)。当编码单元的预测模式为帧内模式时，或者当仅存在一个运动矢量mv0时，不执行加权双向预测，并且不必获得用于预测单元的附加语法元素。当运动矢量mv0和mv1指示相同的参考帧时，如果mv0和mv1之间的差值|mv0x-mv1x|+|mv0y-mv1y|小于预定阈值mv_t，则不执行加权双向预测。mv0x和mv1x分别表示mv0和mv1的x分量，mv0y和mv1y分别表示mv0和mv1的y分量。在这种情况下，执行使用平均值的双向预测(s8400)。

随后，根据实施例的图像编码设备20和图像解码设备10检查参考帧p0和p1之间的相似度(s8200)。如果p0的相应像素值和p1的相应像素值之间的差值|p0(i,j)-p1(i,j)|小于预定阈值tpixel(qp,color)，则确定相应像素没有通过相似度检查。“nm”(未匹配的)值被分配给没有通过相似度检查的像素。如果p0的相应像素值和p1的相应像素值之间的差值|p0(i,j)-p1(i,j)|不小于预定阈值tpixel(qp,color)，则确定相应像素通过相似度检查。“m”(匹配的)值被分配给通过相似度检查的像素。

图8b是示出针对参考帧中的每个像素检查相似度的结果的示例的示图。如图8b所示，由于“m”或“nm”值被分配给参考帧8500中的像素，因此当执行双向预测时，可将加权值自适应地应用到各个像素。例如，可对被分配“nm”的像素执行使用平均值的双向预测，可对被分配“m”的像素执行使用加权值的双向预测(s8300)。

根据实施例的当执行双向预测时将加权值自适应地应用到各个像素的方法被称为像素单元的加权双向预测或者像素单元的加权双向运动补偿。可通过使用等式3针对被分配“m”的像素执行根据实施例的像素单元的加权双向运动补偿，并可通过使用等式4针对被分配“nm”的像素执行根据实施例的像素单元的加权双向运动补偿。

[等式3]

(p0(i，j)+p1(i，j)+offset)＞＞shift

[等式4]

(wo·po(i,j)+w1·p1(i，j)+offset1)>>shift+2

p0(i,j)和p1(i,j)分别是通过使用l0和l1的参考画面中的运动矢量而产生的(i,j)坐标的预测像素。w0和w1分别是用于l0和l1的加权预测的缩放因子。offset和offset1是用于加权预测的偏移因子。shift是通过以比特为单位移动数据来增加或缩小值的运算子。

根据实施例的图像编码设备20和图像解码设备10可执行块单元的加权双向运动补偿，来代替像素单元的加权双向运动补偿。根据实施例的块单元的加权双向运动补偿是对包括被分配“m”的像素的预测单元中的所有像素执行加权双向预测的方法。也就是说，根据实施例的块单元的加权双向预测可通过将等式5应用到预测单元中的所有像素来执行运动补偿。关于加权值的信息可被包括在附加语法元素中。

[等式5]

(wo·po(i,j)+w1·p1(i，j)+offset1)>>shift+2

参照图8b，根据实施例的图像编码设备20和图像解码设备10可对参考帧8500中的每个像素执行另外的相似度检查。当被应用了“nm”的像素8510的邻近像素之中的被应用了“nm”的邻近像素的值之和|∑nm|小于预定阈值t2时，被分配给像素8510的“nm”值可被修改为“m”值。也就是说，根据实施例的图像编码设备20和图像解码设备10可在检查参考帧p0和p1之间的相似度时，使用被分配了“nm”的像素的邻近像素的值。根据实施例的图像编码设备20和图像解码设备10可通过根据各种方法检查参考帧p0和p1之间的相似度来自适应地执行加权双向预测，从而提高编码和解码操作的精确度。

在上述的各种实施例中，当执行帧间预测时使用的参考块可以是编码单元或预测单元。编码单元可以是根据深度而分层构造的编码树之一。下面，将参照图9至图21描述编码单元、预测单元和变换单元(编码单元、预测单元和变换单元为数据处理单元)之间的关系以基于分层结构的编码单元执行视频编码和解码。

图9示出根据各种实施例的基于根据树结构的编码单元的视频编码设备100的框图。

根据实施例的基于根据树结构的编码单元的视频编码设备100包括编码单元确定器120和输出单元130。下面，为了方便描述，根据实施例的基于根据树结构的编码单元的视频编码设备100将被简称为“视频编码设备100”。

编码单元确定器120可基于图像的当前画面的最大编码单元，对当前画面进行划分，其中，最大编码单元是具有最大尺寸的编码单元。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据各种实施例的最大编码单元可以是具有32×32、64×64、128×128、256×256等的尺寸的数据单元，其中，所述数据单元的形状是宽度和长度为2的若干次方的方形。

根据各种实施例的编码单元可通过最大尺寸和深度来表征。所述深度表示编码单元从最大编码单元被空间划分的次数，并且随着深度加深或增加，根据深度的更深层编码单元可从最大编码单元被划分为最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于随着最大编码单元的深度加深，与每个深度对应的编码单元的尺寸减小，因此与更高深度对应的编码单元可包括多个与更低深度对应的编码单元。

如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，每一个最大编码单元可包括根据深度被划分的更深层编码单元。由于根据各种实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层地分类。

可预先确定编码单元的最大深度和最大尺寸，所述最大深度和最大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。

编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的至少一个划分区域进行编码，并根据所述至少一个划分区域确定用于输出最终编码的图像数据的深度。也就是说，编码单元确定器120通过如下的方式确定最终深度，即，根据当前画面的最大编码单元，按照根据深度的更深层编码单元对图像数据进行编码并选择具有最小编码误差的深度。确定的最终深度和根据最大编码单元的图像数据被输出到输出单元130。

基于与等于或小于最大深度的至少一个深度对应的更深层编码单元对最大编码单元中的图像数据进行编码，并且基于每个更深层编码单元比较对图像数据进行编码的结果。可在比较更深层编码单元的编码误差之后，选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个最终深度。

随着编码单元根据深度被分层划分并且随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中编码单元对应于相同的深度，也可通过分别测量每个编码单元的图像数据的编码误差来确定是否将与相同的深度相应的每一个编码单元划分到更低深度。因此，即使图像数据被包括在一个最大编码单元中，在所述一个最大编码单元中，编码误差也会根据区域而不同，因此在图像数据中，最终深度会根据区域而不同。因此，在一个最大编码单元中可确定一个或更多个最终深度，并且可根据至少一个最终深度的编码单元来划分最大编码单元的图像数据。

因此，根据各种实施例的编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单元。根据各种实施例的“具有树结构的编码单元”包括所述最大编码单元所包括的所有更深层编码单元中与将被确定为最终深度的深度对应的编码单元。可在最大编码单元的相同区域中根据深度来分层确定最终深度的编码单元，并且可在不同区域中独立确定最终深度的编码单元。类似地，当前区域中的最终深度可独立于另一区域中的最终深度被确定。

根据各种实施例的最大深度是与从最大编码单元到最小编码单元的划分次数相关的索引。根据各种实施例的第一最大深度可表示从最大编码单元到最小编码单元的总划分次数。根据各种实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数。例如，当最大编码单元的深度为0时，最大编码单元被划分一次的编码单元的深度可被设置为1，并且最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、1、2、3和4的深度级，因此，第一最大深度可被设置为4，第二最大深度可被设置为5。

可根据最大编码单元执行预测编码和变换。还可根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的深度的更深层编码单元执行预测编码和变换。

由于每当最大编码单元根据深度被划分时，更深层编码单元的数量都增加，所以对于随着深度加深而产生的所有更深层编码单元执行包括预测编码和变换的编码。下面，为了便于描述，将基于至少一个最大编码单元中的当前深度的编码单元描述预测编码和变换。

根据各种实施例的视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同数据单元或者可针对每个操作使用不同的数据单元。

例如，视频编码设备100不仅可以选择对图像数据进行编码的编码单元，而且也可以选择与所述编码单元不同的数据单元，以对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可基于根据各种实施例的与最终深度对应的编码单元(即，基于不再被划分为与更低深度对应的编码单元的编码单元)执行预测编码。下文中，不再被划分且成为用于预测编码的基本单元的编码单元将被称作“预测单元”。通过对预测单元进行划分而获得的分区可包括预测单元或通过对预测单元的高度和宽度中的至少一个进行划分而获得的数据单元。分区是编码单元的预测单元被划分成的数据单元，预测单元可以是与编码单元具有相同尺寸的分区。

例如，当2n×2n的编码单元(其中，n是正整数)不再被划分且成为2n×2n的预测单元时，分区的尺寸可以是2n×2n、2n×n、n×2n或n×n。根据各种实施例的分区模式的示例可选择性地包括：通过对预测单元的高度或宽度进行对称划分而获得的对称分区、通过对预测单元的高度或宽度进行非对称划分(诸如1:n或n:1)而获得的分区、通过对预测单元进行几何划分而获得的分区、以及具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2n×2n、2n×n、n×2n或n×n的分区执行帧内模式和帧间模式。另外，可仅对2n×2n的分区执行跳过模式。可对编码单元中的一个预测单元单独地执行编码，从而可选择具有最小编码误差的预测模式。

根据各种实施例的视频编码设备100不仅可基于用于对图像数据进行编码的编码单元对该编码单元中的图像数据执行变换，还可基于与该编码单元不同的数据单元对图像数据执行变换。为了执行编码单元的变换，可基于具有小于或等于编码单元的尺寸的变换单元来执行变换。例如，变换单元可包括用于帧内模式的数据单元和用于帧间模式的变换单元。

根据各种实施例，可按照与根据树结构对编码单元进行划分相似的方式，将编码单元中的变换单元递归地划分为更小尺寸的区域。因此，编码单元中的残差数据可基于变换深度根据具有树结构的变换单元被划分。

根据各种实施例，也可在变换单元中设置变换深度，其中，所述变换深度指示通过对编码单元的高度和宽度进行划分而达到变换单元的划分次数。例如，在当前的2n×2n的编码单元中，当变换单元的尺寸是2n×2n时，变换深度可以是0，当变换单元的尺寸是n×n时，变换深度可以是1，当变换单元的尺寸是n/2×n/2时，变换深度可以是2。也就是说，针对变换单元，可根据变换深度来设置具有树结构的变换单元。

根据深度的划分信息不仅需要关于深度的信息，还需要与预测和变换相关的信息。因此，编码单元确定器120不仅可以确定具有最小编码误差的深度，还可确定预测单元被划分为分区的分区模式、根据预测单元的预测模式以及用于变换的变换单元的尺寸。

稍后将参照图9至图19来详细描述根据各种实施例的最大编码单元中的根据树结构的编码单元以及根据各种实施例的确定预测单元/分区以及变换单元的方法。

编码单元确定器120可通过使用基于拉格朗日乘子的率失真优化来测量根据深度的更深层编码单元的编码误差。

输出单元130在比特流中输出基于由编码单元确定器120确定的至少一个深度而编码的最大编码单元的图像数据以及根据深度的划分信息。

可通过对图像的残差数据进行编码来获得编码图像数据。

根据深度的划分信息可包括：关于深度的信息、关于预测单元的分区模式的信息、关于预测模式的信息以及关于变换单元的划分的信息。

最终深度信息可通过使用根据深度的划分信息而定义，所述根据深度的划分信息指示是否对更低深度的编码单元而不是对当前深度的编码单元执行编码。如果当前编码单元的当前深度是深度，则通过使用当前深度的编码单元对当前编码单元进行编码，因此当前深度的划分信息可被定义为不将当前编码单元划分为更低深度。相反，如果当前编码单元的当前深度不是深度，则必须对更低深度的编码单元执行编码，因此当前深度的划分信息可被定义为将当前编码单元划分为更低深度的编码单元。

如果当前深度不是深度，则对划分为更低深度的编码单元的编码单元执行编码。由于在当前深度的一个编码单元中存在更低深度的至少一个编码单元，所以对更低深度的每个编码单元重复地执行编码，因此可对具有相同深度的编码单元递归地执行编码。

由于针对一个最大编码单元确定具有树结构的编码单元，且针对深度的编码单元必须确定至少一条划分信息，因此可针对一个最大编码单元确定至少一条划分信息。另外，由于数据根据深度而被分层划分，所以最大编码单元的数据根据位置而不同，因此可针对数据设置深度和划分信息。

因此，根据各种实施例的输出单元130可将关于相应深度和编码模式的编码信息分配给最大编码单元所包括的编码单元、预测单元和最小单元中的至少一个。

根据各种实施例的最小单元是通过对构成最低深度的最小编码单元进行4次划分而获得的方形数据单元。可选择地，根据各种实施例的最小单元可以是可包括在最大编码单元所包括的所有编码单元、预测单元、分区单元和变换单元中的最大方形数据单元。

例如，通过输出单元130输出的编码信息可被分类为根据更深层编码单元的编码信息和根据预测单元的编码信息。根据更深层编码单元的编码信息可包括预测模式信息和分区尺寸信息。根据预测单元的编码信息可包括：关于在帧间模式期间的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息和关于在帧内模式期间的插值方法的信息。

关于根据画面、条带或gop定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入比特流的头、序列参数集、或画面参数集。

关于针对当前视频而允许的变换单元的最大尺寸的信息以及关于变换单元的最小尺寸的信息也可通过比特流的头、序列参数集、或画面参数集被输出。输出单元130可对与预测相关的参考信息、预测信息和条带类型信息进行编码并输出这些信息。

在根据最简实施例的视频编码设备100中，更深层编码单元可以是通过对更高深度(即，更高一层)的编码单元的高度或宽度进行2次划分而获得的编码单元。换句话说，如果当前深度的编码单元的尺寸是2n×2n，则更低深度的编码单元的尺寸是n×n。因此，尺寸为2n×2n的当前编码单元可最多包括4个更低深度的尺寸为n×n的编码单元。

因此，视频编码设备100可基于考虑当前画面的特性而确定的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树结构的编码单元。另外，由于通过使用各种预测模式和变换中的任意一个来对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。

因此，如果以传统的宏块对具有高分辨率或大数据量的图像进行编码，则每幅画面的宏块的数量会过度增加。因此，针对每个宏块产生的压缩信息的条数增加，从而难以发送压缩信息并且数据压缩效率会降低。然而，通过使用根据各种实施例的视频编码设备100，由于在考虑图像的尺寸而增加编码单元的最大尺寸的同时，考虑图像的特性而调整编码单元，所以可提高图像压缩效率。

图10示出根据各种实施例的基于根据树结构的编码单元的视频解码设备200的框图。

根据实施例的涉及基于树结构的编码单元进行视频预测的视频解码设备200包括接收器210、图像数据和编码信息提取器220和图像数据解码器230。下面，为了方面描述，根据实施例的涉及基于树结构的编码单元进行视频预测的视频解码设备200被称为“视频解码设备200”。

针对根据各种实施例的视频解码设备200的解码操作的各种术语(诸如编码单元、深度、预测单元、变换单元和各种划分信息)的定义与参照图10和视频编码设备100所描述的那些术语的定义相同。

接收器210接收编码视频的比特流并对编码视频的比特流进行解析。图像数据和编码信息提取器220从解析的比特流提取每个编码单元(其中，编码单元具有根据每个最大编码单元的树结构)的编码图像数据，并将提取的图像数据输出到图像数据解码器230。图像数据和编码信息提取器220可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。

此外，图像数据和编码信息提取器220从解析的比特流提取针对根据每个最大编码单元的具有树结构的编码单元的最终深度和划分信息。提取的最终深度和划分信息可被输出到图像数据解码器230。换言之，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器230可针对每个最大编码单元对图像数据进行解码。

可针对一条或更多条深度信息来设置根据每个最大编码单元的深度和划分信息，根据深度的划信息可包括相应编码单元的分区模式信息、预测模式信息和变换单元的划分信息。此外，根据深度的划分信息可被提取作为深度信息。

由图像数据和编码信息提取器220提取的根据每个最大编码单元的深度和划分信息是被确定为当编码器(诸如根据各种实施例的视频编码设备100)根据每个最大编码单元对每个根据深度的更深层编码单元重复执行编码时产生最小编码误差的深度和划分信息。因此，视频解码设备200可通过根据产生最小编码误差的编码方法对数据进行解码，来重建图像。

由于根据各种实施例的关于深度和编码模式的编码信息可被分配给对应的编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可根据所述预定数据单元提取深度和划分信息。如果相应的最大编码单元的深度和划分信息根据所述预定数据单元中的每一个被记录，则具有相同的深度和划分信息的预定数据单元可被推断为是包括在同一最大编码单元中的数据单元。

图像数据解码器230通过基于根据最大编码单元的深度和划分信息对每个最大编码单元中的图像数据进行解码，来重建当前画面。也就是说，图像数据解码器230可基于读取的针对每个最大编码单元中所包括的具有树结构的编码单元中的每个编码单元的分区模式、预测模式以及变换单元，对编码的图像数据进行解码。解码处理可包括包含帧内预测和运动补偿的预测处理以及逆变换处理。

图像数据解码器230可基于关于根据深度的编码单元的预测单元的预测模式和分区模式的信息，根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。

另外，图像数据解码器230可读取关于针对每个编码单元的根据树结构的变换单元的信息以针对每个编码单元基于变换单元执行逆变换，以针对最大编码单元执行逆变换。经由逆变换，编码单元的空间域的像素值可被重建。

图像数据解码器230可通过使用根据深度的划分信息，确定当前最大编码单元的深度。如果划分信息指示图像数据在当前深度不再被划分，则当前深度是深度。因此，图像数据解码器230可通过使用关于与当前深度对应的每个编码单元的预测单元的分区模式、预测模式和变换单元的尺寸的信息，对当前最大编码单元的图像数据进行解码。

也就是说，可通过观察为编码单元、预测单元和最小单元中的预定数据单元分配的编码信息集，来收集包含编码信息(其中，该编码信息包括相同的划分信息)的数据单元，收集的数据单元可被认为是将由图像数据解码器230以相同的编码模式解码的一个数据单元。这样，可针对每个编码单元通过获得关于编码模式的信息来对当前编码单元进行解码。

因此，视频解码设备200可获得关于当针对每个最大编码单元递归执行编码时产生最小编码误差的至少一个编码单元的信息，并且可使用所述信息对当前画面进行解码。也就是说，可对在每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。

因此，即使图像具有高分辨率或具有过大的数据量，也可通过使用编码单元的尺寸和编码模式来对图像进行有效解码和重建，其中，通过使用从编码终端接收的最佳划分信息，根据图像数据的特性来自适应地确定所述编码单元的尺寸和编码模式。

图11示出根据各种实施例的编码单元的概念。

编码单元的尺寸可以以宽度×高度来表示，且可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。

在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64并且最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64并且最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16并且编码深度是1。图11中示出的最大深度表示从最大编码单元到最小解码单元的总划分次数。

如果分辨率高或者数据量大，则编码单元的最大尺寸可以较大，从而不仅提高编码效率，还准确地反映图像的特性。因此，具有比视频数据330更高分辨率的视频数据310和320的编码单元的最大尺寸可被选为64。

由于视频数据310的最大深度是2，因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32和16的编码单元(这是因为通过对最大编码单元划分两次，深度被加深至两层)。由于视频数据330的最大深度是1，因此视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元以及长轴尺寸为8的编码单元(这是因为通过对最大编码单元划分一次，深度被加深至一层)。

由于视频数据320的最大深度是3，因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32、16和8的编码单元(这是因为通过对最大编码单元划分三次，深度被加深至3层)。随着深度加深，可以提高对于详细信息的表示能力。

图12是根据各种实施例的基于编码单元的图像编码器400的框图。

根据各种实施例的图像编码器400执行视频编码设备100的编码单元确定器120的操作，以对图像数据进行编码。换言之，帧内预测器420按每个预测单元对当前图像405中的帧内模式下的编码单元执行帧内预测，帧间预测器415按每个预测单元，通过使用当前图像405和由重建画面缓冲器410获得的参考图像对帧间模式下的编码单元执行帧间预测。当前图像405可被划分为最大编码单元，并随后最大编码单元可被顺序地编码。在这点上，将被划分为具有树结构的编码单元的最大编码单元可被编码。

通过从将被编码的当前图像405的数据减去从帧内预测器420或帧间预测器415输出的每种模式的编码单元的预测数据来产生残差数据，并且按每个变换单元，通过变换器425和量化器430将残差数据输出为量化的变换系数。量化的变换系数通过反量化器445和逆变换器450被重建为空间域的残差数据。重建的空间域的残差数据与从帧内预测器420或帧间预测器415输出的每种模式的编码单元的预测数据相加以重建为当前图像405的编码单元的空间域的数据。重建的空间域的数据通过去块单元455和sao执行器460被产生为重建图像。产生的重建图像被存储在重建画面缓冲器410。存储在重建画面缓冲器410中的重建图像可被用作另一图像的帧间预测的参考图像。通过变换器425和量化器430获得的量化的变换系数可通过熵编码器435输出为比特流440。

为了将根据各种实施例的图像编码器400应用到视频编码设备100中，图像编码器400的组件(即，帧间预测器415、帧内预测器420、变换器425、量化器430、熵编码器435、反量化器445、逆变换器450、去块单元455和sao执行器)针对每个最大编码单元，基于具有树结构的编码单元之中的每个编码单元执行操作。

具体地，帧内预测器420和帧间预测器415可通过考虑当前最大编码单元的最大尺寸和最大深度，确定具有树结构的编码单元之中的每个编码单元的分区模式和预测模式，变换器425可在具有树结构的编码单元之中的每个编码单元中确定是否根据四叉树划分变换单元。

图13示出根据各种实施例的基于编码单元的图像解码器500的框图。

熵解码器515从比特流505解析将被解码的编码图像数据以及解码所需的编码信息。编码图像数据与量化的变换系数对应，反量化器520和逆变换器525从量化的变换系数重建残差数据。

帧内预测器540根据预测单元对帧内模式下的编码单元执行帧内预测。帧间预测器535针对当前图像中的帧间模式下的编码单元通过使用参考图像执行帧间预测，其中，参考图像由重建画面缓冲器530根据预测单元而获得。

将通过帧内预测器540和帧间预测器535的关于每种模式的编码单元的预测数据和残差数据相加，从而关于当前图像405的编码单元的空间域的数据可被重建，并且重建的空间域的数据可通过去块单元545和sao执行器550被输出为重建图像560。存储在重建画面缓冲器530中的重建图像可被输出为参考图像。

为了视频解码设备200的图像数据解码器230对图像数据进行解码，可执行在根据实施例的图像解码器550的熵解码器515之后的操作。

为了将图像解码器500应用到根据各种实施例的视频解码设备200中，图像解码器500的组件(即，熵解码器515、反量化器520、逆变换器525、帧内预测器540、帧间预测器535、去块单元545和sao执行器550)可针对每个最大编码单元基于具有树结构的编码单元执行操作。

具体地说，帧内预测器540和帧间预测器535根据每个具有树结构的编码单元确定分区模式和预测模式，逆变换器525可针对每个编码单元确定是否根据四叉树结构划分变换单元。

对于帧间预测，当运动矢量指示子像素位置时，图12的帧间预测器415和图13的帧间预测器535可对参考画面的整数像素单元的参考样点执行插值滤波以产生子像素单元的样点值。如上面参照图1至图9所述，可基于参考样点之间的变化程度来从插值滤波器之中选择能够保留低频分量和高频分量的全通插值滤波器或当仅需要保留低频分量时选择使低频频带通过的插值滤波器。

图14示出根据各种实施例的根据深度的编码单元以及分区。

根据各种实施例的视频编码设备100和根据各种实施例的视频解码设备200使用分层编码单元以考虑图像的特性。可根据图像的特性适应性地确定编码单元的最大高度、最大宽度和最大深度，或可根据用户需求不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸确定根据深度的更深层编码单元的尺寸。

在根据各种示例性实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均是64，最大深度为3。在这种情况下，最大深度是指编码单元从最大编码单元划分到最小编码单元的总次数。由于深度沿着根据各种实施例的编码单元的分层结构600的垂直轴加深，所以更深层编码单元的高度和宽度均被划分。另外，沿着分层结构600的水平轴示出了预测单元和分区，预测单元和分区是对每个更深层编码单元进行预测编码的基础。

也就是说，编码单元610是分层结构600中的最大编码单元，其中，深度为0，尺寸(即，高度乘以宽度)为64×64。深度沿着垂直轴加深，存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630、尺寸为8×8且深度为3的编码单元640。尺寸为8×8且深度为3的编码单元640是最小编码单元。

根据每个深度，沿着水平轴布置了编码单元的预测单元和分区。换言之，如果尺寸为64×64且深度为0的编码单元610是预测单元，则预测单元可被划分为包括在尺寸为64×64的编码单元610中的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。

同样地，尺寸为32×32且深度为1的编码单元620的预测单元可被划分为包括在尺寸为32×32的编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624以及尺寸为16×16的分区626。

同样地，尺寸为16×16且深度为2的编码单元630的预测单元可被划分为包括在尺寸为16×16的编码单元630中的分区，即，包括在编码单元630中的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634以及尺寸为8×8的分区636。

同样地，尺寸为8×8且深度为3的编码单元640的预测单元可被划分为包括在尺寸为8×8的编码单元640中的分区，即，包括在编码单元640中的尺寸为8×8的分区640、尺寸为8×4的分区642、尺寸为4×8的分区644以及尺寸为4×4的分区646。

为了确定最大编码单元610的深度，视频编码设备100的编码单元确定器120必须对包括在最大编码单元610中的分别与深度相应的编码单元执行编码。

随着深度加深，包括相同范围和相同尺寸的数据的根据深度的更深层编码单元的数量增大。例如，需要四个与深度2对应的编码单元来覆盖包括在一个与深度1对应的编码单元中的数据。因此，为了比较相同数据的根据深度的编码结果，与深度1对应的编码单元以及四个与深度2对应的编码单元均被编码。

为了针对深度中的当前深度执行编码，可通过沿着分层结构600的水平轴针对与当前深度对应的编码单元中的每个预测单元执行编码，来为当前深度选择最小编码误差。可选择地，可通过随着深度沿分层结构600的垂直轴而加深针对每个深度执行编码，通过比较根据深度的最小编码误差，来搜索最小编码误差。可将在最大编码单元610中具有最小编码误差的深度和分区选为最大编码单元610的深度和分区模式。

图15示出根据各种实施例的编码单元与变换单元之间的关系。

根据各种实施例的视频编码设备100和根据各种实施例的视频解码设备200针对每个最大编码单元，根据具有小于或等于最大编码单元的尺寸的编码单元对图像进行编码或解码。可基于不大于对应的编码单元的数据单元，选择用于编码期间的变换的变换单元的尺寸。

例如，在根据各种实施例的视频编码设备100或根据各种实施例的视频解码设备200中，如果编码单元710的尺寸为64×64，则可通过使用尺寸为32×32的变换单元720执行变换。

另外，可通过对具有小于64×64的尺寸为32×32、16×16、8×8以及4×4的变换单元中的每一个变换单元执行变换来对尺寸为64×64的编码单元710的数据进行编码，然后可选择相对于原始图像具有最小编码误差的变换单元。

图16示出根据各种实施例的多条编码信息。

根据实施例的视频编码设备100的输出单元130可对与深度对应的每个编码单元的分区模式信息800、预测模式信息810以及变换单元尺寸信息820进行编码和发送，作为划分信息。

分区模式信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2n×2n的当前编码单元cu_0可被划分为以下分区中的任何一个：尺寸为2n×2n的分区802、尺寸为2n×n的分区804、尺寸为n×2n的分区806以及尺寸为n×n的分区808。在这种情况下，关于当前编码单元的分区模式信息800被设置为指示以下分区中的一个：尺寸为2n×2n的分区802、尺寸为2n×n的分区804、尺寸为n×2n的分区806以及尺寸为n×n的分区808。

预测模式信息810指示每个分区的预测模式。例如，预测模式信息810可指示对由分区模式信息800所指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。

变换单元尺寸信息820表示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。

视频解码设备200的图像数据和编码信息提取器220可根据每个更深层编码单元，提取并使用分区模式信息800、预测模式信息810以及变换单元尺寸信息820以进行解码。

图17示出根据各种实施例的根据深度的更深层编码单元。

划分信息可用于指示深度的变化。划分信息指示当前深度的编码单元是否被划分为更低深度的编码单元。

用于对深度为0且尺寸为2n_0×2n_0的编码单元900进行预测编码的预测单元910可包括以下分区模式的分区：尺寸为2n_0×2n_0的分区模式912、尺寸为2n_0×n_0的分区模式914、尺寸为n_0×2n_0的分区模式916以及尺寸为n_0×n_0的分区模式918。虽然仅示出了通过对称地划分预测单元而获得的分区模式912、914、916和918，但是如上所述，分区模式不限于此，分区模式可包括非对称分区、具有预定形状的分区和具有几何形状的分区。

根据每个分区模式，对于尺寸为2n_0×2n_0的一个分区、尺寸为2n_0×n_0的两个分区、尺寸为n_0×2n_0的两个分区以及尺寸为n_0×n_0的四个分区重复执行预测编码。对于尺寸为2n_0×2n_0、n_0×2n_0、2n_0×n_0和n_0×n_0的预测单元，可执行帧内模式和帧间模式下的预测编码。对于尺寸为2n_0×2n_0的预测单元仅执行跳过模式下的预测编码。

如果在尺寸为2n_0×2n_0、2n_0×n_0、n_0×2n_0的分区模式912、914和916中的一个分区模式中编码误差最小，则预测单元910可不被划分到更低深度。

如果在尺寸为n_0×n_0的分区模式918中编码误差最小，则在操作920中深度从0变为1以划分分区模式918，并且对深度为2且尺寸为n_0×n_0的编码单元930重复执行编码，以搜索最小编码误差。

用于对深度为1且尺寸为2n_1×2n_1(＝n_0×n_0)的编码单元930进行预测编码的预测单元940可包括以下分区模式的分区：尺寸为2n_1×2n_1的分区模式942、尺寸为2n_1×n_1的分区模式944、尺寸为n_1×2n_1的分区模式946以及尺寸为n_1×n_1的分区模式948。

如果在尺寸为n_1×n_1的分区模式948中编码误差最小，则(在操作950中)深度从1变为2并执行划分，并且对深度为2且尺寸为n_2×n_2的编码单元960重复执行编码，以搜索最小编码误差。

当最大深度为d时，可设置根据深度的更深层编码单元直到深度与d-1相应，并且划分信息可被设置直到深度与d-2相应。也就是说，(在操作970)将与深度d-2对应的编码单元划分之后，当执行编码直到深度为d-1时，用于对深度为d-1且尺寸为2n_(d-1)×2n_(d-1)的编码单元980进行预测编码的预测单元990可包括以下分区模式的分区：尺寸为2n_(d-1)×2n_(d-1)的分区模式992、尺寸为2n_(d-1)×n_(d-1)的分区模式994、尺寸为n_(d-1)×2n_(d-1)的分区模式996以及尺寸为n_(d-1)×n_(d-1)的分区模式998。

可对分区模式中的尺寸为2n_(d-1)×2n_(d-1)的一个分区、尺寸为2n_(d-1)×n_(d-1)的两个分区、尺寸为n_(d-1)×2n_(d-1)的两个分区、尺寸为n_(d-1)×n_(d-1)的四个分区重复执行预测编码，以搜索具有最小编码误差的分区模式。

即使尺寸为n_(d-1)×n_(d-1)的分区模式998具有最小编码误差，由于最大深度为d，所以深度为d-1的编码单元cu_(d-1)不再被划分到更低深度，构成当前最大编码单元900的编码单元的深度被确定为d-1，并且最大编码单元900的分区模式可被确定为n_(d-1)×n_(d-1)。此外，由于最大深度为d，所以不设置用于深度为d-1的编码单元952的划分信息。

数据单元999可以是用于当前最大编码单元的“最小单元”。根据各种实施例的最小单元可以是通过将具有最低深度的最小编码单元划分4次而获得的方形数据单元。通过重复地执行编码，根据各种实施例的视频编码设备100可通过比较编码单元900的根据深度的编码误差来选择具有最小编码误差的深度以确定深度，并且可将对应的分区类型和预测模式设置为深度的编码模式。

这样，在所有深度0、1、…、d-1、d中比较根据深度的最小编码误差，并且具有最小编码误差的深度可被确定为深度。深度、预测单元的分区模式以及预测模式可作为划分信息被编码和发送。此外，由于必须从深度0至深度来划分编码单元，所以只有深度的划分信息被设置为“0”，并且除了深度之外的深度的划分信息被设置为“1”。

根据各种实施例的视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的深度以及预测单元信息，以对编码单元912进行解码。根据各种实施例的视频解码设备200可通过使用根据深度的划分信息将划分信息为“0”的深度确定为深度，并且可使用关于对应深度的划分信息以进行解码。

图18、图19和图20示出根据各种实施例的编码单元、预测单元和变换单元之间的关系。

编码单元1010是最大编码单元中的与由视频编码设备100确定的根据深度的更深层编码单元。预测单元1060是每个根据深度的编码单元1010的预测单元的分区，变换单元1070是每个根据深度的编码单元1010的变换单元。

在编码单元1010中，当最大编码单元的深度为0时，编码单元1012和1054的深度为1，编码单元1014、1016、1018、1028、1050和1052的深度为2，编码单元1020、1022、1024、1026、1030、1032和1048的深度为3，编码单元1040、1042、1044和1046的深度为4。

在预测单元1060中，通过划分编码单元1010中的编码单元来获得一些编码单元1014、1016、1022、1032、1048、1050、1052和1054。也就是说，分区1014、1022、1050和1054是具有2n×n的尺寸的分区模式，分区1016、1048和1052是具有n×2n的尺寸的分区模式，分区1032是具有n×n的尺寸的分区模式。编码单元1010的预测单元和分区小于或等于每个编码单元。

按照小于编码单元1052的数据单元中的变换单元1070，对编码单元1052的图像数据执行变换或逆变换。另外，变换单元1760中的编码单元1014、1016、1022、1032、1048、1050、1052和1054与预测单元1060中的编码单元1014、1016、1022、1032、1048、1050、1052和1054在尺寸和形状方面不同。也就是说，根据各种实施例的视频编码设备100和视频解码设备200可对同一编码单元中的单独的数据单元执行帧内预测/运动估计/运动补偿以及/变换/逆变换。

因此，对在最大编码单元的每个区域中具有分层结构的每个编码单元递归地执行编码，以确定最佳编码单元，因此可获得根据递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、分区模式信息、预测模式信息以及变换单元尺寸信息。表1示出了可由根据各种实施例的视频编码设备100和视频解码设备200设置的编码信息。

[表1]

根据各种实施例的视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，根据各种实施例的视频解码设备200的图像数据和编码信息提取器220可从接收的比特流提取关于具有树结构的编码单元的编码信息。

划分信息指示当前编码单元是否被划分为更低深度的编码单元。如果当前深度d的划分信息为0，则当前编码单元不再被划分到更低深度的深度是深度，因此可针对深度定义分区模式信息、预测模式信息以及变换单元尺寸信息。如果根据划分信息对当前编码单元进行进一步划分，则对划分出的更低深度的四个编码单元独立执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分区模式中定义帧内模式和帧间模式，仅在尺寸为2n×2n的分区模式中定义跳过模式。

分区模式信息可指示通过对称划分预测单元的高度或宽度而获得的尺寸为2n×2n、2n×n、n×2n和n×n的对称分区模式以及通过非对称划分预测单元的高度或宽度而获得的尺寸为2n×nu、2n×nd、nl×2n和nr×2n的非对称分区模式。可通过以1:3和3:1划分预测单元的高度来分别获得尺寸为2n×nu和2n×nd的非对称分区模式，可通过以1:3和3:1划分预测单元的宽度来分别获得尺寸为nl×2n和nr×2n的非对称分区模式。

变换单元的尺寸可被设置为帧内模式下的两种类型以及帧间模式下的两种类型。也就是说，如果变换单元的划分信息为0，则变换单元的尺寸可以是2n×2n(2n×2n是当前编码单元的尺寸)。如果变换单元的划分信息为1，则可通过划分当前编码单元来获得变换单元。另外，如果尺寸为2n×2n的当前编码单元的分区模式是对称分区模式，则变换单元的尺寸可以是n×n，如果当前编码单元的分区模式是非对称分区模式，则变换单元的尺寸可以是n/2×n/2。

关于根据各种实施例的具有树结构的编码单元的编码信息可被分配给与深度对应的编码单元、预测单元以及最小单元中的至少一个。与深度对应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较邻近数据单元的多条编码信息，来确定邻近数据单元是否包括在与相同深度对应的编码单元中。另外，通过使用数据单元的编码信息来确定与深度对应的相应编码单元，因此可推断最大编码单元中的深度的分布。

因此，如果基于邻近数据单元的编码信息来预测当前编码单元，则可直接参照和使用与当前编码单元邻近的更深层编码单元中的数据单元的编码信息。

在另一实施例中，如果基于邻近数据单元的编码信息来预测当前编码单元，则通过使用所述数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并且可参照搜索到的邻近编码单元来预测当前编码单元。

图21示出根据表1的编码模式信息的编码单元、预测单元以及变换单元之间的关系。

最大编码单元1300包括多个深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是深度的编码单元，所以划分信息可被设置为0。尺寸为2n×2n的编码单元1318的分区模式信息可被设置为包括2n×2n1322、2n×n1324、n×2n1326、n×n1328、2n×nu1332、n×nd1334、nl×2n1336以及nr×2n1338的分区模式之一。

变换单元划分信息(tu尺寸标记)是一类变换索引，并可根据编码单元的预测单元类型或分区模式改变与变换索引对应的变换单元的尺寸。

例如，当分区模式信息被设置为对称分区模式2n×2n1322、2n×n1324、n×2n1326和n×n1328之一时，如果变换单元划分信息为0，则尺寸为2n×2n的变换单元1342被设置，如果变换单元划分信息为1，则尺寸为n×n的变换单元1344可被设置。

当分区模式信息被设置为非对称分区模式2n×nu1332、n×nd1334、nl×2n1336和nr×2n1338之一时，如果变换单元划分信息(tu尺寸标记)为0，则尺寸为2n×2n的变换单元1352可被设置，如果变换单元划分信息为1，则尺寸为n/2×n/2的变换单元1354可被设置。

上面参照图20描述的变换单元划分信息(tu尺寸标记)是具有值0或值1的标记，但是根据各种实施例的变换单元划分信息不限于1比特的标记，并且当变换单元划分信息根据设置按照0、1、2、3…等的方式增加时，变换单元可被分层划分。变换单元划分信息可以是变换索引的示例。

在这种情况下，可通过使用根据各种实施例的变换单元划分信息以及变换单元的最大尺寸和变换单元的最小尺寸来表示已经实际使用的变换单元的尺寸。根据各种实施例的视频编码设备100可对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码的结果可被插入到sps。根据各种实施例的视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大tu尺寸标记来对视频解码。

例如，(a)如果当前编码单元的尺寸是64×64且最大变换单元尺寸是32×32，则(a-1)当tu尺寸标记为0时变换单元的尺寸可以是32×32；(a-2)当tu尺寸标志为1时变换单元的尺寸可以是16×16；(a-3)当tu尺寸标记为2时变换单元的尺寸可以是8×8。

作为另一示例，(b)如果当前编码单元的尺寸是32×32且最小变换单元尺寸是32×32，则(b-1)当tu尺寸标记为0时变换单元的尺寸可以是32×32。这里，tu尺寸标记不能被设置为除0之外的值，这是因为变换单元的尺寸不能小于32×32。

作为另一示例，(c)如果当前编码单元的尺寸是64×64且最大tu尺寸标记是1，则tu尺寸标记为可以是0或1。这里，tu尺寸标志不能被设置为0或1之外的值。

因此，如果将最大tu尺寸标记定义为“maxtransformsizeindex”，最小变换单元尺寸定义为“mintransformsize”，当tu尺寸标记为0时的变换单元尺寸定义为“roottusize”，则可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元尺寸“currmintuszie”：

currmintuszie＝max(mintransformsize,roottusize/(2^maxtransformsizeindex))(1)

与可在当前编码单元中确定的当前最小变换单元尺寸“currmintuszie”比较，当tu尺寸标志为0时的变换单元尺寸“roottusize”可表示可在系统中选择的最大变换单元尺寸。在等式(1)中，“roottusize/(2^maxtransformsizeindex)”表示当tu尺寸标记为0时变换单元尺寸“roottusize”被划分与最大tu尺寸标记对应的次数时的变换单元尺寸，“mintransformsize”表示最小变换单元尺寸。因此，roottusize/(2^maxtransformsizeindex)”和“mintransformsize”中的较小值可以是可在当前编码单元中确定的当前最小变换单元尺寸“currmintuszie”。

根据各种实施例，最大变换单元尺寸roottusize可根据预测模式的类型而变化。

例如，如果当前预测模式是帧内模式，则“roottusize”可以通过下面的等式(2)来确定。在等式(2)中，“maxtransformsize”表示最大变换单元尺寸，“pusize”表示当前预测单元尺寸。

roottusize＝min(maxtransformsize,pusize)(2)

即，如果当前预测模式是帧间模式，则当tu尺寸标记为0时的变换单元尺寸“roottusize”可以是最大变换单元尺寸和当前预测单元尺寸中的较小值。

如果当前分区单元的预测模式是帧内模式，则“roottusize”可通过下面的等式(3)来确定。在等式(3)中，“partitionsize”表示当前分区单元的尺寸。

roottusize＝min(maxtransformsize,partitionsize)(3)

即，如果当前预测模式是帧内模式，则当tu尺寸标记为0时的变换单元尺寸“roottusize”可以是最大变换单元尺寸和当前分区单元的尺寸中的较小值。

然而，根据分区单元中的预测模式的类型而变化的当前最大变换单元尺寸“roottusize”仅是示例，并且本公开不限于此。

根据上述参照图9至图21描述的基于树结构的编码单元的视频编码方法，空间域的图像数据根据每个树结构的编码单元被编码，并且以根据基于树结构的编码单元的视频解码方法对每个最大编码单元执行解码的方式来重建空间域的图像数据，从而由画面和画面序列形成的视频可被重建。重建的视频可通过再现设备被再现，可被存储在存储介质中，或可经由网络被发送。

一个或更多个实施例可被编写为计算机程序，并且可被实现在通用数字计算机中，其中，所述通用数字计算机通过使用非暂时性计算机可读记录介质执行程序。非暂时性计算机可读记录介质的示例包括rom、ram、cd-rom、磁带、软盘、光学数据存储装置等。此外，非暂时性计算机可读记录介质可被分布在通过网络连接的计算机系统上，并可过分布式方案作为计算机可读代码被存储和执行。

尽管已经参照本公开的实施例具体示出和描述了本公开，但是本领域的普通技术人员将理解，在不脱离权利要求的精神和范围的情况下，可对其进行形式和细节上的各种改变。实施例应该被认为只是描述的意义而不用于限制的目的。因此，本公开的范围不是由本公开的详细描述限定，而是由权利要求限定，并且在该范围内的所有差别都将被解释为被包括在本公开中。