用于样点值补偿的图像编码方法和装置以及用于样点值补偿的图像解码方法和装置与流程

本公开涉及图像编码和解码。

背景技术：

随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供，对于用于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。根据传统的视频编解码器，根据基于具有预定尺寸的块的受限的编码方法来对视频进行编码。

通过视频编码和解码，视频的质量可能失真，因此，为了提高重建视频的质量，用于重建视频的后处理模块可被添加到解码终端。

技术实现要素：

技术问题

本公开提供了一种用于以高比特深度和高比特率产生在原始图像与重建图像之间具有最小误差的重建图像的视频编码方法和设备以及视频解码方法和设备。

技术方案

根据本公开的一方面，提供一种图像解码方法，包括：从比特流解析偏移值和偏移类型；从比特流解析基于所述偏移类型的种类；基于所述种类从与重建像素邻近的像素中选择多个像素，并基于所述多个像素的样点值计算参考值；基于参考值和重建像素的样点值之间的差值的大小，确定类别；从所述偏移值之中选择与所述类别相应的偏移值；通过使用选择的偏移值来补偿重建像素的样点值。

计算参考值的步骤可包括：计算所述多个像素的样点值的中值和均值之一。

如果所述偏移类型为边缘类型，则计算参考值的步骤可包括：基于所述种类，将参考值确定为所述多个像素的样点值的中值和均值之一。

在计算参考值的步骤中，如果所述偏移类型为中值类型，则参考值可与所述多个像素的样点值的中值相应，如果所述偏移类型为中值类型，则参考值可与所述多个像素的样点值的均值相应。

所述类别可以为基于参考值与像素的样点值之间的差值的大小而被分类的多个类别之一。

在确定所述类别中，如果所述差值小于第一阈值，则所述类别可被确定为第一类别，如果所述差值等于或大于第一阈值并且小于第二阈值，则所述类别可被确定为第二类别，如果所述差值等于或大于第二阈值并且小于第三阈值，则所述类别可被确定为第三类别，如果所述差值等于或大于第三阈值并且小于第四阈值，则所述类别可被确定为第四类别，如果所述差值等于或大于第四阈值，则所述类别可被确定为第五类别，其中，所述多个类别可包括第一类别至第五类别。

第一阈值和第二阈值可为负数，第三阈值和第四阈值可为正数。

如果所述类别被确定为第三类别，则可不对重建像素的样点值进行补偿。

选择偏移值的步骤可包括：从所述偏移值之中选择与第一类别至第五类别之一相应的偏移值。

在解析所述偏移值和所述偏移类型的步骤中，所述偏移值和所述偏移类型可根据每个最大编码单元被解析，每个最大编码单元可包括重建像素。

所述多个像素的位置可具有多个方向。

计算参考值的步骤可包括：通过使用重建像素的样点值和所述多个像素的样点值来计算参考值。

所述多个像素可包括重建像素以及相对于重建像素的左上侧像素、左侧像素、右侧像素和右下侧像素。

所述多个像素可包括重建像素以及相对于重建像素的左下侧像素、左侧像素、右侧像素和右上侧像素。

所述多个像素可包括重建像素以及相对于重建像素的左上侧像素、上侧像素、下侧像素和右下侧像素。

所述多个像素可包括重建像素以及相对于重建像素的左下侧像素、下侧像素、上侧像素和右上侧像素。

所述种类可以是指示与重建像素邻近的像素的组合的多个种类之一。

根据本公开的另一方面，提供一种计算机可读记录介质，其中，在所述计算机可读记录介质上记录有用于实现图像解码方法的程序。

根据本公开的另一方面，提供一种图像解码设备，包括：提取器，被配置为从比特流解析偏移值和偏移类型，从比特流解析基于所述偏移类型的种类；偏移确定器，被配置为基于所述种类从与重建像素邻近的像素中选择多个像素，并基于所述多个像素的样点值计算参考值，基于参考值和重建像素的样点值之间的差值的大小，确定类别，并从所述偏移值之中选择与所述类别相应的偏移值；像素补偿器，被配置为通过使用选择的偏移值来补偿重建像素的样点值。

根据本公开的另一方面，提供一种图像编码方法，包括：基于根据偏移类型的多个种类之中的种类，从与重建像素邻近的像素之中选择多个像素，并基于所述多个像素的样点值计算参考值；基于参考值与重建像素的样点值之间的差值的大小，确定类别；基于重建像素的样点值和重建像素的原始像素的样点值，确定与所述类别相应的偏移值；对所述偏移值、所述偏移类型和所述种类进行编码；发送包括编码的偏移值、编码的偏移类型和编码的种类的比特流。

根据本公开的另一方面，提供一种图像编码设备，包括：编码器，被配置为基于根据偏移类型的多个种类之中的种类，从与重建像素邻近的像素之中选择多个像素，并基于所述多个像素的样点值计算参考值，基于参考值与重建像素的样点值之间的差值的大小，确定类别，基于重建像素的样点值和重建像素的原始像素的样点值，确定与所述类别相应的偏移值，并对所述偏移值、所述偏移类型和所述种类进行编码；发送器，被配置为发送包括编码的偏移值、编码的偏移类型和编码的种类的比特流。

附图说明

图1是根据本公开的实施例的视频编码设备100的框图。

图2是根据本公开的实施例的图像编码方法的流程图。

图3是根据本公开的实施例的视频解码设备的框图。

图4是根据本公开的实施例的图像解码方法的流程图。

图5是根据本公开的另一实施例的视频解码设备500的框图。

图6示出根据本公开的实施例的偏移类型和种类。

图7示出根据本公开的实施例的种类。

图8示出根据本公开的实施例的种类。

图9a和图9b示出根据本公开的实施例的边缘类型的类别。

图10示出根据本公开的实施例的边缘类型、均值类型和中值类型的类别。

图11示出根据本公开的实施例的偏移类型和种类。

图12示出根据本公开的实施例的基于根据树结构的编码单元的视频编码设备1200的框图。

图13示出根据本公开的实施例的基于根据树结构的编码单元的视频解码设备1300的框图。

图14示出根据本公开的实施例的编码单元的概念。

图15示出根据本公开的实施例的基于编码单元的图像编码器1500的框图。

图16是根据本公开的实施例的基于编码单元的图像解码器1600的框图。

图17示出根据本公开的实施例的根据深度的更深层编码单元和分区。

图18示出根据本公开的实施例的在编码单元和变换单元之间的关系。

图19示出根据本公开的实施例的根据深度的多条编码信息。

图20示出根据本公开的实施例的根据深度的更深层编码单元。

图21、图22和图23示出根据本公开的实施例的编码单元、预测单元和变换单元之间的关系。

图24示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系。

具体实施方式

以下，参照图1至图24，现将在下面描述用于补偿预定像素的样点值的图像编码方法和设备以及图像解码方法和设备的各种实施例。更具体地，参照图1至图11，将提供用于补偿预定像素的样点值的图像编码和解码的各种实施例，参照图1至图24，将提供根据本公开的实施例的以树编码单元补偿预定像素的样点值的实施例。以下，“图像”可指示视频的静止图像或运动画面(即，视频本身)。

以下，参照图1至图11，将现在描述根据本公开的实施例的用于补偿预定像素的样点值的图像编码和解码。

图1是根据本公开的实施例的视频编码设备100的框图。

根据实施例的视频编码设备100包括编码器120和发送器140。根据实施例的编码器120基于根据偏移类型的多个种类之中的种类，从与重建像素邻近的像素之中选择多个像素。此外，编码器120基于所述多个像素的样点值计算参考值。编码器120基于参考值与重建像素的样点值之间的差值的大小，确定类别。此外，编码器120基于重建像素的样点值和重建像素的原始像素的样点值，确定与类别相应的偏移值。此外，编码器120对偏移值、偏移类型和种类进行编码。

发送器140发送包括编码的偏移值、编码的偏移类型和编码的种类的比特流。视频解码设备可接收从发送器140发送的比特流。

根据实施例的视频编码设备100可基于针对当前块的样点值的分类方法，确定偏移类型。例如，视频编码设备100可基于当前块的样点值的空间特征，确定当前块的偏移类型。

根据实施例的偏移类型可被确定为边缘类型、带类型、均值类型或中值类型。基于针对当前块的样点值的分类方法，视频编码设备100可确定在对当前块的像素的分类中哪种类型是适当的。

更详细地说，视频编码设备100可基于率失真优化(rdo)选择边缘类型、带类型、均值类型、中值类型和不使用样点自适应偏移(sao)的情况之一。例如，视频编码设备100可针对上述所有情况执行编码，并可分别计算这些情况的率失真(rd)值。此外，视频编码设备100可选择具有最优rd值的情况的类型。

每个种类可包括多种情况。例如，边缘类型可具有4个种类。例如，均值类型可具有10个类型。边缘类型的种类均可指示重建像素相对于邻近像素的边缘的方向。视频编码设备100可选择包括在选择的类型中的多个种类之一。例如，视频编码设备100可针对所有上述情况执行编码，并随后可分别计算这些情况的rd值。此外，视频编码设备100可选择具有最优rd值的情况。

在以上描述中，为了方便描述，单独描述类型和种类。然而，视频编码设备100可针对包括在每个类型中的每个种类执行编码，并随后可计算每种情况的rd值。视频编码设备100可选择具有最优rd值的情况的类型和种类。

在根据实施例的偏移类型是边缘类型的情况下，可基于当前块的重建像素与邻近像素形成的方向和边缘形状，确定重建像素与原始像素之间的偏移。

在根据实施例的偏移类型是带类型的情况下，可从通过将当前块的重建像素的样点值的范围进行划分而获得的多个带中确定一些带中的重建像素的偏移。根据多种情况，带可以以等间隔或不等间隔划分样点值的范围。可基于比特深度确定样点值的范围。

在根据实施例的偏移类型是均值类型的情况下，视频编码设备100可基于种类选择与重建像素邻近的多个像素。种类可以是多个种类之一。此外，视频编码设备100可计算所述多个像素的样点值的均值，作为参考值。视频编码设备100可基于参考值确定偏移值。

在根据实施例的偏移类型是中值类型的情况下，视频编码设备100可基于种类选择与重建像素邻近的多个像素。种类可以是多个种类之一。此外，视频编码设备100可计算所述多个像素的样点值的中值，作为参考值。视频编码设备100可基于参考值确定偏移值。

如上所述，当偏移类型是中值类型时，参考值可以是所述多个像素的样点值的中值，当偏移类型是均值类型时，参考值可以是所述多个像素的样点值的均值。

根据实施例的编码器120可根据当前块的偏移类型，确定每个重建像素的偏移种类。

在根据实施例的偏移类型是边缘类型的情况下，种类可指示重建像素相对于邻近像素的边缘的方向。根据实施例的种类可指示具有0度、90度、45度或135度的边缘方向。边缘的方向不限于此，并且可存在各种方向。此外，种类可不指示方向。这将参照图8的(a)和图8的(b)来详细描述。

在根据实施例的偏移类型是带类型的情况下，当当前块的样点值的范围被划分为预定数量的连续的样点值分组并且每个样点值分组被称为带时，根据实施例的带种类可表示指示包括重建像素的样点值的带的带位置。

例如，在像素的样点值为8比特的情况下，样点值的范围在0到255之间，样点值可划分为总共32个带。在这种情况下，可从这32个带中确定预定数量的包括重建像素的样点值的带。根据实施例的带种类可指示预定数量的连续的带的起始位置，并可使用0至31的带索引来表示起始带的位置。

当根据实施例的偏移类型为均值类型或中值类型时，根据实施例的种类可指示重建像素相对于邻近像素的方法。根据实施例的种类可指示0度、90度、45度或135度的方法。然而，方向不限于此，并因此可改变。

种类可不指示方向。例如，当偏移类型是均值类型或中值类型时，种类可以是多个种类之一，种类选择与至少一个重建像素邻近的所有像素。这将参照图8来详细描述。将参照图6详细描述偏移类型和种类之间的关系。此外，将参照图7和图8详细描述种类。

可基于下面的方法确定当前块的重建像素的类别。

在边缘类型的情况下，根据当前块的重建像素与邻近像素形成的边缘形状，当前块的重建像素可被分类为预定数量的类别。例如，根据凹边缘的局部低谷、凹边缘的拐角、凸边缘的拐角和凸边缘的局部高峰的4种边缘形状，重建像素可被分类为4个类别。根据当前块的每个重建像素的边缘形状，一个重建像素可被确定为包括在4个类别之一中。然而，这不限于此。例如，视频编码设备100可以以与均值类型或中值类型的情况相同的方式来确定类别。

在带类型的情况下，根据包括当前块的重建像素的样点值的带位置，当前块的重建像素可被分类为预定数量的类别。例如，根据从由带种类指示的带的起始位置开始的4个连续的带的带索引，重建像素可被分类为4个类别。当前块的每个重建像素可根据其属于4个带之中的哪个带而被确定为包括在4个类别之一中。

在均值类型或中值类型的情况下，视频编码设备100可基于重建像素的参考值和样点值之间的差值的大小，确定类别。例如，根据差值的大小，重建像素可被确定为包括在5个类别之一中。将参照图9a、图9b和图10详细描述确定类别的方法。

当类别被确定时，视频编码设备100可基于重建像素的样点值和原始像素的样点值，确定与该类别相应的偏移值。例如，视频编码设备100可将重建像素的样点值与原始像素的样点值之间的差确定为偏移值。如上所述，视频编码设备100可计算每个类型和每个种类的偏移值。视频编码设备100可计算每种情况的rd值。视频编码设备100可选择具有最优rd值的情况的偏移值，并可对选择的偏移值进行编码并将其发送到视频解码设备300。

如上所述，视频编码设备100可将多个重建像素分类为多个类别。此外，视频编码设备100可确定每个种类的偏移值。即，视频编码设备100可确定与多个类别相应的多个偏移值。

图2是根据本公开的实施例的图像编码方法的流程图。

这里省略参照图1的描述中重复的对图2的图像编码方法的描述。图1的编码器120可执行根据本公开的实施例的图像编码方法的操作210、220、230和240。此外，发送器140可执行根据本公开的实施例的图像编码方法的操作250。

根据实施例的图像编码方法包括操作210，即，基于根据偏移类型的多个种类之中的种类，从与重建像素邻近的像素之中选择多个像素，并基于所述多个像素的样点值计算参考值。此外，图像编码方法包括操作220，即，基于重建像素的参考值和样点值之间的差值的大小，确定类别。此外，图像编码方法包括操作230，即，基于重建像素的样点值和重建像素的原始像素的样点值，确定与类别相应的偏移值。此外，图像编码方法包括操作240，即，对偏移值、偏移类型和种类进行编码。此外，图像编码方法包括操作250，即，发送包括编码的偏移值、编码的偏移类型和编码的种类的比特流。

图3是根据本公开的实施例的视频解码设备的框图。

视频解码设备300可包括提取器320、偏移确定器340和像素补偿器360。

提取器320可从比特流解析偏移值和偏移类型，并可从比特流解析基于偏移类型的种类。偏移确定器340可基于所述种类，从与重建像素邻近的像素选择多个像素。偏移确定器340可基于所述多个像素的样点值计算参考值。偏移确定器340可基于重建像素的参考值和样点值之间的差值的大小，确定类别。偏移确定器340可从偏移值之中选择与所述类别相应的偏移值。像素补偿器360可包括像素补偿器，像素补偿器通过使用选择的偏移值来补偿重建像素的样点值。这将参照图4的图像解码方法来更详细地描述。

图4是根据本公开的实施例的图像解码方法的流程图。

视频解码设备300的提取器320可执行根据本公开的实施例的图像解码方法的操作410。视频解码设备300的偏移确定器340可执行根据本公开的实施例的图像解码方法的操作420、430、440和450。视频解码设备300的像素补偿器360可执行根据本公开的实施例的图像解码方法的操作460。

根据本公开的实施例的图像解码方法包括操作410，即，从比特流解析偏移值和偏移类型。视频解码设备300可从图1的发送器140接收比特流。此外，根据本公开的实施例的图像解码方法包括操作420，即，从比特流解析基于偏移类型的种类。根据本公开的实施例的图像解码方法包括操作430，即，基于所述种类从与重建像素邻近的像素中选择多个像素，并基于所述多个像素的样点值计算参考值。根据本公开的实施例的图像解码方法包括操作440，即，基于重建像素的参考值和样点值之间的差值的大小，确定类别。根据本公开的实施例的图像解码方法包括操作450，即，从偏移值之中选择与所述类别相应的偏移值。根据本公开的实施例的图像解码方法包括操作460，即，通过使用选择的偏移值补偿重建像素的样点值。

计算参考值的操作430可以是计算从与重建像素邻近的像素中选择的多个像素的样点值的中值和均值之一的操作。

此外，计算参考值的操作430可包括：当偏移类型是边缘类型时，基于种类将参考值确定为多个像素的样点值的中值和均值之一。

在计算参考值的操作430中，当偏移类型是中值类型时，参考值可以是多个像素的样点值的中值。此外，在计算参考值的操作430中，当偏移类型是均值类型时，参考值可以是多个像素的样点值的均值。

类别可以是根据重建像素的参考值和样点值之间的差值的大小划分的多个类别之一。

在确定类别的操作440中，如果差值小于第一阈值，则类别可被确定为第一类别。在确定类别的操作440中，如果差值等于或大于第一阈值并小于第二阈值，则类别可被确定为第二类别。在确定类别的操作440中，如果差值等于或大于第二阈值并小于第三阈值，则类别可被确定为第三类别。在确定类别的操作440中，如果差值等于或大于第三阈值并小于第四阈值，则类别可被确定为第四类别。在确定类别的操作440中，如果差值等于或大于第四阈值，则类别可被确定为第五类别。多个类别可包括第一类别至第五类别。

此外，上述第一阈值和第二阈值可以是负数，第三阈值和第四阈值可以是正数。

当类别被确定为第三类别时，可不补偿重建像素的样点值。

选择偏移值的操作450可包括：从偏移值中选择与第一类别至第五类别之一相应的偏移值。

在解析偏移值和偏移类型的操作410中，针对每个最大编码单元解析偏移值和偏移类型。最大编码单元可包括重建像素。

多个像素的位置可具有多个方向。

在计算参考值的操作430中，可通过使用重建像素的样点值和多个像素的样点值来执行计算。

由视频解码设备300选择的多个像素可包括重建像素以及相对于重建像素的左上像素、左侧像素、右侧像素和右下像素。

由视频解码设备300选择的多个像素可包括重建像素以及相对于重建像素的左下像素、左侧像素、右侧像素和右上像素。

由视频解码设备300选择的多个像素可包括重建像素以及相对于重建像素的左上像素、上侧像素、下侧像素和右下像素。

由视频解码设备300选择的多个像素可包括重建像素以及相对于重建像素的左下像素、下侧像素、上侧像素和右上像素。

种类可以是指示与重建像素邻近的像素的组合的多个种类之一。

以下，参照图5，现将描述使用sao技术的图像解码方法。

图5是根据本公开的另一实施例的视频解码设备500的框图。

视频解码设备500包括熵解码器510、反量化器520、逆变换器530、重建单元540、帧内预测器550、参考画面缓冲器560、运动补偿器570、去块滤波单元580和sao单元590。

视频解码设备500可接收包括编码的视频数据的比特流。熵解码器510可从比特流解析帧内模式信息、帧间模式信息、样点自适应偏移(sao)信息和残差数据(残差值)。

由熵解码器510提取的残差数据可以是量化的变换系数。因此，反量化器520可对残差数据执行反量化，从而重建变换系数，逆变换器530可对重建的变换系数执行逆变换，从而重建空间域的残差值。

为了对空间域的残差值进行预测重建，可执行帧内预测或运动补偿。

当熵解码器510提取帧内模式信息时，帧内预测器550可确定在通过使用帧内模式信息重建当前样点中参考邻近样点之中的哪个样点，其中，这些样点与当前样点空间邻近。可从由重建单元540重建的样点之中选择参考目标邻近样点。重建单元540可通过使用基于帧内模式信息确定的参考样点和由逆变换器530重建的残差值来重建当前样点。

当熵解码器510提取帧间模式信息时，运动补偿器570可确定在通过使用帧间模式信息重建当前画面的当前样点中参考哪个样点，其中，这些样点处于在当前画面之前重建的画面之中。帧间信息可包括运动矢量、参考索引等。可通过使用参考索引确定用于对当前样点进行运动补偿的参考画面，其中，该参考画面处于在当前画面之前重建的画面之中，并被存储在参考画面缓冲器560。通过使用运动矢量确定用于对当前块进行运动补偿的参考块，其中，该参考块处于参考画面之中。重建单元540可通过使用基于帧间模式信息确定的参考块以及由逆变换器530重建的残差值来重建当前样点。

样点可通过重建单元540重建，从而重建的像素可被输出。重建单元540可根据每个最大编码单元，基于树结构的编码单元产生重建像素。

去块滤波单元580可对最大编码单元或树结构的编码单元执行滤波，从而减少关于位于编码单元的边界的像素的块现象。

根据实施例的sao单元590可通过使用sao技术，根据每个最大编码单元调整重建像素的偏移。sao单元590可从由熵解码器510提取的sao信息确定当前最大编码单元的偏移类型、偏移种类和偏移值。

由熵解码器510针对sao信息的提取操作可相应于由视频解码设备300的提取器320执行的操作，由sao单元590执行的操作可相应于由视频解码设备300的偏移确定器340和像素补偿器360执行的操作。

sao单元590可针对当前最大编码单元的每个重建像素确定偏移值的符号和差值。sao单元590可将每个重建像素的样点值增大或减小从偏移值确定的差值，从而减小重建像素和原始像素之间的误差。

包括偏移被sao单元590调整的重建像素的画面可被存储在参考画面缓冲器560中。因此，可通过使用重建像素与原始像素之间的误差通过使用sao技术而被最小化的参考画面来执行针对下一画面的运动补偿。

基于根据实施例的sao技术，可确定包括重建像素的像素组的偏移。首先，现将详细描述sao技术将重建像素分类为像素组的实施例。

基于根据实施例的sao技术，(i)可根据重建像素的边缘类型来对像素进行分类或(ii)可根据重建像素的带类型来对像素进行分类。此外，(iii)可根据均值类型对像素进行分类或(iv)可根据中值类型对像素进行分类。像素是根据边缘类型、还是带类型、还是均值类型、还是中值类型被分类可由偏移类型来限定。

以下，现将基于图1的视频编码设备100、图2的图像编码方法、图3的视频解码设备300和图4图像解码方法来描述图6至图11。

参照图6的(a)，偏移类型可具有带类型和边缘类型。

图6示出根据本公开的实施例的偏移类型和种类。

在带类型的情况下，视频编码设备100可不单独将种类信息发送到视频解码设备300。此外，视频编码设备100可将带的起始位置信息发送到视频解码设备300。边缘类型可包括4个种类(种类1至种类4)。例如，边缘类型的种类可指示重建像素相对于邻近像素的边缘方向。根据实施例的边缘类型的种类可指示0°、90°、45°和135°中的一个边缘方向。

视频编码设备100可将当前块的偏移类型和根据偏移类型的种类包括在比特流中，并可发送该比特流。视频编码设备100可将索引分配给偏移类型或种类。当偏移类型或种类的出现频率高时，视频编码设备100可将小的索引分配给偏移类型或种类。

视频解码设备300可从发送自视频编码设备100的比特流解析出偏移类型和种类。例如，当由视频解码设备300解析的当前块的偏移类型是边缘类型时，视频解码设备300可解析种类1至种类4中的至少一个。

在边缘类型的种类的情况下，根据当前块的重建像素与邻近像素形成的边缘形状，当前块的重建像素可被分类为预定数量的类别。例如，根据凹边缘的局部低谷、凹边缘的拐角、凸边缘的拐角和凸边缘的局部高峰的4种边缘形状，重建像素可被分类为4个类别。将参照图9b详细描述这4个类别。

参照图6的(b)，偏移类型可具有带类型和边缘类型。由于参照图1和图6的(a)描述了带类型，因此省略对其的详细描述。边缘类型可具有5个或更多个种类。例如，边缘类型可包括15个种类(种类1至种类15)。15个种类可包括图6的(a)的4个种类(种类1至种类4)。

视频编码设备100可将当前块的偏移类型和根据偏移类型的种类包括在比特流中，并可发送该比特流。视频解码设备300可从发送自视频编码设备100的比特流中解析偏移类型和种类。例如，当由视频解码设备300解析的当前块的偏移类型是边缘类型时，视频解码设备300可解析种类1至种类15中的至少一个。

如图6的(a)，当解析的种类是图6的(b)的种类1至种类4时，当前块的重建像素可根据当前块的重建像素与邻近像素形成的边缘形状而被分类为预定数量的类别。例如，根据凹边缘的局部低谷、凹边缘的拐角、凸边缘的拐角和凸边缘的局部高峰的4种边缘形状，重建像素可被分类为4个类别。

当解析的种类是图6的(b)的种类5至种类15时，视频解码设备300可基于种类，从与重建像素邻近的像素之中选择多个像素。视频解码设备300可基于所述多个像素的样点值来计算参考值。

当偏移类型是边缘类型时，视频解码设备300可将与重建像素邻近的多个像素的样点值的中值和均值之一确定为参考值。例如，视频解码设备300可基于种类，将中值或均值确定为参考值。也就是说，针对种类5至种类10，视频编码设备100和视频解码设备300可通过使用均值来确定参考值。针对种类11至种类15，视频编码设备100和视频解码设备300可通过使用中值来确定参考值。然而，这不限于此。

视频解码设备300可基于重建像素的参考值和样点值之间的差值的大小，确定类别。将参照图10详细描述在种类5至种类15的情况下确定类别的方法。

参照图6的(c)，偏移类型可具有带类型、边缘类型、均值类型或中值类型。由于参照图1至图6的(a)描述了带类型，因此省略对其的详细描述。边缘类型可包括多个种类(种类1至种类4)。包括在边缘类型中的种类可等于图6的(a)的4个种类(种类1至种类4)。

均值类型和中值类型均可包括一个或更多个种类。例如，均值类型可具有7个种类(种类6至种类13)。中值类型可具有2个种类(种类14和种类15)。

视频编码设备100可将当前块的偏移类型和根据偏移类型的种类包括在比特流中，并可发送该比特流。视频解码设备300可从发送自视频编码设备100的比特流中解析偏移类型和种类。例如，当由视频解码设备300解析的当前块的偏移类型是边缘类型时，视频解码设备300可解析种类1至种类4中的至少一个。当由视频解码设备300解析的当前块的偏移类型是均值类型时，视频解码设备300可解析针对当前块的种类。例如，解析的种类可以是种类5至种类13中的至少一个。当由视频解码设备300解析的当前块的偏移类型是中值类型时，视频解码设备300可解析种类14至种类15中的至少一个作为针对当前块的种类。

如图6的(a)，当解析的种类是图6的(c)的种类1至种类4时，当前块的重建像素可根据当前块的重建像素与邻近像素形成的边缘形状而被分类为预定数量的类别。例如，根据凹边缘的局部低谷、凹边缘的拐角、凸边缘的拐角和凸边缘的局部高峰的4种边缘形状，重建像素可被分类为4个类别。

当解析的种类是图6的(c)的种类5至种类13时，视频解码设备300可基于种类，从与重建像素邻近的像素之中选择多个像素。视频解码设备300可基于所述多个像素的样点值来计算参考值。参考值可以是所述多个像素的均值。视频解码设备300可基于重建像素的参考值和样点值之间的差值的大小，确定类别。

当解析的种类是图6的(c)的种类14至种类15时，视频解码设备300可基于种类，从与重建像素邻近的像素之中选择多个像素。视频解码设备300可基于所述多个像素的样点值来计算参考值。参考值可以是多个选择的像素的中值。视频解码设备300可基于重建像素的参考值和样点值之间的差值的大小，确定类别。将参照图10详细描述在种类5至种类15的情况下确定类别的方法。

图7示出根据本公开的实施例的种类。

种类可以是指示与重建像素x0邻近的像素的组合的多个种类710、720、730和740之一。视频解码设备300可顺序地将0、1、2和3分配给种类710、720、730和740的索引。例如，当种类的出现频率高时，视频解码设备300可分配小索引。边缘类型、均值类型和中值类型中的每一个可包括种类710、720、730和740。

种类可指示在当前重建像素x0和与其邻近的两个邻近像素之间形成的一级边缘的方法。也就是说，由视频解码设备300基于种类选择的多个像素的位置可具有方向。

索引0的种类710指示当前重建像素x0和与当前重建像素x0水平邻近的两个邻近像素x1和x2形成边缘的情况。也就是说，种类710可指示0度的边缘方向。索引1的种类720指示前重建像素x0和与当前重建像素x0垂直邻近的两个邻近像素x3和x4形成边缘的情况。也就是说，种类720可指示90度的边缘方向。索引2的种类730指示当前重建像素x0和在135度的对角方向上与当前重建像素x0邻近的两个邻近像素x5和x8形成边缘的情况。索引3的种类740指示当前重建像素x0和在45度的对角方向上与当前重建像素x0邻近的两个邻近像素x6和x7形成边缘的情况。

图8示出根据本公开的实施例的种类。

种类可以是指示与重建像素811、816、822、827、832、837、843、853、863和873邻近的像素的组合的多个种类810、815、820、825、830、835、840、850、860和870之一。

视频解码设备300可顺序地将0、1、2、3、4、5、6、7和8分配给种类810、815、820、825、830、835、840、850、860和870的索引。例如，当种类的出现频率高时，视频解码设备300可将小索引分配给该种类。边缘类型、均值类型和中值类型中的每一个可包括种类810、815、820、825、830、835、840、850、860和870。

种类可不指示方向。例如，图8的(a)指示索引0的种类810。编码单元可包括重建像素811。视频解码设备300可基于种类810选择多个像素。所述多个像素可包括与当前重建像素811邻近的所有重建像素以及当前重建像素811。

图8的(b)可指示索引1的种类815。编码单元可包括重建像素816。视频解码设备300可基于种类815选择多个像素。所述多个像素可包括与当前重建像素816邻近的所有重建像素。然而，与图8的(a)中的种类810的情况不同，视频解码设备300可不选择当前重建像素816。

种类可指示方向。也就是说，由视频解码设备300基于种类选择的多个像素的位置可具有多个方向。例如，图8的(c)指示索引2的种类820。索引2的种类8可指示水平方向。例如，视频解码设备300可基于种类820选择多个像素。多个像素可包括当前重建像素822、邻近像素821和邻近像素823。种类820可以是具有与图7的种类710相同的形状的种类。

图8的(d)示出索引3的种类825。索引3的种类825可指示垂直方向。例如，视频解码设备300可基于种类825选择多个像素。所述多个像素可包括当前重建像素827、邻近像素826和邻近像素828。种类825可以是具有与图7的种类720相同的形状的种类。

图8的(e)示出索引4的种类830。索引4的种类830可指示垂直方向。例如，视频解码设备300可基于种类830选择多个像素。所述多个像素可包括当前重建像素832、邻近像素831和邻近像素833。种类830可以是具有与图7的种类730相同的形状的种类。

图8的(f)示出索引5的种类835。索引5的种类835可指示垂直方向。例如，视频解码设备300可基于种类835选择多个像素。所述多个像素可包括当前重建像素837、邻近像素836和邻近像素838。种类835可以是具有与图7的种类740相同的形状的种类。

图8的(g)示出索引6的种类840。索引6的种类840可指示方向846。例如，视频解码设备300可基于种类840选择多个像素。所述多个像素可包括重建像素843以及相对于重建像素843的左上像素841、左侧像素842、右侧像素844和右下像素845。

图8的(h)示出索引7的种类850。索引7的种类850可指示方向856。例如，视频解码设备300可基于种类850选择多个像素。所述多个像素可包括重建像素853以及相对于重建像素853的左下像素851、左侧像素852、右侧像素854和右上像素855。

图8的(i)示出索引8的种类860。索引8的种类860可指示方向866。例如，视频解码设备300可基于种类860选择多个像素。所述多个像素可包括重建像素863以及相对于重建像素863的左上像素861、上侧像素862、下侧像素864和右下像素865。

图8的(j)示出索引9的种类870。索引9的种类870可指示方向876。例如，视频解码设备300可基于种类870选择多个像素。所述多个像素可包括重建像素873以及相对于重建像素873的左下像素871、下侧像素872、上侧像素874和右上像素875。

种类810至种类870中的至少一个可被分配给边缘类型。种类810至种类870中的至少一个可被分配给均值类型。种类810至种类870中的至少一个可被分配给中值类型。种类810至种类870中的至少一个可不被分配给任何类型。此外，视频编码设备100和视频解码设备300可根据种类不同地设置类别。

例如，参照图6的(b)，边缘类型可包括种类1至种类15。例如，种类1可以是类型820。种类2可以是种类825。种类3可以是种类830。种类4可以是种类835。种类5可以是种类810。种类6可以是种类820。种类7可以是种类825。种类8可以是种类830。种类9可以是种类835。种类10可以是种类840。种类11可以是种类850。种类12可以是种类860。种类13可以是种类870。种类14可以是种类810。种类15可以是种类815。

在上面的示例中，种类1至种类4具有与种类6至种类9相同的形状。种类5具有与种类14相同的形状。在这点上，视频编码设备100和视频解码设备300可如将参照图9a和图9b描述的确定种类1至种类4的类别。此外，视频编码设备100和视频解码设备300可如将参照图10描述的确定种类5至种类15的类别。此外，视频编码设备100和视频解码设备300可针对种类5至种类13，将参考值确定为均值。此外，视频编码设备100和视频解码设备300可针对种类14至种类15，将参考值确定为中值。

视频解码设备300可基于种类从与重建像素邻近的像素之中选择多个像素，并可基于所述多个像素的样点值计算参考值。为了计算参考值，视频解码设备300不仅可使用所述多个像素的样点值，还可使用重建像素的样点值。例如，视频解码设备300可从比特流解析偏移值、偏移类型和种类。从比特流解析的偏移类型可以是边缘类型。从比特流解析的种类可以是索引6。视频解码设备300可基于种类840选择多个像素。例如，视频解码设备300可基于种类840选择多个像素。所述多个像素可包括重建像素843以及相对于重建像素843的左上像素841、左侧像素842、右侧像素844和右下像素845。

视频解码设备300可基于偏移类型和种类的索引来确定确定类别的方法。根据本公开的实施例，当偏移类型是边缘类型并且种类是索引3时，视频解码设备300可将重建像素822与邻近像素821进行比较，并可将重建像素822与邻近像素823进行比较，从而确定类别。下面将参照图9a和图9b详细描述这样的确定类别的方法。

根据本公开的另一实施例，由视频解码设备300解析的偏移类型可以是边缘类型。此外，由视频解码设备300解析的种类可以是索引6。与索引3不同，索引6可不同地确定类别。也就是说，确定类别的方法可根据种类而被改变。视频解码设备300可通过使用多个像素841、842、843、844和845的样点值的均值来计算参考值。此外，视频解码设备300可基于重建像素843的参考值和样点值之间的差值的大小，确定类别。视频解码设备300可从偏移值之中选择与所述类别相应的偏移值。视频解码设备300可通过使用选择的偏移值来补偿重建像素843的样点值。下面将参照图10详细描述这样的确定类别的方法。

当偏移类型是边缘类型并且种类是索引6时，视频解码设备300可通过使用多个像素841、842、843、844和845的样点值的均值来计算参考值。此外，视频解码设备300可基于重建像素843的参考值和样点值之间的差值的大小，确定类别。视频解码设备300可从偏移值之中选择与所述类别相应的偏移值。视频解码设备300可通过使用选择的偏移值来补偿重建像素843的样点值。

如图7和图8所示，视频编码设备100可分析包括在当前最大编码单元中的重建像素的边缘方向。视频编码设备100可确定当前最大编码单元中的强边缘的方向，从而确定当前最大编码单元的种类。

针对每个种类，类别可根据当前像素的边缘形状被分类。下面将参照图9a至图10来描述根据边缘形状的类别的示例。

图9a和图9b示出根据实施例的边缘类型的类别。

边缘类别指示当前像素是与凹边缘的最低点相应、还是与位于凹边缘的最低点周围的拐角处的像素相应、还是与凸边缘的最高点相应，还是与位于凸边缘的最高点周围的拐角处的像素相应。

图9a示出确定边缘的类别的条件。图9b示出重建像素与邻近像素之间的边缘形状以及样点值c、a和b的曲线图。

c指示重建像素的索引，a和b指示根据边缘方向与当前重建像素的两端邻近的邻近像素的索引。xa、xb和xc分别指示索引为a、b和c的重建像素的样点值。图9b的曲线图的x轴示出与重建像素的两端邻近的重建像素和邻近像素的索引，y轴指示像素的样点值。

在图9b的曲线图中，y轴可指示通过基于预定缩放信息对样点的样点值进行缩放而获得的值。例如，当一些像素的样点值基于预定缩放信息而被向右方向移位时，由噪声产生的影响可被减小。

类别1指示当当前像素与凹边缘的最低点(即，局部低谷)相应的情况。如曲线图910(xc<xa&&xc<xb)所示，如果邻近像素a和b之间的当前重建像素c与凹边缘的最低点相应，则当前重建像素可被分类为类别1。

类别2指示当当前像素位于凹边缘的最低点周围的拐角(即，凹角)(xc<xa&&xc＝＝xb||xc＝＝xa&&xc<xb)处的情况。如曲线图920(xc<xa&&xc＝＝xb)所示，如果邻近像素a和b之间的当前重建像素c位于凹边缘的向下曲线的终点处，或者如曲线图930(xc＝＝xa&&xc&lt;xb)所示，如果当前重建像素c位于凹边缘的向上曲线的起点处，则当前重建像素可被分类为类别2。

类别3指示当当前像素位于凸边缘的高点周围的拐角(即，凸角)(xc>xa&&xc＝＝xb||xc＝＝xa&&xc>xb)处的情况。如曲线图940(xc>xa&&xc＝＝xb)所示，如果邻近像素a和b之间的当前重建像素c位于凸边缘的向下曲线的起点处，或者如曲线图950(xc＝＝xa&&xc&gt;xb)所示，如果当前重建像素c位于凸边缘的向上曲线的终点处，则当前重建像素可被分类为类别3。

类别4指示当当前像素与凸边缘的最高点(即，局部高峰)相应的情况。如曲线图960(xc>xa&&xc>xb)所示，如果邻近像素a和b之间的当前重建像素c与凸边缘的最高点相应，则当前重建像素可被分类为类别4。

如果当前重建像素不满足类别1、2、3和4的条件中的任何条件，则当前重建像素被分类为类别0，并且类别0的偏移不需要被单独地编码。

根据实施例，针对与相同类别相应的重建像素，重建像素和原始像素之间的差值的均值可被确定为当前类别的偏移。此外，一些类别的偏移可被确定。

如果通过使用正偏移值对重建像素的样点值进行调整，则图9a和图9b的类别1和2的凹边缘可被平滑，并且由于负偏移值则可被锐化。类别3和4的凸边缘可由于负偏移值而被平滑，并且可由于正偏移值而被锐化。

根据实施例的视频编码设备100可不允许边缘的锐化效果。这里，类别1和2的凹边缘需要正偏移值，类别3和4的凸边缘需要负偏移值。在这种情况下，如果边缘的类别已知，则可确定偏移值的符号。因此，视频编码设备100和视频解码设备300可不交换偏移值的符号，并可仅交换偏移值的绝对值。

图10示出根据本公开的实施例的边缘类型、均值类型和中值类型的类别。

视频解码设备300可基于重建像素和重建像素的邻近像素来确定类别。例如，视频解码设备300可基于重建像素的参考值和样点值之间的差值的大小，确定类别。类别可以是根据像素的样点值与参考值之间的差值的大小而分类的多个类别之一。所述差值可通过使用下面的等式(1)来确定。

差值＝重建像素的样点值-参考值…(1)

视频解码设备300可将所述差值与阈值进行比较，从而确定类别。例如，参照图10，如果所述差值小于第一阈值，则类别可被确定为第一类别。第一阈值可以是-3.0。

如果所述差值等于或大于第一阈值并且小于第二阈值，则视频解码设备300可将类别确定为第二类别。第二阈值可以是-0.5。

如果所述差值等于或大于第二阈值并且小于第三阈值，则视频解码设备300可将类别确定为第三类别。第三阈值可以是0.5。

如果所述差值等于或大于第三阈值并且小于第四阈值，则视频解码设备300可将类别确定为第四类别。第四阈值可以是3.0。

如果所述差值等于或大于第四阈值，则视频解码设备300可将类别确定为第五类别。如上所述，视频解码设备300可从多个类别之中确定类别。多个类别可包括第一类别至第五类别。

另外，如上所述，第一阈值和第二阈值可以是负数，第三阈值和第四阈值可以是正数。

根据种类的索引号，视频解码设备300可使用参照图9b描述的类别确定方法，或可使用参照图10描述的类别确定方法。

根据实施例的视频编码设备100可不允许边缘的锐化效果。这里，图10的第一类别和第二类别的凹边缘需要正偏移值，第四类别和第五类别的凸边缘需要负偏移值。在这种情况下，如果边缘的类别已知，则偏移值的符号可被确定。因此，视频编码设备100和视频解码设备300可不交换偏移值的符号，并可仅交换偏移值的绝对值。

根据另一实施例的视频编码设备100可允许边缘的锐化效果。这里，图10的第一类别和第二类别的凹边缘需要负偏移值，第四类别和第五类别的凸边缘需要正偏移值。在这种情况下，如果边缘的类别已知，则偏移值的符号可被确定。因此，视频编码设备100和视频解码设备300可不交换偏移值的符号，并可仅交换偏移值的绝对值。然而，这不限于此，视频编码设备100和视频解码设备300也可交换偏移值的符号。

如果类别是第三类别，则与重建像素邻近的像素的样点值和重建像素的样点值之间的差值可以不大。在这种情况下，可不需要对重建像素的样点值进行补偿。因此，如果类别被确定为第三类别，则视频解码设备300可不对重建像素的样点值进行补偿。即，如果类别为第三类别，则偏移值可为0。此外，视频编码设备100可不将与第三类别相应的偏移值发送到视频解码设备300。

视频解码设备300可从接收自视频编码设备100的偏移值之中选择与第一类别至第五类别之一相应的偏移值。此外，视频解码设备300可通过使用选择的偏移值来补偿重建像素的样点值。

以下，现将描述当偏移类型是边缘类型、均值类型或中值类型时基于sao技术对像素进行分类的实施例。

视频编码设备100可对与当前种类的类别相应的偏移值进行编码和发送，视频解码设备300可通过使用接收到的与类别相应的偏移值，将每个重建像素调整相应类别的偏移值。

例如，如果边缘类型的偏移值不为0，则视频编码设备100可将偏移值的绝对值和缩放参数作为偏移值发送。由于偏移值的符号可根据类别来确定，因此，视频编码设备100不需要发送偏移值的符号。

当偏移类型为边缘类型、均值类型或中值类型时，视频解码设备300可解析偏移值的绝对值。可基于根据重建像素与邻近像素的形状的类别来预测偏移值的符号。

根据实施例的视频编码设备100可基于边缘方向和边缘形状来对像素进行分类，可将具有相同特征的像素的平均误差值确定为偏移值，并可确定各个类别的各个偏移值。视频编码设备100可对指示边缘类型、均值类型或中值类型的偏移类型信息、指示边缘方向的偏移种类信息以及偏移值进行编码并发送。

根据实施例的视频解码设备300可接收偏移类型信息、偏移值和偏移种类信息，并且如果偏移类型信息指示边缘类型、均值类型或中值类型，则视频解码设备300可基于偏移种类信息确定边缘方向。视频解码设备300可针对每个重建像素确定与边缘形状相应的每个类别的每个偏移值，并且可将每个重建像素的样点值调整每个偏移值，从而使原始图像和重建图像之间的误差最小化。

接下来，现将描述通过使用sao技术基于带类型对像素进行划分的实施例。

根据实施例，重建像素的每个样点值可属于多个带之一。例如，样点值可根据p比特采样而具有从最小值min0至最大值max2^(p-1)的总范围。如果样点值的总范围(min,max)被划分为k个区间，则样点值的每个区间被称为带。如果bk指示第k带的最大值，则带可被划分为[b0,b1-1]、[b1,b2-1]、[b2,b3-1]、...和[bk-1,bk]。如果当前重建像素rec(x,y)的样点值属于带[bk-1,bk]，则当前带可被确定为k。带可被均等地或不均等地划分。

例如，如果样点值被划分为均等的8比特像素带，则样点值可被划分为32个带。更具体地说，它们可被划分为带[0,7]、[8,15]、...、[240,247]和[248,255]。

在根据带类型划分的多个带中，重建像素的每个样点值所属于的带可被确定。此外，指示每个带中的原始像素和重建像素之间的差的平均值的偏移值可被确定。

因此，视频编码设备100可对与根据当前带类型分类的每个带相应的偏移进行编码和发送，并可将重建像素调整该偏移。此外，视频编码设备300可对与根据当前带类型分类的每个带相应的偏移进行编码和接收，并可将重建像素调整该偏移。

因此，针对带类型，视频编码设备100和视频解码设备300可根据重建像素的样点值属于的带来对重建像素进行分类，并可将偏移确定为属于同一带的重建像素的平均误差值，并可将重建像素调整该偏移，从而使原始图像和重建图像之间的误差最小化。

当根据带类型的偏移被确定时，视频编码设备100和视频解码设备300可根据带位置将重建像素分类为类别。例如，如果样点值的总范围被划分为k个带，则类别可根据指示第k带的带索引k被索引。类别的数量可被确定为与带的数量相应。

然而，为了减少数据，视频编码设备100和视频解码设备300可限制用于通过使用sao技术确定偏移的类别的数量。例如，从具有预定起始位置的带开始沿带索引增加的方向连续的预定数量的带可被分别分配到多个类别，仅一些类别的偏移可被确定。

例如，如果具有索引12的带被确定为起始带，则从起始带开始的四个带(即，索引为12、13、14和15的带)可被分配给类别1、2、3和4。因此，包括在索引为12的带中的重建像素和原始像素之间的平均误差可被确定为类别1的偏移。类似地，包括在索引为13的带中的重建像素和原始像素之间的平均误差可被确定为类别2的偏移，包括在索引为14的带中的重建像素和原始像素之间的平均误差可被确定为类别3的偏移，包括在索引为15的带中的重建像素和原始像素之间的平均误差可被确定为类别4的偏移。

在这种情况下，需要关于起始带位置的信息以确定分配给多个类别的多个带的位置。因此，视频编码设备100可将关于起始带位置的信息编码为偏移种类，并将其发送。视频编码设备100可对指示带类型的偏移类型、偏移种类以及根据类别的偏移值进行编码并发送。另外，当视频编码设备100发送偏移值时，视频编码设备100可仅发送偏移值的绝对值。此外，视频编码设备100可另外发送偏移值的符号。

根据实施例的视频解码设备300可接收偏移类型、偏移种类和根据类别的偏移值。如果接收到的偏移类型是带类型，则视频解码设备300可从偏移种类读取起始带位置。视频解码设备300在从起始带开始的4个带中确定重建像素属于的带，可从根据类别的偏移值确定分配给当前带的偏移值，并可将重建像素的样点值调整该偏移值。

在上文中，边缘类型、均值类型、中值类型和带类型作为偏移类型被引入，并详细描述了根据偏移类型的偏移种类和类别。下面，现将参照图11描述通过视频编码设备100和视频解码设备300编码和收发的偏移参数。

图11示出根据本公开的实施例的偏移类型和种类。

根据本公开的实施例，种类1111、1112、1113、1114、1121、1122、1123、1124、1125、1126、1127、1128、1129、1130、1141和1142可以是16个种类。视频编码设备100和视频解码设备300可均具有带类型。然而，为了便于描述，带类型没在图11中示出。

根据本公开的实施例，视频解码设备300可如参照图6的(c)所述确定偏移类型和种类。例如，偏移类型1110可以是边缘类型。种类1111可具有索引1。种类1112可具有索引2。种类1113可具有索引3。种类1114可具有索引4。

偏移类型1120可以是均值类型。种类1121可具有索引1。种类1122可具有索引2。种类1123可具有索引3。种类1124可具有索引4。种类1125可具有索引5。种类1126可具有索引6。种类1127可具有索引7。种类1128可具有索引8。种类1129可具有索引9。种类1130可具有索引10。

偏移类型1140可以是中值类型。种类1141可具有索引1。种类1142可具有索引2。

与以上描述不同，种类1111、1112、1113、1114、1121、1122、1123、1124、1125、1126、1127、1128、1129、1130、1141和1142可均具有索引1至16。

此外，如参照图6的(b)所描述的，根据本公开的另一实施例的视频解码设备300的偏移类型1110、1120、和1140可以都是边缘类型。种类1111、1112、1113、1114、1121、1122、1123、1124、1125、1126、1127、1128、1129、1130、1141和1142均可具有索引1至16。

种类1111、1112、1113和1114的类别可参照图9a和图9b所述被确定。

视频解码设备300可针对种类121、1122、1123、1124、1125、1126、1127、1128、1129和1130，计算重建像素周围的选择的像素(被阴影化的)的均值。计算的均值可与参考值相应。视频解码设备300可基于参考值确定类别。

视频解码设备300可针对种类1141和1142，计算重建像素周围的选择的像素(被阴影化的)的中值。计算的中值可与参考值相应。视频解码设备300可基于参考值确定类别。

根据实施例的视频编码设备100和视频解码设备300可根据每个最大编码单元的重建像素的像素分类方法确定偏移类型。

偏移类型可根据一些块的图像特征被确定。例如，针对包括垂直边缘、水平边缘、对角边缘等的最大编码单元，为了补偿样点值，可通过根据边缘类型对样点值进行分类来确定偏移值。针对不包括边缘区域的最大编码单元，可根据带分类来确定偏移值。因此，视频编码设备100和视频解码设备300可针对每个最大编码单元，用信号发送偏移类型。

视频编码设备100和视频解码设备300可针对每个最大编码单元确定偏移参数。也就是说，最大编码单元的重建像素的偏移类型可被确定，最大编码单元的重建像素可被分类为类别，偏移值可根据类别被确定。

在最大编码单元中包括的重建像素中，视频编码设备100可将被分类到同一类别的重建像素的平均误差确定为偏移值。每个类别的偏移值可被确定。

根据实施例，偏移参数可包括偏移类型、偏移值和偏移种类。偏移值可被表示为偏移绝对值和缩放参数中的至少一个。视频编码设备100和视频解码设备300可收发针对每个最大编码单元确定的偏移参数。

在最大编码单元的偏移参数中，根据实施例的视频编码设备100可对偏移类型和偏移值进行编码和发送。如果偏移类型为边缘类型、均值类型或中值类型，则视频编码设备100还可发送指示边缘方向的偏移种类，其中，偏移种类在偏移类型和根据类别的偏移值之后。如果偏移类型是带类型，则视频编码设备100还可发送指示起始带位置的偏移种类，其中，偏移种类在偏移类型和根据类别的偏移值之后。

根据实施例的视频解码设备300可接收每个最大编码单元的偏移参数，其中，偏移参数包括偏移类型、偏移值和偏移种类。此外，根据实施例的视频解码设备300可从根据类别的偏移值之中选择每个重建像素属于的类别的偏移值，并可将重建像素调整选择的偏移值。

现将描述偏移参数之中的偏移值被收发的实施例。

然而，如上所述，针对边缘类型，由于偏移值可根据类别被预测为正数或负数，因此符号信息不需要被发送。

根据实施例，在偏移值off-set被确定之前，偏移值off-set可被预先限制在从最小值minoffset和最大值maxoffset的范围内(minoffset≤off-set≤maxoffset)。视频编码设备100可基于比特深度确定最大值maxoffset。

例如，针对边缘类型，类别1和2的重建像素的偏移值可被确定在从最小值0至最大值7的范围内。针对边缘类型，类别3和4的重建像素的偏移值可被确定在从最小值-7至最大值0的范围内。

例如，针对带类型，所有类别的重建像素的偏移值可被确定在从最小值-7至最大值7的范围内。

为了减少偏移值的传输比特，残差偏移值(剩余值)可被限制为p比特值，来代替负数。在这种情况下，剩余值可等于或大于0，并可等于或小于最大值和最小值之间的差值，(0≤remainder≤maxoffset-minoffset+1≤2^p)。如果视频解码设备110发送剩余值，并且视频解码设备300知道偏移值的最大值和最小值中的至少一个，则可通过仅使用接收到的剩余值来重建原始偏移值。

下面，现将详细描述偏移参数之中的偏移合并信息。

邻近块中的一些块的偏移类型和/或偏移值可能相同。根据实施例的视频编码设备100可将当前块的偏移参数与邻近块的偏移参数进行比较，并可在偏移参数相同的情况下将当前块和邻近块的偏移参数进行合并并编码。如果邻近块的偏移参数被预先编码，则可通过使用邻近块的偏移参数确定当前块的偏移参数。因此，视频编码设备100可不对当前块的偏移参数进行编码，并可仅对当前块的偏移合并信息进行编码。

在从接收到的比特流解析偏移参数之前，视频解码设备200可首先解析偏移合并信息，并可确定是否解析偏移参数。视频解码设备300可基于当前块的偏移合并信息，通过使用邻近块的偏移参数确定当前块的偏移参数。

例如，如果基于偏移合并信息，具有与当前块的偏移参数相同的偏移参数的邻近块存在，则视频解码设备300可不解析当前块的偏移参数，并可通过使用重建的邻近块的偏移参数确定当前块的偏移参数。因此，视频解码设备300可将当前块的偏移参数重建为与邻近块的偏移参数相同。此外，基于偏移合并信息，邻近块之中的具有将被参考的偏移参数的邻近块可被确定。例如，是否使用当前块的左侧块的偏移参数可被确定。此外，是否使用当前块的上侧块的偏移参数可被确定。

例如，如果基于偏移合并信息，邻近块的偏移参数与当前块的偏移参数不同，则视频解码设备300可从比特流解析并重建当前块的偏移参数。

图12示出根据本公开的实施例的基于根据树结构的编码单元的视频编码设备1200的框图。

视频编码设备1200可与图1的视频编码设备100相应。

涉及基于根据树结构的编码单元进行视频预测的视频编码设备1200包括最大编码单元划分器1210、编码单元确定器1220和输出单元1230。下面，为了方便描述，涉及基于根据树结构的编码单元进行视频预测的视频编码设备1200简称为“视频编码设备1200”。

最大编码单元划分器1210可基于图像的当前画面的最大编码单元，对当前画面进行划分，其中，最大编码单元是具有最大尺寸的编码单元。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据实施例的最大编码单元可以是具有32×32、64×64、128×128、256×256等的尺寸的数据单元，其中，所述数据单元的形状是宽度和长度为2的若干次方的方形。可根据至少一个最大编码单元将图像数据输出到编码单元确定器1220。

根据实施例的编码单元可通过最大尺寸和深度来表征。所述深度表示编码单元从最大编码单元被空间划分的次数，并且随着深度加深，根据深度的更深层编码单元可从最大编码单元被划分为最小编码单元。最大编码单元的深度可被定义为最高深度，最小编码单元的深度可被定义为最低深度。由于随着最大编码单元的深度加深，与每个深度对应的编码单元的尺寸减小，因此与更高深度对应的编码单元可包括多个与更低深度对应的编码单元。

如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，每一个最大编码单元可包括根据深度被划分的更深层编码单元。由于根据实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层地分类。

可预先确定编码单元的最大深度和最大尺寸，所述最大深度和最大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。

编码单元确定器1220对通过根据深度对最大编码单元的区域进行划分而获得的至少一个划分区域进行编码，并根据所述至少一个划分区域确定用于输出最终编码的图像数据的深度。也就是说，编码单元确定器1220通过如下的方式确定编码深度，即，根据当前画面的最大编码单元，按照根据深度的更深层编码单元对图像数据进行编码并选择具有最小编码误差的深度。确定的编码深度和根据最大编码单元的图像数据被输出到输出单元1230。

基于与等于或小于最大深度的至少一个深度对应的更深层编码单元对最大编码单元中的图像数据进行编码，并且对基于每个更深层编码单元对图像数据进行编码的结果进行比较。可在比较更深层编码单元的编码误差之后，选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。

随着编码单元根据深度被分层划分并且随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中编码单元对应于相同的深度，也可通过分别测量每个编码单元的图像数据的编码误差来确定是否将与相同的深度相应的每一个编码单元划分到更低深度。因此，即使图像数据被包括在一个最大编码单元中，在所述一个最大编码单元中，编码误差也会根据区域而不同，因此在图像数据中，编码深度会根据区域而不同。因此，在一个最大编码单元中可确定一个或更多个编码深度，并且可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。

因此，根据实施例的编码单元确定器1220可确定包括在当前最大编码单元中的具有树结构的编码单元。根据实施例的“具有树结构的编码单元”包括当前最大编码单元所包括的所有更深层编码单元中与将被确定为编码深度的深度对应的编码单元。可在最大编码单元的相同区域中根据深度来分层确定编码深度的编码单元，并且可在不同区域中独立确定编码深度的编码单元。同样，当前区域中的编码深度可独立于另一区域中的编码深度被确定。

根据各种实施例的最大深度是与从最大编码单元到最小编码单元的划分次数相关的索引。根据实施例的第一最大深度可表示从最大编码单元到最小编码单元的总划分次数。根据实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数。例如，当最大编码单元的深度为0时，最大编码单元被划分一次的编码单元的深度可被设置为1，并且最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、1、2、3和4的深度级，因此，第一最大深度可被设置为4，第二最大深度可被设置为5。

可根据最大编码单元执行预测编码和变换。还可根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的深度的更深层编码单元执行预测编码和变换。

由于每当最大编码单元根据深度被划分时，更深层编码单元的数量都增加，所以对于随着深度加深而产生的所有更深层编码单元执行包括预测编码和变换的编码。下面，为了便于描述，将基于至少一个最大编码单元中的当前深度的编码单元描述预测编码和变换。

根据实施例的视频编码设备1200可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同数据单元或者可针对每个操作使用不同的数据单元。

例如，视频编码设备1200不仅可以选择对图像数据进行编码的编码单元，而且也可以选择与所述编码单元不同的数据单元，以对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可基于根据实施例的与编码深度对应的编码单元(即，基于不再被划分为与更低深度对应的编码单元的编码单元)执行预测编码。下文中，不再被划分且成为用于预测编码的基本单元的编码单现在将被称作“预测单元”。通过对预测单元进行划分而获得的分区可包括预测单元和通过对预测单元的高度和宽度中的至少一个进行划分而获得的数据单元。分区是编码单元的预测单元被划分成的数据单元，预测单元可以是与编码单元具有相同尺寸的分区。

例如，当2n×2n的编码单元(其中，n是正整数)不再被划分且成为2n×2n的预测单元时，分区的尺寸可以是2n×2n、2n×n、n×2n或n×n。分区类型的示例可包括：通过对预测单元的高度或宽度进行对称划分而获得的对称分区，并可选择性地包括：通过对预测单元的高度或宽度进行非对称划分(诸如1:n或n:1)而获得的分区、通过对预测单元进行几何划分而获得的分区、具有任意类型的分区等。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2n×2n、2n×n、n×2n或n×n的分区执行帧内模式和帧间模式。另外，可仅对2n×2n的分区执行跳过模式。可对编码单元中的一个预测单元单独地执行编码，从而可选择具有最小编码误差的预测模式。

根据实施例的视频编码设备1200不仅可基于用于对图像数据进行编码的编码单元对该编码单元中的图像数据执行变换，还可基于与该编码单元不同的数据单元对图像数据执行变换。为了执行编码单元的变换，可基于具有小于或等于编码单元的尺寸的变换单元来执行变换。例如，变换单元可包括用于帧内模式的数据单元和用于帧间模式的变换单元。

根据实施例，可按照与根据树结构对编码单元进行划分相似的方式，将编码单元中的变换单元递归地划分为更小尺寸的区域。因此，编码单元中的残差数据可基于变换深度根据具有树结构的变换单元被划分。

根据实施例，也可在变换单元中设置变换深度，其中，所述变换深度指示通过对编码单元的高度和宽度进行划分而达到变换单元的划分次数。例如，在当前的2n×2n的编码单元中，当变换单元的尺寸是2n×2n时，变换深度可以是0，当变换单元的尺寸是n×n时，变换深度可以是1，当变换单元的尺寸是n/2×n/2时，变换深度可以是2。也就是说，针对变换单元，可根据变换深度来设置具有树结构的变换单元。

根据编码深度的编码信息不仅需要关于编码深度的信息，还需要与预测和变换相关的信息。因此，编码单元确定器1220不仅确定具有最小编码误差的编码深度，还确定预测单元被划分为分区的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。

稍后将参照图14至图24来详细描述根据实施例的最大编码单元中的根据树结构的编码单元以及根据实施例的确定预测单元/分区以及变换单元的方法。

编码单元确定器1220可通过使用基于拉格朗日乘子的率失真优化来测量根据深度的更深层编码单元的编码误差。

输出单元1230在比特流中输出基于由编码单元确定器1220确定的至少一个编码深度而编码的最大编码单元的图像数据以及根据深度的编码模式信息。

编码的图像数据可与通过对图像的残差数据进行编码而获得的结果相应。

根据深度的编码模式信息可包括：编码深度信息、预测单元的分区类型信息、预测模式信息以及变换单元的尺寸信息。

编码深度信息可通过使用根据深度的划分信息而定义，所述根据深度的划分信息指示是否对更低深度的编码单元而不是对当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则通过使用当前深度的编码单元对当前编码单元进行编码，因此当前深度的划分信息可被定义为不将当前编码单元划分为更低深度。相反，如果当前编码单元的当前深度不是编码深度，则必须对更低深度的编码单元执行编码，因此当前深度的划分信息可被定义为将当前编码单元划分为更低深度的编码单元。

如果当前深度不是编码深度，则对划分为更低深度的编码单元的编码单元执行编码。由于在当前深度的一个编码单元中存在更低深度的至少一个编码单元，所以对更低深度的每个编码单元重复地执行编码，因此可对具有相同深度的编码单元递归地执行编码。

由于针对一个最大编码单元确定具有树结构的编码单元，且针对编码深度的编码单元必须确定至少一条编码模式信息，因此可针对一个最大编码单元确定至少一条编码模式信息。由于数据根据编码深度被分层划分，所以最大编码单元的数据的深度还可根据位置而不同，因此可针对数据设置编码深度和编码模式信息。

因此，根据实施例的输出单元1230可将关于相应编码深度和编码模式的编码信息分配给最大编码单元所包括的编码单元、预测单元和最小单元中的至少一个。

根据实施例的最小单元是通过对构成最低编码深度的最小编码单元进行4次划分而获得的方形数据单元。可选择地，根据实施例的最小单元可以是可包括在最大编码单元所包括的所有编码单元、预测单元、分区单元和变换单元中的最大方形数据单元。

例如，通过输出单元1230输出的编码信息可被分类为根据更深层编码单元的编码信息和根据预测单元的编码信息。根据更深层编码单元的编码信息可包括预测模式信息和分区尺寸信息。根据预测单元的编码信息可包括：关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息和关于帧内模式的插值方法的信息。

关于根据画面、条带或gop定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入比特流的头、序列参数集、或画面参数集。

关于针对当前视频而允许的变换单元的最大尺寸的信息以及关于变换单元的最小尺寸的信息也可通过比特流的头、序列参数集、或画面参数集被输出。输出单元1230可对与如参照图1至图11描述的偏移调整技术相关的偏移参数(诸如偏移类型、种类和偏移值)进行编码并输出该偏移参数。

根据视频编码设备1200的最简实施例，更深层编码单元可以是通过对更高深度(即，更高一层)的编码单元的高度和宽度进行2次划分而获得的编码单元。也就是说，在当前深度的编码单元的尺寸是2n×2n时，更低深度的编码单元的尺寸是n×n。因此，尺寸为2n×2n的当前编码单元可最多包括4个更低深度的尺寸为n×n的编码单元。

因此，视频编码设备1200可基于考虑当前画面的特性而确定的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树结构的编码单元。另外，由于通过使用各种预测模式和变换中的任意一个来对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。

因此，如果以传统的编码单元对具有高分辨率或大数据量的图像进行编码，则每幅画面的编码单元的数量会过度增加。因此，针对每个编码单元产生的压缩信息的条数增加，从而难以发送压缩信息并且数据压缩效率降低。然而，通过使用根据实施例的视频编码设备，由于在考虑图像的尺寸而增加编码单元的最大尺寸的同时，考虑图像的特性而调整编码单元，所以可提高图像压缩效率。

图12的视频编码设备1200可执行上面参照图1描述的视频编码设备100的操作。

编码单元确定器1220可执行图1的编码器120的操作。针对每个最大编码单元可确定偏移类型、根据类别的偏移值以及偏移种类。

输出单元1230可执行图1的发送器140的操作。针对每个最大编码单元确定的偏移参数可被输出。可首先输出偏移合并信息，其中，偏移合并信息指示是否通过使用与当前最大编码单元邻近的最大编码单元的偏移参数确定当前偏移参数。关闭类型、边缘类型、均值类型、中值类型或带类型可作为偏移类型被输出。可以以偏移绝对值和符号信息的顺序输出偏移值。针对边缘类型，偏移值的符号信息可不被输出。此外，偏移种类信息可被输出。

如果当前最大编码单元的偏移合并信息允许采用邻近最大编码单元的偏移参数，则当前最大编码单元的偏移类型和偏移值可不被输出。

图13示出根据本公开的实施例的基于根据树结构的编码单元的视频解码设备1300的框图。

根据实施例的涉及基于树结构的编码单元进行视频预测的视频解码设备1300包括接收器1310、图像数据和编码信息提取器1320和图像数据解码器1330。下面，为了方面描述，根据实施例的涉及基于树结构的编码单元进行视频预测的视频解码设备1300被称为“视频解码设备1300”。

针对根据实施例的视频解码设备1300的解码操作的各种术语(诸如编码单元、深度、预测单元、变换单元和各种类型的编码模式信息)的定义与参照图12和视频编码设备1200所描述的那些术语的定义相同。

接收器1310接收编码视频的比特流并对编码视频的比特流进行解析。图像数据和编码信息提取器1320从解析的比特流提取每个编码单元(其中，编码单元具有根据每个最大编码单元的树结构)的编码图像数据，并将提取的图像数据输出到图像数据解码器1330。图像数据和编码信息提取器1320可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。

此外，图像数据和编码信息提取器1320从解析的比特流提取针对根据每个最大编码单元的具有树结构的编码单元的编码深度信息和编码模式信息。提取的编码深度信息和编码模式信息被输出到图像数据解码器1330。换言之，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器1330可针对每个最大编码单元对图像数据进行解码。

可针对一条或更多条编码深度信息来设置根据每个最大编码单元的编码深度信息和编码模式信息，根据编码深度的编码模式信息可包括相应编码单元的分区类型信息、预测模式信息和变换单元的尺寸信息。此外，根据深度的划分信息可被提取作为编码深度信息。

由图像数据和编码信息提取器1320提取的根据每个最大编码单元的编码深度信息和编码模式信息是被确定为当编码器(诸如视频编码设备1200)根据每个最大编码单元对每个根据深度的更深层编码单元重复执行编码时被确定产生最小编码误差的编码深度信息和编码模式信息。因此，视频解码设备1300可通过根据产生最小编码误差的编码方法对数据进行解码，来重建图像。

由于编码深度信息和编码模式信息可被分配给对应的编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器1320可根据所述预定数据单元提取编码深度信息和编码模式信息。如果相应的最大编码单元的编码深度信息和编码模式信息根据所述预定数据单元中的每一个被记录，则具有相同的深度和划分信息的预定数据单元可被推断为是包括在同一最大编码单元中的数据单元。

图像数据解码器1330通过基于根据每个最大编码单元的编码深度信息和编码模式信息对每个最大编码单元中的图像数据进行解码，来重建当前画面。也就是说，图像数据解码器1330可基于读取的针对每个最大编码单元中所包括的具有树结构的编码单元中的每个编码单元的分区模式、预测类型以及变换单元，对编码的图像数据进行解码。解码处理可包括包含预测处理(帧内预测和运动补偿)以及逆变换处理。

图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的预测模式和分区类型的信息，根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。

另外，为了针对每个最大编码单元执行逆变换，图像数据解码器1330可读取关于针对每个编码单元的根据树结构的变换单元的信息以针对每个编码单元基于变换单元执行逆变换。由于逆变换，编码单元的空间域的像素值可被重建。

图像数据解码器1330可通过使用根据深度的划分信息，确定当前最大编码单元的编码深度。如果划分信息指示图像数据在当前深度不再被划分，则当前深度是编码深度。因此，图像数据解码器1330可通过使用关于与当前深度对应的每个编码单元的预测单元的分区模式、预测模式和变换单元的尺寸的信息，对当前最大编码单元的图像数据进行解码。

也就是说，可通过观察为编码单元、预测单元和最小单元中的预定数据单元分配的编码信息集，来收集包含包括相同的划分信息的编码信息的数据单元，收集的数据单元可被认为是将由图像数据解码器1330以相同的编码模式解码的一个数据单元。这样，可针对每个编码单元通过获得关于编码模式的信息来对当前编码单元进行解码。

此外，图13的视频解码设备1300可执行上面参照图3描述的视频解码设备300的操作。

图像数据和编码信息提取器1320以及接收器1310可执行图3的视频解码设备300的提取器320和偏移确定器340中的至少一个的操作。图像数据解码器1330可执行视频解码设备300的偏移确定器340和像素补偿器360中的至少一个的操作。

如果从比特流仅解析出偏移合并信息而没有当前最大编码单元的偏移参数时，图像数据和编码信息提取器1320可通过使用邻近偏移参数中的至少一个来重建当前偏移参数。例如，图像数据和编码信息提取器1320可将当前偏移参数重建为与邻近偏移参数中的至少一个相似。可基于偏移合并信息来确定邻近偏移参数之中的将被参考的参数。如果基于从比特流解析的当前最大编码单元的偏移合并信息确定当前偏移参数与邻近偏移参数不同时，图像数据和编码信息提取器1320可从比特流解析当前最大编码单元的偏移参数并重建当前最大编码单元的偏移参数。

图像数据和编码信息提取器1320可从比特流解析偏移绝对值和缩放参数。此外，图像数据和编码信息提取器1320可基于偏移绝对值和缩放参数来确定偏移值。例如，图像数据和编码信息提取器1320可通过对偏移绝对值执行移动缩放参数的移位运算来确定偏移值。

此外，图像数据和编码信息提取器1320可从比特流解析符号、偏移绝对值和缩放参数。此外，图像数据和编码信息提取器1320可基于符号、偏移绝对值和缩放参数来确定偏移值。

图像数据和编码信息提取器1320可从比特流解析每个最大编码单元的偏移参数。可基于偏移参数确定偏移类型、根据类别的偏移值和偏移种类。如果当前最大编码单元的偏移类型是关闭类型，则对当前最大编码单元的偏移调整可被结束。如果偏移类型是边缘类型，则可基于指示每个重建像素的边缘方向的边缘种类的类别以及边缘形状，从接收到的偏移值中选择当前偏移值。如果偏移类型是带类型，则可确定每个重建像素所属于的带，并可从偏移值中选择与当前带相应的偏移值。

图像数据解码器1330可通过将重建像素的像素值调整重建像素的偏移值来产生能够使原始像素与重建像素之间的误差最小化的重建像素。可基于解析出的偏移参数来调整每个最大编码单元的重建像素的偏移。

因此，视频解码设备1300可获得关于当针对每个最大编码单元递归执行编码时产生最小编码误差的至少一个编码单元的信息，并且可使用所述信息对当前画面进行解码。也就是说，可对在每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。

因此，即使图像具有高分辨率或具有过大的数据量，也可通过使用编码单元的尺寸和编码模式来对图像进行有效解码和重建，其中，通过使用从编码终端接收的最佳编码模式信息，根据图像的特性来自适应地确定所述编码单元的尺寸和编码模式。

图14示出根据本公开的实施例的编码单元的概念。

编码单元的尺寸可以以宽度×高度来表示，且可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。

在视频数据1410中，分辨率是1920×1080，编码单元的最大尺寸是64并且最大深度是2。在视频数据1420中，分辨率是1920×1080，编码单元的最大尺寸是64并且最大深度是3。在视频数据1430中，分辨率是352×288，编码单元的最大尺寸是16并且编码深度是1。图14中示出的最大深度表示从最大编码单元到最小解码单元的总划分次数。

如果分辨率高或者数据量大，则更优选的是编码单元的最大尺寸较大，从而不仅提高编码效率，还准确地反映图像的特性。因此，具有比视频数据1430更高分辨率的视频数据1410和1420的编码单元的最大尺寸可被选为64。

由于视频数据1410的最大深度是2，因此视频数据1410的编码单元1415可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32和16的编码单元(这是因为通过对最大编码单元划分两次，深度被加深至两层)。在另一方面，由于视频数据1430的最大深度是1，因此视频数据1430的编码单元1435可包括长轴尺寸为16的最大编码单元以及长轴尺寸为8的编码单元(这是因为通过对最大编码单元划分一次，深度被加深至一层)。

由于视频数据1420的最大深度是3，因此视频数据1420的编码单元1425可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32、16和8的编码单元(这是因为通过对最大编码单元划分三次，深度被加深至3层)。随着深度加深，详细信息可被精确地表示。

图15示出根据本公开的实施例的基于编码单元的图像编码器1500的框图。

根据实施例的图像编码器1500包括图12的视频编码设备1200的编码单元确定器1220的操作来对图像数据进行编码。也就是说，帧内预测器1510对当前帧1505中的帧内模式下的编码单元执行帧内预测，运动估计器1520和运动补偿器1525分别通过使用当前帧1505以及参考帧1595对当前帧1505之中的帧间模式下的编码单元执行帧间估计和运动补偿。

从帧内预测器1510、运动估计器1520和运动补偿器1525输出的数据通过变换器1530和量化器15440被输出为量化后的变换系数。量化后的变换系数通过反量化器1560和逆变换器1570被重建为空间域数据，重建的空间域数据在通过去块单元1580和环路滤波器1590后处理之后被输出为参考帧1595。量化后的变换系数可通过熵编码器1550被输出为比特流1555。

为了将图像编码器1500应用到图12的视频编码设备1200，图像编码器1500的所有元件(即，帧内预测器1510、运动估计器1520、运动补偿器1525、变换器1530、量化器1540、熵编码器1550、反量化器1560、逆变换器1570、去块单元1580和环路滤波器1590考虑每个最大编码单元的最大深度，基于树结构的编码单元中的每个编码单元执行操作。

具体地，帧内预测器1510、运动估计器1520和运动补偿器1525考虑当前最大编码单元的最大尺寸和最大深度，确定树结构的编码单元中的每个编码单元的分区和预测模式，变换器1530确定树结构的编码单元中的每个编码单元中的变换单元的尺寸。

图像编码器1500可根据参考帧1595的每个最大编码单元的边缘类型(均值类型、中值类型或带类型)对像素进行分类，可确定边缘方向(或起始带位置)，并可确定每个类别中包括的重建像素的平均误差值。针对每个最大编码单元，偏移合并信息、偏移类型和偏移值可被编码并被用信号传输。

图16示出根据本公开的实施例的基于编码单元的图像解码器1600的框图。

解析器1610从比特流1605解析将被解码的编码图像数据以及关于执行解码所需的编码的信息。编码图像数据通过熵解码器1620和反量化器1630被输出为反量化的数据，并且反量化的数据通过逆变换器1640被重建为空间域中的图像数据。

帧内预测器1650针对空间域中的图像数据，对帧内模式下的编码单元执行帧内预测。运动补偿器1660通过使用参考帧1685对帧间模式下的编码单元执行运动补偿。

通过帧内预测器1650和运动补偿器1660的空间域中的图像数据可在通过去块单元1670和环路滤波器1680被后处理之后被输出为重建帧1695。另外，通过去块单元1670和环路滤波器1680被后处理的图像数据可被输出为参考帧1685。

为了图13的视频解码设备200的图像数据解码器230对图像数据进行解码，图像解码器1600可执行在解析器1610之后执行的操作。

为了将图像解码器1600应用到图13的视频解码设备1300，图像解码器1600的所有元件(即，解析器1610、熵解码器1620、反量化器1630、逆变换器1640、帧内预测器1650、运动补偿器1660、去块单元1670和环路滤波器1680)可针对每个最大编码单元，基于树结构的编码单元执行操作。

具体地，帧内预测器1650和运动补偿器1660必须确定树结构的每个编码单元的分区和预测模式，逆变换器1640必须确定针对每个编码单元的变换单元的尺寸。

图像解码器1600可从比特流提取最大编码单元的偏移参数。可基于当前最大编码单元的偏移参数之中的偏移合并信息，通过使用邻近最大编码单元的偏移参数来重建当前最大编码单元的偏移参数。例如，当前最大编码单元的偏移参数可被重建为与邻近最大编码单元的偏移参数相似。可通过使用当前最大编码单元的偏移参数之中的偏移类型和偏移值，将重建帧1695的最大编码单元的每个重建像素调整与根据边缘类型或带类型的类别相应的偏移值。

图17示出根据本公开的实施例的根据深度的更深层编码单元以及分区。

根据实施例的视频编码设备1200和根据实施例的视频解码设备1300使用分层编码单元以考虑图像的特性。可根据图像的特性适应性地确定编码单元的最大高度、最大宽度和最大深度，或可根据用户需求不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸确定根据深度的更深层编码单元的尺寸。

在根据实施例的编码单元的分层结构1700中，编码单元的最大高度和最大宽度均是64，最大深度为4。在这种情况下，最大深度是指编码单元从最大编码单元划分到最小编码单元的总次数。由于深度沿着编码单元的分层结构1700的垂直轴加深，所以更深层编码单元的高度和宽度均被划分。另外，沿着编码单元的分层结构1700的水平轴示出了预测单元和分区，预测单元和分区是对每个更深层编码单元进行预测编码的基础。

也就是说，编码单元1710是编码单元的分层结构1700中的最大编码单元，其中，深度为0，尺寸(即，高度乘以宽度)为64×64。深度沿着垂直轴加深，存在尺寸为32×32且深度为1的编码单元1720、尺寸为16×16且深度为2的编码单元1730、尺寸为8×8且深度为3的编码单元1740。尺寸为4×4且深度为3的编码单元1740是最小编码单元。

根据每个深度，沿着水平轴布置了编码单元的预测单元和分区。也就是说，如果尺寸为64×64且深度为0的编码单元1710是预测单元，则预测单元可被划分为包括在尺寸为64×64的编码单元1710中的分区，即，尺寸为64×64的分区1710、尺寸为64×32的分区1712、尺寸为32×64的分区1714或尺寸为32×32的分区1716。

同样地，尺寸为32×32且深度为1的编码单元1720的预测单元可被划分为包括在尺寸为32×32的编码单元1720中的分区，即，尺寸为32×32的分区1720、尺寸为32×16的分区1722、尺寸为16×32的分区1724以及尺寸为16×16的分区1726。

同样地，尺寸为16×16且深度为2的编码单元1730的预测单元可被划分为包括在尺寸为16×16的编码单元1730中的分区，即，包括在编码单元1730中的尺寸为16×16的分区1730、尺寸为16×8的分区1732、尺寸为8×16的分区1734以及尺寸为8×8的分区1736。

同样地，尺寸为8×8且深度为3的编码单元1740的预测单元可被划分为包括在尺寸为8×8的编码单元1740中的分区，即，包括在编码单元1740中的尺寸为8×8的分区1740、尺寸为8×4的分区1742、尺寸为4×8的分区1744以及尺寸为4×4的分区1746。

为了确定最大编码单元1710的深度，视频编码设备1200的编码单元确定器1220必须对包括在最大编码单元1710中的分别与深度相应的编码单元执行编码。

随着深度加深，包括相同范围和相同尺寸的数据的根据深度的更深层编码单元的数量增大。例如，需要四个与深度2对应的编码单元来覆盖包括在一个与深度1对应的编码单元中的数据。因此，为了比较根据深度对相同数据进行编码的结果，必须通过使用与深度1对应的编码单元以及四个与深度2对应的编码单元中的每一个来对数据进行编码。

为了根据每个深度执行编码，可通过沿着编码单元的分层结构1700的水平轴对根据深度的编码单元的每个预测单元执行编码，来选择作为相应深度的代表性编码误差的最小编码误差。可选地，可通过随着深度沿编码单元的分层结构1700的垂直轴而加深针对每个深度执行编码，通过比较根据深度的代表性编码误差，来搜索最小编码误差。可将在最大编码单元1710中产生最小编码误差的深度和分区选为最大编码单元1710的编码深度和分区类型。

图18示出根据本公开的实施例的编码单元与变换单元之间的关系。

根据实施例的视频编码设备1200或根据实施例的视频解码设备1300针对每个最大编码单元，根据具有小于或等于最大编码单元的尺寸的编码单元对图像进行编码或解码。可基于不大于对应的编码单元的数据单元，选择用于编码处理期间的变换的变换单元的尺寸。

例如，在视频编码设备1200或视频解码设备1300中，当编码单元1810的尺寸为64×64时，可通过使用尺寸为32×32的变换单元1820执行变换。

另外，可通过对具有小于64×64的尺寸为32×32、16×16、8×8以及4×4的变换单元中的每一个变换单元执行变换来对尺寸为64×64的编码单元1810的数据进行编码，然后可选择相对于原始图像具有最小编码误差的变换单元。

图19示出根据本公开的实施例的根据深度的多条编码信息。

根据实施例的视频编码设备1200的输出单元1230可将与编码深度对应的每个编码单元的分区类型信息1900、预测模式信息1910以及变换单元尺寸信息1920编码为编码模式信息并对其进行发送。

分区类型信息1900指示关于通过划分当前编码单元的预测单元而获得的分区的类型的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2n×2n的当前编码单元cu_0可被划分为以下分区中的任何一个：尺寸为2n×2n的分区1902、尺寸为2n×n的分区1904、尺寸为n×2n的分区1906以及尺寸为n×n的分区1908。在这种情况下，关于当前编码单元的分区类型信息1900被设置为指示以下分区中的一个：尺寸为2n×2n的分区1902、尺寸为2n×n的分区1904、尺寸为n×2n的分区1906以及尺寸为n×n的分区1908。

预测模式信息1910指示每个分区的预测模式。例如，预测模式信息1910可指示对由分区类型信息1900所指示的分区执行的预测编码的模式，即，帧内模式1912、帧间模式1914或跳过模式1916。

变换单元尺寸信息1920指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元1922、第二帧内变换单元1924、第一帧间变换单元1926和第二帧内变换单元1928之一。

视频解码设备1300的图像数据和编码信息接收器1310可针对每个更深层编码单元，提取并使用分区类型信息1900、预测模式信息1910以及变换单元尺寸信息1920。

图20示出根据本公开的实施例的根据深度的更深层编码单元。

划分信息可用于表示深度的变化。划分信息指示当前深度的编码单元是否被划分为更低深度的编码单元。

用于对深度为0且尺寸为2n_0×2n_0的编码单元2000进行预测编码的预测单元2010可包括以下分区类型的分区：尺寸为2n_0×2n_0的分区类型2012、尺寸为2n_0×n_0的分区类型2014、尺寸为n_0×2n_0的分区类型2016以及尺寸为n_0×n_0的分区类型2018。虽然仅示出了通过对称地划分预测单元而获得的分区类型2012、2014、2016和2018，但是如上所述，分区模式不限于此，分区模式可包括非对称分区、具有预定形状的分区和具有几何形状的分区。

根据每个分区类型，对于尺寸为2n_0×2n_0的一个分区、尺寸为2n_0×n_0的两个分区、尺寸为n_0×2n_0的两个分区以及尺寸为n_0×n_0的四个分区重复执行预测编码。对于尺寸为2n_0×2n_0、n_0×2n_0、2n_0×n_0和n_0×n_0的分区，可执行帧内模式和帧间模式下的预测编码。可仅对于尺寸为2n_0×2n_0的分区执行跳过模式下的预测编码。

如果在尺寸为2n_0×2n_0、2n_0×n_0和n_0×2n_0的分区类型2012、2014和2016中的一个分区类型中编码误差最小，则预测单元2010可不被划分到更低深度。

如果在尺寸为n_0×n_0的分区类型2018中编码误差最小，则深度从0变为1并执行划分(操作2020)，并且可对深度为2且尺寸为n_0×n_0的分区类型的编码单元2030重复执行编码，以搜索最小编码误差。

用于对深度为1且尺寸为2n_1×2n_1(＝n_0×n_0)的编码单元2030进行预测编码的预测单元2040可包括以下分区类型：尺寸为2n_1×2n_1的分区类型2042、尺寸为2n_1×n_1的分区类型2044、尺寸为n_1×2n_1的分区类型2046以及尺寸为n_1×n_1的分区类型2048。

如果在尺寸为n_1×n_1的分区类型2048中编码误差最小，则(在操作2050中)深度从1变为2并执行划分，并且对深度为2且尺寸为n_2×n_2的编码单元2060重复执行编码，以搜索最小编码误差。

当最大深度为d时，可设置根据深度的更深层编码单元直到深度与d-1相应，并且划分信息可被设置直到深度与d-2相应。也就是说，(在操作2070)将与深度d-2对应的编码单元划分之后，当执行编码直到深度为d-1时，用于对深度为d-1且尺寸为2n_(d-1)×2n_(d-1)的编码单元2080进行预测编码的预测单元2090可包括以下分区类型的分区：尺寸为2n_(d-1)×2n_(d-1)的分区类型2092、尺寸为2n_(d-1)×n_(d-1)的分区类型2094、尺寸为n_(d-1)×2n_(d-1)的分区类型2096以及尺寸为n_(d-1)×n_(d-1)的分区类型2098。

可对分区类型中的尺寸为2n_(d-1)×2n_(d-1)的一个分区、尺寸为2n_(d-1)×n_(d-1)的两个分区、尺寸为n_(d-1)×2n_(d-1)的两个分区、尺寸为n_(d-1)×n_(d-1)的四个分区重复执行预测编码，以搜索产生最小编码误差的分区类型。

即使尺寸为n_(d-1)×n_(d-1)的分区类型2098具有最小编码误差，由于最大深度为d，所以深度为d-1的编码单元cu_(d-1)不再被划分到更低深度，构成当前最大编码单元2000的编码单元的编码深度被确定为d-1，并且当前最大编码单元2000的分区类型可被确定为n_(d-1)×n_(d-1)。此外，由于最大深度为d，所以不设置与深度d-1相应的编码单元2052的划分信息。

数据单元2099可以是用于当前最大编码单元的“最小单元”。根据实施例的最小单元可以是通过将具有最低编码深度的最小编码单元划分4次而获得的方形数据单元。通过重复地执行编码，根据实施例的视频编码设备1200可通过比较编码单元2000的根据深度的编码误差来选择产生最小编码误差的深度以确定编码深度，并且可将对应的分区类型和预测模式设置为编码深度的编码模式。

这样，在所有深度0、1、…、d-1、d中比较根据深度的最小编码误差，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型以及预测模式可作为关于编码模式的信息被编码和发送。由于必须从深度0至编码深度来划分编码单元，所以只有编码深度的划分信息也被设置为“0”，并且除了编码深度之外的深度的划分信息也被设置为“1”。

根据实施例的视频解码设备1300的图像数据和编码信息提取器1320可提取并使用关于编码单元1300的编码深度信息以及预测单元信息，以对编码单元2012进行解码。根据实施例的视频解码设备1300可通过使用根据深度的编码模式信息将划分信息为“0”的深度确定为编码深度，并且可使用关于对应深度的编码模式信息以进行解码。

图21、图22和图23示出根据本公开的实施例的编码单元、预测单元和变换单元之间的关系。

编码单元2110是最大编码单元中的与由视频编码设备1200确定的根据编码深度的更深层编码单元。预测单元2160是每个根据编码深度的编码单元2110的预测单元的分区，变换单元2170是每个根据编码深度的编码单元的变换单元。

在更深层编码单元2110中，当最大编码单元的深度为0时，编码单元2112和2154的深度为1，编码单元2114、2116、2118、2128、2150和2152的深度为2，编码单元2120、2122、2124、2126、2130、2132和2148的深度为3，编码单元2140、2142、2144和2146的深度为4。

预测单元2160之中的一些分区2114、2116、2122、2132、2148、2150、2152和2154通过划分编码单元来获得。也就是说，分区2114、2122、2150和2154是具有2n×n的尺寸的分区类型，分区2116、2148和2152是具有n×2n的尺寸的分区类型，分区2132是具有n×n的尺寸的分区类型。更深层编码单元2110的预测单元和分区小于或等于每个编码单元。

按照小于编码单元2152的数据单元中的变换单元2170，对编码单元2152的图像数据执行变换或逆变换。另外，变换单元2160中的编码单元2114、2116、2122、2132、2148、2150、2152和2154是与预测单元2160中的编码单元2114、2116、2122、2132、2148、2150、2152和2154在尺寸和形状方面不同的数据单元。也就是说，根据实施例的视频编码设备1200和视频解码设备1300可对同一编码单元中的单独的数据单元执行帧内预测/运动估计/运动补偿以及/变换/逆变换。

因此，对在最大编码单元的每个区域中具有分层结构的每个编码单元递归地执行编码，以确定最佳编码单元，因此可获得根据递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、分区类型信息、预测模式信息以及变换单元尺寸信息。下表1示出了可由根据实施例的视频编码设备1200和视频解码设备1300设置的编码信息。

[表1]

根据实施例的视频编码设备1200的输出单元1230可输出关于具有树结构的编码单元的编码信息，根据实施例的视频解码设备1300的图像数据和编码信息提取器1320可从接收的比特流提取关于具有树结构的编码单元的编码信息。

划分信息指示当前编码单元是否被划分为更低深度的编码单元。如果当前深度d的划分信息为0，则当前编码单元不再被划分到更低深度的深度是编码深度，因此可针对编码深度定义分区类型信息、预测模式信息以及变换单元尺寸信息。如果必须根据划分信息对当前编码单元进行进一步划分，则对划分出的更低深度的四个编码单元中的每个编码单元独立执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分区类型中定义帧内模式和帧间模式，可仅在尺寸为2n×2n的分区类型中定义跳过模式。

分区类型信息可指示通过对称划分预测单元的高度或宽度而获得的尺寸为2n×2n、2n×n、n×2n和n×n的对称分区类型以及通过非对称划分预测单元的高度或宽度而获得的尺寸为2n×nu、2n×nd、nl×2n和nr×2n的非对称分区类型。可通过以1:3和3:1划分预测单元的高度来分别获得尺寸为2n×nu和2n×nd的非对称分区类型，可通过以1:3和3:1划分预测单元的宽度来分别获得尺寸为nl×2n和nr×2n的非对称分区类型。

变换单元的尺寸可被设置为帧内模式下的两种类型以及帧间模式下的两种类型。也就是说，如果变换单元的划分信息为0，则变换单元的尺寸可以是2n×2n(2n×2n是当前编码单元的尺寸)。如果变换单元的划分信息为1，则可通过划分当前编码单元来获得变换单元。另外，如果尺寸为2n×2n的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是n×n，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是n/2×n/2。

关于根据实施例的具有树结构的编码单元的编码信息可被分配给与编码深度对应的编码单元、预测单元以及最小单元中的至少一个。与编码深度对应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较邻近数据单元的多条编码信息，来确定邻近数据单元是否包括在与相同编码深度对应的编码单元中。另外，通过使用数据单元的编码信息来确定相应编码深度的编码单元，因此可推断最大编码单元中的编码深度的分布。

因此，如果基于邻近数据单元来预测当前编码单元，则可直接参照和使用与当前编码单元邻近的更深层编码单元中的数据单元的编码信息。

在另一实施例中，如果基于邻近数据单元来对当前编码单元进行预测编码，则可以以通过使用与当前编码单元邻近的更深层编码单元的编码信息在更深层编码单元中搜索与当前编码单元邻近的数据的方式，来参考邻近数据单元。

图24示出根据表1的编码模式信息的编码单元、预测单元以及变换单元之间的关系。

最大编码单元2400包括多个编码深度的编码单元2402、2404、2406、2412、2414、12416和2418。这里，由于编码单元2418是编码深度的编码单元，所以划分信息可被设置为0。尺寸为2n×2n的编码单元2418的分区类型信息可被设置是包括2n×2n2422、2n×n2424、n×2n2426、n×n2428、2n×nu2432、2n×nd2434、nl×2n2436以及nr×2n2438的分区类型之一。

变换单元划分信息(tu尺寸标记)是一类变换索引，并可根据编码单元的预测单元类型或分区类型改变与变换索引对应的变换单元的尺寸。

例如，当分区类型信息被设置为对称分区类型2n×2n2422、2n×n2424、n×2n2426和n×n2428之一时，如果变换单元划分信息为0，则尺寸为2n×2n的变换单元2442被设置，如果变换单元划分信息为1，则尺寸为n×n的变换单元2444可被设置。

当分区类型信息被设置为非对称分区类型2n×nu2432、n×nd2434、nl×2n2436和nr×2n2438之一时，如果变换单元划分信息(tu尺寸标记)为0，则尺寸为2n×2n的变换单元2452可被设置，如果变换单元划分信息为1，则尺寸为n/2×n/2的变换单元2454可被设置。

上面参照图24描述的变换单元划分信息(tu尺寸标记)是具有值0或值1的标记，但是根据实施例的变换单元划分信息不限于1比特的标记，并且当变换单元划分信息根据设置按照0、1、2、3…等的方式增加时，变换单元可被分层划分。变换单元划分信息可以是变换索引的示例。

在这种情况下，可通过使用根据实施例的变换单元划分信息以及变换单元的最大尺寸和变换单元的最小尺寸来表示已经实际使用的变换单元的尺寸。根据实施例的视频编码设备1200可对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码的结果可被插入到sps。根据实施例的视频解码设备1300可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息来对视频解码。

例如，(a)如果当前编码单元的尺寸是64×64且最大变换单元尺寸是32×32，则(a-1)当tu尺寸标记为0时变换单元的尺寸可以是32×32；(a-2)当tu尺寸标志为1时变换单元的尺寸可以是16×16；(a-3)当tu尺寸标记为2时变换单元的尺寸可以是8×8。

作为另一示例，(b)如果当前编码单元的尺寸是32×32且最小变换单元尺寸是32×32，则(b-1)当tu尺寸标记为0时变换单元的尺寸可以是32×32。这里，tu尺寸标记不能被设置为除0之外的值，这是因为变换单元的尺寸不能小于32×32。

作为另一示例，(c)如果当前编码单元的尺寸是64×64且最大tu尺寸标记是1，则tu尺寸标记可以是0或1。这里，tu尺寸标志不能被设置为除0或1之外的值。

因此，如果将最大tu尺寸标记定义为“maxtransformsizeindex”，最小变换单元尺寸定义为“mintransformsize”，当tu尺寸标记为0时的变换单元尺寸定义为“roottusize”，则可通过等式(2)来定义可在当前编码单元中确定的当前最小变换单元尺寸“currmintuszie”：

currmintuszie＝max(mintransformsize,roottusize/(2^maxtransformsizeindex))(2)

与可在当前编码单元中确定的当前最小变换单元尺寸“currmintuszie”比较，当tu尺寸标志为0时的变换单元尺寸“roottusize”可表示可在系统中选择的最大变换单元尺寸。也就是说，在等式(2)中，“roottusize/(2^maxtransformsizeindex)”表示当tu尺寸标记为0时变换单元尺寸“roottusize”被划分与最大tu尺寸标记对应的次数时的变换单元尺寸，“mintransformsize”表示最小变换单元尺寸。因此，“roottusize/(2^maxtransformsizeindex)”和“mintransformsize”中的较小值可以是可在当前编码单元中确定的当前最小变换单元尺寸“currmintuszie”。

根据实施例，最大变换单元尺寸roottusize可根据预测模式的类型而变化。

例如，如果当前预测模式是帧内模式，则“roottusize”可以通过下面的等式(3)来确定。在等式(3)中，“maxtransformsize”表示最大变换单元尺寸，“pusize”表示当前预测单元尺寸。

roottusize＝min(maxtransformsize,pusize)(3)

即，如果当前预测模式是帧间模式，则当tu尺寸标记为0时的变换单元尺寸“roottusize”可以是最大变换单元尺寸和当前预测单元尺寸中的较小值。

如果当前分区单元的预测模式是帧内模式，则“roottusize”可通过下面的等式(4)来确定。“partitionsize”表示当前分区单元的尺寸。

roottusize＝min(maxtransformsize,partitionsize)(4)

即，如果当前预测模式是帧内模式，则当tu尺寸标记为0时的变换单元尺寸“roottusize”可以是最大变换单元尺寸和当前分区单元的尺寸中的较小值。

然而，根据分区单元中的预测模式的类型而变化的当前最大变换单元尺寸“roottusize”仅是实施例，并且用于确定当前最大变换单元尺寸的因素不限于此。

根据以上参照图12至图24描述的基于树结构的编码单元的视频编码方法，空间域的图像数据根据每个树结构的编码单元被编码，并且以根据基于树结构的编码单元的视频解码方法对每个最大编码单元执行解码的方式来重建空间域的图像数据，从而由画面和画面序列形成的视频可被重建。重建的视频可通过再现设备被再现，可被存储在存储介质中，或可经由网络被发送。

此外，可针对每个画面、每个条带、每个最大编码单元、树结构的编码单元中的每个编码单元、编码单元中的每个预测单元或编码单元中的每个变换单元，用信号发送偏移参数。例如，可通过使用基于接收的偏移参数重建的偏移值来调整每个最大编码单元的重建像素的样点值，并因此可重建在原始块与最大编码单元之间具有最小误差的最大编码单元。

本公开的实施例可被编写为计算机程序，并且可被实现在通用数字计算机中，其中，所述通用数字计算机通过使用计算机可读记录介质执行程序。计算机可读记录介质的示例包括磁存储介质(例如，rom、软盘、硬盘等)、光学记录介质(例如，cd-rom或dvd)等。

在本说明书中，这里使用的被称为“-器/单元”的至少一些组件可被实现为硬件。此外，硬件可包括处理器。处理器可以是通用单芯片或多芯片微处理器(例如，arm)、专用微处理器(例如，数字信号处理器(dsp))、微控制器、可编程门阵列等。处理器也可被称为中央处理单元(cpu)。在名称具有后缀“-器/单元”的至少一些组件中，可使用处理器的组合(例如，arm和dsp)。

硬件还可包括存储器。存储器可以是能够存储电子信息的任何电子组件。存储器可被实现为随机存取存储器(ram)、只读存储器(rom)、磁盘存储介质、光学存储介质、ram中的闪存装置、处理器中包括的板载存储器、eprom存储器、eeprom存储器、寄存器等、包括它们的组合。

数据和程序可被存储在存储器中。程序可由处理器执行以实现在本公开中所描述的方法。程序的执行可涉及对存储在存储器中的数据的使用。当处理器执行命令时，命令的各个部分可被加载到处理器，各条数据可被加载到处理器。

尽管已经参照本公开的实施例具体示出并描述了本公开，但是本领域的普通技术人员将理解，在不脱离本公开的精神和范围的情况下，可对其进行形式和细节上的各种改变。实施例应该被认为只是描述的意义而不用于限制的目的。本公开的范围不是由本公开的详细描述限定，而是由权利要求限定，并且在该范围内的所有差别都将被解释为被包括在本公开中。