根据像素分类使用偏移调整的视频编码方法及其设备、视频解码方法及其设备的制作方法

根据像素分类使用偏移调整的视频编码方法及其设备、视频解码方法及其设备的制作方法
【专利摘要】一种用于产生相对于原始图像具有最小误差的恢复的图像的视频编码方法和设备以及视频解码方法和设备。所述视频解码方法包括：从接收的比特流解析指示视频的多个块之中的当前块和至少一个邻近块的偏移参数是否彼此相同的偏移合并信息；基于偏移合并信息恢复当前块的偏移参数之中的偏移类型和偏移值；基于当前块的指示偏移类型的边缘类型或像素值段类型来确定恢复的像素的边缘分类或像素值段；以及从恢复的偏移值确定与恢复的像素的边缘分类或像素值段相应的偏移值并根据确定的偏移值调整恢复的像素的像素值。
【专利说明】根据像素分类使用偏移调整的视频编码方法及其设备、视频解码方法及其设备
【技术领域】
[0001]本发明涉及被执行用于使原始图像和恢复的图像之间的误差最小化的视频编码和视频解码。
【背景技术】
[0002]随着用于再现和存储高分辨率或高质量的视频内容的硬件正被开发和供应，对于用于对高分辨率或高质量的视频内容进行有效编码或解码的视频编解码器的需求正在增长。在传统的视频编解码器中，根据基于具有预定尺寸的宏块的有限编码方法对视频进行编码。
[0003]通过使用频率变换，空间域的图像数据被变换为频域的系数。视频编解码器将图像划分为具有预定尺寸的块，对每个块执行离散余弦变换(DCT)，并以块为单位对频率系数进行编码以执行频率变换的快速算术运算。与空间域的图像数据相比，频域的系数是可易于压缩的类型。具体地讲，空间域的图像像素值通过视频编解码器的帧间预测或帧内预测被表现为预测误差，因此，如果对预测误差执行频率变换，数据可被变换到O。视频编解码器用具有小尺寸的数据替换连续重复出现的数据，从而减少数据量。

【发明内容】

[0004]技术问题
[0005]本发明提供一种用于产生相对于原始图像具有最小误差的恢复的图像的视频编码方法和设备以及视频解码方法和设备。
[0006]解决方案
[0007]根据本发明的一方面，提供了一种视频解码方法，包括:从接收的比特流解析指示视频的多个块之中的当前块和至少一个邻近块的偏移参数是否彼此相同的偏移合并信息；基于所述偏移合并信息恢复当前块的偏移参数之中的偏移类型和偏移值；基于当前块的指示偏移类型的边缘类型或像素值段类型来确定当前块的恢复的像素的边缘分类或像素值段；以及从恢复的偏移值确定与恢复的像素的边缘分类或像素值段相应的偏移值并根据确定的偏移值调整恢复的像素的像素值。
[0008]有益效果
[0009]在视频编码和视频解码期间，根据图像特征(诸如边缘类型)对像素分类，通过使用相同组中具有相同特征的像素之间的平均误差值来确定偏移，并针对所述偏移调整恢复的像素，因此可使原始图像和恢复的图像之间的误差最小化。
【专利附图】

【附图说明】
[0010]图1是根据本发明的实施例的视频编码设备的框图；
[0011]图2是根据本发明的实施例的视频解码设备的框图；[0012]图3是根据本发明的实施例的用于像素分类的边缘类型和长度的表；
[0013]图4是示出根据本发明的实施例的偏移值编码处理的流程图；
[0014]图5是根据本发明的实施例的用于合并偏移参数的候选参考块的示图；
[0015]图6是示出根据本发明的实施例的视频编码方法的流程图；
[0016]图7是示出根据本发明的实施例的视频解码方法的流程图；
[0017]图8是根据本发明的实施例的基于具有树结构的编码单元的视频编码设备的框图；
[0018]图9是根据本发明的实施例的基于具有树结构的编码单元的视频解码设备的框图；
[0019]图10是用于描述根据本发明的实施例的编码单元的概念的示图；
[0020]图11是根据本发明的实施例的基于编码单元的图像编码器的框图；
[0021]图12是根据本发明的实施例的基于编码单元的图像解码器的框图；
[0022]图13是示出根据本发明的实施例的根据深度的较深层编码单元和分区(partition)的不图；
[0023]图14是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图；
[0024]图15是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图；
[0025]图16是根据本发明的实施例的根据深度的较深层编码单元的示图；
[0026]图17至图19是用于描述根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的不图；
[0027]图20是用于描述根据表I的编码模式信息的编码单元、预测单元或分区、和变换单元之间的关系的示图。
[0028]最佳模式
[0029]根据本发明的一方面，提供了一种视频解码方法，包括:从接收的比特流解析指示视频的多个块之中的当前块和至少一个邻近块的偏移参数是否彼此相同的偏移合并信息；基于偏移合并信息恢复当前块的偏移参数之中的偏移类型和偏移值；基于当前块的指示偏移类型的边缘类型或像素值段类型来确定当前块的恢复的像素的边缘分类或像素值段；以及从恢复的偏移值确定与恢复的像素的边缘分类或像素值段相应的偏移值并根据确定的偏移值调整恢复的像素的像素值。
【具体实施方式】
[0030]以下将参照图1至图6描述根据实施例的通过根据像素分类调整偏移而执行的视频编码方法和视频解码方法。此外，以下将参照像素偏移的类型或像素段以及图20来描述根据实施例的基于具有树结构的编码单元的视频编码方法和视频解码方法根据像素分类使用偏移调整的实施例。在下文中，“图像”可指视频的静止图像、视频的运动图像(即，视频本身)。
[0031]首先，现在将参照下面的图1至图7描述根据实施例的通过根据像素分类调整偏移而执行的视频编码方法和视频解码方法。[0032]图1是根据本发明的实施例的视频编码设备10的框图。
[0033]根据实施例的视频编码设备10包括偏移确定单元12和偏移参数编码单元14。
[0034]根据实施例的视频编码设备10接收视频的图像，将每个图像划分为块并针对每个块对图像进行编码。块类型可以是正方形或矩形，并且可以是任意的几何形状。块类型不限于具有均一的尺寸的数据单元。根据实施例的块可以是最大编码单元、按照树结构的编码单元之中的编码单元等。稍后将参照图8至图20描述基于按照树结构的编码单元的视频编码方法和视频解码方法。
[0035]根据实施例的视频编码设备10可针对每个图像块执行帧内预测、帧间预测、变换和量化，产生采样，对所述采样执行熵编码，并在比特流中输出所述采样。
[0036]根据实施例的视频编码设备10可对指示原始图像的像素(原始像素)和恢复的图像的像素(恢复的像素)之间的差值的偏移值进行编码，以使原始像素和恢复的像素之间的误差最小化。
[0037]根据实施例的视频编码设备10可对每个预定的数据单元(诸如画面、条带、块等)确定偏移值。包括偏移值和偏移类型的偏移参数可针对每个预定数据单元而被编码。
[0038]根据实施例的偏移确定单元12确定当前块的边缘类型或像素值段类型。偏移确定单元12可根据当前块的像素特征确定是否适合于基于所述边缘类型或所述像素值段类型来对当前块的像素进行分类。
[0039]根据实施例的边缘类型可指示由恢复的像素和邻近像素形成的边缘的方向和尺寸。此外，在当前块的像素值的总范围段被划分为预定数量的段时，根据实施例的像素值段类型可指示像素值的段的总数量、每个段的范围等。
[0040]在根据边缘类型确定当前块的偏移值的情况下，根据实施例的偏移确定单元12可确定属于每个恢复的像素的边缘分类。根据实施例的边缘分类指示当前恢复的像素是否是边缘的像素。例如，边缘分类可指示当前恢复的像素是边缘的极值点、是组成边缘的边缘像素、还是不是组成边缘的像素等。
[0041]在根据边缘类型确定当前块的偏移值的情况下，根据实施例的偏移确定单元12可将当前恢复的像素的像素值与邻近像素的像素值进行比较，并确定指示当前恢复的像素是否是边缘像素的边缘分类，其中，所述邻近像素根据边缘的方向和尺寸而被布置为邻近于当前恢复的像素。
[0042]在根据像素值段类型来确定当前块的偏移值的情况下，根据实施例的偏移确定单元12可确定属于每个恢复的像素的像素值段。根据实施例的像素值段指示多个像素值段之中的当前恢复的像素的像素值所属的像素值段。可根据相等的像素值范围来划分多个像素值段。此外，可根据不等的像素值范围来划分多个像素值段。也就是说，偏移确定单元12可在多个像素值段之中确定指示当前恢复的像素的像素值所属的像素值范围的像素值段。
[0043]根据实施例的偏移确定单元12通过使用包括在与恢复的像素相同的边缘分类或相同像素值段中的原始像素和恢复的像素之间的差值，确定与恢复的像素的边缘分类或像素值段相应的偏移值。
[0044]根据实施例的偏移确定单元12可将包括在与当前边缘分类相同的边缘分类或与当前像素值段相同的像素值段中的原始像素和恢复的像素之间的差值的平均(即，恢复的像素的平均误差)确定为与当前边缘分类或当前像素值段相应的偏移值。[0045]偏移确定单元12可针对当前块中的每个恢复的像素确定边缘分类或像素值段。因此，偏移确定单元12可确定与块的每个边缘分类相应的每个偏移值。此外，偏移确定单元12可确定与块的每个像素值段相应的每个偏移值。
[0046]根据实施例的偏移参数编码单元14可对每个块的偏移类型和偏移值进行编码。根据实施例的偏移类型指示每个块的边缘类型或每个块的像素值段类型。
[0047]每个块的偏移参数可包括每个块的偏移类型和偏移值。如果偏移类型是边缘类型，则偏移参数可包括与每个边缘分类相应的偏移值。此外，如果偏移类型是像素值段类型，则偏移参数可包括与每个像素值段相应的偏移值。也就是说，偏移参数编码单元14可针对每个块对偏移参数进行编码。
[0048]根据实施例的偏移参数编码单元14可基于当前块和至少一个邻近块的偏移参数的同一性，对指示是否对当前块的偏移参数进行编码的当前块的偏移合并信息进行编码。
[0049]如果当前块的左侧块和右侧块的偏移参数中的至少一个与当前块的偏移参数相同，则根据实施例的偏移参数编码单元14可对除了当前块的偏移参数以外的偏移合并信息进行编码。
[0050]如果当前块的左侧块和右侧块的偏移参数与当前块的偏移参数不同，则根据实施例的偏移参数编码单元14可对当前块的偏移合并信息和偏移参数进行编码。
[0051]如果邻近块的偏移参数的部分信息与当前块的偏移参数相同，则根据实施例的偏移参数编码单元14可对一比特的偏移合并信息进行编码，并仅对除了与当前块的偏移参数相同的邻近块的偏移参数的部分信息以外的当前块的偏移参数的信息进行编码。例如，如果当前块与邻近块在偏移值上相同，则可针对当前块对一比特的偏移合并信息和偏移类型进行编码。
[0052]根据实施例的偏移参数编码单元14可对邻近块的偏移值与当前偏移之间的差信息进行编码。
[0053]如果偏移为0，则根据实施例的偏移参数编码单元14可对除所述偏移以外的偏移参数进行编码。
[0054]根据实施例的偏移参数编码单元14可通过参考其他颜色分量的偏移参数来对当前块的亮度分量和色度分量之中的至少一个颜色分量进行预测和编码。例如，通过共享或相互参考偏移参数来对亮度分量和色度分量的偏移参数进行预测和编码。作为另一示例，通过共享或相互参考偏移参数来对第一色度分量和第二色度分量的偏移参数进行预测和编码。
[0055]根据实施例的视频编码设备10可包括总体控制偏移确定单元12和偏移参数编码单元14的中央处理器(未示出)。可选择地，偏移确定单元12和偏移参数编码单元14可通过它们各自的交互操作的处理器(未示出)进行操作，因此视频编码设备10可进行总体操作。可选择地，偏移确定单元12和偏移参数编码单元14可通过根据实施例的视频编码设备10的外部处理器(未示出)的控制来控制。
[0056]根据实施例的视频编码设备10可包括存储偏移确定单元12和偏移参数编码单元14的输入和输出数据的至少一个数据存储单元(未示出)。视频编码设备10可包括控制数据存储单元(未示出)的数据输入和输出的存储器控制单元(未示出)。
[0057]根据实施例的视频编码设备10可与安装在其中的内部视频编码处理器或外部视频编码处理器连同进行操作以输出视频编码结果，从而执行包括变换的视频编码操作。根据实施例的视频编码设备10的内部视频编码处理器可包括单独的处理器，以及视频编码设备10、中央操作设备或图形操作设备可包括视频编码处理模块来实现基本视频编码操作。
[0058]图2是根据本发明的实施例的视频解码设备20的框图。
[0059]根据实施例的视频解码设备20包括偏移参数解析单元22和偏移调整单元24。
[0060]根据实施例的视频解码设备20接收包括编码的视频数据的比特流。视频解码设备20可从接收的比特流解析编码的视频采样，对每个图像块执行熵编码、反量化、逆变换以及预测和运动补偿，产生恢复的像素，并产生所得的恢复的图像。此外，根据实施例的视频解码设备20可接收指示原始像素和恢复的像素之间的差值的偏移值，以使原始图像和恢复的图像之间的误差最小化。
[0061]根据实施例的偏移参数解析单元22可从比特流解析指示视频的多个块之中的当前块和至少一个邻近块的偏移参数是否彼此相同的偏移合并信息。
[0062]根据实施例的偏移参数解析单元22可基于当前块的偏移合并信息恢复当前块的偏移参数之中的偏移类型和偏移值。
[0063]例如，如果基于当前块的偏移合并信息，当前块和至少一个邻近块的偏移参数彼此不同，则偏移参数解析单元22可从比特流解析并恢复当前块的偏移参数。然而，如果基于当前块的偏移合并信息，当前块和至少一个邻近块的偏移参数彼此相同，则偏移参数解析单元22可通过使用所述至少一个邻近块的偏移参数信息来恢复当前块的偏移参数，而无需从比特流对当前块的偏移参数进行解析。
[0064]根据实施例的偏移调整单元24可基于当前块的指示当前块的偏移类型的边缘类型或像素值段类型，确定恢复的像素的边缘分类或像素值段。
[0065]根据实施例的偏移调整单元24可从当前块的偏移值确定与恢复的像素的边缘分类或像素值段相应的偏移值。偏移调整单元24可按偏移调整恢复的像素的像素值。
[0066]根据实施例的偏移调整单元24可为当前块的每个恢复的像素确定边缘分类或像素值段。因此，偏移调整单元24可在恢复的偏移值之中确定与所确定的针对每个恢复的像素的边缘分类或像素值段相应的偏移值，并按偏移调整每个恢复的像素。
[0067]如果当前块的偏移类型是边缘类型，则根据实施例的偏移调整单元24可将当前块像素的像素值与当前恢复的像素的根据边缘方向和边缘尺寸而布置的邻近像素的像素值进行比较，并确定当前恢复的像素的边缘分类。因此，偏移调整单元24可在偏移值之中确定与当前恢复的像素的边缘分类相应的偏移值。偏移调整单元24可计算包括在与当前边缘分类相同的边缘分类中的恢复的像素与原始像素之间的差值的平均，并将所述平均确定为与当前恢复的像素相应的偏移。
[0068]如果当前块的偏移类型是像素值段类型，则根据实施例的偏移调整单元24可在多个段之中确定当前恢复的像素的像素值所属的像素值段。因此，偏移调整单元24可在恢复的偏移值之中确定与当前恢复的像素的像素值段相应的偏移值。由偏移调整单元24从恢复的偏移值选择的偏移值可以是包括在与当前像素值段相同的像素值段中的恢复的像素与原始像素之间的差值的平均。
[0069]关于偏移参数解析单元22的更详细的描述，如果基于偏移合并信息，当前块的左侧块和右侧块的偏移参数中的至少一个与当前块的偏移参数相同，则当前块的偏移参数可被恢复为与当前块的左侧块和右侧块的偏移参数中的所述至少一个相同。可基于偏移合并信息在邻近块之中确定具有将被参考的偏移参数的块。
[0070]此外，如果基于偏移合并信息，当前块的左侧块和右侧块的偏移参数与当前块的偏移参数不同，则偏移参数解析单元22可从比特流解析并恢复当前块的偏移参数。
[0071]此外，如果从比特流解析出的一比特的偏移合并信息指示邻近块的偏移参数的部分信息与当前块的偏移参数相同，则偏移参数调整单元22可通过使用邻近块的偏移参数的所述部分信息，恢复当前块的偏移参数的部分信息。当前块的偏移参数的剩余信息可从比特流解析和恢复。
[0072]此外，偏移参数解析单元22可从比特流解析并恢复偏移值的差值。在这种情况下，偏移参数调整单元22可对邻近块的偏移值与当前块的偏移值之间的差信息进行组合，并预测和恢复当前块的偏移值。
[0073]此外，如果偏移参数不包括至少一个偏移值，则偏移参数解析单元22可将偏移值恢复为O。
[0074]根据实施例的偏移参数解析单元22可通过相互参考颜色分量的偏移参数来预测并恢复当前块的亮度分量和色度分量之中的至少一个颜色分量的偏移参数。例如，可通过共享或参考偏移参数来恢复亮度分量和色度分量的偏移参数。作为另一示例，可通过共享或参考偏移参数来预测并恢复第一色度分量和第二色度分量的偏移参数。
[0075]根据实施例的视频解码设备20可包括对偏移参数解析单元22和偏移调整单元24进行总体控制的中央处理器(未示出)。可选择地，偏移参数解析单元22和偏移调整单元24可通过它们各自的交互操作的处理器(未示出)来进行操作，因此，视频解码设备20可进行总体操作。可选择地，偏移参数解析单元22和偏移调整单元24可通过根据实施例的视频解码设备20的外部处理器(未示出)的控制来控制。
[0076]根据实施例的视频解码设备20可包括存储偏移参数解析单元22和偏移调整单元24的输入和输出数据的至少一个数据存储单元(未示出)。视频解码设备20可包括控制所述数据存储单元(未示出)的数据输入和输出的存储器控制单元(未示出)。
[0077]根据实施例的视频解码设备20可与安装在其中的内部视频解码处理器或外部视频解码处理器连同操作以通过视频解码恢复视频，从而执行视频解码操作。根据实施例的视频解码设备20的内部视频解码处理器可包括单独的处理器，以及视频解码设备20、中央操作设备或图形操作设备可包括视频解码处理模块来实现基本视频解码操作。
[0078]根据实施例的视频编码设备10和视频解码设备20使用采样点自适应偏移(SAO)以使原始像素和恢复的像素之间的误差最小化。通过使用根据实施例的SA0，视频编码设备10将每个图像块的像素分类为预定像素组，将每个像素分配到相应的像素组，并对指示包括在相同像素组中的恢复的像素和原始像素之间的误差的平均值的偏移值进行编码。
[0079]在视频编码设备10和视频解码设备20之间对采样进行编码和发送。也就是说，视频编码设备10可对采样进行编码，并将编码的采样作为比特流类型进行发送，视频解码设备20可从接收的比特流解析采样并恢复采样。根据实施例的视频编码设备10和视频解码设备20根据通过像素分类确定的偏移值来调整恢复的像素值并对偏移参数进行编码/解码，以使原始像素和恢复的像素之间的误差最小化。在视频编码设备10和视频解码设备20之间执行包括将偏移值编码、发送、接收和解码为偏移参数的信号传输。
[0080]因此，通过使用根据实施例的SA0，视频解码设备20可对接收的比特流进行解码，针对每个图像块产生恢复的像素，从比特流恢复偏移值并按相应的偏移调整恢复的像素，从而产生相对于原始图像具有最小误差的恢复的图像。
[0081]在下文中，现在将描述根据实施例的针对SAO将像素分类为像素组的实施例。通过使用根据实施例的SA0，可(i)根据组成恢复的像素的边缘类型或(ii)根据恢复的像素的像素值段类型对像素进行分类。可通过根据实施例的偏移类型来定义是根据边缘类型还是根据像素值段类型来对像素进行分类。
[0082]现在将描述通过使用根据实施例的SA0，根据边缘类型对像素进行分类的实施例。 [0083]可根据针对当前块确定的当前边缘类型来确定包括在当前块中的每个恢复的像素的边缘分类。也就是说，可通过将当前恢复的像素和邻近像素的像素值进行比较来定义当前恢复的像素的边缘分类。
[0084]例如，可根据下面的〈处理1>来确定边缘分类。
[0085]< 处理 1>
[0086]Class = O ；
[0087]for i, j e Ω
[0088]if Rec (i, j) <Rec (x, y) then Class++
[0089]if Rec (i, j) <Rec (x, y) then Class—
[0090]当前恢复的像素Rec (x, y)的x和y分别表示水平坐标和垂直坐标。与当前恢复的像素Rec (X，y)邻近的邻近像素Rec (i，j)的i和j分别表示水平坐标和垂直坐标。Ω表示布置有邻近像素Rec (i，j)的空间范围，其中，所述邻近像素Rec(i，j)是当前恢复的像素Rec(X，y)的比较目标。也就是说，根据上面的〈处理1>，可根据邻近像素Rec (i，j)的数量确定当前恢复的像素Rec (x，y)的边缘分类Class。在布置在预定空间范围中的邻近像素Rec(i，j)之中，边缘分类Class可根据具有比当前恢复的像素Rec (x，y)更大的像素值的邻近像素Rec (i，j)的数量而增加，并且边缘分类Class可根据具有比当前恢复的像素Rec (x，y)更小的像素值的邻近像素Rec (i，j)的数量而减少。
[0091]布置有邻近像素Rec (i，j)的〈邻近像素空间范围Ω>可以以如下表示的方式来定义。
[0092]〈最大邻近像素范围〉
[0093](i, j) e Q,but(i, j) Φ (x, y)
[0094]χ-Μx+M, &y-M ^ j ^ y+M
[0095]M表示从当前恢复的像素Rec (x，y)到邻近像素Rec(i，j)的最大水平和垂直距离。因此，最大邻近像素范围可包括布置在当前恢复的像素Rec(x，y)周围的邻近像素的最大数量(4M~2+4M)。在这种情况下，边缘分类Class可在从处于最小值的_(4M~2+4M)到处于最大值的(4Μ~2+4Μ)的范围内。边缘分类Class的中心值可指示当前恢复的像素Rec (x，y)是除边缘像素以外的布置在边缘周围的像素。邻近像素空间范围Ω内的邻近像素Rec (i，j)的数量可根据边缘类型而增加或减少。M可以是I以使运算量最小。
[0096]例如，在边缘类型是垂直类型的情况下，可将当前恢复的像素Rec(x，y)与沿水平方向布置的邻近像素Rec (i，j)在像素值上进行比较。也就是说，垂直边缘的邻近像素空间范围Ω可以以如下表示的方式来确定。
[0097]〈垂直边缘的邻近像素空间范围Ω>
[0098](i, j) e Q,but(i, j) Φ (x, y)
[0099]χ-Μx+M, &j = y
[0100]可根据边缘类型(诸如垂直边缘、水平边缘、对角线边缘)、由邻近像素空间范围Ω内的像素形成的严格最大值和严格最小值来确定邻近像素空间范围Ω的类型和尺寸。边缘分类值指示像素是被包括在边缘中还是被布置在边缘周围。因此，可确定用于根据边缘类型和边缘分类的组合校正组成边缘的像素值的偏移，因此可根据边缘类型和边缘分类的组合来定义像素组。
[0101]包括在邻近像素空间范围Ω中的邻近像素的数量可根据边缘类型来确定。可在邻近像素的数量的范围内确定边缘分类值。因此，视频编码设备10和视频解码设备20可对当前边缘类型的每个边缘分类的相应偏移值进行编码并发送和接收所述相应偏移值，并且根据所述偏移值调整恢复的像素。在下文中，根据预定边缘类型的边缘分类的系数被称为将被编码并被发送到视频解码设备20的偏移值的长度。
[0102]在用于边缘类型和边缘分类的预定组合的偏移值(即，针对当前边缘类型的边缘分类N的偏移值)被预先确定为O的情况下，不需要对所述偏移值进行编码并将其发送到视频解码设备20。在这种情况下，针对边缘类型和边缘分类的预定组合的长度可被减小。[0103]因此，视频编码设备10和视频解码设备20可根据图像特征(诸如边缘类型)对像素进行分类，将具有相同特征的像素之间的平均误差值确定为偏移，并根据所述偏移调整恢复的像素，从而使原始图像和恢复的图像之间的误差最小化。
[0104]图3是根据本发明的实施例的用于像素分类的边缘类型31、32、33、34、35和36以及长度的表。
[0105]索引5、4、0、1、2和3可被依次分配给边缘类型31、32、33、34、35和36。边缘类型31、32、33、34、35和36的出现率越高，可被分配给边缘类型31、32、33、34、35和36的索引
5、4、0、、1、2和3越小。可通过针对索引5的边缘类型31对当前恢复的像素XO的像素值和与当前恢复的像素XO邻近的八个邻近像素X1、X2、X3、X4、X5、X6、X7和X8的像素值进行比较来确定当前恢复的像素XO的边缘分类。在这种情况下，分配给当前恢复的像素XO的边缘分类的数量为17，因此长度可被确定为17。
[0106]如上所述，通过针对索引4的边缘类型32对当前恢复的像素XO的当前恢复的像素值和与当前恢复的像素XO水平和垂直邻近的四个邻近像素X1、X2、X3和X4进行比较，边缘分类的数量被确定为9，因此长度可被确定为9。
[0107]此外，通过针对索引O的边缘类型33对当前恢复的像素XO的当前恢复的像素值和与当前恢复的像素XO水平邻近的两个邻近像素Xl和X2进行比较，边缘分类的数量被确定为5,因此长度可被确定为5。
[0108]此外，通过针对索引I的边缘类型34对当前恢复的像素XO的当前恢复的像素值和与当前恢复的像素XO水平邻近的两个邻近像素X3和X4进行比较，边缘分类的数量被确定为5,因此长度可被确定为5。
[0109]此外，通过针对索引2的边缘类型35对当前恢复的像素XO的当前恢复的像素值和与当前恢复的像素XO邻近的两个邻近像素X5和X8进行比较，边缘分类的数量被确定为5，因此长度可被确定为5。
[0110]此外，通过针对索引3的边缘类型36对当前恢复的像素XO的当前恢复的像素值和与当前恢复的像素XO沿45°的对角线方向邻近的两个邻近像素X6和X7进行比较，边缘分类的数量被确定为5，因此长度可被确定为5。
[0111]例如，在边缘类型是如索引O的边缘类型33的垂直边缘的情况下，当前恢复的像素XO的像素值和与当前恢复的像素XO水平邻近的两个邻近像素Xl和X2的像素值被比较，可根据下面的〈处理2>来确定当前恢复的像素XO的边缘分类Class。
[0112]〈处理2>
[0113](I)IF(XO)Xland X0<X2) then Class = 2
[0114](2) IF (X0>Xland Xl == X2) or (X0 == Xland X1>X2) then Class = I ；
[0115](3) IF (X0 = = Xland Xl = = X2) or (X0 = = Xland Xl = = X2) then Class = 0 ；
[0116](4) IF (XCKXland Xl = = X2) or (X0 = = Xland X1<X2) then Class = -1 ；
[0117](5)IF(X0〈Xland X0〈X2) then Class = _2 ；
[0118]根据上面的〈处理2>，在当前恢复的像素XO分别是(I)边缘的局部最大点、(2)块边缘的像素、(3)边缘以外的像素、(4)凹形边缘的像素、和(5)边缘的局部最小点的情况下，相应的边缘分类可被确定。在边缘分类值是O的情况下，由于偏移值很可能是0，因此可不对恢复的像素的边缘分类进行编码。
[0119]接下来，现在将描述根据实施例的通过使用SAO根据像素值段类型对像素进行分类的实施例。
[0120]恢复的像素的像素值可属于根据实施例的像素值段之一。例如，像素值的最小值Min和最大值Max可具有根据P比特的采样的总范围O、……、2~(p_l)。像素值范围(Min，Max)可被划分为K个像素值段。在Bk表示第k像素值段的最大值的情况下，第k像素值段可被划分为[B0, B1-1]、[B1, B2-1]、[B2, B3-1]、…、[Bk^1, Bk]。在当前恢复的像素 Rec (x, y)的像素值属于[Βη,ΒΚ]的情况下，当前像素值段可被确定为k。
[0121]像素值段可被划分为相等类型或不等类型。这样的像素值段类型可考虑实际最小值Min和最大值Max来确定。在这种情况下，像素值段的划分参考可在视频编码设备10和视频解码设备20之间被编码并被发送或者被接收并被解码。在像素值段根据像素值的理论值{0，...，215-1}被划分的情况下，像素值段类型可在不必被编码的情况下被确定。这样的像素值段类型可被定义为偏移类型。
[0122]可在根据像素值段类型分类的多个像素值段之中确定针对每个恢复的像素的每个像素值所属的像素值段。此外，可针对每个像素值段确定指示原始像素和恢复的像素之间的误差的平均的偏移值。
[0123]因此，视频编码设备10和视频解码设备20可对根据当前像素值段类型而分类的像素值段中的每一个的相应偏移值进行编码以及发送和接收，并根据所述偏移调整恢复的像素。此外，偏移值的长度可与像素值段的数量相应。视频编码设备10可对所述长度进行编码并将所述长度发送到视频解码设备20。
[0124]在用于边缘类型和边缘分类的预定组合的偏移值(即，针对当前像素值段类型的第k像素值段的偏移值)被预先确定为O的情况下，不需要对所述偏移值进行编码并将其发送到视频解码设备20。在这种情况下，针对边缘类型和边缘分类的预定组合的长度可被减小。
[0125]例如，在像素值分类类型是8比特的相等段的情况下，像素值可被划分为32个
像素值段。更具体地讲，像素值可被划分为像素值段[0，7]、[8, 15].....[240, 247],
[248，255]。在这种情况下，长度为32。
[0126]在像素值段的总数量(即，长度)是2的幂的情况下，用于基于根据实施例的像素值段类型对像素进行分类的运算量可被最小化。
[0127]因此，视频编码设备10和视频解码设备20可根据图像特征(诸如像素值段类型)来对像素进行分类，将具有相同特征的像素之间的平均误差值确定为偏移，并根据所述偏移调整恢复的像素，从而使原始图像和恢复的图像之间的误差最小化。
[0128]根据实施例的视频编码设备10和视频解码设备20可针对每个预定区域确定偏移类型和偏移值。视频编码设备10可针对包括在预定区域中的每个像素确定原始像素值与恢复的像素值之间的误差，并将像素误差的平均确定为偏移值。对于提示操作，视频编码设备10和视频解码设备20可确定并且发送或接收每个块的偏移值。
[0129]可根据每个块的图像特征确定偏移类型。例如，包括垂直边缘、水平边缘、对角线边缘等的块优选用于根据边缘类型对像素值进行分类并确定用于边缘值的校正的偏移值。在块不是边缘块的情况下，可根据段分类优选地确定偏移值。因此，视频编码设备10和视频解码设备20可发送或接收每个块的偏移类型。
[0130]根据实施例的偏移参数可包括偏移类型、偏移值、长度和偏移分类。所述长度可根据偏移类型来确定。根据实施例的视频编码设备10和视频解码设备20可确定与偏移类型相应的偏移分类。
[0131]因此，根据实施例的视频编码设备10可对偏移参数的偏移类型和偏移值进行编码并将其发送到视频解码设备20。视频解码设备20可接收偏移类型和偏移值并基于偏移类型确定长度和偏移分类。此外，视频解码设备20可从接收的偏移值选择与所述长度或偏移分类相应的偏移值，并根据该偏移值调整恢复的像素。
[0132]根据实施例的视频编码设备10可根据偏移类型的出现率来确定偏移类型的索弓丨，以对偏移类型进行编码。例如，多个偏移类型之中的特定索引的偏移类型的出现率越高，所述索引的码字可被编码得越短。
[0133]视频编码设备10和视频解码设备20可具有根据边缘类型和像素值段类型而可从包括像素分类的偏移类型之中选择的偏移类型的索引的以下示例:
[0134](i)在SAO未被使用的情况下，偏移类型是-1 ;
[0135](ii)在沿垂直方向包括三个像素的边缘类型的情况下，偏移类型是O ;
[0136](iii)在沿水平方向包括三个像素的边缘类型的情况下，偏移类型是I ;
[0137](iv)在沿135°的对角线方向包括三个像素的边缘类型的情况下，偏移类型是2 ；
[0138](V)在沿45°的对角线方向包括三个像素的边缘类型的情况下，偏移类型是3 ；
[0139](vi)像素值段类型的偏移类型是4。
[0140]在(ii)偏移类型是O的情况下，边缘分类可被编码为{_2，-1, I, 2}。边缘类型O可不被编码，因此长度可以是4。在(vi)偏移类型是4的情况下，像素值段的数量为32，因此长度可以是32。
[0141]图4是示出根据本发明的实施例的偏移值编码处理的流程图。[0142]将被编码和解码的偏移值很可能为O以在本发明的实施例的视频编码设备10和视频解码设备20之间进行发送和接收。除O以外的偏移值具有正符号(positive sign)或负符号(negative sign)。因此,根据实施例的视频编码设备10确定当前偏移值是否为O (操作41)，如果当前偏移值不为0，则确定当前偏移值是否大于O (操作42)。如果当前偏移值大于0，则对符号(sign)比特“O”进行编码(操作44)。如果当前偏移值不大于0，则对符号比特“I”进行编码(操作43)。在符号比特被编码之后，通过对通过将偏移值(Offset)的绝对值减小I而获得的值进行一元二进制编码产生的比特率可被进一步编码(操作45)。如果当前偏移值为“0”，则视频编码设备10可对当前偏移值“O”进行最终编码(操作46)，并对偏移值进行完全编码。
[0143]视频解码设备20可接收偏移值，确定偏移值是否为0，如果偏移值不为0，则对符号比特和通过将偏移值的绝对值减小I而获得的值进行解析，并恢复当前偏移值。
[0144]根据实施例的偏移参数可针对每个块而被确定并被发送和接收。例如，视频编码设备10和视频解码设备20可针对每个画面或每个条带确定以及发送和接收偏移参数。可选择地，视频编码设备10和视频解码设备20可针对树结构的每个编码单元或最大编码单元确定以及发送和接收偏移参数。稍后将参照图8至图20更详细地描述根据实施例的基于包括最大编码单元的树结构的编码单元的视频编码/解码操作和树结构的编码单元。
[0145]每个块的偏移类型和/或偏移值在相邻块之间很可能相同。在当前块的偏移参数与邻近块的偏移参数进行比较并与其相同的情况下，根据实施例的视频编码设备10可将当前块和邻近块的偏移参数合并为一个偏移参数并对其进行编码。如果邻近块的偏移参数被首先编码，则当前块的偏移参数可不被编码，但是当前块的偏移合并信息可被编码。
[0146]根据实施例的视频解码设备20可在从接收的比特流解析偏移参数之前首先对偏移合并信息进行解析并确定偏移参数是否被解析。视频解码设备20可基于当前块的偏移合并信息确定在邻近块的偏移参数中是否存在与当前块具有相同偏移参数的块。
[0147]例如，如果基于当前块的偏移合并信息，确定在邻近块的偏移参数中存在与当前块具有相同偏移参数的块，则视频解码设备20可不对当前块的偏移参数进行解析，而是可将当前块的偏移参数恢复为与邻近块的恢复的偏移参数相同。此外，可基于偏移合并信息在邻近块之中确定具有将被参考的偏移参数的邻近块。
[0148]例如，在基于当前块的偏移合并信息，邻近块的偏移参数与当前块的偏移参数不同的情况下，视频解码设备20可从比特流解析并恢复当前块的偏移参数。
[0149]图5是根据本发明的实施例的用于合并偏移参数的候选参考块的示图。
[0150]根据实施例的视频编码设备10可从在当前块之前恢复的邻近块之中确定作为当前块50的偏移参数的参考目标的邻近块的候选列表。视频编码设备10可将候选列表的邻近块与当前块50的偏移参数进行比较。
[0151]根据实施例的候选列表可包括布置在当前帧57中的与当前块50相同的邻近块。更具体地，左侧块51、上侧块52、左上侧块53和右上侧块54可被包括在候选列表中。
[0152]根据另一实施例的视频编码设备10可参考包括在先于当前帧57恢复的邻近帧58和59中的块55和56的偏移参数。包括在邻近帧58和59中的块55和56可以是布置在时间上在当前帧57之前的帧58和在当前帧57之后的帧59中的块，并且在空间上与当前块50处于相同的区域。在这种情况下，候选列表可包括当前帧57中包括的邻近块51、52、53和54以及邻近帧58和59中包括的块55和56。
[0153]因此，根据实施例的视频编码设备10可根据预定参考顺序将包括在候选列表中的邻近块的偏移参数与当前块50的偏移参数进行比较。例如，可根据左侧块51、上侧块52、左上侧块53、右上侧块54、在前块55和后续块56的参考顺序将邻近块的偏移参数与当前块50的偏移参数进行比较。被比较的邻近块之中的与当前块50具有相同偏移参数的邻近块可被确定为参考块。
[0154]视频编码设备10和视频解码设备20可基于相同的候选列表预测并参考相邻块之间的偏移参数，并对其进行编码和发送或者是对其进行接收和解码。根据实施例的视频解码设备20可基于偏移合并信息从候选列表确定与当前块50具有相同偏移参数的邻近块，并且参考相应邻近块的偏移参数来恢复具有与所述相应邻近块的偏移参数相同的值的当前块50的偏移参数。
[0155]例如，假设使用包括左侧块51和上侧块52的候选列表。根据实施例的偏移参数编码单元14可将指示左侧块51的偏移参数与当前块50的偏移参数是否相同的左偏移合并信息以及指示上侧块52的偏移参数与当前块50的偏移参数是否相同的上偏移合并信息编码为偏移合并信息。在这种情况下，当前块50可与左侧块51进行比较以确定它们的偏移参数是否彼此相同，然后当前块50可与上侧块52进行比较以确定它们的偏移参数是否彼此相同。可根据比较结果确定偏移合并信息。
[0156]如果左侧块51和上侧块52的至少一个偏移参数与当前块50的偏移参数相同，则偏移参数编码单元14可对相应的左偏移合并信息和上偏移合并信息进行编码，但可不对当前块50的偏移参数进行编码。
[0157]如果左侧块51和上侧块52的偏移参数与当前块50的偏移参数不同，则偏移参数编码单元14可对相应的左偏移合并信息和上偏移合并信息以及当前块的偏移参数进行编码。
[0158]如果左侧块51和上侧块52的偏移参数与当前块50的偏移参数不同，则根据实施例的偏移参数编码单元14可对当前块50的偏移合并信息和偏移参数进行编码。
[0159]作为另一示例，如果邻近块的偏移参数的部分信息与当前块50的偏移参数相同，则根据实施例的偏移参数编码单元14可对一比特的偏移合并信息以及除了邻近块的偏移参数的所述相同部分信息以外的当前偏移参数的剩余信息进行编码。例如，如果当前块50和邻近块在偏移值上彼此相同，则可为当前块50对一比特的偏移合并信息以及偏移类型值进行编码。
[0160]根据实施例的视频编码设备10和视频解码设备20可对当前块50和邻近块之间的偏移类型和偏移值进行比较，如果存在与当前块50具有相同偏移类型和偏移值的邻近块，则可发送和接收偏移合并信息。
[0161]作为另一示例，在当前块50和邻近块的偏移参数之中对偏移类型进行比较，如果存在与当前块50具有相同偏移类型的邻近块，则可发送和接收相应邻近块的偏移类型的
合并信息。
[0162]作为另一示例，在当前块50和邻近块的偏移参数之中对偏移值进行比较，如果存在与当前块50具有相同偏移值的邻近块，则可发送和接收相应邻近块的偏移值的合并信
肩、O[0163]如果相邻块在长度上相同但相邻块之间的偏移类型不同，则相邻块的偏移值可能相似。例如，相邻块很可能组成由图像指示的对象之中的相同对象区域。因此，尽管当前块50的作为垂直边缘的边缘类型与邻近块的作为对角线边缘的边缘类型不同，但是当前块50和邻近块的像素可组成相同的对象区域。因此，当前块50的偏移值和邻近块的偏移值可能趋于相似。因此，针对当前块50的邻近块的候选列表可包括仅具有相同长度的边缘类型的邻近块。
[0164]根据实施例的视频编码设备10和视频解码设备20可通过在具有相同长度的块之间参考邻近块的偏移参数来预测当前块50的偏移参数。
[0165]在对偏移参数执行预测编码的情况下，视频编码设备10和视频解码设备20可用信号传输包括可被参考的邻近块的预测候选列表，以对偏移参数执行预测编码。可选择地，与当前块50最相邻的块的偏移参数总是被参考，因此包括在预测候选列表中的最相邻的块可既不被发送也不被接收。
[0166]根据实施例的包括当前块50的最相邻的块的预测候选列表可在(ii)当前块50之前恢复的并具有相同长度的候选块之中(i)包括按参考顺序排列的候选块，(iii)而不包括具有相同偏移参数的候选块。预测候选列表的第一排位候选块可以是最相邻的块。例如，如果预测候选列表包括布置在距当前块50相同距离处的左侧块51和上侧块52，则比上侧块52具有更小的从当前块50访问所必要的运算量的左侧块51可以是最相邻的块。
[0167]在确定了预测候选列表之后，可通过参考最相邻的块的偏移值对当前块50的偏移值执行预测编码。当前块50的偏移值与最相邻的块的偏移值之间的差值可被编码并且被发送或接收。
[0168]Offset[i]-Offset_prediction[i], 0 ^ i ^ Length-1
[0169]也就是说，根据〈偏移预测值 >，在当前块50和具有相同长度Length的最相邻的块之间，当前块50的偏移值0ffset[i]与最相邻的块的偏移值Offset_prediction[i]之间的差值Offset [i]-Offset_prediction[i]可针对每个边缘分类i (或每个像素值段)被编码并且被发送或接收。每当边缘分类i (或像素值段)改变时，针对相应边缘分类(或相应像素值段)的预测差值可被发送或接收。
[0170]根据实施例的视频编码设备10和视频解码设备20可对偏移参数有限地执行合并编码或预测编码。例如，为了根据像素值段类型对当前块50的偏移参数进行编码，尽管两个邻近块具有相同的长度(即，相同数量的像素值段)，但邻近块的最大值和最小值与当前块50的最大值和最小值不同，因此如果像素值的总体范围在邻近块和当前块50之间不同，则邻近块的偏移参数和当前块50的偏移参数根据像素值段类型没有关系。因此，如果邻近块和当前块50在偏移类型的特征上不同，则视频编码设备10和视频解码设备20不会优选地对相邻块之间的偏移参数进行合并并执行预测编码。
[0171]根据实施例的视频编码设备10和视频解码设备20可对针对每个颜色分量的偏移参数执行预测编码。
[0172]例如，SAO可被应用于YUV颜色格式的亮度块和色度块两者。Y分量的亮度块的偏移类型和/或偏移值可与U分量和V分量的色度块的偏移类型和/或偏移值非常相似。
[0173] 例如，视频编码设备10和视频解码设备20将与当前色度块处于相同位置的亮度块添加到当前色度块的候选列表，因此可通过参考亮度块的偏移参数来预测当前色度块的偏移参数。最高优先级可被分配给包括在候选列表中的块的参考列表之中的亮度块。
[0174]作为另一示例，视频编码设备10和视频解码设备20可基于亮度分量和色度分量的偏移参数之间的预定关系对偏移参数进行编码。一般而言，色度块比亮度块更平，并且色度块的根据最大值和最小值的偏移值的绝对值、边缘分类和像素值段比亮度块的根据最大值和最小值的偏移值的绝对值、边缘分类和像素值段更小。
[0175]以下的〈色度偏移预测等式 > 解释在基于亮度块的偏移值确定色度块的偏移值的情况下执行色度块的偏移值的预测编码的实施例。
[0176]〈色度偏移预测等式〉
[0177]Value_to_be_encoded[i] = Offset[i]-F(Offset_prediction[i])；
[0178]wherein F (x) = A*x+B ;
[0179]在这点上，i表示长度范围内的当前边缘分类(像素值段)并且基于色度块所参考的亮度块的偏移值Offset_prediction[i]而确定的色度块的预测值F(0ffset_prediction[i])和偏移值0ffset[i]之间的误差值Value_to_be_encoded[i]可在视频编码设备10和视频解码设备20之间被发送和接收。
[0180]在F (X)中，A和B表示亮度块和色度块之间的相关性参数。相关性参数A和B可针对U分量和Y分量被单独设置。可选择地，U分量和Y分量可共享相关性参数A和B。
[0181]根据实施例的视频编码设备10和视频解码设备20可对相关性参数A和B进行编码和发送、或者接收和解码，以基于颜色分量之间的相关性对亮度块和色度块之间的偏移值执行预测编码。相关性参数A和B可被预先固定为根据实施例的预定值。根据实施例的相关性参数A和B可针对每个预定数据单元(诸如块、画面、条带、视频序列等)来确定，并且可在被包括在针对每个块、画面参数集(PPS)、条带头和序列参数集(SPS)的参数中之后被发送或接收。
[0182]图6是示出根据本发明的实施例的视频编码方法的流程图。
[0183]在操作61，根据视频的多个块之中的当前块的边缘类型的边缘分类可被确定或者根据像素值段类型的像素值段可被确定。
[0184]在根据边缘类型确定当前块的偏移的情况下，可通过将当前恢复的像素和邻近像素的像素值进行比较来确定指示当前恢复的像素是否是当前恢复的像素的根据边缘方向和边缘尺寸布置的邻近像素之中的极值点的边缘分类。
[0185]此外，在根据恢复的像素的像素值段类型确定当前块的偏移的情况下，可在多个段之中确定指示当前恢复的像素的像素值所属的像素值范围的像素值段。
[0186]在操作63，通过使用包括在当前边缘分类或像素值段中的恢复的像素和原始像素之间的差值来确定与当前边缘分类或像素值段相应的偏移。包括在相同边缘分类或相同像素值段中的恢复的像素和原始像素之间的差值的平均值可被确定为偏移值。
[0187]在操作65，每个块的偏移参数被编码。偏移参数可包括相应块的偏移类型、相应块的偏移值、相应块的长度以及相应块的边缘分类和像素值段。
[0188]每个块的偏移类型指示相应块的边缘类型或像素值段类型。根据每个块的边缘类型将每个块的恢复的像素分类为多个边缘分类，并且针对每个边缘分类确定每个偏移值，因此确定与多个边缘分类相应的多个偏移值。可选择地，根据每个块的边缘类型将每个块的恢复的像素分类为多个像素值段，并且针对每个像素值段确定每个偏移值，因此确定与多个像素值段相应的多个偏移值。根据每个块的边缘类型或每个块的像素值段确定长度。因此，可对每个块的偏移参数之中的仅偏移类型和偏移值进行编码。
[0189]可基于当前块和至少一个邻近块的偏移参数之间的同一性对当前块的偏移合并信息进行编码。偏移合并信息可指示当前块的偏移参数是否被编码。也就是说，如果邻近块包括具有与当前块的偏移参数相同的偏移参数的块，则仅当前块的偏移合并信息可被编码，当前块的偏移参数可不被编码。
[0190]可通过对邻近块的偏移参数和当前块的偏移参数执行预测来对邻近块的偏移参数和当前块的偏移参数之间的差信息进行编码。可通过参考亮度块和色度块彼此的偏移参数来对当前块的亮度块和色度块之中的至少一个颜色分量执行预测编码。
[0191]图7是示出根据本发明的实施例的视频解码方法的流程图。
[0192]在操作71，从接收的比特流解析指示视频的多个块之中的当前块和至少一个邻近块的偏移参数是否彼此相同的偏移合并信息。
[0193]在操作73，基于偏移合并信息恢复当前块的偏移参数之中的偏移类型和偏移值。
[0194]在操作75，基于指示偏移类型的当前块的边缘类型或当前块的像素值段类型来确定恢复的像素的边缘分类或恢复的像素的像素值段。在操作77，从偏移值确定与恢复的像素的边缘分类或恢复的像素的像素值段相应的偏移值，并根据确定的偏移值调整恢复的像素的像素值。
[0195]在操作75中当前块的偏移类型是边缘类型的情况下，可通过将当前恢复的像素和当前恢复的像素的根据边缘方向和边缘尺寸布置的邻近像素的像素值进行比较来确定当前恢复的像素的边缘分类。在这种情况下，在操作77，可从接收的偏移值选择与当前恢复的像素的边缘分类相应的偏移。
[0196]此外，在操作75中当前块的偏移类型是像素值段类型的情况下，可确定当前恢复的像素的像素值段，并且在操作77，可从偏移值选择与当前恢复的像素的像素值段相应的偏移。
[0197]如果基于操作71中的偏移合并信息，当前块的左侧块和上侧块的至少一个偏移参数与当前块的偏移参数相同，则当前块的偏移参数可被恢复为与当前块的左侧块和上侧块的所述至少一个偏移参数相同。此外，如果基于偏移合并信息，当前块的左侧块和上侧块的至少一个偏移参数与当前块的偏移参数不同，则可从接收的比特流解析当前块的偏移参数，并可恢复当前块的偏移参数。
[0198]如果在操作71从比特流解析出偏移值的差值，则可通过对偏移值之间的差值信息和邻近块的偏移信息进行组合来对当前块的偏移值执行预测恢复。
[0199]通过在操作71参考当前块的亮度分量和色度分量彼此的偏移参数来对当前块的亮度分量和色度分量之中的至少一个颜色分量执行预测恢复。
[0200]因此，根据实施例的使用SAO的视频编码设备10和视频解码设备20根据图像特征(诸如图像块的边缘类型或图像块的像素值段类型)对像素值进行分类，对作为具有相同特征的分类的像素值之间的平均误差值的偏移值进行编码和发送或者进行接收和解码，并根据所述偏移值对在恢复的像素之中的非预期的像素值进行调整，从而使原始图像和恢复的图像之间的误差最小化。
[0201]根据实施例的视频编码设备10和视频解码设备20可对从视频数据划分为树结构的编码单元的块进行划分，并如上所述针对每个最大编码单元或每个编码单元根据像素分类确定偏移设置。以下将参照图7至图20描述根据实施例的基于具有树结构的编码单元和变换单元的视频编码方法和设备以及视频解码方法和设备。
[0202]图8是根据本发明的实施例的基于具有树结构的编码单元的视频编码设备100的框图。
[0203]根据实施例的涉及基于具有树结构的编码单元的视频预测的视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。为便于描述，根据实施例的涉及基于具有树结构的编码单元的视频预测的视频编码设备100在下文中将被称为“视频编码设备100”。
[0204]最大编码单元划分器110可基于针对图像的当前画面的最大编码单元来划分当前画面。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据本发明的实施例的最大编码单元可以是尺寸为32X32、64X64、128X 128、256X 256等的数据单元，其中，数据单元的形状是具有2的若干次方的宽度和长度的正方形。图像数据可根据至少一个最大编码单元被输出到编码单元确定器120。
[0205]根据本发明的实施例的编码单元可由最大尺寸和深度来表征。深度表示编码单元从最大编码单元空间划分编码单元的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编码单元划分为最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此，与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
[0206]如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据本发明的实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层地分类。
[0207]可预先确定编码单元的最大深度和最大尺寸,其中，编码单元的最大深度和最大尺寸限制最大编码单元的高度和宽度被分层地划分的总次数。
[0208]编码单元确定器120对通过根据深度划分最大编码单元的区域而获得的至少一个划分区域进行编码，并根据所述至少一个划分区域确定用于输出最终编码的图像数据的深度。换句话说，编码单元确定器120通过根据当前画面的最大编码单元对根据深度的较深层编码单元中的图像数据进行编码并选择具有最小编码误差的深度，来确定编码深度。因此，与确定的编码深度相应的编码单元的编码图像数据被最终输出。此外，与编码深度相应的编码单元可被视为被编码的编码单元。确定的编码深度和根据确定的编码深度的编码图像数据被输出到输出单元130。
[0209]基于与等于或小于最大深度的至少一个深度相应的较深层编码单元对最大编码单元中的图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结果。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。
[0210]随着编码单元根据深度被分层地划分，并且随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中多个编码单元相应于相同深度，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与相同深度相应的编码单元中的每个编码单元划分至更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，图像数据也根据多个深度被划分为多个区域，在一个最大编码单元中编码误差可根据区域而不同，因此编码深度可根据图像数据中的区域而不同。因此，在一个最大编码单元中可确定一个或多个编码深度，并且可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。
[0211]因此，编码单元确定器120可确定包括在当前最大编码单元中的具有树结构的编码单元。根据本发明的实施例的“具有树结构的编码单元”包括最大编码单元中所包括的所有较深层编码单元中的与确定为编码深度的深度相应的编码单元。在最大编码单元的相同区域中，编码深度的编码单元可根据深度被分层地确定，在不同的区域中，该编码深度的编码单元可被独立地确定。类似地，当前区域中的编码深度可独立于另一区域中的编码深度被独立确定。
[0212]根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元进行划分的次数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编码单元进行划分的总次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数。例如，当最大编码单元的深度是O时，最大编码单元被划分一次的编码单元的深度可被设置为1，并且最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度为0、1、2、3和4的5个深度级，因此,第一最大深度可被设置为4，第二最大深度可被设置为5。
[0213]可根据最大编码单元执行预测编码和变换。还可根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的多个深度的较深层编码单元来执行预测编码和变换。可根据正交变换或整数变换的方法来执行变换。
[0214]由于每当最大编码单元根据深度被划分时，较深层编码单元的数量增加，因此对随着深度的加深而产生的所有的较深层编码单元执行包括预测编码和变换的编码。为了便于描述，现在将基于最大编码单元中的当前深度的编码单元来描述预测编码和变换。
[0215]视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行多个操作(诸如，预测编码、变换和熵编码)，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。
[0216]例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可选择与该编码单元不同的数据单元，以便对编码单元中的图像数据执行预测编码。
[0217]为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分为与更低深度相应的多个编码单元的编码单元)执行预测编码。在下文中，不再被划分并且变为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元而获得的分区可包括:通过划分预测单元的高度和宽度中的至少一个而获得的预测单元或数据单元。分区是从编码单元的预测单元划分的数据单元，预测单元可以是与编码单元具有相同尺寸的分区。
[0218]例如，当2NX2N(其中，N是正整数)的编码单元不再被划分并且变为2NX2N的预测单元时，分区的尺寸可以是2NX2N、2NXN、NX2N或NXN。分区类型的示例包括通过对预测单元的高度或宽度进行对称划分而获得的对称分区、通过对预测单元的高度或宽度进行不对称划分(诸如，l:n或n:l)而获得的分区、通过对预测单元进行几何划分而获得的分区以及具有任意形状的分区。
[0219]预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N X 2N、2N X N、N X 2N或N X N的分区执行帧内模式或帧间模式。另外，可仅对2N X 2N的分区执行跳过模式。对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。
[0220]视频编码设备100不仅可基于用于对图像数据进行编码的编码单元还可基于与该编码单元不同的数据单元，对编码单元中的图像数据执行变换。
[0221]为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，数据单元可包括用于帧内模式的数据单元以及用于帧间模式的变换单
J Li ο
[0222]还可在变换单元中设置指示通过对编码单元的高度和宽度进行划分以达到变换单元而进行划分的次数的变换深度。例如，在2NX2N的当前编码单元中，当变换单元的尺寸也是2NX2N时，变换深度可以是0，在当前编码单元的高度和宽度中的每一个被划分为相等的两部分，总共被划分为4~1个变换单元并且因此变换单元的尺寸是NXN时，变换深度可以是I，在当前编码单元的高度和宽度中的每一个被划分为相等的四部分，总共被划分为4~2个变换单元并且因此变换单元的尺寸是N/2XN/2时，变换深度可以是2。例如，可根据分层树结构设置变换单元，其中，在所述分层树结构中，更高变换深度的变换单元根据变换深度的分层特性被划分为四个更低变换深度的变换单元。
[0223]与编码单元类似，编码单元中的变换单元可被递归地划分为更小尺寸的区域，使得变换单元可以以区域为单位被独立地确定。因此，可根据变换深度，根据具有树结构的变换对编码单元中的残差数据进行划分。
[0224]根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，还需要与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。
[0225]稍后将参照图7至图19来详细地描述根据本发明的实施例确定最大编码单元中的根据树结构的编码单元、预测单元、分区以及变换单元的方法。
[0226]编码单元确定器120可通过使用基于拉格朗日乘子(Lagrangian multiplier)的率失真优化来测量根据深度的较深层编码单元的编码误差。
[0227]输出单元130在比特流中输出最大编码单元的图像数据以及关于根据编码深度的编码模式的信息，其中，所述图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。
[0228]可通过对图像的残差数据进行编码来获得编码的图像数据。
[0229]关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于预测单元中的分区类型的信息、预测模式以及变换单元的尺寸。
[0230]可通过使用根据深度的划分信息来定义关于编码深度的信息，所述划分信息指示是否针对更低深度而非当前深度的编码单元来执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码和输出，因此划分信息可被定义为不将当前编码单元划分为更低深度。可选择地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，因此划分信息可被定义为划分当前编码单元以获得更低深度的编码单元。
[0231]如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复地执行编码，因而可对具有相同深度的编码单元递归地执行编码。
[0232]由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，因此可针对一个最大编码单元确定关于至少一个编码模式的信息。另外，由于图像数据根据深度被分层地划分，因此最大编码单元的图像数据的编码深度可根据位置而不同，因而可对图像数据设置关于编码深度以及编码模式的信息。
[0233]因此，输出单元130可将关于相应编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
[0234]根据本发明的实施例的最小单元是通过将组成最低深度的最小编码单元划分为4份而获得的矩形数据单元。可选择地，最小单元可以是可被可包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中的最大矩形数据单元。
[0235]例如，通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息以及根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息以及关于分区的尺寸的信息。根据预测单元的编码信息可包括关于以下内容的信息:帧间模式的估计方向、巾贞间模式的参考图像索引、运动矢量、帧内模式的色度分量以及帧内模式的插值方法。此外，关于根据画面、条带或GOP定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入到比特流的头、序列参数集或画面参数集。
[0236]此外，关于针对当前视频允许的变换单元的最大尺寸的信息以及关于所述变换单元的最小尺寸的信息可通过比特流的头、序列参数集或画面参数集被输出。输出单元130可对与参照图1至图6描述的预测相关的参考信息、双向预测信息、包括四个条带类型的条带类型信息等进行编码和输出。
[0237]在视频编码设备100中，较深层编码单元可以是通过将作为上一层的更高深度的编码单元的高度或宽度除以二而获得的编码单元。换句话说，在当前深度的编码单元的尺寸是2NX2N时，更低深度的编码单元的尺寸是NXN。另外，尺寸为2NX 2N的当前深度的编码单元可包括最多4个更低深度的编码单元。
[0238]因此，视频编码设备100可通过基于考虑当前画面的特性所确定的最大编码单元的尺寸和最大深度，针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树结构的编码单元。另外，由于通过使用各种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特征来确定最佳编码模式。
[0239]因此，如果在传统的宏块中对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量过度增加。因此,针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩信息并且数据压缩效率降低。然而，通过使用视频编码设备100，由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，同时在考虑图像的特征的同时调整编码单元，因此图像压缩效率会增加。
[0240]图8的视频编码设备100可执行以上参照图1描述的视频编码设备10的操作。
[0241]编码单元确定器120可执行视频编码设备10的偏移确定单元12的操作。编码单元确定器120可通过根据针对每个最大编码单元的边缘类型对像素值进行分类来确定针对每个边缘分类的偏移值，或者通过根据像素值段类型对像素值进行分类来确定针对每个像素值段的偏移值。每个像素组(诸如边缘分类或像素值段)的偏移值可以是包括在相应像素组中的恢复的像素和原始像素之间的平均误差值。作为另一示例，可针对每个预定数据单元(诸如编码单元、预测单元和变换单元)确定边缘分类和偏移值或者是像素值段和偏移值。
[0242]输出单元130可对针对每个最大编码单元确定的偏移参数之中的偏移类型和偏移值进行编码。在针对每个预定数据单元(诸如编码单元、预测单元和变换单元)确定偏移参数的情况下，偏移类型和偏移值可被编码为相应数据单元的参数。
[0243]输出单元130可通过参考邻近最大编码单元的邻近偏移参数来对当前最大编码单元的当前偏移参数执行预测编码。如果邻近偏移参数中的至少一个与当前偏移参数相同，则输出单元130可在不对当前偏移参数进行编码的情况下对针对当前最大编码单元的偏移合并信息进行编码。如果邻近偏移参数与当前偏移参数彼此不同，则输出单元130可对针对当前最大编码单元的偏移合并信息和当前偏移参数进行编码。
[0244]图9是根据本发明的实施例的基于具有树结构的编码单元的视频解码设备200的框图。
[0245]根据实施例的涉及基于具有树结构的编码单元的视频预测的视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。为了便于描述，根据实施例的涉及基于具有树结构的编码单元的视频预测的视频解码设备200在下文中将被称为“视频解码设备200”。
[0246]用于视频解码设备200的各种操作的各种术语(诸如，编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)的定义与以上参照图7和视频编码设备100描述的那些定义相同。
[0247]接收器210接收编码视频的比特流并对其进行解析。图像数据和编码信息提取器220从解析的比特流提取用于每个编码单元的编码图像数据，并且将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头或SPS提取关于当前画面的编码单元的最大尺寸的信息。
[0248]另外，图像数据和编码信息提取器220从解析的比特流针对根据每个最大编码单元的具有树结构的编码单元提取关于编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换句话说，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器230针对每个最大编码单元对图像数据进行解码。
[0249]可针对关于与编码深度相应的至少一个编码单元的信息来设置关于根据最大编码单元的编码深度和编码模式的信息，并且关于编码模式的信息可包括关于以下内容的信息:与编码深度相应的相应编码单元的分区类型、预测模式以及变换单元的尺寸。另外，根据深度的划分信息可被提取为关于编码深度的信息。
[0250]由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于这样的编码深度和编码模式的信息:所述编码深度和编码模式被确定用于当编码器(诸如，视频编码设备100)根据每个最大编码单元针对根据深度的每个较深层编码单元重复执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。
[0251]由于关于编码深度和编码模式的编码信息可被分配给相应编码单元、预测单元以及最小单元中的预定数据单元，因此，图像数据和编码信息提取器220可根据预定数据单元提取关于编码深度和编码模式的信息。被分配相同的关于编码深度和编码模式的信息的预定数据单元可被推断为是包括在相同的最大编码单元中的数据单元。
[0252]图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信息对每个最大编码单元中的图像数据进行解码来恢复当前画面。换句话说，图像数据解码器230可基于提取的关于包括在每个最大编码单元中的具有树结构的编码单元中的每个编码单元的分区类型、预测模式和变换单元的信息来对编码图像数据进行解码。解码处理可包括预测(所述预测包括帧内预测和运动补偿)和反变换。可根据反正交变换或反整数变换来执行反变换。
[0253]图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类型以及预测模式的信息，根据每个编码单元的分区和预测模式来执行帧内预测或运动补
\-ZX O
[0254]另外，图像数据解码器230可基于关于根据编码深度的编码单元的变换单元的尺寸的信息，根据编码单元中的每个变换单元执行反变换，以便根据最大编码单元执行反变换。
[0255]图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的至少一个编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用针对与编码深度相应的每个编码单元的关于预测单元的分区类型、预测模式以及变换单元的尺寸的信息，来对与当前最大编码单元中的每个编码深度相应的至少一个编码单元的编码数据进行解码，并输出当前最大编码单元的图像数据。
[0256]换句话说，可通过观察针对编码单元、预测单元和最小单元之中的预定数据单元分配的编码信息集，来聚集包含包括相同划分信息的编码信息的数据单元，收集的数据单元可被认为是将由图像数据解码器230以相同的编码模式进行解码的一个数据单元。可通过获得关于如上所述确定的编码单元的编码模式的信息来执行当前解码单元中的解码。
[0257]此外，图9的视频解码设备200可执行以上参照图2描述的视频解码设备20的操作。
[0258]接收器210和图像数据和编码信息提取器220可执行视频解码设备20的偏移参数解析单元22的操作。图像数据解码器230可执行视频解码设备20的偏移调整单元24的操作。
[0259]图像数据和编码信息提取器220可在仅从比特流解析出偏移合并信息而不使用针对当前最大编码单元的偏移参数的情况下，将当前偏移参数恢复为与邻近偏移参数中的至少一个相同。邻近偏移参数之中的将被参考的参数可基于偏移合并信息来确定。如果基于从比特流解析出的针对当前最大编码单元的偏移合并信息，邻近偏移参数和当前偏移参数被确定为彼此不同，则图像数据和编码信息提取器220可从比特流解析并恢复针对当前最大编码单元的当前偏移参数。
[0260]图像数据和编码信息提取器220可通过参考邻近最大编码单元的邻近偏移参数来对当前最大编码单元中的当前偏移参数执行预测恢复。
[0261]图像数据解码器230可从比特流解析针对每个最大编码单元的偏移参数。可从恢复的偏移参数确定当前最大编码单元的偏移类型是边缘类型还是像素值段类型。如果当前最大编码单元的偏移类型是边缘类型，则可确定针对每个恢复的像素的边缘分类，并且可从偏移参数中的偏移值选择与每个恢复的像素的边缘分类相应的偏移值。如果当前最大编码单元的偏移类型是像素值段类型，则可从在偏移参数中解析和包括的偏移值选择与每个恢复的像素的像素值段相应的偏移值。
[0262]图像数据解码器230可通过按照与每个恢复的像素相应的偏移值调整相应恢复的像素值调整来产生相对于原始像素具有最小误差的恢复的像素。作为另一示例，在针对每个预定数据单元(诸如编码单元、预测单元和变换单元)解析出偏移参数的情况下，可针对每个相应的数据单元恢复与每个边缘分类相应的偏移值，或者可恢复与每个像素值相应的偏移值。
[0263]总之，视频解码设备200可获得关于当针对每个最大编码单元递归执行编码时产生最小编码误差的至少一个编码单元的信息，并可使用所述信息来对当前画面进行解码。换句话说，可对每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。此外，考虑分辨率和图像数据量来确定编码单元的最大尺寸。
[0264]因此，即使图像数据具有高分辨率和大数据量，也可通过使用从编码器接收的关于最佳编码模式的信息，通过使用根据图像数据的特征自适应地确定的编码单元的尺寸和编码模式来有效地对图像数据进行解码和恢复。
[0265]图10是用于描述根据本发明的实施例的编码单元的概念的示图。
[0266]编码单元的尺寸可按照宽度X高度来表示，并可以是64X64、32X32、16X16和8X8。64X64的编码单元可被划分为64 X 64、64 X 32、32 X 64或32 X 32的分区，32 X 32的编码单元可被划分为32X32、32X16、16X32或16X16的分区，16X16的编码单元可被划分为16X16、16X8、8X16或8X8的分区，8X8的编码单元可被划分为8X8、8X4、4X8或4X4的分区。
[0267]在视频数据310中，分辨率是1920 X 1080，编码单元的最大尺寸是64，并且最大深度是2。在视频数据320中，分辨率是1920 X 1080，编码单元的最大尺寸是64，并且最大深度是3。在视频数据330中，分辨率是352 X 288，编码单元的最大尺寸是16，并且最大深度是I。图10中示出的最大深度表示从最大编码单元到最小编码单元的划分总数。
[0268]如果分辨率高或者数据量大，则编码单元的最大尺寸可以较大以便不仅提高编码效率还准确地反映图像的特征。因此，分辨率比视频数据330更高的视频数据310和视频数据320的编码单元的最大尺寸可以是64。
[0269]由于视频数据310的最大深度是2，因此由于通过划分最大编码单元两次深度被加深到两层，视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32和16的编码单元。同时，由于视频数据330的最大深度是1，因此由于通过划分最大编码单元一次深度被加深到一层，视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元以及长轴尺寸为8的编码单元。
[0270]由于视频数据320的最大深度是3，因此由于通过划分最大编码单元三次深度被加深到3层，视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32、16和8的编码单元。随着深度的加深，可精确地表示详细的信息。
[0271]图11是根据本发明的实施例的基于编码单元的图像编码器400的框图。
[0272]图像编码器400执行视频编码设备100的编码单元确定器120的操作以对图像数据进行编码。换句话说，帧内预测器410对当前帧405之中的帧内模式下的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495对当前帧405之中的帧间模式下的编码单元执行帧间估计和运动补偿。
[0273]从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和反变换器470被恢复为空间域中的数据，并且恢复的空间域中的数据在通过去块单元480和环路滤波单兀490被后处理之后被输出为参考巾贞495。量化的变换系数可通过熵编码器450被输出为比特流455。
[0274]为了使图像编码器400被应用到视频编码设备100中，图像编码器400的所有元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、反变换器470、去块单元480和环路滤波单元490)在考虑每个最大编码单元的最大深度的同时，基于具有树结构的编码单元之中的每个编码单元执行操作。
[0275]具体地讲，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时，确定具有树结构的编码单元之中的每个编码单元的分区和预测模式，并且变换器430确定具有树结构的编码单元之中的每个编码单元中的变换单元的尺寸。
[0276]图像编码器400可根据针对参考帧495的每个最大编码单元的边缘类型(或像素值段)对像素进行分类，确定每个恢复的像素的边缘分类(或像素值段)，并确定属于每个边缘分类(或每个像素值段)的恢复的像素的平均误差值。针对每个最大编码单元的偏移类型和偏移值可被编码和发送或者被接收和解码
[0277]图12是根据本发明的实施例的基于编码单元的图像解码器500的框图。
[0278]解析器510从比特流505解析将被解码的编码图像数据以及解码所需的关于编码的信息。编码的图像数据通过熵解码器520和反量化器530被输出为反量化的数据，反量化的数据通过反变换器540被恢复为空间域中的图像数据。
[0279]帧内预测器550针对空间域中的图像数据对帧内模式下的编码单元执行帧内预测，运动补偿器560通过使用参考帧585对帧间模式下的编码单元执行运动补偿。
[0280]经过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元570和环路滤波单元580被后处理之后被输出为恢复的帧595。另外，经过去块单元570和环路滤波单元580被后处理的图像数据可被输出为参考帧585。
[0281]为了对视频解码设备200的图像数据解码器230中的图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。[0282]为了使图像解码器500被应用到视频解码设备200中，图像解码器500的所有元件(即，解析器510、熵解码器520、反量化器530、反变换器540、帧内预测器550、运动补偿器560、去块单元570和环路滤波单元580)基于每个最大编码单元的具有树结构的编码单元执行操作。
[0283]具体地讲，帧内预测器550和运动补偿器560基于针对每个具有树结构的编码单元的分区和预测模式执行操作，并且反变换器540基于针对每个编码单元的变换单元的尺寸执行操作。
[0284]图像解码器500可从比特流提取最大编码单元的偏移参数，并通过使用包括在偏移参数中的偏移类型和偏移值，按照与相应的边缘分类或像素值段相应的偏移值调整恢复的帧595的每个最大编码单元的每个恢复的像素。
[0285]图13是示出根据本发明的实施例的根据深度的较深层编码单元和分区的示图。
[0286]视频编码设备100和视频解码设备200使用分层的编码单元以考虑图像的特征。编码单元的最大高度、最大宽度和最大深度可根据图像的特征被自适应地确定，或者可由用户不同地设置。根据深度的较深层编码单元的尺寸可根据编码单元的预定最大尺寸被确定。
[0287]在根据本发明的实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度都是64，并且最大深度是4。由于深度沿着分层结构600的纵轴加深，因此较深层编码单元的高度和宽度都被划分。另外，作为用于每个较深层编码单元的预测编码的基础的预测单元和分区沿分层结构600的横轴被显示。
[0288]换句话说，编码单元610是分层结构600中的最大编码单元，其中，深度是0，尺寸(即，高度乘宽度)是64X64。深度沿纵轴加深，并且存在尺寸为32X32且深度为I的编码单元620、尺寸为16X16且深度为2的编码单元630、尺寸为8X8且深度为3的编码单元640以及尺寸为4X4且深度为4的编码单元650。尺寸为4X4且深度为4的编码单元650是最小编码单元。
[0289]编码单元的预测单元和分区根据每个深度沿横轴排列。换句话说，如果尺寸为64X64且深度为O的编码单元610是预测单元，则该预测单元可被划分为包括在编码器610中的分区(S卩，尺寸为64X64的分区610、尺寸为64X32的分区612、尺寸为32X64的分区614、或者尺寸为32X32的分区616)。
[0290]类似地，尺寸为32X32且深度为I的编码单元620的预测单元可被划分为包括在编码单元620中的分区(即，尺寸为32X32的分区620、尺寸为32X16的分区622、尺寸为16 X 32的分区624以及尺寸为16 X 16的分区626)。
[0291]类似地，尺寸为16 X 16且深度为2的编码单元630的预测单元可被划分为包括在编码单元630中的分区(即，包括在编码单元630中的尺寸为16 X 16的分区、尺寸为16 X 8的分区632、尺寸为8X 16的分区634以及尺寸为8X8的分区636)。
[0292]类似地，尺寸为8X8且深度为3的编码单元640的预测单元可被划分为包括在编码单元640中的分区(即，包括在编码单元640中的尺寸为8X8的分区、尺寸为8X4的分区642、尺寸为4X8的分区644以及尺寸为4X4的分区646)。
[0293]尺寸为4X4且深度为4的编码单元650是最小编码单元以及最低深度的编码单元。编码单元650的预测单元仅被分配给尺寸为4X4的分区。[0294]为了确定构成最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。
[0295]随着深度加深，包括相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2相应的编码单元以覆盖包括在一个与深度I相应的编码单元中的数据。因此，为了根据深度对相同数据的多个编码结果进行比较，与深度I相应的编码单元以及与深度2相应的四个编码单元都被编码。
[0296]为了针对多个深度中的当前深度执行编码，通过沿分层结构600的横轴，对与当前深度相应的编码单元中的每个预测单元执行编码来针对当前深度选择最小编码误差。可选择地，随着深度沿分层结构600的纵轴加深，可通过针对每个深度执行编码，通过根据深度比较最小编码误差来搜索最小编码误差。编码单元610中的具有最小编码误差的深度和分区可被选为编码单元610的编码深度和分区类型。
[0297]图14是用于描述根据本发明的实施例的编码单元710和变换单元720之间的关系的不图。
[0298]视频编码设备100或视频解码设备200针对每个最大编码单元根据尺寸小于或等于最大编码单元的编码单元来对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择在编码期间用于变换的变换单元的尺寸。
[0299]例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是64X64，则可通过使用尺寸为32X32的变换单元720来执行变换。
[0300]另外，可通过对小于64X64的尺寸为32X32、16X 16、8X8和4X4的每个变换单元执行变换，来对尺寸为64X64的编码单元710的数据进行编码，并且随后可选择具有最小编码误差的变换单元。
[0301]图15是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图。
[0302]视频编码设备100的输出单元130可对关于分区类型的信息800、关于预测模式的信息810以及关于与编码深度相应的每个编码单元的变换单元的尺寸的信息820进行编码和发送，作为关于编码模式的信息。
[0303]信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2NX2N的当前编码单元CU_0可被划分为如下分区中的任何一个:尺寸为2NX2N的分区802、尺寸为2NXN的分区804、尺寸为NX2N的分区806以及尺寸为NXN的分区808。这里，关于分区类型的信息800被设置为指示尺寸为2NXN的分区804、尺寸为NX 2N的分区806以及尺寸为NXN的分区808中的一个。
[0304]信息810指示每个分区的预测模式。例如，信息810可指示对由信息800指示的分区执行的预测编码的模式(即，帧内模式812、帧间模式814或跳过模式816)。
[0305]信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。
[0306]视频解码设备200的图像数据和编码信息提取器210可根据每个较深层编码单元来提取并使用用于解码的信息800、810和820。
[0307]图16是根据本发明的实施例的根据深度的较深层编码单元的示图。
[0308]划分信息可用于指示深度的改变。划分信息指示当前深度的编码单元是否被划分为更低深度的编码单元。
[0309]用于对深度为O且尺寸为2N_0X2N_0的编码单元900进行预测编码的预测单元910可包括如下分区类型的分区:尺寸为2N_0X2N_0的分区类型912、尺寸为2N_0XN_0的分区类型914、尺寸为N_0 X 2N_0的分区类型916以及尺寸为Ν_0 ΧΝ_0的分区类型918。图16仅示出通过对预测单元910进行对称划分而获得的分区类型912至918，但是分区类型不限于此，预测单元910的分区可包括不对称分区、具有预定形状的分区以及具有几何形状的分区。
[0310]根据每个分区类型对如下分区重复地执行预测编码:尺寸为2N_0X2N_0的一个分区、尺寸为2N_0XN_0的两个分区、尺寸为N_0X2N_0的两个分区以及尺寸为Ν_0ΧΝ_0的四个分区。可对尺寸为2N_0X2N_0、N_0X2N_0、2N_0XN_0以及Ν_0ΧΝ_0的分区执行帧内模式和帧间模式下的预测编码。仅对尺寸为2N_0X2N_0的分区执行跳过模式下的预测编码。
[0311]对包括在分区类型912至918中进行的预测编码的编码的误差进行比较，并在所述分区类型之中确定最小编码误差。如果在分区类型912至916之一中的编码误差最小，则预测单元910可不被划分为更低深度。
[0312]如果在分区类型918中的编码误差最小，则在操作920，深度从O改变为I以划分分区类型918，并且对深度为2且尺寸为Ν_0ΧΝ_0的编码单元930重复地执行编码以搜索
最小编码误差。
[0313]用于对深度为I且尺寸为2N_1 X 2N_1 ( = Ν_0ΧN_0)的编码单元930进行预测编码的预测单元940可包括如下分区类型的分区:尺寸为2N_1X2N_1的分区类型942、尺寸为2N_1XN_1的分区类型944、尺寸为N_1X2N_1的分区类型946以及尺寸为N_1XN_1的分区类型948。
[0314]如果在分区类型948中编码误差最小，则在操作950，深度从I改变为2以划分分区类型948，并且对深度为2且尺寸为N_2XN_2的编码单元960重复地执行编码以搜索最
小编码误差。
[0315]当最大深度是d时，根据每个深度的划分操作可被执行直到深度变为d-Ι时为止，并且划分信息可被编码直到深度是O至d-2之一时为止。换句话说，当执行编码直到在操作970与深度d-2相应的编码单元被划分之后深度是d-Ι时，用于对深度为d-Ι且尺寸为2N_(d-l) X2N_(d-l)的编码单元980进行预测编码的预测单元990可包括如下分区类型的分区:尺寸为2N_(d-l)X2N_(d-l)的分区类型992、尺寸为2N_(d-l)XN_(d-l)的分区类型994、尺寸为N_(d-1) X2N_(d-l)的分区类型996以及尺寸为N_(d_l) XN_(d_l)的分区类型998。
[0316]可对分区类型992至998中的如下分区重复地执行预测编码以搜索具有最小编码误差的分区类型:尺寸为2N_(d-l) X2N_(d-l)的一个分区、尺寸为2N_(d-l) XN_(d_l)的两个分区、尺寸SN_(d-l) X2N_(d-l)的两个分区、尺寸为N_(d_l) XN_(d_l)的四个分区。
[0317]即使在分区类型998具有最小编码误差时，由于最大深度是d，因此深度为d-Ι的编码单元cu_(d-l)不再被划分到更低深度，并且构成当前最大编码单元900的编码单元的编码深度被确定为d-Ι且当前最大编码单元900的分区类型可被确定为N_(d-1) XN_(d-Ι)。另外，由于最大深度是d并且具有最低深度d-Ι的最小编码单元980不再被划分到更低深度，因此最小编码单元980的划分信息不被设置。
[0318]数据单元999可以是当前最大编码单元的“最小单元”。根据本发明的实施例的最小单元可以是通过将最小编码单元980划分为4份而获得的矩形数据单元。通过重复地执行编码，视频编码设备100可通过比较根据编码单元900的多个深度的多个编码误差来选择具有最小编码误差的深度以确定编码深度，并且将相应分区类型以及预测模式设置为编码深度的编码模式。
[0319]这样，根据深度的最小编码误差在所有的深度I至d中被比较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型以及预测模式可被编码并作为关于编码模式的信息被发送。另外，由于编码单元从深度O被划分到编码深度，因此仅编码深度的划分信息被设置为0，除了编码深度之外的深度的划分信息被设置为I。
[0320]视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度以及预测单元的信息以对分区912进行解码。视频解码设备200可通过使用根据深度的划分信息来将划分信息是O的深度确定为编码深度，并且使用关于相应深度的编码模式的信息用于解码。
[0321]图17至图19是用于描述根据本发明的实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。
[0322]编码单元1010是最大编码单元中的与由视频编码设备100确定的编码深度相应的具有树结构的编码单元。预测单元1060是每个编码单元1010的预测单元的分区，变换单元1070是每个编码单元1010的变换单元。
[0323]当在编码单元1010中最大编码单元的深度是O时，编码单元1012和1054的深度是 1，编码单元 1014、1016、1018、1028、1050 和 1052 的深度是 2，编码单元 1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。
[0324]在预测单元1060中，通过划分编码单元1010中的多个编码单元而获得一些编码单元 1014、1016、1022、1032、1048、1050、1052 和 1054。换句话说，编码单元 1014、1022、1050和1054中的分区类型的尺寸为2NXN，编码单元1016、1048和1052中的分区类型的尺寸为NX 2N，编码单元1032的分区类型的尺寸为NXN。编码单元1010的预测单元和分区小于或等于每个编码单元。
[0325]以小于编码单元1052的数据单元对变换单元1070中的编码单元1052的图像数据执行变换或反变换。另外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052在尺寸和形状上与预测单元1060中的编码单元1014、1016、1022、1032、1048、1050,1052不同。换句话说，视频编码设备100和视频解码设备200可对相同编码单元中的数据单元独立地执行帧内预测、运动估计、运动补偿、变换和反变换。
[0326]因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行编码，以确定最佳编码单元，因此可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。表I显示可由视频编码设备100和视频解码设备200设置的编码信息。[0327]表1
[0328]
【权利要求】
1.一种视频解码方法，包括: 从接收的比特流解析指示视频的多个块之中的当前块和至少一个邻近块的偏移参数是否彼此相同的偏移合并信息； 基于偏移合并信息 恢复当前块的偏移参数之中的偏移类型和偏移值； 基于当前块的指示偏移类型的边缘类型或像素值段类型来确定当前块的恢复的像素的边缘分类或像素值段；以及 从恢复的偏移值确定与恢复的像素的边缘分类或像素值段相应的偏移值并根据确定的偏移值调整恢复的像素的像素值。
2.如权利要求1所述的视频解码方法，其中，确定恢复的像素的边缘分类或像素值段的步骤包括: 在当前块的偏移类型是边缘类型的情况下，将当前恢复的像素和当前恢复的像素的根据边缘类型和边缘尺寸而布置的邻近像素的像素值进行比较，并确定指示当前恢复的像素是否是边缘像素的边缘分类， 其中，根据偏移值调整恢复的像素的像素值的步骤包括: 在恢复的偏移值包括与分配给当前偏移类型的边缘分类相应的偏移值的情况下，从恢复的偏移值确定与当前恢复的像素的边缘分类相应的偏移值。
3.如权利要求1所述的视频解码方法，其中，确定恢复的像素的边缘分类或像素值段的步骤包括: 在当前块的偏移类型是像素值段类型的情况下，在多个段之中确定指示当前恢复的像素的像素值所属的像素值范围的像素值段， 其中，根据偏移值调整恢复的像素的像素值的步骤包括: 在恢复的偏移值包括与分配给当前偏移类型的像素值段相应的偏移值的情况下，从恢复的偏移值确定与当前恢复的像素的像素值段相应的偏移值。
4.如权利要求1所述的视频解码方法，其中，恢复偏移类型和偏移值的步骤包括:如果基于偏移合并信息，当前块的左侧块和上侧块的至少一个偏移参数与当前块的偏移参数相同，则将当前块的偏移参数恢复为与当前块的左侧块和上侧块的所述至少一个偏移参数相同。
5.如权利要求1所述的视频解码方法，其中，恢复偏移类型和偏移值的步骤包括:如果基于偏移合并信息，当前块的左侧块和上侧块的至少一个偏移参数与当前块的偏移参数不同，则从接收的比特流解析并恢复当前块的偏移参数。
6.如权利要求1所述的视频解码方法，其中，恢复偏移类型和偏移值的步骤包括:通过参考偏移参数之中的亮度分量和色度分量彼此的偏移参数，对当前块的亮度分量和色度分量之中的至少一个颜色分量的偏移参数执行预测和恢复。
7.如权利要求1所述的视频解码方法，其中，偏移值是包括在相同边缘分类或相同像素值段中的恢复的像素和原始像素之间的差值的平均。
8.—种视频编码方法，包括: 根据视频的多个块之中的当前块的边缘类型确定边缘分类或根据当前块的像素值段类型确定像素值段； 通过使用包括在所述边缘分类或像素值段中的恢复的像素和原始像素之间的差值来确定与所述边缘分类或像素值段相应的偏移值；以及 当每个块的偏移参数包括指示边缘类型或像素值段类型的偏移类型以及与边缘分类或像素值段相应的偏移时，基于当前块和至少一个邻近块的偏移参数之间的同一性，对指示当前块的偏移参数是否被编码的当前块的偏移合并信息进行编码。
9.如权利要求8所述的视频编码方法，其中，确定边缘分类和像素值段的步骤包括:在根据边缘类型确定当前块的偏移的情况下，将当前恢复的像素与当前恢复的像素的根据边缘类型和边缘尺寸而布置的邻近像素的像素值进行比较，并确定指示当前恢复的像素是否是边缘像素的边缘分类。
10.如权利要求8所述的视频编码方法，其中，确定边缘分类和像素值段的步骤包括:在根据恢复的像素的像素值段类型确定当前块的偏移的情况下，在多个段之中确定指示当前恢复的像素的像素值所属的像素值范围的像素值段。
11.如权利要求8所述的视频编码方法，其中，对当前块的偏移合并信息进行编码的步骤包括:如果当前块的左侧块和上侧块的至少一个偏移参数与当前块的偏移参数相同，则对不包括当前块的偏移参数的偏移合并信息进行编码。
12.如权利要求8所述的视频编码方法，其中，确定与边缘分类或像素值段相应的偏移值的步骤包括:确定作为包括在相同边缘分类或相同像素值段中的恢复的像素和原始像素之间的差值的平均的偏移值。
13.—种视频解码设备，包括: 偏移参数解析单元， 用于从接收的比特流解析指示视频的多个块之中的当前块和至少一个邻近块的偏移参数是否彼此相同的偏移合并信息，基于偏移合并信息恢复当前块的偏移参数之中的偏移类型和偏移值；以及 偏移调整单元，用于基于当前块的指示偏移类型的边缘类型或像素值段类型来确定恢复的像素的边缘分类或像素值段，并从恢复的偏移值确定与恢复的像素的边缘分类或像素值段相应的偏移值并根据确定的偏移值调整恢复的像素的像素值。
14.一种视频编码设备，包括: 偏移确定单元，用于根据视频的多个块之中的当前块的边缘类型确定边缘分类或根据当前块的像素值段类型确定像素值段，并通过使用包括在所述边缘分类或像素值段中的恢复的像素和原始像素之间的差值来确定与所述边缘分类或像素值段相应的偏移值；以及 偏移参数编码单元，用于当每个块的偏移参数包括指示边缘类型或像素值段类型的偏移类型以及与边缘分类或像素值段相应的偏移时，基于当前块和至少一个邻近块的偏移参数之间的同一性，对指示当前块的偏移参数是否被编码的当前块的偏移合并信息进行编码。
15.一种其上记录有用于执行权利要求1和8中的任意一项的方法的程序的计算机可读记录介质。
【文档编号】H04N19/117GK103959776SQ201280042637
【公开日】2014年7月30日 申请日期:2012年6月27日 优先权日:2011年6月28日
【发明者】艾琳娜·阿尔辛娜, 亚历山大·阿尔辛 申请人:三星电子株式会社