视频数据的自适应采样点偏移的处理装置及方法与流程

相关案的交叉引用

本发明要求主张2012年5月29日提出的编号为61/652,564且命名为“The context design of SAO syntax(自适应采样点偏移语法的上下文设计)”的美国临时专利申请，以及2012年6月22日提出的编号为61/662,967且命名为“Reduction of Context Models and Context Bins for SAO(用于自适应采样点偏移的上下文二进制位及上下文模型的简化)”的美国临时申请案的优先权。这些美国临时申请的全部内容在此引用并合并参考。

技术领域

本发明是有关于视频编解码(video coding)，更具体地，本发明是有关于自适应采样点偏移(Sample Adaptive Offset,SAO)信息的编解码。

背景技术：

运动估计(Motion Estimation,ME)是一种有效的帧间(inter-frame)编解码技术，使用了视频序列的时域冗余。运动补偿(Motion Compensation,MC)帧间编解码已广泛用于各种国际视频编解码标准。在各种编解码标准中所采用的运动估计通常是基于区块(block-based)的技术，其中，可为每个宏块(macroblock)或类似的区块配置确定运动信息，例如编解码模式及运动向量。另外，也可适应性地使用帧内编解码(intra-coding)，其中图像在处理时无需参考其它图像。帧间预测(inter-predicted)或帧内预测(intra-predicted)的残差(residues)通常通过变换(transformation)，量化(quantization)及熵编码(entropy coding)进行进一步处理，以产生压缩的视频比特流(video bitstream)。在编码操作中，引入了编码失真效应(coding artifacts)，特别是在量化操作中。为了减少编码失真效应，可对重建的(reconstructed)视频应用额外的处理以增强在更新的编解码系统中的图像质量。该额外的处理经常配置为环路内(in-loop)操作，以便编码器和解码器可产生(derive)相同的参考图像。

图1为结合了环路内滤波操作的自适应的帧间/帧内视频编码系统的示意图。对于帧间预测，运动估计/运动补偿(ME/MC)112用于基于来自另外一个或多个图像的视频数据来提供预测数据。切换器(switch)114选择帧内预测110或来自ME/MC 112的帧间预测数据，选择出的预测数据供应至加法器116，以形成预测误差，也称为预测残差或残差。然后，预测误差经由变换器(Transformation,T)118处理，并紧接着进行量化(Quantization,Q)120处理。然后，变换并量化后的残差由熵编码器122进行编码，以形成对应于压缩的视频数据的视频比特流。然后，与变换系数有关的比特流与额外信息(side information)一起进行打包，其中额外信息例如运动，模式及与图像单元(image unit)有关的其它信息。额外信息也可通过熵编码进行处理，以减少所需的带宽。相应地，额外信息数据也可提供至图1所示的熵编码器122(图中未显示至熵编码器122的运动/模式路径)。当使用帧间预测模式时，之前重建的一个或多个参考图像需要用于形成预测残差。因而在编码器端使用重建的环路(loop)以产生重建的图像。因此，变换及量化后的残差通过反量化(Inverse Quantization,IQ)124和反变换(Inverse Transformation,IT)126处理，以恢复(recovery)处理后的残差。然后，处理后的残差通过重建(Reconstruction,REC)128添加回到预测数据136，以重建视频数据。重建的视频数据储存在参考图像缓冲器134中，并用于其它帧的预测。

如图1所示，进入的视频数据在编码系统中经过了一系列的处理。来自REC 128的重建的视频数据可能受制于因一系列处理而带来的各种损失(impairments)。相应地，为了提高视频质量，在重建的视频数据用作预测数据之前应用各种环路处理。在研发的高效视频编解码(High Efficiency Video Coding,HEVC)标准中，解区块滤波器(Deblocking Filter,DF)130，SAO 131及自适应环路滤波器(Adaptive Loop Filter,ALF)132已发展用于增强图像质量。DF 130用于边界像素(boundary pixels)，以及DF处理依赖于潜在的(underlying)像素数据及与对应区块有关的编解码信息。没有DF特定的(DF-specific)额外信息需要并入(incorporated in)视频比特流。另一方面，SAO与ALF处理是自适应的，其中，滤波信息例如滤波器参数及滤波器类型可根据潜在的视频数据动态改变。因此，与SAO和ALF有关的滤波信息并入视频比特流，以便解码器可适当恢复所需的信息。此外，来自SAO和ALF的滤波器信息提供至熵编码器122以并入比特流。在图1中，DF 130首先应用于重建的视频。然后，SAO 131应用于DF处理的视频，以及ALF 132应用于SAO处理后的视频。然而，在DF，SAO和ALF之间的处理顺序可重新安排。在研发的HEVC视频标准中，环路滤波处理包括DF和SAO。

HEVC中的编解码处理应用于每个最大编码单元(Largest Coding Unit,LCU)。使用四叉树(quadtree)，LCU适应性地划分为多个编码单元。因此，LCU也成为编码树区块(Coding Tree Block,CTB)。在每个叶编码单元(Coding Unit,CU)中，对每个8×8区块执行DF，并在HEVC测试模型版本7.0(HEVC Test Model Version 7.0,HM-7.0)中，对8×8区块的边界应用DF。对于每个8×8区块，首先应用跨越垂直区块边界的水平滤波，然后应用跨越水平区块边界的垂直滤波。

如图1所示，在HM-7.0中也采用了SAO 131。SAO视为滤波处的处理仅应用于一个像素的特殊情形。为了应用SAO，图像可划分为多个LCU对齐的(LCU-aligned)区域。每个区域可在两个带偏移(Band Offset,BO)，四个边偏移(Edge Offset,EO)及无处理(OFF)中选择一个SAO类型。对于每个待处理的(也称为待滤波的)像素，BO使用像素强度将像素划分为带(band)。如图2所示，像素强度范围(pixel intensity range)平均分为32个带。四个连续的带形成组，其中起始带由sao_band_position所指示。一个较佳的4带组200如图2所示。该4带组的第一个带的位置由箭头210指示。在EO中，像素划分是首先将像素划分为不同的组(group)(也称为类，categories或classes)。每个像素的像素分类是基于3×3窗口(window)，如图3所示，对应于0°，90°，135°及45°的四个配置用于分类。一旦图像或区域中的所有像素分类完成，对于每组像素产生并传送一个偏移。在HM-7.0中，SAO应用于亮度和色度(chroma)分量，且每个亮度分量进行独立处理。除EO的类4之外，类似于BO，每类的所有像素产生一个偏移，其中，类4被强制使用0偏移。如下表1列示了EO像素的分类，其中“C”表示待分类的像素。

表1

如图1所示，ALF 132是HM-7.0中的另一环路内滤波，以增强图像质量。采用了多种类型的亮度滤波器的覆盖区(footprints)和色度滤波器的覆盖区。首先在水平方向上应用ALF操作。当水平ALF执行后，在垂直方向上应用ALF。在HM-7.0中，每个图像可使用最多16个亮度ALF滤波器和最多一个色度ALF滤波器。为了允许ALF的定位，存在两种模式用于为亮度像素选择滤波器。一种是基于区域的自适应(Region-based Adaptation,RA)模式，以及另一种是基于区块的自适应(Block-based Adaptation,BA)模式。除了在图像水平用于自适应模式选择的RA和BA之外，大于阈值的编码单元可进一步由滤波器使用旗标(filter usage flag)控制，以局部(locally)使用(enable)或不使用(disable)ALF操作。对于色度分量，由于相对平缓(flat)，在HM-7.0中没有使用局域自适应。且图像的两个色度分量共享同一个滤波器。在HM-7.0中，用于区域的ALF滤波器可由多个ALF滤波器中选取。另外，在HM-7.0中使用了多个滤波器的覆盖区。对于每个ALF滤波器，存在一组与该滤波器有关的滤波器参数。因此，ALF信息包含已选择的ALF滤波器的识别，滤波器覆盖区及滤波器参数。

如图1所示，DF130用于来自REC 128的重建的像素。然后，SAO 131应用于DF处理后的像素，以及ALF 132应用于SAO处理后的像素。虽然图1所示的处理顺序为DF，SAO和ALF，也可使用其它处理顺序。例如，SAO可应用于来自REC 128的重建的像素，DF处理后的重建的像素(即，对重建的像素应用DF)，ALF处理后的重建的像素(即，对重建的像素应用ALF)，DF处理后且ALF处理后的像素(即，对重建的像素应用DF，并对DF处理后的重建的像素应用ALF)，或者ALF处理后且DF处理后的像素(即，对重建的像素应用ALF，并对ALF处理后的重建的像素应用DF)。方便起见，“处理后的重建的像素”可指在SAO处理期间上述的任意类型的处理后的像素。“处理后的重建的像素”也包括来自REC 128的重建的像素。在此情形中，可考虑对来自REC 128的重建的像素应用空操作(null processing)。类似地，“处理后的重建的像素”也可指在ALF处理期间通过DF，SAO，DF和SAO，或者SAO和DF的各种类型的处理后的像素。同样，对于ALF处理，“处理后的重建的像素”也包括来自REC 128的重建的像素。

为了减少与SAO处理有关的额外信息，当前LCU的SAO信息可重新使用当前LCU上方或左侧的相邻LCU的SAO信息。SAO信息共享由merge语法指示。在HM-8.0中，SAO语法由sao_merge_left_flag，sao_merge_up_flag，sao_type_idx_luma，sao_type_index_chroma，sao_eo_class_luma，sao_eo_class_chroma，sao_band_position，sao_offset_abs及sao_offset_sign组成，如表2所示。语法sao_merge_left_flag表示当前LCU是否重新使用左侧LCU的SAO参数。语法sao_merge_up_flag表示当前LCU是否重新使用上方LCU的SAO参数。语法sao_type_idx表示已选择的SAO类型(分别用于亮度分量和色度分量的sao_type_idx_luma和sao_type_index_chroma)。在HM-8.0中，如表3所示，每个LCU可选择不处理(SAO-off)或应用包括BO和EO的SAO类型中的一个。请注意，SAO类型0度EO，90度EO，135度EO及45度EO由SAO语法sao_eo_class_luma和sao_eo_class_chroma表示。语法sao_offset_abs表示偏移量(offset magnitude)，以及语法sao_offset_sign表示偏移标志。语法cIdx表示三个色彩分量中的一个。类似的机制也可用于允许相邻的区块共享相同的ALF信息。请注意，HM-7.0和HM-8.0之间的语法表达式差别不影响熵编码方法。

在HM-7.0中，基于上下文的自适应二进制算术编码(Context-based Adaptive Binary Arithmetic Coding,CABAC)用作熵编码器，以用于对SAO信息进行编码。如图4所示，CABAC操作400由二值化(binarization)，上下文模型化(context modeling)及二进制算术编码(Binary Arithmetic Coding,BAC)组成。在二值化步骤410中，每个语法元素映射至二进制字符串(在本说明书中也称为一个或多个二进制位bin)在上下文模型化步骤420中，为每个二进制位选择一个概率模型(probability model)。相应的概率模型可取决于之前编码的语法元素，二进制位指针(bin indices)，额外信息或上述任意组合。当二值化及上下文模型分配后，二进制位的值及其相关上下文模型提供至二进制算术编码引擎430，即BAC。二进制位的值可以根据语法元素和二进制位指针以两种编码模式进行编码。在说明书中，对应于常规编码模式的二进制位称为常规二进制位，以及对应于旁路(bypass)编码模式的二进制位称为旁路二进制位。在常规编码模式中，用于BAC的最大概率符元(Most Probable Symbol,MPS)的机率与最小概率符元(Least Probable Symbol,LPS)的机率均由相关的上下文模型产生。在旁路编码模式中，MPS和LPS的概率视为相等。在CABAC中，引入旁路模式以加速编码处理。对于有效压缩的(compression-efficient)CABAC设计，形成好的语法二值化和适当的上下文模型很重要。上下文模型设计需要匹配潜在的数据的统计，这可能会导致高处理复杂度。需要在保持CABAC的压缩效率的同时，降低与SAO信息有关的上下文模型的复杂度。

表2

表3

技术实现要素：

有鉴于此，本发明提供至少一种视频数据的自适应采样点偏移的处理装置及方法。

本发明提供一种简化SAO类型指针(SAO type index)编解码的装置及方法，用于视频编解码系统。根据本发明的多个实施例使用截断一元码二进制操作(truncated unary binarization)，使用仅有一个上下文的CABAC，或使用具有上下文模式和旁路模式的CABAC对SAO类型指针进行编码，其中上下文模式用于对与SAO类型指针有关的第一个二进制位，以及旁路模式用于任意剩余其它二进制位。SAO类型指针对应于与视频数据的亮度分量有关的第一SAO类型指针，或者与视频数据的色度分量有关的第二SAO类型指针。

本发明的优点之一在于能够在保持CABAC的压缩效率的同时，降低与SAO信息有关的上下文模型的复杂度。

附图说明

图1为使用帧间/帧内预测的较佳视频编码系统的示意图，其中结合了包括DF，SAO及ALF的环路滤波器处理。

图2为通过将像素强度范围平均划分为32个带进行BO的示例示意图。

图3为基于3×3窗口使用对应于0°，90°，135°及45°的四种配置进行EO像素分类的示意图。

图4为CABAC的较佳结构的示意图。

图5为结合本发明一实施例的用于视频编码器的在不同SAO语法元素之间共享上下文的SAO处理的较佳流程图。

图6为结合本发明一实施例的用于视频解码器的在不同SAO语法元素之间共享上下文的SAO处理的较佳流程图。

图7为结合本发明一实施例的用于视频编码器的使用复杂度简化的SAO类型指针编码的SAO处理的较佳流程图。

图8为结合本发明一实施例的用于视频解码器的使用复杂度简化的SAO类型指针解码的SAO处理的较佳流程图。

具体实施方式

如前所述，合并旗标(例如，sao_merge_left_flag及sao_merge_up_flag)的使用允许相邻的区块共享SAO信息，以减少所需的SAO信息。在HM-7.0中，语法元素sao_merge_left_flag及sao_merge_up_flag使用CABAC进行编码。用于潜在的符元(symbol)的上下文模型是基于符元的概率模型形成的。在HM-7.0中，用于sao_merge_left_flag和sao_merge_up_flag的上下文模型是分别形成的。此外，用于不同色彩分量(及Y，Cb，Cr)的上下文模型是分别形成的。

根据本发明的多个实施例允许与多个合并旗标有关的不同的语法元素共享同一个上下文模型。例如，色彩分量的合并左旗标和合并上旗标(即sao_merge_left_flag和sao_merge_up_flag)可共享同一个上下文模型。在此情形中，上下文模型可根据合并左旗标和合并上旗标的组合或联合统计进行设计。组合统计有可能不同于与合并左旗标和合并上旗标有关的个别的统计(individual statistics)。因此，组合的上下文模型有可能不同于与合并左旗标和合并上旗标有关的个别的上下文模型。在另一实施例中，不同色彩分量的上下文模型共享同一个上下文模型。在此情形中，对于不同的色彩分量，与合并左旗标有关的上下文模型是基于组合统计而设计的。在又一实施例中，不同色彩分量的合并上旗标共享同一个上下文模型。在此情形中，对于不同的色彩分量，与合并上旗标有关的上下文模型是基于组合统计而设计的。

在HM-7.0中，与SAO类型指针(例如，sao_type_idx_luma和sao_type_idx_chroma)有关的语法元素使用CABAC进行编码。在二值化后，与SAO类型指针有关的比特串(bit strings)使用CABAC进行处理。为了降低复杂度，在一实施例中，SAO类型指针的编码是基于截断一元码二进制操作方法。例如，表3中所示SAO类型指针(包括亮度和色度)可由截断一元码集合{0,10,11}分别用于指针0至3来表示。在另一实施例中，用于SAO类型指针的CABAC仅使用一个上下文。在又一实施例中，用于SAO类型指针的CABAC对第一个二进制位使用上下文编码，并对剩下的二进制位使用旁路编码。例如，SAO类型指针的二值化可对应于{0,10,11}，且只有每个SAO类型指针的第一个二进制位使用上下文编码。剩余的二进制位使用旁路模式进行编码。

图5为结合本发明一实施例的用于视频编码系统的在不同SAO语法元素之间共享上下文的SAO处理的较佳流程图。如图1所示并在有关段落中，环路处理(DF，SAO或ALF)应用于重建的像素。此外，前面提到，处理后的重建的像素可指各种类型的处理后的重建的像素。如步骤510所示，由媒体(media)或处理器接收处理后的重建的像素的当前区块。处理后的重建的像素可能储存在媒体中，例如系统中的随机存取存储器(RAM)或动态随机存取存储器(DRAM)。因此，处理后的重建的像素需要由媒体中读回。同样，也可能SAO操作直接由负责产生处理后的重建的像素的另一处理器(例如中心处理单元，控制器或数字信号处理器)接收处理后的重建的像素。在此情形中，处理后的重建的像素将接收自处理器。区块可以是CTB，LCU或其它区块单元(例如宏块或其它类型)。在步骤520中，确定用于处理后的重建的像素区块的SAO语法元素(称为第一SAO语法元素)。第一SAO语法元素可对应于SAO合并旗标或与SAO处理相关的其它语法元素。在本领域中，SAO语法元素的确定已知。例如，在编码器端，合并旗标可使用率失真优化(rate-distortion optimization)来确定。然后，如步骤530所示，根据联合上下文模型对第一SAO语法元素应用CABAC编码，其中，第一SAO语法元素与至少一个第二语法元素共享联合上下文。联合上下文模型可根据第一SAO语法元素与所述至少一个第二语法元素的联合统计来形成。如步骤540所示，将编码后的第一SAO语法元素并入与视频数据有关的视频比特流，以便解码器能够由比特流恢复第一SAO语法元素。

图6为结合本发明一实施例的用于视频解码器的在不同SAO语法元素之间共享上下文的SAO处理的较佳流程图。如步骤610所示，由媒体或处理器接收与图像有关的处理后的重建的像素区块。在步骤620中，由视频比特流确定SAO语法元素(称为第一SAO语法元素)，其中，第一SAO语法元素是使用CABAC解码由视频比特流解码得到的，且第一SAO语法元素与至少一个第二语法元素共享联合上下文模型。若SAO语法元素尚未解码，则SAO语法元素的确定可对应于对SAO语法元素的解码。在本领域中，由比特流中解码语法元素的方法已知。若SAO语法元素通过并非SAO处理部分的熵解码器进行解码，则SAO语法元素的确定也可对应于接收SAO语法元素。如步骤630所示，当第一SAO语法元素恢复后，基于包括第一SAO语法元素的SAO信息，对处理后的重建的像素区块应用SAO处理。

图7为结合本发明一实施例的用于视频编码器的复杂度简化的SAO类型指针编码的SAO处理的较佳流程图。如步骤710所示，由媒体或处理器接收处理后的重建的像素的当前区块。处理后的重建的像素可能储存在媒体中，例如系统中的RAM或DRAM中。因此，处理后的重建的像素需要由媒体中读回。同样，有可能SAO处理直接由复杂产生处理后的重建的像素的另一处理器(例如中心处理单元，控制器或数字信号处理器)接收处理后的重建的像素。在此情形中，处理后的重建的像素将接收自处理器。区块可以是CTB，LCU或其它区块单元(例如宏块或其它类型)。在步骤720中，确定用于处理后的重建的像素区块的SAO类型指针。在本领域中，SAO类型指针的确定已知。例如，在编码器端，SAO类型指针可使用率失真优化来确定。然后，如步骤730所示，对SAO类型指针进行编码且并入视频比特流，以便在解码器端能够恢复SAO类型指针。编码后的SAO类型指针对应于根据截断一元码二进制操作进行编码的SAO类型指针，通过使用一个上下文的CABAC进行编码的SAO类型指针，或者使用上下文模式和旁路模式的CABAC进行编码的SAO类型指针，其中上下文模式用于与SAO类型指针有关的第一个二进制位，旁路模式用于与SAO类型指针有关的剩余二进制位。如步骤740所示，基于包括SAO类型指针的SAO信息，对处理后的重建的像素区块应用SAO处理。

图8为结合本发明一实施例的用于视频解码器的复杂度简化的SAO类型指针解码的SAO处理的较佳流程图。如步骤810所示，由媒体或处理器接收与图像有关的处理后的重建的像素区块，其中，处理后的重建的像素区块是由视频比特流解码得到的。如步骤820所示，由视频比特流确定SAO类型指针，其中，SAO类型指针是根据截断一元码二进制操作进行解码的，SAO类型指针是通过使用一个上下文的CABAC进行解码的，或者SAO类型指针是使用具有上下文模式和旁路模式的CABAC进行解码的，其中，上下文模式用于与SAO类型指针有关的第一个二进制位，旁路模式用于与SAO类型指针有关的任意剩余二进制位。如步骤830所示，当SAO类型指针确定后，基于包括SAO类型指针的SAO信息，对处理后的重建的像素应用SAO处理。

图5至图8所示的较佳流程图仅用于说明目的。本领域技术人员在不脱离本发明的精神前提下，可对上述步骤重新排序，组合或切分以实施本发明。

上面的描述能够使本领域技术人员以上文所提供的特定应用及其要求来实施本发明。本领域技术人员能够清楚了解上述实施例的多种变型，此处所定义的基本原则可应用于其它实施例。因此，本发明并不仅限于上面描述及显示的特定实施例，而是记载了符合本原则及新的特征的最广范围。为提供有关本发明的全面理解，上述详细记载中描述了各种具体细节。然而，本领域技术人员应理解本发明可以实施。

上述本发明的实施例可以各种硬件，软件代码或二者的组合来实施。例如，本发明的实施例可以是集成在视频压缩芯片中的电路或者集成在视频压缩软件中用以执行此处所述处理的程序代码。本发明的实施例也可以是由数字信号处理器(Digital Signal Processor,DSP)执行以实现此处所述处理的程序代码。本发明也可包含一些可由计算机处理器、数字信号处理器、微处理器或场效可编程门阵列(Field Programmable Gate Array,FPGA)所执行的一些功能。通过执行定义了本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可根据本发明配置用于执行特定任务。软件代码或固件代码可以不同程序语言和不同格式或类型进行开发。软件代码也可在不同的目标平台上进行编译。然而，不同的代码格式，软件代码的类型和语言以及配置代码以执行根据本发明的任务的其它方式均未脱离本发明的精神和范围。

在不脱离本发明的精神和范围内，本发明可实施为其它具体形式。上述实施例的各方面仅用于说明目的，并非用以限定目的。因此本发明的保护范围当视后附的权利要求所界定者为准，而非上述描述。任何在本发明权利要求及其均等性范围内所作的变更，均落入本发明权利要求范围内。