用于贯穿条带或图块边界环路滤波的方法及其装置制造方法
【专利摘要】本发明揭露一种视频编码器或视频解码器中用于视频数据的环路滤波器处理方法与装置。本发明的实施例有条件地允许环路滤波器参数共享。在一实施例中，根据条件决定当前区块与相邻区块之间的环路滤波器信息共享。如果上述条件指示允许环路滤波器信息共享，则在编码器中编码合并旗标并且将合并旗标并入视频比特流中，以及在解码器中从该视频比特流中解析合并旗标并且进行解码。在一实施例中，上述条件取决于图像的区域划分，其中区域划分将图像分割为区域并且该区域对应于条带或图块。如果该区块与该相邻区块位于相同的条带/图块，则设定上述条件以指示允许环路滤波器信息共享。
【专利说明】用于贯穿条带或图块边界环路滤波的方法及其装置
[0001]交叉引用
[0002]本发明要求如下优先权:编号为61/624,812，申请日为2012年4月16日，名称为“Prohibition against merging across slice/tile boundaries in SAO/ALF” 的美国临时专利申请。上述美国临时专利申请在此作为参考。
【技术领域】
[0003]本发明有关于视频编码。特别地，本发明有关于与贯穿条带(slice)或图块(tile)边界环内滤波及处理相关联的视频编码技术。
【背景技术】
[0004]运动估计(motion estimation)是利用视频序列中时间冗余(temporalredundancy)的一种有效巾贞间编码技术。运动补偿巾贞间编码(motion compensatedinter-frame coding)已经广泛应用于各种国际视频编码标准。在各种编码标准中采用的运动估计是通常以区块(block)为基础的技术,其中为每个宏块(macroblock)或相似区块配置确定例如编码模式与运动矢量的运动信息。此外，也可自适应地采用帧内编码(intra-coding),其中在无需参考任何其他图像的情况下处理图像。通常可进一步由变换(transformation)、量化(quantization)以及熵编码(entropy coding)处理巾贞间预测与帧内预测残差(residue)以生成压缩视频比特流。在编码进程期间，尤其是在量化进程中引入了编码伪影(coding artifact)。为了减轻编码伪影，在较新的编码系统中可对重建视频采用附加处理以提高图像品质。经常在环内操作(in-loop operation)中配置上述附加处理从而使得编码器与解码器可取得相同的参考图像。
[0005]图1描述包含环内滤波处理的示例自适应帧间/帧内视频编码系统。对于帧间预测，可使用运动估计(Motion Estimation, ME)/ 运动补偿(Motion Compensation, MC) 112基于其他图像的视频数据提供预测数据。开关114选择帧内预测110或来自ME/MC112的帧间预测数据并且将选择的预测数据提供至加法器116以产生预测误差(predictionerror)，也称为预测残差或残差。然后变换(T) 118处理预测误差，接着量化(Q) 120处理预测误差。接着，熵编码器122编码已变换及已量化的残差从而形成对应压缩视频数据的视频比特流。然后，将边信息(side information)加入与变换系数相关联的比特流,其中上述边信息可为例如与图像单元相关联的运动、模式及其他信息。上述边信息也可进行熵编码处理以减小需求带宽。相应地如图1所示也将边信息数据提供给熵编码器122 (未示出指向熵编码器122的运动/模式路径)。当使用帧间预测模式时，必须使用先前重建参考图像以形成预测残差。因此，在编码器端使用重建环路来生成重建图像。因此，逆量化(InverseQuantization, IQ) 124 与逆变换(Inverse Transformation, IT) 126 处理已变换及已量化残差以恢复处理残差(processed residue)。接着重建(REC) 128将上述处理残差叠加至预测数据136以重建视频数据。可将上述重建视频数据储存至参考图像缓冲器134中并且将上述重建视频数据用于其他帧的预测。[0006]如图1所示，接收的视频数据在解码系统中经过一系列处理。由于上述一系列处理，来自REC128的重建视频数据可经受各种损害。相应地，在重建视频数据用于预测数据之前对上述重建视频数据采用各种环路处理从而改善视频品质。在当前发展的高效率视频编码(High Efficiency Video Coding, HEVC)标准中，已经发展出了去块滤波器(Deblocking Filter, DF) 130、样本自适应偏移(Sample Adaptive Offset, SAO) 131 与自适应环路滤波器(Adaptive Loop Filter, ALF) 132以提高图像品质。可将去块滤波器(DF) 130应用于边界像素(boundary pixel)并且DF处理依赖于与相应区块相关联的基础像素数据与编码信息。无需将任何特定DF边信息合并入视频比特流中。另一方面，SAO与ALF处理是自适应的，其中可根据基础视频数据动态改变类似滤波器参数与滤波器类型的滤波器信息。因此，与SA0、ALF相关联的滤波器信息合并入视频比特流中，从而使得解码器可正确恢复所需信息。此外，向熵编码器(Entropy Encoder) 122提供来自SAO与ALF的滤波器信息用于合并入比特流。在图1中，首先对重建视频应用DF130 ;接着将SA0131应用于DF已处理视频；然后将ALF132应用于SAO已处理视频。然而，可重新调整DF、SAO、ALF的处理顺序。在当前发展的高效率视频编码(HEVC)视频标准中，环路滤波处理包含DF与SA0。
[0007]HEVC中的编码处理可应用于每个最大编码单元(Largest Coding Unit, IXU)。可使用四叉树划分(quadtree)自适应地将IXU分割为编码单元。因此，IXU也可称为编码树区块(coding tree block, CTB)。在每个叶编码单元(Leaf⑶)中，为每个8X8区块执行DF并且在HEVC测试模型版本5.0 (HM-5.0)中，将DF应用于8X8区块边界。对于每个8X8区块，首先采用贯穿垂直区块边界的水平滤波，然后接着采用贯穿水平区块边界的垂直滤波。
[0008]如图1所示，样本自适应偏移(SAO) 131也应用于HM_5.0中。SAO被认为是特定滤波情况，其中滤波处理仅应用于一个像素。为了采用SA0，一幅图像可划分为多个LCU对齐区域(LQJ-aligned region)。每个区域可在两种带偏移(Band Offset, B0)类型、四种边偏移(Edge Offset, E0)类型以及非处理(OFF)中选择一种SAO类型。对于每个待处理(也称为待滤波)的像素，BO使用像素强度(pixel intensity)将像素归类于带。如图2所示，将像素强度范围平均分为32个带。四个连续带进行组合,其中由sao_band_position指示起始带。图2描述了示例四带组合200的示意图。箭头210指示上述四带组合的第一带位置。在EO中，首先执行像素分类以将像素分至不同组(也称为类或类别)。如图3所示，每个像素的像素分类以3X3窗口为基础，其中使用四个对应0°、90°、135°与45°的配置用于分类。基于图像或区域中的所有像素分类，为每组像素取得并发送一个偏移。在HM-5.0中，将SAO应用于亮度与色度组分，并且可单独处理每个亮度组分。与BO相似，可为每个类的所有像素取得一个偏移，其中EO的类4除外，并且强制类4使用零偏移。下面的列表1列举了 EO像素分类，其中“C”表示待分类的像素。
[0009]列表1.[0010]
【权利要求】
1.一种视频解码器中用于视频数据的环路滤波器处理方法，该方法包含:
从媒体或处理器接收与图像相关联的处理重建像素的区块； 根据条件决定是否允许该区块与相邻区块之间的环路滤波器信息共享，其中该条件取决于该图像的区域划分； 如果该条件指示允许该环路滤波器信息共享，则从视频比特流中解析合并旗标；以及 如果该条件指示允许该环路滤波器信息共享，则解码该合并旗标。
2.如权利要求1所述的方法，其特征在于，该合并旗标包含左合并旗标与上合并旗标。
3.如权利要求2所述的方法，其特征在于，如果该相邻区块紧邻该区块的左侧，则使用该左合并旗标。
4.如权利要求2所述的方法，其特征在于，如果该相邻区块紧邻该区块的上侧，则使用该上合并旗标。
5.如权利要求2所述的方法，其特征在于，如果左合并旗标指示禁止该环路滤波器信息共享，则使用该上合并旗标。
6.如权利要求1所述的方法，其特征在于，该区域划分将该图像分割为区域并且该区域对应于条带或图块。
7.如权利要求1所述的方法，其特征在于，如果该区块与该相邻区块位于不同区域或者如果该相邻区块不可用，则设定该条件以指示禁止该环路滤波器信息共享。
8.如权利要求1所述的方法，其特征在于，该区块对应于编码树区块或最大编码单元(LCU)。
9.如权利要求1所述的方法，其特征在于，该环路滤波器信息对应于样本自适应偏移信息、自适应环路滤波器信息或去块滤波器信息。
10.如权利要求9所述的方法,其特征在于,该样本自适应偏移信息包含样本自适应偏移类型信息、样本自适应偏移偏移值、边偏移类型、带偏移起始带位置、偏移强度以及偏移符号。
11.如权利要求9所述的方法，其特征在于，该自适应环路滤波器信息包含滤波器系数、滤波形状、滤波器选择指标、滤波器分类方法以及滤波器开启/关闭控制旗标。
12.如权利要求1所述的方法，其特征在于，基于控制旗标启动或禁用所述根据该条件决定是否允许该区块与该相邻区块之间的环路滤波器信息共享。
13.如权利要求12所述的方法，其特征在于，从该视频比特流的条带头、图像参数集合、自适应参数集合、序列参数集合或视频参数集合中解析该控制旗标。
14.一种视频编码器中用于视频数据的环路滤波器处理方法，该方法包含: 从媒体或处理器接收与图像相关联的处理重建像素的区块； 根据条件决定是否允许该区块与相邻区块之间的环路滤波器信息共享，其中该条件取决于该图像的区域划分； 如果该条件指示允许该环路滤波器信息共享，则编码合并旗标；以及 如果该条件指示允许该环路滤波器信息共享，则将该合并旗标并入视频比特流中。
15.如权利要求14所述的方法，其特征在于，该合并旗标包含左合并旗标与上合并旗标。
16.如权利要求15所述的方法，其特征在于，如果左合并旗标指示禁止该环路滤波器信息共享，则使用该上合并旗标。
17.如权利要求14所述的方法，其特征在于，该区域划分将该图像分割为区域并且该区域对应于条带或图块。
18.如权利要求14所述的方法，其特征在于，如果该区块与该相邻区块位于不同区域或者如果该相邻区块不可用，则设定该条件以指示禁止该环路滤波器信息共享。
19.如权利要求14所述的方法，其特征在于，该区块对应于编码树区块或最大编码单元(LCU)。
20.如权利要求14所述的方法，其特征在于，该环路滤波器信息对应于样本自适应偏移信息、自适应环路滤波器信息或去块滤波器信息。
21.如权利要求14所述的方法，其特征在于，基于控制旗标启动或禁用所述根据该条件决定是否允许该区块与该相邻区块之间的环路滤波器信息共享。
22.如权利要求21所述的方法，其特征在于，将该控制旗标合并入该视频比特流的条带头、图像参数集合、自适应参数集合、序列参数集合或视频参数集合中。
23.一种视频解码器中用于视频数据的环路滤波器处理装置，该装置包含: 用于从媒体或处理器接收与图像相关联的处理重建像素的区块的装置； 用于根据条件决定是否允许该区块与相邻区块之间的环路滤波器信息共享的装置，其中该条件取决于该图像的区域划分； 用于如果该条件指示允许该环 路滤波器信息共享，则从视频比特流中解析合并旗标的装置；以及 用于如果该条件指示允许该环路滤波器信息共享，则解码该合并旗标的装置。
24.一种视频编码器中用于视频数据的环路滤波器处理装置，该装置包含: 用于从媒体或处理器接收与图像相关联的处理重建像素的区块的装置； 用于根据条件决定是否允许该区块与相邻区块之间的环路滤波器信息共享的装置，其中该条件取决于该图像的区域划分； 用于如果该条件指示允许该环路滤波器信息共享，则编码合并旗标的装置；以及 用于如果该条件指示允许该环路滤波器信息共享，则将该合并旗标并入视频比特流中的装置。
【文档编号】H04N19/50GK103518375SQ201380001126
【公开日】2014年1月15日 申请日期:2013年2月22日 优先权日:2012年4月16日
【发明者】傅智铭, 蔡家扬, 徐志玮, 陈庆晔, 黄毓文, 雷少民 申请人:联发科技股份有限公司