非跨图块环路滤波方法及其装置制造方法
【专利摘要】本发明揭露一种视频数据环路滤波处理方法及其装置。根据本发明的实施例去除跨图块边界的相关环路处理的数据依赖。根据一实施例，如果禁用跨图块环路处理，则重新配置环路处理以去除跨图块边界的数据依赖。上述环路滤波处理对应于DF(去块滤波)、SAO(样本自适应偏移)处理或ALF(自适应环路滤波)处理。对于至少一个图块边界可跳过上述处理。在另一实施例中，使用基于当前图块的像素的数据填充或修改像素分类轨迹以去除跨图块边界的数据依赖。可使用在序列、图像或条带层编码的旗标指示是否禁用跨图块环路处理以说明是否允许跨至少一个图块边界的数据依赖。
【专利说明】非跨图块环路滤波方法及其装置
[0001]交叉引用
[0002]本发明要求如下优先权:编号为61 / 550,636，申请日为2011年10月24日，名称为“Non-Cross-Tiles Loop Filtering”的美国临时专利申请；编号为61 / 554，601，申请日为 2011 年 11 月 2 日，名称为 “Non-Cross-Tiles Loop Filtering and Syntax Design”的美国临时专利申请；编号为61 / 558,664，申请日为2011年11月11日，名称为“TileInformation Adaptation”的美国临时专利申请。上述美国临时专利申请在此一并作为参考。
【技术领域】
[0003]本发明涉及一种视频编码。特别地，本发明涉及一种与在图块(tile)边界处滤波、处理相关联的视频编码技术。
【背景技术】
[0004]运动估计(motion estimation)是利用视频序列中时间冗余(temporalredundancy)的一种有效巾贞间编码技术。运动补偿巾贞间编码(motion compensatedinter-frame coding)已经广泛应用于各种国际视频编码标准。在各种编码标准中采用的运动估计是通常以区块(block)为基础的技术,其中为每个宏块(macroblock)或相似区块配置确定运动信息，例如编码模式与运动矢量。此外，也可自适应地采用帧内编码(intra-coding),其中在无需参考任何其他图像的情况下处理图像。通常可进一步由变换(transformation)、量化(quantization)以及熵编码(entropy coding)处理巾贞间预测或帧内预测残差(residue)以生成压缩视频比特流。在编码期间，尤其是在量化进程中引入编码伪影(coding artifact)。为了减轻编码伪影,在较新的编码系统中可对重建视频采用附加处理从而提高图像品质。通常在环内操作(in-loop operation)中配置上述附加处理从而使得编码器与解码器可得到相同的参考图像从而改善系统性能。
[0005]图1描述包含环内滤波处理的示例自适应帧间/帧内视频编码系统。对于帧间预测，可使用运动估计(Motion Estimation,ME) / 运动补偿(Motion Compensation,MC) 112基于其他图像的视频数据提供预测数据。开关114选择帧内预测110或来自ME / MC112的帧间预测数据并且将选择的预测数据提供至加法器116以生成预测误差(predictionerror)，也称为残差。然后变换(T) 118处理预测误差，接着量化(Q) 120处理预测误差。然后，熵编码器122编码已变换及已量化的残差从而生成对应压缩视频数据的视频比特流。接着，将边信息(side information)加入与变换系数相关联的比特流,其中上述边信息可为例如与图像单元相关联的运动、模式及其他信息。上述边信息也可进行熵编码处理以减小需求带宽。相应地，如图1所示，将边信息数据提供至熵编码器122(连接熵编码器122的运动/模式路径未示出)。当使用帧间预测模式时，必须使用先前重建参考图像以生成预测残差。因此，使用重建环路在编码器端生成重建图像。因此，逆量化(InverseQuantization, IQ) 124 与逆变换(Inverse Transformation, IT) 126 处理上述已变换及已量化残差以恢复上述已处理残差。接着重建(REC) 128将上述已处理残差叠加至预测数据136以重建视频数据。可将上述重建视频数据储存至参考图像缓冲器134中并且将上述重建视频数据用于预测其他帧。
[0006]如图1所示，接收的视频数据在编码系统中经过一系列处理。由于上述一系列处理，来自REC128的重建视频数据经受了各种损害。因此，在重建视频数据用作预测数据之前对上述重建视频数据应用各种环路处理从而改善视频品质。在当前发展的高效率视频编码(High Efficiency Video Coding, HEVC)标准中，已经发展出了去块滤波器(DeblockingFilter, DF) 130、样本自适应偏移(Sample Adaptive Offset, SAO) 131与自适应环路滤波器(Adaptive Loop Filter, ALF) 132以提高图像品质。可将去块滤波器(DF) 130应用于边界像素(boundary pixel)并且DF处理依赖于与相应区块相关联的基础像素数据与编码信息。无需将任何特定DF边信息合并入视频比特流中。另一方面，SAO与ALF处理是自适应的，其中可根据基础视频数据动态改变类似滤波器参数与滤波器类型的滤波器信息。因此，将与SAO、ALF相关联的滤波器信息合并入视频比特流中，从而使得解码器可正确恢复所需信息。因此，向熵编码器122提供来自SAO与ALF的滤波器信息用于合并入比特流中。在图1中，首先对重建视频应用DF130 ;接着将SA0131应用于DF已处理视频；然后将ALF132应用于SAO已处理视频。然而，也可重新调整DF、SAO、ALF的处理顺序。在H.264 / AVC视频标准中，自适应滤波器仅包含DF。在当前发展的高效率视频编码(HEVC)视频标准中，环路滤波处理包含DF、SA0与ALF。在本揭露书中，将环内滤波称为无需将边信息并入视频比特流情况下在基础视频数据中执行环路滤波处理。另一方面，将自适应滤波称为使用并入视频比特流的边信息情况下自适应地在基础视频数据中执行环路滤波处理。例如，可将去块滤波看作环内滤波，同时将SAO与ALF看作自适应滤波。在本揭露书中，也可将环内滤波与自适应滤波称为环路滤波。 [0007]依据最大编码单元(Largest Coding Unit, IXU)应用HEVC中的编码进程。可使用四叉树划分(quadtree)自适应地将IXU分割为编码单元。在每个叶编码单元(Leaf⑶)中，对每个8X8区块执行DF并且在HEVC测试模型版本4.0 (HM-4.0)中，将DF应用于8 X 8区块的边界。对于每个8X8区块，首先采用跨垂直区块边界的水平滤波，然后接着采用跨水平区块边界的垂直滤波。图2A描述在区块边界每侧具有4个边界像素的垂直区块边界210的示意图。将边界像素称为q0、q1、q2、q3以及P。、P!、P2、P3，其中qQ与P。是紧邻垂直边界的两个像素。图2B描述在区块边界每侧具有4个边界像素的水平区块边界220的示意图。同样，将边界像素称为Q0> Q1 > Q2> Q3以及Po、Pi> P2> P3，其中Q0与Po是紧邻水平边界的两个像素。对于每幅图像，可并行地水平滤波跨一个或多个垂直边界的边界像素行以提高处理速度。在跨垂直边界进行水平滤波后，可并行地垂直滤波跨一个或多个水平边界的边界像素列。对于亮度组分的DF处理，使用每侧的四个像素(即P。至？3或％|至(13)导出滤波参数。然而，在DF处理后，仅可改变每侧的三个像素(即P。至P2或qQ至q2)。对于亮度组分的水平DF，使用先前DF像素(即水平DF之前的像素)以导出滤波参数并且也使用先前DF像素作为DF滤波的输入数据。对于亮度组分的垂直DF，使用先前DF像素导出滤波参数，并且使用H-DF像素(即水平DF后的像素)作为DF滤波的输入数据。对于色度区块边界的DF处理，使用每侧的两个像素，SP (P0,P1)或(?,?),以导出滤波参数，并且在DF滤波后最多改变每侧的一个像素，即Po或q。。对于跨垂直区块边界的水平滤波，可将重建像素(即先前DF像素)用于滤波参数导出并且将其用作滤波的源像素。对于跨水平区块边界的垂直滤波，可将水平DF处理像素(即在水平滤波后的像素)用于滤波参数导出并且将其用作DF滤波的输入像素。
[0008]如图1所示，在HM-4.0中也采用样本自适应偏移(SAO) 131。可将SAO视为一种滤波处理仅应用于一个像素的特定情况。SAO可将一幅图像划分为多个LCU对齐区域(LQJ-aligned region),并且每个区域可在两种带偏移(Band Offset, BO)类型、四种边偏移(Edge Offset, E0)类型以及非处理(OFF)中选择一种SAO类型。对于每个待处理(也称为待滤波)的像素，BO使用像素强度(pixel intensity)将像素归类于带中。如图3所示，像素强度范围可平均分为32个带。在像素分类后，为每个带中的所有像素取得一个偏移量，并且选择并编码中心16个带或外围16个带的偏移量。在EO中，首先实施像素分类以将像素分为不同组(也称为类)。如图4所示，每个像素的像素分类以3X3窗口为基础，其中四个对应0°、90°、135°与45°的配置用于分类。基于图像或区域中所有像素分类，导出一个偏移量并且发送给每组像素。在HM-4.0中，将SAO用于亮度与色度组分，并且独立处理每个亮度组分。与BO相似，除了类别0，为每个类别的所有像素导出一个偏移量，其中类别O强制使用零偏移量。下述列表1列举了 EO像素分类，其中“C”表示待分类的像素。
[0009]列表1.[0010]
【权利要求】
1.一种视频数据环路滤波处理方法，所述方法包含: 接收与图像相关联的视频数据，其中将所述图像分割为一个或多个图块； 确定与所述一个或多个图块相关联的图块边界； 确定是否禁用跨图块环路处理； 如果禁用所述跨图块环路处理，则重新配置所述环路滤波处理，其中如果所述环路滤波处理需要跨至少一个图块边界的相邻图块的至少一个像素，则所述重新配置所述环路滤波处理的步骤去除跨当前图块的所述至少一个图块边界的数据依赖；以及 将所述环路滤波处理应用于所述一个或多个图块。
2.如权利要求1所述的方法，其特征在于，所述重新配置所述环路滤波处理的步骤对应于跳过所述环路滤波处理、基于所述当前图块的所述像素使用数据填充替换跨所述至少一个图块边界的所述相邻图块的所述至少一个像素，或者修改数据轨迹或滤波轨迹以去除跨所述至少一个图块边界的数据依赖。
3.如权利要求1所述的方法，其特征在于，所述环路滤波处理对应于DF(去块滤波)、SAO (样本自适应偏移)处理或ALF (自适应环路滤波)处理。
4.如权利要求1所述的方法，其特征在于，所述环路滤波处理对应于DF，并且其中对所述至少一个图块边界跳过所述环路滤波处理。
5.如权利要求1所述的方法，其特征在于，所述环路滤波处理对应于SA0，并且其中所述重新配置所述环路滤波处理的步骤对应于对所述至少一个图块边界跳过所述环路滤波处理、基于所述当前图块的所述像素使用数据填充替换跨所述至少一个图块边界的所述相邻图块的所述至少一个像素，或者修改像素分类轨迹以去除跨所述至少一个图块边界的数据依赖。`
6.如权利要求5所述的方法，其特征在于，所述数据填充对应于重复填充、具有奇对称的镜像填充、具有偶对称的镜像填充、线性外插或非线性外插。
7.如权利要求1所述的方法，其特征在于，所述环路滤波处理对应于ALF，并且其中所述重新配置所述环路滤波处理的步骤对应于对所述至少一个图块边界跳过所述环路滤波处理、基于所述当前图块的所述像素使用数据填充替换跨所述至少一个图块边界的所述相邻图块的所述至少一个像素，或者修改滤波轨迹以去除跨所述至少一个图块边界的数据依赖。
8.如权利要求7所述的方法，其特征在于，所述数据填充对应于重复填充、具有奇对称的镜像填充、具有偶对称的镜像填充、线性外插或非线性外插。
9.如权利要求1所述的方法，其特征在于，使用旗标指示所述确定是否禁用跨图块环路处理的步骤，其中在序列、图像或条带层编码所述旗标以指示是否允许跨所述至少一个图块边界的数据依赖。
10.如权利要求9所述的方法，其特征在于，如果所述一个或多个图块大于一个，则编码所述旗标，否则不编码所述旗标。
11.一种视频数据环路滤波处理方法，所述方法包含: 接收与图像相关联的视频数据，其中将所述图像分割为一个或多个图块； 确定与所述一个或多个图块相关联的图块边界； 确定所述一个或多个图块的滤波信息，其中如果所述确定滤波信息的步骤需要跨至少一个第一图块边界的第一相邻图块的至少一个像素，则修改所述确定滤波信息的步骤以去除跨当前图块的所述至少一个第一图块边界的第一数据依赖；以及 使用所述滤波信息对所述一个或多个图块应用所述环路滤波处理，其中如果所述环路滤波处理需要跨至少一个第二图块边界的第二相邻图块的至少一个像素，则重新配置所述环路滤波处理以去除跨所述当前图块的所述至少一个第二图块边界的第二数据依赖。
12.如权利要求11所述的方法，其特征在于，所述重新配置所述环路滤波处理的步骤对应于跳过所述环路滤波处理、基于所述当前图块的所述像素使用数据填充替换跨所述至少一个图块边界的所述相邻图块的所述至少一个像素，或者修改数据轨迹或滤波轨迹以去除跨所述至少一个图块边界的数据依赖。
13.如权利要求11所述的方法，其特征在于，所述环路滤波处理对应于DF(去块滤波)、SAO (样本自适应偏移)处理或ALF (自适应环路滤波)处理。
14.如权利要求13所述的方法，其特征在于，所述环路滤波处理对应于DF，并且其中对所述至少一个第二图块边界跳过所述环路滤波处理。
15.如权利要求13所述的方法，其特征在于，所述环路滤波处理对应于SA0，并且其中所述重新配置所述环路滤波处理的步骤对应于对所述至少一个图块边界跳过所述环路滤波处理、基于所述当 前图块的所述像素使用数据填充替换跨所述至少一个第二图块边界的所述相邻图块的所述至少一个像素，或者修改像素分类轨迹以去除跨所述至少一个图块边界的数据依赖。
16.如权利要求15所述的方法，其特征在于，所述数据填充对应于重复填充、具有奇对称的镜像填充、具有偶对称的镜像填充、线性外插或非线性外插。
17.如权利要求13所述的方法，其特征在于，所述环路滤波处理对应于ALF，并且其中所述重新配置所述环路滤波处理的步骤对应于对所述至少一个第二图块边界跳过所述环路滤波处理、基于所述当前图块的所述像素使用数据填充替换跨所述至少一个第二图块边界的所述相邻图块的所述至少一个像素，或者修改滤波轨迹以去除跨所述至少一个第二图块边界的数据依赖。
18.如权利要求17所述的方法，其特征在于，所述数据填充对应于重复填充、具有奇对称的镜像填充、具有偶对称的镜像填充、线性外插或非线性外插。
19.如权利要求11所述的方法，其特征在于，在序列、图像或条带层编码旗标以指示是否允许跨所述至少一个第二图块边界的数据依赖。
20.如权利要求19所述的方法，其特征在于，如果所述一个或多个图块大于一个，则编码所述旗标，否则不编码所述旗标。
21.一种在视频解码器中用于视频数据环路滤波处理的装置，所述装置包含: 用于接收与图像相关联的视频数据的装置，其中将所述图像分割为一个或多个图块； 用于确定与所述一个或多个图块相关联的图块边界的装置； 用于确定是否禁用跨图块环路处理的装置； 用于当禁用所述跨图块环路处理时重新配置所述环路滤波处理的装置，其中如果所述环路滤波处理需要跨至少一个图块边界的相邻图块的至少一个像素，则所述重新配置所述环路滤波处理去除跨当前图块的所述至少一个图块边界的数据依赖；以及 用于将所述环路滤波处理应用于所述一个或多个图块的装置。
22.一种用于视频数据环路滤波处理的装置，所述装置包含: 用于接收与图像相关联的视频数据的装置，其中将所述图像分割为一个或多个图块； 用于确定与所述一个或多个图块相关联的图块边界的装置； 用于确定所述一个或多个图块的滤波信息的装置，其中如果所述确定滤波信息需要跨至少一个第一图块边界的第一相邻图块的至少一个像素，则修改所述确定滤波信息以去除跨当前图块的所述至少一个第一图块边界的第一数据依赖；以及 用于使用所述滤波信息对所述一个或多个图块应用所述环路滤波处理的装置，其中如果所述环路滤波处理需要跨至少一个第二图块边界的第二相邻图块的至少一个像素，则重新配置所述环路滤波处理以去除跨所述当前图块的所述至少一个第二图块边界的第二数据依 赖。
【文档编号】H04N19/174GK103891292SQ201280050785
【公开日】2014年6月25日 申请日期:2012年10月19日 优先权日:2011年10月24日
【发明者】徐志玮, 蔡家扬, 黄毓文 申请人:联发科技股份有限公司