专利名称：一种视频编解码环路滤波的实现方法
技术领域：
本发明涉及多媒体视频编解码技术领域，尤其涉及一种视频编解码端的环路滤波的方法。
背景技术：
在当前基于块的混合编码框架中，视频编码以每个块的率失真优化(RDO)决策选择该块的最优模式从而得到当前编码帧编码性能最优的近似。但是视频编码中因为考虑了空域和时域的相关性，这样当前块的最优不能保证整个序列编码性能的最优，一些编码工具如环路滤波可以改善这种局部的最优给全局带来的主客观质量的影响。通过改善当前帧在编码时因为分块带来的块效应，减少了主观上的振铃效应和块效应，同时滤波后的帧将作为后续编码帧参考帧，从而提高后续帧的主客观编码质量。故环路滤波技术在视频编码中有着十分重要的地位。在现有已发布的视频编码标准中，如H.264其环路滤波是在4x4块边界、在AVS中，则是在8x8边界进行的，这是因为在这些标准中，变换块的尺寸是固定的，且不大于编码单元块(宏块)以及预测块的尺寸，所以变换块的边界肯定包含编码单元块以及预测块边界。然而在高效视频编码标准和下一代AVS标准AVS2.0中，编码单元(Coding Unit,⑶)是视频编码的基本单元。编码单元的采用四叉递归划分模式，编码单元最大可达64x64 (如图1所示)，而不再是16x16。对每个编码单元中，通过预测、变换量化、熵编码、后处理等编码工具来进行块编码。其中编码单元在做预测的时候，编码单元可以被划分成不同大小的预测单元(Prediction U nit, F1U),预测单元是预测的基本单元。编码单元中巾贞内预测和中贞间预测单元的划分分别如图2和图3所示，预测块的尺寸从64x64、64x32、32x64、32x32 —直到8x8，甚至还包括非对称预测块(AMP)。同时变换块的尺寸不再固定为4x4或者8x8，而且和⑶的尺寸相关，这样变换块的尺寸包含从32x32、16x16到8x8。这样原来的固定在所有的4x4或者8x8边界进行滤波的方式将不再符合环路滤波去块效应的目的。
发明内容
本发明实施例提供一种环路滤波技术、装置及系统，以减少块效应，提高主客观编码视频质量和编码效率，同时降低编码解码端复杂度。为达到上述目的，本发明提供了一种视频编解码环路滤波的实现方法方案，具体实现步骤包括:所述环路滤波方法包括如下步骤:步骤I)利用编解码端块划分信息得到图像块(包括编码块、预测块和变换块)划分结构，环路滤波则在块(如编码块、预测块和变换块)边界进行，若编码块的编码残差为O (SPCBP=O),则仅在编码块和预测块边界进行滤波；滤波流程为预定义滤波分割块，把图像划分为滤波分割单元块(如16x16块大小、也可以是最大编码单元块或图像帧等)，可以预定义或在码流中说明滤波分割块的尺寸，为了统一滤波器设计，滤波顺序为依次对每个滤波分割块进行，先垂直边界后水平边界，即先对滤波分割块内的所有垂直边界进行滤波再对水平边界进行滤波；同时预定义最小滤波单元(如8x8块大小)，尺度小于最小滤波单元的块边界跳过滤波；步骤2)若边界包含编码块、预测块和变换块边界，则利用模式、运动信息、量化参数以及残差等进行边界级滤波决策，2.1、若决策需要滤波该边界，则进行接下来的像素级滤波过程；2.2、否则跳过该边界滤波；对需要进行滤波的块边界处进行像素级滤波决策以决定每个像素行是否需要滤波以及采用的滤波强度(BS)；步骤3)最后执行像素级滤波，滤波方向可以垂直于边界也可以根据局部像素特性或块模式和边界成其他角度，其中参与图像滤波的块结构，包括但不限于编码块、预测块和变换块；滤波分割块为方便滤波等操作，而对图像进行统一尺寸的划分方式，如对图像可以按照16x16尺寸滤波分割块划分。所述步骤I)还包括:环路滤波发生的边界在块(如编码块、预测块和变换块)边界，当编码块的编码残差为零(即CBP=O)时，则只在编码块和预测块边界进行滤波，同时定义滤波的最小尺寸如8x8块大小。例如对于AVS2实施例，编码块的尺寸包含了从64x64到8x8大小，根据RDO选择，采用四叉树迭代递归划分，是编码处理的基本单元；预测块为在编码块的基础上的进一步根据预测特性的进一步划分；变换块也是在编码块的基础上根据残差的分布特性的进一步划分。所述步骤I)还包括:对于整帧图像划分为滤波分割单元块(如16x16大小或最大编码单元块)，可以预定义或者在码流中说明滤波分割块的尺寸，按照扫描依次对每个滤波分割块进行滤波，先对垂直边界，在水平边界，检测边界是否包含编码块、预测块和变换块边界，若包含，则滤波该边界，否则跳过滤波该边界。所述步骤2)还包括:根据滤波边界两边块的模式、运动信息、量化参数以及残差等来决定当前块边界是否需要滤波，若边界级决策需要滤波该边界，则进行接下来的像素级滤波过程，否则跳过该边界滤波，若块边界两边块P和Q有帧内预测模式，则需要执行滤波；若P、Q块均为P帧的帧间预测块，其残差均为0，参考帧相同且运动矢量各分量小于一个像素，则决策该块边界不需要滤波，否则均需要滤波。所述步骤2)还包括:滤波决策需要滤波的块边界每行像素，利用边界两边像素的跳变和块平均QP值得到的索引所对应的阈值表对应值比较，来选择滤波强度；像素级滤波强度取值范围0-4，BS=O表示不需要滤波，BS=4，表示较为平坦区域，需要进行较强的平滑滤波。所述步骤3)还包括:像素的位置选择对应的FIR滤波器，滤波方向可以垂直于边界也可以根据局部像素特性或块模式和边界成其他角度；不同滤波强度和不同像素位置所对应的FIR滤波器使用；同时可以利用局部图像的纹理特性和边界两边块的模式信息决定滤波的方式是垂直于边界或者和边界成一定角度 本发明的技术效果在于:本方案能有效提高视频编码的主客观质量，在AVS2.0实施例参考软件RD2.0-ADI上，本方案和装置能够提高0.9%的编码效率，同时能减少编解码端滤波边界数和复杂度。
当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中:图1为AVS2现有技术编码单元划分示意图；图2为AVS2现有技术变换块单元划分示意图；图3为AVS2现有技术预测块单元划分示意图；图4为虚线为AVSl采用的，对所有包括8x8变换块边界进行滤波，则本方案仅仅在实线(编码块、预测块和变换块)边界进行滤波；图5为滤波边界处参与滤波的像素；图6为滤波分割块(取16x16尺寸为例)内滤波顺序，先垂直边界，后水平边界；图7为本发明支持的一种滤波实例流程图；图8为本发明块边界像素滤波流程图。
具体实施例方式编码端
如图1至图3所示，本发明实施例AVS2，在编码端，当一帧图像在完成预测、变换量化、和熵编码和模式信息的编码后，再经过反量化反变换后可以得到编码重构帧。利用编解码端的模式信息和块分割信息块得到当前重构图像帧的划分方式，设置当前帧最小滤波单元，将图像划分为滤波分割块。帧级滤波流程为对每一个滤波分割块，按照图7所示的流程，先对滤波分割块内的所有垂直边界，依次检测其是否为编码块、预测块或变换块边界，若是则利用模式、运动信息、量化参数以及残差等进行边界级滤波决策。若边界级滤波决策需要滤波该垂直边界，则对该垂直边界按照图8所示执行像素级滤波强度决策以及像素级滤波，具体的滤波强度BS决策过程和不同BS下的滤波过程如前所述。执行完一个滤波分割块内的所有垂直边界滤波后，再类似的方式执行水平边界滤波。滤波完一个滤波分割块后，判断是否滤波完一帧，若没有，则按照设定的扫描顺序准备下一个滤波分割块滤波，重复循环直至遍历完当前帧全部滤波分割块。解码端对于解码端，也是依次对每个滤波分割块，经过预测补偿加上反量化反变换后残差得到解码重构块执行类似编码端进行的滤波决策以及滤波过程从而得到解码端重构图像滤波后的图像，用于显示、存储或提供给其他帧参考。本发明实施例上述方法、装置及系统技术方案具有如下有益效果:本专利提出了一套环路滤波技术。在编解码进行环路滤波时，通过利用编解码端块划分信息得到图像块(包括编码块、预测块和变换块)划分结构，环路滤波则在块(如编码块、预测块和变换块)边界进行，若编码块的编码残差为零(即CBP=O),则仅在编码块和预测块边界进行滤波；滤波流程为预定义滤波分割块，把图像划分为滤波分割单元块(如16x16块大小、也可以是最大编码单元块或图像帧等)，可以预定义或在码流中说明滤波分割块的尺寸，为了统一滤波器设计，滤波顺序为依次对每个滤波分割块进行，先垂直边界后水平边界，即先对滤波分割块内的所有垂直边界进行滤波再对水平边界进行滤波；同时预定义最小滤波单元，尺度小于最小滤波单元的块边界跳过滤波；若边界包含编码块、预测块和变换块边界，则利用模式、运动信息、量化参数以及残差等进行边界级滤波决策，若决策需要滤波该边界，则进行接下来的像素级滤波过程，否则跳过该边界滤波；对需要进行滤波的块边界处阈值(如附表I所示)和像素局部纹理特征进行像素级滤波决策以决定每个像素行是否需要滤波以及采用的滤波强度(BS);最后利用滤波器(附表2或附表3所示)设计执行像素级滤波，滤波方向可以垂直于边界也可以根据局部像素特性或块模式和边界成其他角度，从而能更好的自适应去除块效应和提高编码效率。本方案在AVS2.0实施例RD2.0上，本方案和装置能够提高0.9%的编码效率，同时能减少编解码端滤波边界数和复杂度。实验结果:本发明实施例在RD2.0 (AVS2标准的参考软件)上完成技术实现。在实验中，采用AVS2的通用测试条件，RA配置。实验平台是Intel (R)Xeon(R)CPUX566002.80GHZ2.79GHZ23.9G内存。表2表示采用本发明中的环路滤波方法，相比anchor(AVS2RD2.0-ADI)中的环路滤波方法的性能比较。4kx2k、1080p、WVGA、WQVGA、720p分别表示分辨率为3840x 2160、1920xl080、832x480、416x240、1280x720的测试序列。编码性能的度量采用BD-rate，即在相同编码质量的情况下的码率节省。从实验结果来看，采用本发明实施例上述方案，在相同编码质量时，获得平均0.9%的码率节省。表2.性能比较(提出的滤波器设计vs RD2-ADI)
权利要求
1.一种视频编解码端的环路滤波的方法，其特征在于: 所述环路滤波方法包括如下步骤: 步骤I)利用编解码端块划分信息得到图像块划分结构，环路滤波则在所述图像块边界进行，若编码块的编码残差为O，(即CBP=O),则仅在编码块和预测块边界进行滤波；滤波流程为预定义滤波分割块，把图像划分为滤波分割单元块，可以预定义或在码流中说明滤波分割块的尺寸，为了统一滤波器设计，滤波顺序为依次对每个滤波分割块进行，先垂直边界后水平边界，即先对滤波分割块内的所有垂直边界进行滤波再对水平边界进行滤波； 步骤2)若边界包含编码块、预测块和变换块边界，则利用模式、运动信息、量化参数以及残差等进行边界级滤波决策， .2.1、若决策需要滤波该边界，则进行接下来的像素级滤波过程； .2.2、否则跳过该边界滤波；对需要进行滤波的块边界处进行像素级滤波决策以决定每个像素行是否需要滤波以及采用的滤波强度(BS)； 步骤3)最后执行像素级滤波，滤波方向可以垂直于边界也可以根据局部像素特性或块模式和边界成其他角度，其中参与图像滤波的块结构，包括但不限于编码块、预测块和变换块；滤波分割块为方便滤波等操作，而对图像进行统一尺寸的划分方式，如对图像可以按照16x16尺寸滤波分割块划分。
2.根据权利要求1所述的一种视频编解码端的环路滤波的方法，其特征在于，所述步骤I)还包括:图像块包括编码块、预测块和变换块。
3.根据权利要求1所述的一种视频编解码端的环路滤波的方法，其特征在于，所述步骤I)还包括:环路滤波发生的边界在所述图像块边界，当编码块的编码残差为零时(即CBP=O),则只在编码块和预测块边界进行滤波，同时定义滤波的最小尺寸(如8x8块大小)；编码块的尺寸包含了从64x64到8x8大小，根据RDO选择，采用四叉树迭代递归划分，是编码处理的基本单元；预测块为在编码块的基础上的进一步根据预测特性的进一步划分；变换块也是在编码块的基础上根据残差的分布特性的进一步划分。
4.根据权利要求1所述的一种视频编解码端的环路滤波的方法，其特征在于，所述步骤I)还包括:对于整帧图像划分为滤波分割单元块，可以预定义或者在码流中说明滤波分割块的尺寸，按照扫描依次对每个滤波分割块进行滤波，先对垂直边界，再水平边界，检测边界是否包含编码块、预测块和变换块边界，若包含，则滤波该边界，否则跳过滤波该边界。
5.根据权利要求1所述的一种视频编解码端的环路滤波的方法，其特征在于，所述步骤2)还包括:根据滤波边界两边块的模式、运动信息、量化参数以及残差等来决定当前块边界是否需要滤波，若边界级决策需要滤波该边界，则进行接下来的像素级滤波过程，否则跳过该边界滤波，若块边界两边块P和Q有帧内预测模式，则需要执行滤波；SP、Q块均为P帧的帧间预测块，其残差均为0，参考帧相同且运动矢量各分量小于一个像素，则决策该块边界不需要滤波，否则均需要滤波。
6.根据权利要求1所述的一种视频编解码端的环路滤波的方法，其特征在于，所述步骤2)还包括:滤波决策需要滤波的块边界每行像素，利用边界两边像素的跳变和两个块平均QP值得到的索引所对应的阈值表对应值比较，来选择滤波强度；像素级滤波强度取值范围0-4，BS=O表示不需要滤波，BS=4，表示较为平坦区域，需要进行较强的平滑滤波。
7.根据权利要求1所述的一种视频编解码端的环路滤波的方法，其特征在于，所述步骤3)还包括:像素的位置选择对应的FIR滤波器，滤波方向可以垂直于边界也可以根据局部像素特性或块模式和边界成其他角度；不同滤波强度和不同像素位置所对应的FIR滤波器使用；同时可以利用局部图像的纹理特性和边界两边块的模式信息决定滤波的方式是垂直于边界或者和边界 成一定角度。
全文摘要
本发明涉及多媒体视频编解码技术领域，尤其涉及一种视频编解码端的环路滤波的实现方法，所述方法包括利用编解码端块划分信息得到图像块划分结构，环路滤波则在块边界进行；若边界包含编码块、预测块和变换块边界，则利用模式、运动信息、量化参数以及残差等进行边界级滤波决策，最后执行像素级滤波，滤波方向可以垂直于边界也可以根据局部像素特性或块模式和边界成其他角度，本发明的技术效果在于本方案能有效提高视频编码的主客观质量，在AVS2.0实施例参考软件RD2.0-ADI上，本方案和装置能够提高0.9%的编码效率，同时能减少编解码端滤波边界数和复杂度。
文档编号H04N7/50GK103220529SQ20131012841
公开日2013年7月24日 申请日期2013年4月15日 优先权日2013年4月15日
发明者马思伟, 贺坚强, 高文 申请人:北京大学