帧内预测参考像素点滤波控制方法、装置及编码器的制造方法
【专利摘要】一种帧内预测参考像素点滤波控制方法、装置及编码器，属于视频/图像编解码技术领域。对帧内待预测块的参考像素组中各参考像素点进行滤波处理时，当前待滤波的目标参考像素点若不是为参考像素组中的边缘参考像素点时(S202)，获取该目标参考像素点与其相邻n个参考像素点之间的像素差异值(S203)，选择与该像素差异值对应滤波等级的滤波器对目标参考像素点进行滤波(S204)。也即对参考像素组中未处于边缘的各参考像素点，根据这些参考像素点的局部差异特性灵活配置对应滤波等级的滤波器，滤波处理的灵活性、自适应性以及滤波效果更好。
【专利说明】
帧内预测参考像素点滤波控制方法、装置及编码器
技术领域
[0001]本发明属于视频/图像编解码技术领域，具体涉及一种帧内预测参考像素点滤波控制方法、装置及编码器。
【背景技术】
[0002]随着人们对视频/图像分辨率要求的提升，视频/图像内容越来越多地占据了信息传输带宽和存储容量。如何进一步增加视频/图像的压缩比成为一个严峻的挑战。尤其是帧内视频/图像编码，由于缺少帧间图像的参考，使得压缩效率无法有效的提升。
[0003]帧内视频/图像编码使用帧内预测技术去除空间冗余信息，在进行帧内预测之前，需要对待预测块的参考像素点进行滤波处理以消除参考像素中的阶梯效应。参考像素点中的阶梯会导致待预测块中出现明显的方向性的边界，从而影响帧内预测的效率以及效果。
[0004]目前针对帧内参考像素点采用以下方式:
使用长度为3(也即3抽头的滤波器)，滤波系数为[1/4，2/4，1/4]的滤波器对参考像素点进行弱滤波，该滤波只能去除参考像素中较小的阶梯和噪声；
使用参考像素点最边缘的参考像素点(也即端部边缘参考像素点)的像素值进行线性插值得到各参考像素点的像素值，这种方式会对参考像素值产生较大的修改，所以目前这种方式只适用于参考像素整体非常平坦的情况。
[0005]还有一种方式是将上述两种方式进行结合，根据待预测块的参考像素组中参考像素点的整体平坦程度(通过参考像素组中各端部边缘参考像素点之间的差异判定平坦程度)决定使用长度为3，滤波系数为[1/4，2/4，1/4]弱滤波器对该参考像素组中的参考像素点进行滤波处理，还是选择使用线性插值滤波器，不管选用那种方式，一旦选定后对参考像素组中各参考像素点都统一采用选定的滤波方式完成滤波，也即参考像素组中各参考像素点的滤波等级完全相同。
[0006]从上述分析可知，目前帧内视频/图像编码过程中，对于待预测块的参考像素组中参考像素点滤波处理的自适应机制过于简单，对参考像素组中各参考像素点统一采用一种固定滤波等级进行滤波，导致对帧内参考像素点滤波处理的灵活性、自适应性以及滤波效果差。
【发明内容】
[0007]本发明提供一种帧内预测参考像素点滤波控制方法、装置及编码器，解决目前对帧内参考像素组中各参考像素点统一采用一种固定滤波等级进行滤波，导致对参考像素点滤波处理的灵活性、自适应性以及滤波效果差的问题。
[0008]根据本发明的第一方面，本发明提供了一种帧内预测参考像素点滤波控制方法，包括:
帧内待预测块之参考像素组中，当前待滤波的目标参考像素点为所述参考像素组中的非边缘参考像素点时，获取该目标参考像素点与其相邻η个参考像素点之间的像素差异值，所述η大于等于I;
选择与所述像素差异值对应滤波等级的滤波器，对所述目标参考像素点进行滤波。
[0009]根据本发明的第二方面，本发明还提供了一种帧内预测参考像素点滤波控制装置，包括:
差异值获取模块，用于在帧内待预测块之参考像素组中，当前待滤波的目标参考像素点为所述参考像素组中的非边缘参考像素点时，获取该目标参考像素点与其相邻η个参考像素点之间的像素差异值，所述η大于等于I;
滤波控制模块，用于选择与所述像素差异值对应滤波等级的滤波器，对所述目标参考像素点进行滤波。
[0010]根据本发明的第三方面，本发明还提供了一种编码器，包括如上所述的帧内预测参考像素点滤波控制装置。
[0011]有益效果
本发明提供的帧内预测参考像素点滤波控制方法、装置及编码器，对帧内待预测块的参考像素组中各参考像素点进行滤波处理时，当前待滤波的目标参考像素点若不是为参考像素组中的边缘参考像素点时，获取该目标参考像素点与其相邻η个参考像素点之间的像素差异值(也即获取该目标参考像素点自身的局部差异特性)，然后选择与得到的像素差异值对应滤波等级的滤波器，对目标参考像素点进行滤波。也即本发明可以对参考像素组中未处于边缘的各参考像素点，根据这些参考像素点的局部差异特性灵活配置对应滤波等级的滤波器，而不是统一采用一种固定滤波等级的滤波器，因此滤波处理的灵活性、自适应性更好，且滤波效果也更好。
【附图说明】
[0012]图1为本发明实施例一中的帧内待预测块与参考像素组示意图；
图2为本发明实施例一中的帧内预测参考像素点滤波控制方法流程示意图；
图3为本发明实施例一中的边缘参考像素点滤波控制处理的流程示意图；
图4为本发明实施例一中的像素差异阈值设置示意图；
图5为本发明实施例二中的编码器结构示意图；
图6为本发明实施例二中的帧内预测参考像素点滤波控制装置结构示意图；
图7为本发明实施例二中的帧内预测参考像素点滤波控制方法流程示意图。
【具体实施方式】
[0013]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明中一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0014]实施例一
需要说明的是，本发明提供的帧内预测参考像素点滤波控制方法、装置及编码器，可以应用于图像帧内编码，也可以应用于视频帧内编码。
[0015]为了便于理解本发明，本实施例结合图1对本发明涉及到的一些概念进行示例说明。
[0016]在视频/图像编码中，常把视频/图像分为帧内图像和帧间图像两种。其中，帧内图像的编码仅使用图像自身提供的信息进行空间上的预测，它的编解码不依赖于其他图像；而帧间图像的编码要消除的是在时间域上的冗余信息，它的编解码可以依赖于它之前的一个或多个图像。
[0017]进行帧内图像进行编码时，可以将帧内图像按照一定规则划分为多个原始数据块，例如划分为m*m的原始数据块，一个原始数据块就为一个待预测块。针对一个待预测块设置一组参考像素组。参见图1所示。图1中虚线所示矩阵块为一个待预测块，在该待预测块上方和左侧实线框内的各参考像素点组成该待预测块的参考像素组，其中A、B、C、D、
E、......、R为各像素点的像素值。本实施例中参考像素组包含边缘参考像素点，其中边缘参考像素点又可包含端部边缘参考像素点和次边缘参考像素点，其中次边缘参考像素点为与端部边缘参考像素点相邻的参考像素点。图1所示的参考像素组中，像素值为A、I和R的三个参考像素点为端部边缘参考像素点，因为在这些像素点在一个方向上没有相邻的参考像素点;而像素值为B、H、J、Q的四个参考像素点为次边缘参考像素点。
[0018]应当理解的是，对于帧图像中待预测块的划分以及为各待预测块设置参考像素组的具体方式并非本发明关注的重点。本发明对于待预测块的划分以及各待预测块参考像素组的设置没有任何限制，而图1所示的待预测块以及参考像素组也仅是为了便于理解本发明的一种示例说明。
[0019]参见图2所示，本实施例提供的帧内预测参考像素点滤波控制方法包括以下步骤: S201:获取帧内待预测块之参考像素组中，当前待滤波的目标参考像素点。
[0020]S202:判断该目标参考像素点是否是参考像素组中的边缘参考像素点；如否，转至S203;否则，转至S205。
[0021]该步骤中，边缘像素点的判断规则可以根据参考像素组中各参考像素点的存储规贝Ij，或进一步结合待预测块的玮度m进行判断。例如，参考像素组中各参考像素点存储时可以对应依序配置下标，可根据各目标像素点的下标结合m进行判断。
[0022]S203:获取该目标参考像素点与其相邻η个参考像素点之间的像素差异值，其中η大于等于I。
[0023]S204:选择与S203中得到的像素差异值对应滤波等级的滤波器，对目标参考像素点进行滤波。也即本实施例对参考像素组中未处于边缘的各参考像素点，可以根据这些参考像素点的局部差异特性灵活配置对应滤波等级的滤波器，而不是统一采用一种固定滤波等级的滤波器，因此滤波处理的灵活性、自适应性更好，且滤波效果也更好。
[0024]S205:对该目标参考像素点按照边缘参考像素点滤波处理规则进行处理。
[0025]S203中，η的取值可以根据实际应用需求灵活选择，例如可以设置为I，此时则可选择计算目标参考像素点与其相邻的任意I个参考像素点或与其相邻的指定方向上的参考像素点的像素差异值。优选η的取值为偶数，例如2或者2，以计算目标参考像素点与其左右(或上下)相邻的2个参考像素点或4个参考像素点的像素差异值。
[0026]该步骤中，获取目标参考像素点与其相邻η个参考像素点之间的像素差异值可以采用以下计算方式:
获取η个像素点的像素值之和hi，并获取目标参考像素点的像素值与η的乘积h2 ； 将hi与h2差值的绝对值DifTy作为像素差异值。
[0027]例如，假设当前待滤波处理的目标参考像素点为图1中像素值为N的像素点。
[0028]当η取I，且取相参考像素点为像素值为M的像素点，此时:
Diffy=abs(hl- h2)= abs(M_ N)。
[0029]当η取2，且取相参考像素点为像素值为M和P的像素点，此时:
Diffy= abs(hl- h2) = abs(M+P_2* N)。
[0030]当η取4，且取相参考像素点为像素值为L、M和P、Q的像素点，此时:
Diffy= abs(hl- h2) = abs(L+M+P+Q_4* N)。
[0031]η取其他值时以此类推，此处不再赘述。
[0032]S204中，选择与像素差异值对应滤波等级的滤波器可以采用以下规则来选择: 像素差异值小于预设弱阶像素差异阈值时，此时表明该像素点仅存在较弱的阶梯效应，选择第一滤波等级滤波器;第一滤波等级滤波器的长度等于3，主要用于去除参考像素中较小的阶梯和噪声，本实施例可以称为弱滤波等级。
[0033]像素差异值大于预设强阶像素差异阈值时，此时表明该像素点附近就是真实存在的边界，因此也选择第一滤波等级滤波器;第一滤波等级滤波器的长度等于3;
像素差异值大于等于预设弱阶像素差异阈值，小于等于预设强阶像素差异阈值时，此时表明该像素点存在较强的阶梯效应，且该像素点并未处于真实边界附近，选择第二滤波等级滤波器;第二滤波等级滤波器的长度大于等于5;比第一滤波等级滤波器的滤波等级强，对应的本实施例中可以称为强滤波等级。
[0034]也即，本实施例通过预设的弱阶像素差异阈值和强阶像素差异阈值可以在一定程度上将阶梯效应划分为图4所示的弱阶梯区域、强阶梯区域以及真实边界区域。对于落在各区域的参考像素点按照上述规则选择对应滤波等级的滤波器即可。
[0035]应当理解的是，本实施例还可根据实际需求，通过设置多个等级的弱阶像素差异阈值或强阶像素差异阈值，进一步将弱阶梯区域和强阶梯区域进行多个等级的细分，并对应匹配多个滤波等级的滤波器。在此不再赘述。
[0036]本实施例中第一滤波等级滤波器的长度等于3。但应当理解的是，第一滤波等级滤波器的长度可以根据具体应用场景需要灵活设定，例如根据待预测块的玮度m等因素灵活选择。且本实施例中第一滤波等级滤波器的滤波系数也可以根据需求灵活设定，例如可以设置为[1/4，2/4，1/4]，又例如根据实际需求可以灵活调整为[1/6，2/6，1/6]或者其他值。
[0037]本实施例中第二滤波等级滤波器的长度也可以根据待预测块的玮度m等因素灵活选择。例如可以设置为5、7或9等。下面以第二滤波等级滤波器的长度等于5为例进行示例说明。此时第二滤波等级滤波器的滤波器系数可以设置为[2/16，3/16，6/16，3/16，2/16];但同样其滤波器系数可以灵活调整，例如设置为[2/18，3/18，6/18，3/18，2/18]。
[0038]由于边缘参考像素点中的端部边缘参考像素点一个方向没有相邻的参考像素点，而次边缘参考像素点在一个方向上仅有与其相邻的端部边缘参考像素点这一个像素点。因此，本实施例针对目标参考像素点未边缘参考像素点时，按照图3所示的滤波处理规则进行处理。
[0039]S301:目标参考像素点是否是边缘参考像素点中的端部边缘参考像素点，如是，转至S302;否则，转至S303; S302:对该目标参考像素点不做滤波处理。
[0040]S303:为该目标参考像素点直接选择预设滤波等级的滤波器对其进行滤波处理。
[0041]S303中预设滤波等级的滤波器优选为弱滤波等级的滤波器，以去除参考像素中较小的阶梯和噪声，而不贸然采用强滤波等级的滤波器。本实施例中弱滤波等级的滤波器可采用上述第一滤波等级滤波器。
[0042]本实施例在帧内编码预测过程中，使用参考像素点与其相邻参考像素点的像素差异这一局部差异特性来区分真实边界、强阶梯和弱阶梯，实现自适应的选择不同的滤波强度等级的滤波器对参考像素点进行滤波。
[0043]本实施例在帧内预测中，引入滤波器长度为5以上的滤波器作为强滤波器，可以有效地去除幅度较大的阶梯。
[0044]本实施例使用的局部自适应的滤波机制，增加了滤波的灵活性，对非边缘参考像素点的每个参考像素点都进行局部差异度的计算，对每个像素点选择更优的滤波器进行滤波。
[0045]实施例二
本实施例提供了一种编码器，该编码器可用于视频/图像的编码，也即可为视频/图像编码器，参见图5所示，其包括帧内预测参考像素点滤波控制装置5。其中，帧内预测参考像素点滤波控制装置参见图6所示，包括:
判断模块51，用于获取帧内待预测块之参考像素组中，当前待滤波的目标参考像素点，并判断该目标参考像素点是否是参考像素组中的边缘参考像素点。
[0046]差异值获取模块52，用于在帧内待预测块之参考像素组中，当前待滤波的目标参考像素点不是参考像素组中的边缘参考像素点时，获取该目标参考像素点与其相邻η个参考像素点之间的像素差异值，η大于等于I;
滤波控制模块53，用于选择与差异值获取模块52得到的像素差异值对应滤波等级的滤波器，对目标参考像素点进行滤波。
[0047]滤波控制模块53具体用于在像素差异值小于预设弱阶像素差异阈值时，或像素差异值大于预设强阶像素差异阈值时，选择第一滤波等级滤波器;第一滤波等级滤波器的长度等于3;
在像素差异值大于等于预设弱阶像素差异阈值，小于等于预设强阶像素差异阈值时，选择第二滤波等级滤波器;第二滤波等级滤波器的长度大于等于5。
[0048]滤波控制模块53具体选择滤波器的方式参见实施例一所示，在此不再赘述。
[0049]本实施例中，滤波控制模块53还用于在判断模块51目标参考像素点为边缘参考像素点时，对该目标参考像素点按照边缘参考像素点滤波处理规则进行处理。具体包括:滤波控制模块53在目标参考像素点为端部边缘参考像素点时，对该目标参考像素点不做滤波处理。滤波控制模块53在目标参考像素点为次边缘参考像素点时，为该目标参考像素点直接选择预设滤波等级的滤波器对其进行滤波处理。此处的预设滤波等级的滤波器优选为弱滤波等级的滤波器，以去除参考像素中较小的阶梯和噪声，且可直接采用上述第一滤波等级滤波器。
[0050]应当理解的是，本实施例中的判断模块51、滤波控制模块53、差异值获取模块52的上述功能可以由编码器中的控制器或处理器实现。且判断模块51、滤波控制模块53、差异值获取模块52可以构造于控制器或处理器中。
[0051]为了更好的理解本发明，本实施例以第一滤波等级滤波器的长度为3，滤波器系数为[1/4，2/4，1/4];第二滤波等级滤波器的长度为5，滤波器系数为[2/16，3/16，6/16，3/16，2/16]，结合图1所示的参考像素组为例进行示例说明。此时的滤波控制过程参见图7所示，包括:
5701:获取当前输入的目标参考像素点为Y;
5702:判断Y是否为端部边缘参考像素点(图1中的A、1、R像素值对应的像素点)，如是，转至S703;否则，转至S704;
S703:不进行滤波。
[0052]S704:判断Y是否为次边缘参考像素点(图1中的B、H、J、Q像素值对应的像素点)；如是，转至S709 ；否则，转至S705 ；
S705:计算像素点Y的局部差异度Diffy ;
5706:判断DifTy是否小于弱阶像素差异阈值，如是，转至S709;否则，转至S707;
5707:判断DifTy是否大于强阶像素差异阈值，如是，转至S709，否则，转至S708;
5708:为Y选择第二滤波等级滤波器进行滤波。
[0053]例如假设Y为图1中像素值N为的像素点，则采用第二滤波等级滤波器进行滤波后得到的像素值 N，=(2*L/16+3*M/16+6*N/16+3*P/16+2*Q/16)。
[0054]相比滤波长度为3的第一滤波等级滤波器，本实施例中的第二滤波等级滤波器可以提供更大的滤波强度，可以去除更强的像素间的阶梯效应。并且第二滤波等级滤波器利用了当前像素点和周围的4个以上的像素点，对比线性插值滤波器，局部性更强，可以减少对参考像素值的大幅度更改。
[0055]S709:为Y选择第一滤波等级滤波器进行滤波。
[0056]例如假设Y为图1中像素值N为的像素点，则采用第一滤波等级滤波器进行滤波后得到的像素值 N，=(M/4+2*N/4+P/4)。
[0057]本实施例在帧内编码预测过程中，使用参考像素点与其相邻参考像素点的像素差异这一局部差异特性来区分真实边界、强阶梯和弱阶梯，实现自适应的选择不同的滤波强度等级的滤波器对参考像素点进行滤波，增加了滤波的灵活性，对非边缘参考像素点的每个参考像素点都进行局部差异度的计算，对每个像素点选择更优的滤波器进行滤波。
[0058]本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来控制相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括:只读存储器、随机存取存储器、磁盘或光盘等。
[0059]以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的发明构思的前提下，还可以做出若干简单推演或替换。
【主权项】
1.一种帧内预测参考像素点滤波控制方法，其特征在于，包括: 帧内待预测块之参考像素组中，当前待滤波的目标参考像素点为不是所述参考像素组中的边缘参考像素点时，获取该目标参考像素点与其相邻η个参考像素点之间的像素差异值，所述η大于等于I; 选择与所述像素差异值对应滤波等级的滤波器，对所述目标参考像素点进行滤波。2.如权利要求1所述的帧内预测参考像素点滤波控制方法，其特征在于，所述目标参考像素点为所述参考像素组中的端部边缘参考像素点时，对该目标参考像素点不做滤波处理。3.如权利要求1所述的帧内预测参考像素点滤波控制方法，其特征在于，获取所述目标参考像素点与其相邻η个参考像素点之间的像素差异值包括: 获取所述η个像素点的像素值之和hi，并获取所述目标参考像素点的像素值与η的乘积h2； 取所述hi与h2差值的绝对值为所述像素差异值。4.如权利要求3所述的帧内预测参考像素点滤波控制方法，其特征在于，所述η等于2。5.如权利要求1-4任一项所述的帧内预测参考像素点滤波控制方法，其特征在于，选择与所述像素差异值对应滤波等级的滤波器包括: 所述像素差异值小于预设弱阶像素差异阈值时，或所述像素差异值大于预设强阶像素差异阈值时，选择第一滤波等级滤波器;所述第一滤波等级滤波器的长度等于3; 所述像素差异值大于等于预设弱阶像素差异阈值，小于等于预设强阶像素差异阈值时，选择第二滤波等级滤波器;所述第二滤波等级滤波器的长度大于等于5。6.如权利要求5所述的帧内预测参考像素点滤波控制方法，其特征在于，所述第二滤波等级滤波器的长度等于5，滤波器系数为[2/16，3/16，6/16，3/16，2/16]。7.如权利要求5所述的帧内预测参考像素点滤波控制方法，其特征在于，所述目标参考像素点为所述参考像素组中与端部边缘参考像素点相邻的次边缘参考像素点时，选择第一滤波等级的滤波器对其进行滤波处理。8.一种帧内预测参考像素点滤波控制装置，其特征在于，包括: 差异值获取模块，用于在帧内待预测块之参考像素组中，当前待滤波的目标参考像素点不是所述参考像素组中的边缘参考像素点时，获取该目标参考像素点与其相邻η个参考像素点之间的像素差异值，所述η大于等于I; 滤波控制模块，用于选择与所述像素差异值对应滤波等级的滤波器，对所述目标参考像素点进行滤波。9.如权利要求8所述的帧内预测参考像素点滤波控制装置，其特征在于，所述滤波控制模块用于在所述像素差异值小于预设弱阶像素差异阈值时，或所述像素差异值大于预设强阶像素差异阈值时，选择第一滤波等级滤波器;所述第一滤波等级滤波器的长度等于3; 在所述像素差异值大于等于预设弱阶像素差异阈值，小于等于预设强阶像素差异阈值时，选择第二滤波等级滤波器;所述第二滤波等级滤波器的长度大于等于5。10.一种编码器，其特征在于，包括如权利要求8或9所述的帧内预测参考像素点滤波控制装置。
【文档编号】H04N19/593GK106060564SQ201610430071
【公开日】2016年10月26日
【申请日】2016年6月16日
【发明人】王荣刚, 范逵, 王振宇, 高文
【申请人】北京大学深圳研究生院