带宽压缩中复杂纹理自适应预测方法与流程

本发明涉及一种压缩技术领域，特别涉及一种带宽压缩中复杂纹理自适应预测方法。

背景技术：

随着公众对视频质量需求的不断提高，视频的图像分辨率作为视频质量的重要特性之一，视频的图像分辨率也随之成倍数的增加，已经从720p和1080p过渡到目前市场主流的4k视频分辨率，对应的视频压缩标准也从h.264过渡到h.265。由此使视频图像的数据量十分巨大，需要占用较多的存储空间和传输带宽，在这种情况下，利用芯片内的带宽压缩技术来提高图像的存储空间和传输带宽就显得尤为必要。

带宽压缩技术的目标是用较小的逻辑面积成本，尽可能的提高压缩倍数，减少双倍速率同步动态随机存储器(doubledatarate,简称ddr)的占用。预测模块作为带宽压缩的一个重要模块，是利用图像相邻像素间存在的空间冗余度，根据邻近像素信息对当前像素值进行预测，预测差值的标准差要远小于原始图像数据的标准差，因此对预测差值进行编码，更有利于使图像数据的理论熵达到最小，从而达到提高压缩效率的目的。

目前预测模块的算法对图像中复杂纹理的区分效果较差，尤其是对于人造纹理和自然纹理的区分没有高效的算法，导致对于人造纹理的理论极限熵得不到最优化的降低，影响预测模块的质量，成为目前亟待解决的问题。

技术实现要素：

因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种带宽压缩中复杂纹理自适应预测方法。

具体地，本发明一个实施例提出的一种带宽压缩中复杂纹理自适应预测方法，包括：

确定多个预测搜索窗口；预测搜索窗口内包括当前编码像素和多个已编码的重建像素；

确定当前编码像素的n个像素分量；

在多个预测搜索窗口内计算当前编码像素的多个权重；

根据多个权重确定当前编码像素的多个参考像素并计算多个预测残差；

比较多个预测残差，确定最优预测残差及最优预测残差对应的最优参考像素。

在本发明的一个实施例中，多个预测搜索窗口包括第一预测搜索窗口、第二预测搜索窗口和第三预测搜索窗口；第一预测搜索窗口、第二预测搜索窗口和第三预测搜索窗口分别为水平条形预测搜索窗口、垂直条形预测搜索窗口或矩形预测搜索窗口中的任一种；在多个预测搜索窗口内计算当前编码像素的多个权重的步骤包括：在第一预测搜索窗口内计算当前编码像素的第一权重。

在本发明的一个实施例中，在第一预测搜索窗口内计算当前编码像素的第一权重的步骤包括：计算当前编码像素的每个像素分量相对重建像素的像素分量的分量差异度权重；计算当前编码像素相对每个重建像素的子权重，得到多个子权重；多个子权重构成第一权重。

在本发明的一个实施例中，分量差异度权重包括多个分量差异度子权重，子权重为当前编码像素的n个像素分量相对编号为k的重建像素的n个像素分量的n个分量差异度子权重加权求和，计算公式为

其中，分别为分量加权值，且满足为分量差异度子权重，分量差异度子权重的计算公式为

其中，为当前编码像素的第n个像素分量的原始值，为编号为k的重建像素的第n个像素分量的重建值，abs为绝对值运算符。

在本发明的一个实施例中，在计算当前编码像素的子权重的步骤之前还包括：计算当前编码像素的每个像素分量相对重建像素的像素分量的分量位置权重。

在本发明的一个实施例中，分量差异度权重包括多个分量差异度子权重分量差异度子权重的计算公式为

其中，为当前编码像素的第n个像素分量的原始值，为编号为k的重建像素的第n个像素分量的重建值，abs为绝对值运算符；

分量位置权重包括多个分量位置子权重分量位置子权重根据当前编码像素与每个重建像素的位置关系确定。

在本发明的一个实施例中，子权重为当前编码像素的n个像素分量相对编号为k的重建像素的n个像素分量的n个分量子权重加权求和，计算公式为

其中，分别为分量加权值，且满足为分量子权重，分量子权重的计算公式为

其中，和分别为差异度加权值和位置加权值，且满足

在本发明的一个实施例中，根据多个权重确定当前编码像素的多个参考像素并计算多个预测残差的步骤包括：根据第一权重确定当前编码像素的第一参考像素，计算第一预测残差；根据第一权重确定当前编码像素的第一参考像素，计算第一预测残差的步骤包括：根据最优值算法从多个子权重中选择出最优子权重，将最优子权重对应的重建像素作为当前编码像素的第一参考像素；最优值算法为最小值算法。

在本发明的一个实施例中，比较多个预测残差，确定最优预测残差及最优预测残差对应的最优参考像素的步骤包括：比较多个预测残差，根据最小值算法确定最小预测残差，将最小预测残差作为当前编码像素的最优预测残差，将最小预测残差对应的参考像素作为当前编码像素的最优参考像素。

在本发明的一个实施例中，还包括：输出最优参考像素的位置信息和最优预测残差；位置信息为最优参考像素的位置索引或编号。

基于此，本发明具备如下优点：

本发明实施例通过计算重建像素的权重获得参考像素的方式，计算当前预测像素的预测残差，与现有方法相比，当待压缩图像的人造纹理较为复杂时，通过定义不同的参考像素获得预测残差，所定义的参考像素为图像中的原始像素，此种方式更容易提高当前预测像素的准确率，能够进一步提高复杂纹理区域预测残差的精度。进一步降低理论极限熵，提高带宽压缩率。此外，对于每个当前编码像素，采用多种形状的预测搜索窗口寻找到多个参考像素，并计算得到多个预测残差，在多个预测残差中选择出最优预测残差。对于复杂纹理图像，预测效果更优。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例提供的一种带宽压缩中复杂纹理自适应预测方法流程图。

图2(a)和图2(b)为本发明实施例提供的水平条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。

图3(a)和图3(b)为本发明实施例提供的垂直条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。

图4(a)和图4(b)为本发明实施例提供的矩形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。

图5为本发明实施例提供的权重的确定方法流程图。

图6为本发明实施例提供的另一种权重的计算方法流程图。

图7为本发明实施例提供的一种预测搜索窗口中位置子权重的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

实施例一

请参见图1，图1为本发明实施例提供的一种带宽压缩中复杂纹理自适应预测方法流程图。该方法包括如下步骤：

101、确定多个预测搜索窗口。

参见图2～图4，图2～图4为本发明实施例提供的三种预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。图2(a)和图2(b)为本发明实施例提供的水平条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图；图3(a)和图3(b)为本发明实施例提供的垂直条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图；图4(a)和图4(b)为本发明实施例提供的矩形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。

在视频图像像素区域内，用cij代表当前编码像素，pij代表已编码的重建像素。其中，ij为当前编码像素或重建像素的位置索引。设定多个滑动窗口作为预测搜索窗口，预测搜索窗口的形状可以为水平条形、垂直条形、l形、十字形、丁字形、矩形等。预测搜索窗口的大小根据视频图像的纹理特征及预测精度的需求进行确定，对于纹理比较细或对预测精度需求较低的视频图像，可设置较小的预测搜索窗口，对于纹理比较粗或对预测精度需求较高的视频图像，可设置较大的预测搜索窗口。

结合图2～图4，本发明实施例中，设定多个大小相同、形状不同的预测搜索窗口，例如分别为第一预测搜索窗口、第二预测搜索窗口和第三预测搜索窗口。其中，第一预测搜索窗口为水平条形预测搜索窗口，窗口的形状为水平条形，第二预测搜索窗口为垂直条形预测搜索窗口，窗口的形状为垂直条形，第三预测搜索窗口为矩形预测搜索窗口，窗口的形状为矩形。三个预测搜索窗口大小相同，均包含k个像素。优选地，多个预测搜索窗口均包含8个像素。例如在第一预测搜索窗口即水平条形预测搜索窗口内，当前编码像素cij位于最右端位置，第一预测搜索窗口内的其他位置为已编码的k-1个重建像素pi-1,j、pi-2,j、pi-3,j、pi-4,j、pi-5,j、pi-6,j、pi-7,j；在第二预测搜索窗口即垂直条形预测搜索窗口内，当前编码像素cij位于最下端位置，第二预测搜索窗口内的其他位置为已编码的k-1个重建像素pi,j-1、pi,j-2、pi,j-3、pi,j-4、pi,j-5、pi,j-6、pi,j-7；在第三预测搜索窗口即矩形预测搜索窗口内，当前编码像素cij位于右下角位置，第三预测搜索窗口内的其他位置为已编码的k-1个重建像素pi-1,j、pi-2,j、pi-3,j、pi,j-1、pi-1,j-1、pi-2,j-1、pi-3,j-1。在对当前编码像素cij进行编码时，分别根据第一预测搜索窗口、第二预测搜索窗口和第三预测搜索窗口内k-1个重建像素的重建值newdata(p)与当前编码像素cij的原始值来预测当前编码像素cij的第一预测残差、第二预测残差和第三预测残差。

本发明实施例中，在每个预测搜索窗口内，根据k-1个重建像素的重建值来预测当前编码像素cij的预测残差时，对预测搜索窗口内的k-1个重建像素进行顺序编号为0、1、2、...k...、k-2，按照编号对重建像素p0、p1、p2、...pk...、pk-2进行顺序搜索。例如，本发明实施例的第一预测搜索窗口内包含7个重建像素，沿水平方向排列，从左至右对7个重建像素进行编号，从0编号至6，对这6个重建像素p0、p1、p2、p3、p4、p5、p6从编号为0的重建像素p0开始搜索，直至搜索到编号为6的重建像素p6，寻找当前编码像素cij的第一参考像素，计算第一预测残差。第二预测搜索窗口内包含7个重建像素，沿垂直方向排列，从上至下对7个重建像素进行编号，从0编号至6，对这6个重建像素p0、p1、p2、p3、p4、p5、p6从编号为0的重建像素p0开始搜索，直至搜索到编号为6的重建像素p6，寻找当前编码像素cij的第二参考像素，计算第二预测残差。第三预测搜索窗口内包含7个重建像素，以4×2矩阵排列，对7个重建像素进行编号，从0编号至6，对这6个重建像素p0、p1、p2、p3、p4、p5、p6从编号为0的重建像素p0开始搜索，直至搜索到编号为6的重建像素p6，寻找当前编码像素cij的第三参考像素，计算第三预测残差。在多个预测搜索窗口内分别计算当前编码像素cij的多个预测残差的方法如下述步骤描述。

102、确定当前编码像素cij的n个像素分量。

设定当前编码像素cij包括n个像素分量分别为其中n为大于1的自然数，表示当前编码像素cij的第n个像素分量。例如，当前编码像素cij可包括3个像素分量rgb，或包括4个像素分量rgbw，或包括3个像素分量lab，或包括3个像素分量yuv，或包括4个像素分量cmyk。

103、在多个预测搜索窗口内计算当前编码像素cij的多个权重wij。多个权重包括第一权重、第二权重和第三权重。在第一预测搜索窗口如水平条形预测搜索窗口内计算得到的当前编码像素cij的权重wij为第一权重，在第二预测搜索窗口如垂直条形预测搜索窗口内计算得到的当前编码像素cij的权重wij为第二权重，在第三预测搜索窗口如矩形预测搜索窗口内计算得到的当前编码像素cij的权重wij为第三权重。具体地，在每一个预测窗口内计算当前编码像素cij的权重wij的方法如下所述：

在预测搜索窗口内，对应k-1个已编码的重建像素p0、p1、p2、...pk...、pk-2，权重wij包括k-1个子权重，即

wij＝{wij、0，wij、1，wij、2,...wij、k...,wij、k-2}

其中，wij、k为当前编码像素cij对应已编码的重建像素pk的子权重。子权重wij、k为当前编码像素cij的n个像素分量相对重建像素pk的n个像素分量的n个分量子权重加权求和的结果，则

其中，为当前编码像素cij的第n个像素分量相对重建像素pk的第n个像素分量的分量权重，为分量加权值，且满足在本发明的一个实施例中，的取值为在本发明的另一个实施例中，根据像素分量分别与n个像素分量的距离大小来确定，距离越近，则对应的越大；在本发明的又一个实施例中，根据经验确定的取值。

本发明实施例中，当前编码像素cij的权重wij由当前编码像素cij的差异度权重difij确定。对应k-1个已编码的重建像素p0、p1、p2、...pk...、pk-2，差异度权重difij有k-1个差异度子权重difij、k，即

difij＝{difij、0,difij、1,difij、2,...difij、k...,difij、k-2}

参见图5，图5为本发明实施例提供的权重的确定方法流程图，包括如下步骤：

1031、计算当前编码像素cij的像素分量相对重建像素的像素分量的分量差异度权重每个像素分量的分量差异度权重有k-1个分量差异度子权重即

其中，分量差异度子权重根据当前编码像素cij的像素分量与重建像素pk的像素分量的差异度来确定。

优选地，本发明实施例中，分量差异度子权重为像素分量的原始值与重建像素分量的重建值的差值的绝对值，即

1032、计算当前编码像素cij相对每一个重建像素pk的子权重wij、k。当前编码像素cij相对重建像素pk的子权重wij、k为当前编码像素cij的n个像素分量相对重建像素pk的n个像素分量的n个分量差异度子权重加权求和，即

其中，为当前编码像素cij的第n个像素分量相对重建像素pk的第n个像素分量的分量差异度子权重，为分量加权值，且满足在本发明的一个实施例中，的取值为在本发明的另一个实施例中，根据像素分量分别与n个像素分量的距离大小来确定，距离越近，则对应的越大；在本发明的又一个实施例中，根据经验确定的取值。

1033、计算当前编码像素cij的权重wij。则权重为

104、根据多个权重wij确定当前编码像素cij的多个参考像素，并计算多个预测残差。多个参考像素例如包括第一参考像素、第二参考像素和第三参考像素；多个预测残差例如包括第一预测残差、第二预测残差和第三预测残差。具体为根据第一权重确定当前编码像素cij的第一参考像素，计算得到第一预测残差；根据第二权重确定当前编码像素cij的第二参考像素，计算得到第二预测残差；根据第三权重确定当前编码像素cij的第三参考像素，计算得到第三预测残差。具体地，每一个预测残差的计算方法包括如下步骤：

1041、根据权重wij确定当前编码像素cij的参考像素ps。具体地，根据最优值算法从权重wij的k-1个子权重wij、k中，选择出最优值，将最优值对应的重建像素ps作为当前编码像素cij的参考像素。最优值确定算法比如是最小权重确定算法，即从权重wij＝{wij、0,wij、1,wij、2,...wij、k...,wij、k-2}的k-1个子权重中，选择出子权重最小值如wij、s对应的重建像素ps，将重建像素ps作为当前编码像素cij的参考像素。

1042、计算当前编码像素cij的预测残差resij。具体地，根据参考像素即ps的重建值newdata(ps)与当前像素编码像素cij的原始值olddata(cij)计算当前编码像素cij相对参考像素ps的预测残差resij，为

其中，为当前编码像素cij的第n个像素分量相对参考像素ps的第n个像素分量的预测残差。

通过以上步骤101～104，在多个预测搜索窗口内找到当前编码像素cij的多个参考像素，计算得到多个预测残差。例如在第一预测搜索窗口内找到当前编码像素cij的第一参考像素ps1，计算得到第一预测残差resij1；在第二预测搜索窗口内找到当前编码像素cij的第二参考像素ps2，计算得到第二预测残差resij2；在第三预测搜索窗口内找到当前编码像素cij的第三参考像素ps3，计算得到第三预测残差resij3。

105、比较多个预测残差，确定最优预测残差resij_perf及其对应的最优参考像素ps_perf。在多个预测残差如第一预测残差resij1、第二预测残差resij2、第三预测残差resij3中，根据最小值算法确定最小预测残差，将最小预测残差作为当前编码像素cij的最优预测残差resij_perf，将最小预测残差对应的参考像素作为当前编码像素cij的最优参考像素ps_perf。

实施例二

在本发明实施例中，与实施例一不同在于，步骤103在多个预测搜索窗口内计算当前编码像素cij的多个权重wij时，权重wij由当前编码像素的差异度权重difij和位置权重posij共同确定。对应k-1个已编码的重建像素p0、p1、p2、...pk...、pk-2，差异度权重difij有k-1个差异度子权重difij、k，位置权重posij有k-1个位置子权重posij、k，即

difij＝{difij、0,difij、1,difij、2,...difij、k...,difij、k-2}

posij＝{posij、0,posij、1,posij、2,...posij、k...,posij、k-2}

参见图6，图6为本发明实施例提供的另一种权重的确定方法流程图，权重wij的确定方法包括如下步骤：

1034、计算当前编码像素的像素分量相对重建像素的像素分量的的分量差异度权重每个像素分量的分量差异度权重有k-1个分量差异度子权重即

其中，分量差异度子权重根据当前编码像素cij的像素分量与重建像素pk的像素分量的差异度来确定。

优选地，本发明实施例中，分量差异度子权重为像素分量的原始值与重建像素分量的重建值的差值的绝对值，即

1035、计算当前编码像素的像素分量相对重建像素的像素分量的分量位置权重每个像素分量的分量位置权重有k-1个分量位置子权重即

其中，分量位置子权重根据当前编码像素cij与重建像素pk的位置关系来确定。

参见图7，图7为本发明实施例提供的一种预测搜索窗口中位置子权重的示意图。本发明实施例中，以当前编码像素cij与重建像素pk相间隔的像素数作为分量位置子权重对应预测搜索窗口中的k-1个重建像素p0、p1、p2、...pk...、pk-2，例如与当前编码像素cij相邻的重建像素p6与cij间隔像素数为0，则确定对应分量位置子权重为重建像素p5与cij间隔像素数为1，则确定对应分量位置子权重为同理，对应共7个重建像素p0、p1、p2、p3、p4、p5、p6的7个分量位置子权重为：

1036、计算当前编码像素的像素分量的分量权重每个像素分量的分量权重有k-1个分量子权重即

其中，分量子权重为其中，和分别为差异度加权值和位置加权值，且满足在本发明的一个实施例中，取在本发明的另一个实施例中，根据的大小确定对应的值，越大，则越小；根据的大小确定的值，越大，则越小。在本发明的又一个实施例中，和的值根据经验值确定。

1037、计算当前编码像素cij相对每一个重建像素pk的子权重wij、k。当前编码像素cij相对重建像素pk的子权重wij、k为当前编码像素cij的n个像素分量相对重建像素pk的n个像素分量的n个分量子权重加权求和，即

其中，为分量加权值，且满足在本发明的一个实施例中，的取值为在本发明的另一个实施例中，根据像素分量分别与n个像素分量的距离大小来确定，距离越近，则对应的越大；在本发明的又一个实施例中，根据经验确定的取值。

1038、计算当前编码像素cij的权重，则权重为

实施例三

本发明实施例三提供的另一种带宽压缩中复杂纹理自适应预测方法，与实施例一或实施例二不同在于，在步骤105之后还包括：

106、输出当前编码像素的最优参考像素ps_perf的位置信息以及最优预测残差resij_perf。最优参考像素ps_perf的位置信息可以是最优参考像素ps_perf的位置索引ij或编号s。

本发明以上实施例中，最终进行熵编码时，对于当前编码像素cij，编码最优参考像素ps_perf的位置索引ij或编号s，并编码最优预测残差resij_perf。

本文中，重建值是指已压缩图像解压端得到的像素分量值，进一步，预测残差加上参考值，即参考像素的对应像素分量值，便可得重建值。

综上所述，本发明实施例的带宽压缩中复杂纹理自适应预测方法，采用多种形状的预测搜索窗口寻找到多个参考像素，并计算得到多个预测残差，在多个预测残差中选择出最优预测残差。对于复杂纹理图像，预测效果更优，降低了理论极限熵。

综上所述，本文中应用了具体个例对本发明基于带宽压缩中复杂纹理自适应预测方法进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。