带宽压缩中复杂纹理的双模式选择预测方法与流程

本发明涉及一种压缩技术领域，特别涉及一种带宽压缩中复杂纹理的双模式选择预测方法。

背景技术：

随着公众对视频质量需求的不断提高，视频的图像分辨率也随之成倍数的增加，由此使视频图像的数据量十分巨大，需要占用较多的存储空间和传输带宽，在这种情况下，利用芯片内的带宽压缩技术来提高图像的存储空间和传输带宽就显得尤为必要。

带宽压缩技术的目标是用较小的逻辑面积成本，尽可能的提高压缩倍数，减少双倍速率同步动态随机存储器(doubledatarate,简称ddr)的占用。预测模块作为带宽压缩的一个重要模块，是利用图像相邻像素间存在的空间冗余度，根据邻近像素信息对当前像素值进行预测，预测差值的标准差要远小于原始图像数据的标准差，因此对预测差值进行编码，更有利于使图像数据的理论熵达到最小，从而达到提高压缩效率的目的。

然而，当待压缩图像的纹理复杂多变时，根据固定不变的预测模式来预测待压缩图像的复杂纹理区域时，往往会造成所采用预测模式可能只适用某些区域，而对另一些区域并不适用，从而造成这些区域的预测编码得不到精确的参考，导致理论极限熵得不到最大化的降低，影响预测模块的预测质量。因此，在待压缩图像的纹理复杂多变时，提供一种更加灵活适用的预测方法以实现所有纹理区域的高质量预测成为亟需解决的问题。

技术实现要素：

因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种带宽压缩中复杂纹理的双模式选择预测方法。

具体地，本发明一个实施例提出的一种带宽压缩中复杂纹理的双模式选择预测方法，包括：

将待编码视频图像划分成多个宏块，并确定待编码像素分量；

采用非等距采样预测方法，确定当前编码宏块中的采样像素和非采样像素的第一参考像素，计算得到一组第一预测残差；

采用自适应多窗口预测方法，确定当前编码宏块中每个当前编码像素的第二参考像素，计算得到一组第二预测残差；

根据一组第一预测残差计算第一主观差异，根据一组第二预测残差计算第二主观差异；

比较第一主观差异与第二主观差异，确定当前编码宏块的最优预测方法，得到一组最优预测残差。

在本发明的一个实施例中，采用非等距采样预测方法，确定当前编码宏块中的采样像素和非采样像素的第一参考像素，计算得到一组第一预测残差的步骤包括：

设定多种非等距采样模式，对当前编码宏块中的像素的待编码像素分量的重建值进行采样；

确定每一种非等距采样模式下当前编码宏块中的每个采样像素的参考像素，计算得到每一种非等距采样模式下的一组采样预测残差；

确定每一种非等距采样模式下当前编码宏块中的每个非采样像素的参考像素，计算得到每一种非等距采样模式下的一组非采样预测残差；

根据每一种非等距采样模式下的一组采样预测残差和非采样预测残差，计算每一种非等距采样模式下的绝对残差和；

比较多种非等距采样模式下的多个绝对残差和，选择最小的绝对残差和对应的非等距采样模式作为最优非等距采样模式，对应的一组参考像素作为当前编码宏块的一组第一参考像素，对应的一组采样预测残差和非采样预测残差作为当前编码宏块的一组第一预测残差。

在本发明的一个实施例中，确定每一种非等距采样模式下当前编码宏块中的每个采样像素的参考像素，计算得到每一种非等距采样模式下的一组采样预测残差的步骤还包括：选择位于每个采样像素90度预测方向上的上参考像素作为每个采样像素的参考像素，计算每个采样像素的待编码像素分量的采样预测残差。

在本发明的一个实施例中，确定每一种非等距采样模式下当前编码宏块中的每个采样像素的参考像素，计算得到每一种非等距采样模式下的一组采样预测残差的步骤还包括：

选择位于每个采样像素90度预测方向上的上参考像素作为每个采样像素的参考像素，计算每个采样像素的待编码像素分量的上参考采样预测残差，根据一组上参考采样预测残差计算上参考采样绝对残差和；

选择位于每个采样像素135度预测方向上的左上参考像素作为每个采样像素的参考像素，计算每个采样像素的待编码像素分量的左上参考采样预测残差，根据一组左上参考采样预测残差计算左上参考采样绝对残差和；

选择位于每个采样像素45度预测方向上的右上参考像素作为每个采样像素的参考像素，计算每个采样像素的待编码像素分量的右上参考采样预测残差，根据一组右上参考采样预测残差计算右上参考采样绝对残差和；

比较上参考采样绝对残差和、左上参考采样绝对残差和、右上参考采样绝对残差和，选择最小值对应的一组采样预测残差作为当前编码宏块中采样像素的一组采样预测残差。

在本发明的一个实施例中，确定每一种非等距采样模式下当前编码宏块中的每个非采样像素的参考像素，计算得到每一种非等距采样模式下的一组非采样预测残差的步骤还包括：从当前编码宏块中选择采样像素作为每个非采样像素的参考像素，计算每个非采样像素的待编码像素分量的非采样预测残差。

在本发明的一个实施例中，对于前f-1个采样区间，每个非采样像素的待编码像素分量的非采样预测残差的计算公式为：

其中，表示采样间隔为t的非等距采样模式下，当前编码宏块中编号为f的采样区间内编号为t的非采样像素的待编码像素分量的非采样预测残差，为当前编码宏块中编号为f的采样区间内的采样像素samplef的重建值，tf为当前编码宏块中编号为f的采样区间的采样间隔，f＝0、1、2、...、f-2，f为当前编码宏块中包含的采样区间的个数；

对于最后一个采样区间，每个非采样像素的待编码像素分量的非采样预测残差的计算公式为：

其中，表示采样间隔为t的非采样模式下，当前编码宏块中最后一个采样区间内编号为t的非采样像素的待编码像素分量的非采样预测残差，和分别为当前编码宏块中最后一个采样区间内的采样像素samplef-1和samplef的重建值，tf-1为当前编码宏块中最后一个采样区间的采样间隔。

在本发明的一个实施例中，采用自适应多窗口预测方法，确定当前编码宏块中每个当前编码像素的第二参考像素，计算得到一组第二预测残差的步骤包括：

确定多个预测搜索窗口；

在每一个预测搜索窗口内计算当前编码像素的权重，权重包括当前编码像素相对预测搜索窗口内的重建像素的差异度权重和位置权重；

根据每一个权重确定当前编码像素的参考像素并计算待编码像素分量的预测残差，得到当前编码像素的待编码像素分量的多个预测残差；

比较多个预测残差，选择最小预测残差作为当前编码像素的待编码像素分量的第二预测残差，选择最小预测残差对应的参考像素作为当前编码像素的第二参考像素，得到当前编码宏块的一组第二预测残差。

在本发明的一个实施例中，在每一个预测搜索窗口内计算当前编码像素的权重的步骤包括：

计算当前编码像素的每个像素分量相对重建像素的每个像素分量的分量差异度权重；

计算当前编码像素的每个像素分量相对重建像素的每个像素分量的分量位置权重；

计算当前编码像素相对每个重建像素的子权重；

分量差异度权重为其中为当前编码像素的待编码像素分量的原始值，为编号为k的重建像素的待编码像素分量的重建值，abs为绝对值运算符；

分量位置权重为其中是根据当前编码像素与每个重建像素的位置关系确定；

子权重为其中，和分别为差异度加权值和位置加权值，且满足为分量加权值，且满足

权重为wij＝{wij、0，wij、1，wij、2,...wij、k...,wij、k-2}。

在本发明的一个实施例中，根据每一个权重确定当前编码像素的参考像素并计算预测残差，得到多个预测残差的步骤包括：

根据最优值算法从权重的多个子权重中，选择出最优值，将最优值对应的重建像素作为当前编码像素的参考像素；

根据当前编码像素的待编码像素分量的原始值与参考像素的待编码像素分量的重建值计算当前编码像素的待编码像素分量的预测残差。

在本发明的一个实施例中，根据一组第一预测残差计算第一主观差异，根据一组第二预测残差计算第二主观差异的步骤包括：

根据当前编码宏块的一组第一预测残差计算第一绝对残差和；

根据当前编码宏块的一组第一预测残差计算第一平均绝对残差和；

根据第一平均绝对残差和计算第一绝对标准差；

根据第一绝对残差和、第一绝对标准差和第一惩罚因子计算第一主观差异；

根据当前编码宏块的一组第二预测残差计算第二绝对残差和；

根据当前编码宏块的一组第二预测残差计算第二平均绝对残差和；

根据第二平均绝对残差和计算第二绝对标准差；

根据第二绝对残差和、第二绝对标准差和第二惩罚因子计算第二主观差异。

基于此，本发明具备如下优点：

本发明实施例的带宽压缩中复杂纹理的双模式选择预测方法，以宏块为预测单元，采用了两种不同的预测方法计算得到每个宏块的两组预测残差，通过计算两组预测残差对应的主观差异并进行比较，选择出对于该宏块的最优预测方法计算其预测残差，对于复杂纹理图像，可根据图像不同区域纹理特征的不同，自适应地选择最优的预测方法，预测效果更优，进一步降低了理论极限熵。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例提供的带宽压缩中复杂纹理的双模式选择预测方法的流程图。

图2为本发明实施例提供的非等距采样预测方法的流程图。

图3为本发明实施例提供的对当前编码宏块进行非等距采样的3种非等距采样模式示意图。

图4为本发明实施例提供的非等距采样模式下确定当前编码宏块中采样像素的参考像素示意图。

图5为本发明实施例提供的非等距采样模式下确定当前编码宏块中非采样像素的参考像素示意图。

图6为本发明实施例提供的自适应多窗口预测方法的流程图。

图7(a)和图7(b)为本发明实施例提供的水平条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。

图8(a)和图8(b)为本发明实施例提供的垂直条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。

图9(a)和图9(b)为本发明实施例提供的矩形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。

图10为本发明实施例提供的权重的计算方法流程图。

图11为本发明实施例提供的预测搜索窗口中位置子权重的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

本发明实施例的方法，通过采用两种不同的预测方法比较得到的预测残差，针对图像中不同宏块自适应地选择最优预测方法进行预测残差的计算。

实施例一

参见图1，图1为本发明实施例提供的带宽压缩中复杂纹理的双模式选择预测方法的流程图。该双模式选择预测方法包括如下步骤：

s1、将待编码视频图像划分成多个宏块，并确定待编码像素分量。

在本发明的一个实施例中，将待编码视频图像划分为x个相同的宏块mbx，编码前，将对该x个宏块逐一进行编码预测。每个宏块包含m个像素，m≥4，例如m＝8×1或m＝16×1或m＝32×1或m＝64×1。对第x个宏块mbx中的m个像素进行顺序编号为0、1、2、...m...、m-1。优选地，每个宏块包含16×1个像素，第x1个宏块mbx中的16个像素进行顺序编号为0、1、2、...m...、16。设定待编码视频图像的每个像素包含n个像素分量，待编码像素分量为第n个像素分量。例如待编码视频图像的每个像素包含3个像素分量rgb，或包括4个像素分量rgbw，或包含3个像素分量yuv，或包含4个像素分量cmyk。

s2、采用非等距采样预测方法，确定当前编码宏块中的采样像素和非采样像素的第一参考像素，计算得到一组第一预测残差。

s3、采用自适应窗口预测方法，确定当前编码宏块中当前编码像素的第二参考像素，计算得到一组第二预测残差。

s4、根据一组第一预测残差计算第一主观差异，根据一组第二预测残差计算第二主观差异。

s5、比较第一主观差异与第二主观差异，确定当前编码宏块的最优预测方法，得到一组最优预测残差。

实施例二

参见图2，图2为本发明实施例提供的非等距采样预测方法的流程图。本发明实施例的非等距采样预测方法，通过对当前编码宏块中的部分像素即采样像素的重建值进行采集，在当前编码宏块外部选择参考像素计算采样像素的预测残差，并在当前编码宏块内部选择采样像素作为参考像素，估算非采样像素的预测残差。本发明实施例在实施例一的基础上，步骤s2还包括以下步骤：

s21、设定多种非等距采样模式，对当前编码宏块中像素的待编码像素分量的重建值进行采样，得到每一种非等距采样模式下当前编码宏块的一组采样像素的待编码像素分量的重建值。

由于宏块中存在纹理，宏块中两个像素之间的距离越近，则纹理渐变的一致性概率越高，反之宏块中两个像素之间的距离越远，则纹理渐变的一致性概率越低。根据宏块中存在的这种纹理相关性，需要从多种采样模式中选择合适的采样模式对宏块中的m个像素的待编码像素分量进行采样。因此，宏块中的m个像素包括采样像素和非采样像素。

在本发明的一个实施例中，采用多种非等距采样模式对宏块中的m个像素的待编码像素分量进行采样。非等距采样模式具体为，将当前编码宏块mbx划分为f个采样区间，f≥2，且f个采样区间中至少有两个大小不相等。对f个采样区间顺序编号为0、1、2、...f...、f-1、编号为f的采样区间内包含tf个像素，其中包含1个采样像素和tf-1个非采样像素，1≤tf＜m。以非等距采样模式对当前编码宏块mbx中m个像素的待编码像素分量的重建值进行采样时，从编号为0的像素即第1个像素开始采集，并设定任意一种非等距采样模式下，均对当前编码宏块mbx中的最后一个像素的待编码像素分量的重建值进行采集。因此，前f-1个采样区间均包含1个采样像素为第1个像素，最后一个采样区间内包含两个采样像素为第一个像素和最后一个像素。即当前编码宏块mbx共包含f+1个采样像素，共可采集到f+1个重建值。

当前编码宏块mbx中的f+1个采样像素为

{sample0、sample1、sample2、...、samplef、...、samplef}

其中，samplef表示编号为f的采样区间内的采样像素。

在编号f的采样区间内，tf-1个非采样像素为

其中，nosamplef，t表示编号f的采样区间内编号为t的非采样像素。

参见图3，图3为本发明实施例提供的对当前编码宏块进行非等距采样的3种非等距采样模式示意图。在本发明的一个实施例中，根据经验，设定三种非等距采样模式对当前编码宏块mbx进行采样。当m＝16×1，即当前编码宏块mbx包含16个像素时，例如分别按照第一非等距采样模式、第二非等距采样模式、第三非等距采样模式这3种非等距采样模式对当前编码宏块mbx中的m个像素的重建值进行采样的方法具体为：

(一)、第一非等距采样模式，采集当前编码宏块mbx中编号为0、4、15的共3个像素的待编码像素分量的重建值，则这3个像素为采样像素，其余13个像素为非采样像素；

(二)、第二非等距采样模式，采集当前编码宏块mbx中编号为0、5、12、15的共4个像素的待编码像素分量的重建值，则这4个像素为采样像素，其余12个像素为非采样像素；

(三)、第三非等距采样模式，采集当前编码宏块mbx中编号为0、3、6、10、15的共5个像素的待编码像素分量的重建值，则这5个像素为采样像素，其余11个像素为非采样像素。

例如在第二非等距采样模式下，当前编码宏块mbx包含16个像素时，分为3个采样区间，编号分别为0、1、2，编号0的采样区间包含5个像素，其中1个采样像素，4个非采样像素；编号1的采样区间包含6个像素，其中1个采样像素，5个非采样像素；编号2的采样区间包含5个像素，其中2个采样像素，3个非采样像素。因此当前编码宏块mbx共包含4个采样像素为sample0、sample1、sample2、sample3，编号0的采样区间内的4个非采样像素为nosample0，0、nosample0，1、nosample0，2、nosample0，3，编号1的采样区间内的5个非采样像素为nosample1，0、nosample1，1、nosample1，2、nosample1，3、nosample1，4，编号2的采样区间内的3个非采样像素为nosample2，0、nosample2，1、nosample2，2。

s22、确定每一种非等距采样模式下当前编码宏块中的每个采样像素的参考像素，计算每个采样像素的待编码像素分量的采样预测残差，得到每一种非等距采样模式下的一组采样预测残差。

参见图4，图4为本发明实施例提供的非等距采样模式下确定当前编码宏块中采样像素的参考像素示意图。对当前编码宏块mbx中的每个采样像素，均沿三个预测方向选择与其最邻近的参考像素，计算得到三组采样预测残差，并选择出一组最优采样预测残差。最邻近的参考像素包括90度预测方向的上参考像素、45度预测方向的右上参考像素、135度预测方向的左上参考像素。

在采样间隔为t的非等距采样模式下，当前编码宏块mbx中每个采样像素的待编码像素分量的采样预测残差根据如下公式(1)计算得到：

其中，表示在采样间隔为t的非等距采样模式下，当前编码宏块mbx中编号为f的采样区间内的采样像素samplef的待编码像素分量的采样预测残差，为采样像素samplef的待编码像素分量的重建值，为采样像素samplef的参考像素的待编码像素分量的重建值，采样像素samplef的参考像素为上参考像素或左上参考像素或右上参考像素。f＝0、1、2、...、f。

在本发明的一个实施例中，根据公式(1)，在采样间隔为t的非等距采样模式下，考虑三个预测方向的情况下，计算当前编码宏块mbx中采样像素的最优采样预测残差的具体步骤如下：

s221、计算当前编码宏块mbx中每个采样像素相对其上参考像素的上参考预测残差，得到一组上参考采样预测残差，计算上参考采样绝对残差和；

s222、计算当前编码宏块mbx中每个采样像素相对其左上参考像素的左上参考预测残差，得到一组左上参考采样预测残差，计算左上参考采样绝对残差和；

s223、计算当前编码宏块mbx中每个采样像素相对其右上参考像素的右上参考预测残差，得到一组右上参考采样预测残差，计算右上参考采样绝对残差和；

s224、比较上参考采样绝对残差和、左上参考采样绝对残差和与右上参考采样绝对残差和，选择最小值对应的一组参考像素作为当前编码宏块mbx中采样像素的一组参考像素，对应的一组采样预测残差作为当前编码宏块mbx中采样像素的一组采样预测残差。

通过以上步骤s221～s224，对应每一种非等距采样模式，均得到当前编码宏块mbx中采样像素的一组采样预测残差。

在本发明的另一个实施例中，只考虑垂直预测方向时，对应每一种非等距采样模式，选择当前编码宏块mbx中每个采样像素的上参考像素作为其参考像素，并根据公式(1)，计算得到每个采样像素的采样预测残差。

s23、确定每一种非等距采样模式下当前编码宏块中的每个非采样像素的参考像素，计算每个非采样像素的待编码像素分量的非采样预测残差，得到每一种非等距采样模式下的一组非采样预测残差。

参见图5，图5为本发明实施例提供的非等距采样模式下确定当前编码宏块中非采样像素的参考像素示意图。在采样间隔为t的非等距采样模式下，从当前编码宏块mbx中选择采样像素作为每个非采样像素的参考像素，即在每个采样区间内，将采样像素samplef作为每个非采样像素nosamplef，t的参考像素，计算每个非采样像素的待编码像素分量的非采样预测残差。

(一)、对于前f-1个采样区间，每个非采样像素nosamplef，t的待编码像素分量的非采样预测残差的计算公式如下公式(2)：

其中，表示采样间隔为t的非等距采样模式下，当前编码宏块mbx中编号为f的采样区间内编号为t的非采样像素的待编码像素分量的非采样预测残差。为当前编码宏块mbx中编号为f的采样区间内的采样像素samplef的重建值，tf为当前编码宏块mbx中编号为f的采样区间的采样间隔，f＝0、1、2、...、f-2。

(二)、对于最后一个采样区间，其包含两个采样像素为samplef-1和samplef，每个非采样像素nosamplef，t的待编码像素分量的非采样预测残差的计算公式如下公式(3)：

其中，表示采样间隔为t的非采样模式下，当前编码宏块mbx中最后一个采样区间即编号为f-1的采样区间内编号为t的非采样像素的待编码像素分量的非采样预测残差，和分别为当前编码宏块mbx中最后一个采样区间内的采样像素samplef-1和samplef的重建值，tf-1为当前编码宏块mbx中最后一个采样区间的采样间隔。

s24、根据每一种非等距采样模式下得到的一组采样预测残差和一组非采样预测残差，计算每一种非等距采样模式下的绝对残差和。

根据如上公式(1)、公式(2)和公式(3)，采样间隔为t的非采样模式下，当前编码宏块mbx中所有像素的待编码像素分量的预测残差为：

根据公式(4)，采样间隔为t的非等距采样模式下，得到当前编码宏块mbx的一组预测残差，则对应的绝对残差和如下公式(5)计算得到：

公式(5)表示绝对残差和是对当前编码宏块mbx中m个像素的预测残差的绝对值求和。

在本发明的一个实施例中，当前编码宏块mbx包含16个像素，分别采用第一非等距采样模式、第二非等距采样模式、第三非等距采样模式共三种非等距采样模式对当前编码宏块mbx中的m个像素的重建值进行采样并计算每个采样像素的待编码像素分量的采样预测残差和每个非采样像素的待编码像素分量的非采样预测残差。根据公式(4)，三种非等距采样模式下，每个像素得到对应的三个预测残差分别为

则对于当前编码宏块mbx得到三组预测残差，根据公式(5)得到三个绝对残差和分别为

s25、比较多种非等距采样模式下的多个绝对残差和，选择最小的绝对残差和对应的非等距采样模式作为最优非等距采样模式，对应的一组参考像素作为当前编码宏块mbx的一组第一参考像素，对应的一组采样预测残差和非采样预测残差作为当前编码宏块mbx的一组第一预测残差

具体为，比较步骤s24中得到的多个绝对残差和如设定其中最小绝对残差和例如对应的非等距采样模式作为当前编码宏块mbx的最优非等距采样模式，将根据该最优非等距采样模式计算得到的一组预测残差作为当前编码宏块mbx的一组第一预测残差

本发明实施例的非等距采样预测方法预设多种采样模式及对应采样像素和非采样像素的参考像素的选择方式，通过比较不同采样模式下得到的宏块的预测残差的采样绝对残差和，进而选择出最优的采样模式对当前宏块进行采样并计算预测残差。与现有方法相比，当待压缩图像的纹理较为复杂时，对处于图像的纹理边界处的宏块，因为存在纹理的渐变，可以使当前宏块最大限度不依赖于周围宏块，而是根据当前宏块自身的纹理特性获得预测残差，从而避免因周围宏块与当前宏块相关性较差而不能获取较小的预测残差，能够提高对复杂纹理区域求预测残差值的精度，进一步降低理论极限熵，增大带宽压缩率。

实施例三

参见图6，图6为本发明实施例提供的自适应多窗口预测方法的流程图。本发明实施例在实施例一或实施例二的基础上，步骤s3还包括以下步骤：

s31、确定多个预测搜索窗口

参见图7～图9，图7～图9为本发明实施例提供的三种预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。图7(a)和图7(b)为本发明实施例提供的水平条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图；图8(a)和图8(b)为本发明实施例提供的垂直条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图；图9(a)和图9(b)为本发明实施例提供的矩形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。

在待编码视频图像像素区域内，用cij代表当前编码像素，pij代表已编码的重建像素。其中，ij为当前编码像素或重建像素的位置索引。设定多个滑动窗口作为预测搜索窗口，预测搜索窗口的形状可以为水平条形、垂直条形、l形、十字形、丁字形、矩形等。预测搜索窗口的大小根据视频图像的纹理特征及预测精度的需求进行确定，对于纹理比较细或对预测精度需求较低的视频图像，可设置较小的预测搜索窗口，对于纹理比较粗或对预测精度需求较高的视频图像，可设置较大的预测搜索窗口。

结合图7～图9，本发明实施例中，设定多个大小相同、形状不同的预测搜索窗口，例如分别为第一预测搜索窗口、第二预测搜索窗口和第三预测搜索窗口。其中，第一预测搜索窗口为水平条形预测搜索窗口，窗口的形状为水平条形，第二预测搜索窗口为垂直条形预测搜索窗口，窗口的形状为垂直条形，第三预测搜索窗口为矩形预测搜索窗口，窗口的形状为矩形。三个预测搜索窗口大小相同，均包含k个像素。优选地，多个预测搜索窗口均包含8个像素。例如在第一预测搜索窗口即水平条形预测搜索窗口内，当前编码像素cij位于最右端位置，第一预测搜索窗口内的其他位置为已编码的k-1个重建像素pi-1,j、pi-2,j、pi-3,j、pi-4,j、pi-5,j、pi-6,j、pi-7,j；在第二预测搜索窗口即垂直条形预测搜索窗口内，当前编码像素cij位于最下端位置，第二预测搜索窗口内的其他位置为已编码的k-1个重建像素pi,j-1、pi,j-2、pi,j-3、pi,j-4、pi,j-5、pi,j-6、pi,j-7；在第三预测搜索窗口即矩形预测搜索窗口内，当前编码像素cij位于右下角位置，第三预测搜索窗口内的其他位置为已编码的k-1个重建像素pi-1,j、pi-2,j、pi-3,j、pi,j-1、pi-1,j-1、pi-2,j-1、pi-3,j-1。在对当前编码像素cij进行编码时，分别根据第一预测搜索窗口、第二预测搜索窗口和第三预测搜索窗口内k-1个重建像素的重建值newdata(p)与当前编码像素cij的原始值来预测当前编码像素cij的三个预测残差。

本发明实施例中，在每个预测搜索窗口内，根据k-1个重建像素的重建值来预测当前编码像素cij的预测残差时，对预测搜索窗口内的k-1个重建像素进行顺序编号为0、1、2、...k...、k-2，按照编号对重建像素p0、p1、p2、...pk...、pk-2进行顺序搜索。例如，本发明实施例的第一预测搜索窗口内包含7个重建像素，沿水平方向排列，从左至右对7个重建像素进行编号，从0编号至6，对这6个重建像素p0、p1、p2、p3、p4、p5、p6从编号为0的重建像素p0开始搜索，直至搜索到编号为6的重建像素p6，寻找当前编码像素cij的参考像素，计算第一窗口预测残差。第二预测搜索窗口内包含7个重建像素，沿垂直方向排列，从上至下对7个重建像素进行编号，从0编号至6，对这6个重建像素p0、p1、p2、p3、p4、p5、p6从编号为0的重建像素p0开始搜索，直至搜索到编号为6的重建像素p6，寻找当前编码像素cij的参考像素，计算第二窗口预测残差。第三预测搜索窗口内包含7个重建像素，以4×2矩阵排列，对7个重建像素进行编号，从0编号至6，对这6个重建像素p0、p1、p2、p3、p4、p5、p6从编号为0的重建像素p0开始搜索，直至搜索到编号为6的重建像素p6，寻找当前编码像素cij的参考像素，计算第三窗口预测残差。

在多个预测搜索窗口内分别计算当前编码像素cij的多个预测残差的方法如下述步骤描述。

s32、在每一个预测搜索窗口内计算当前编码像素cij的权重wij。在第一预测搜索窗口如水平条形预测搜索窗口内计算得到的当前编码像素cij的权重为第一权重，在第二预测搜索窗口如垂直条形预测搜索窗口内计算得到的当前编码像素cij的权重为第二权重，在第三预测搜索窗口如矩形预测搜索窗口内计算得到的当前编码像素cij的权重为第三权重。具体地，在每一个预测窗口内计算当前编码像素cij的权重wij的方法如下所述：

在预测搜索窗口内，对应k-1个已编码的重建像素p0、p1、p2、...pk...、pk-2，权重wij包括k-1个子权重，即

wij＝{wij、0，wij、1，wij、2,...wij、k...,wij、k-2}

其中，wij、k为当前编码像素cij对应已编码的重建像素pk的子权重。子权重wij、k为当前编码像素cij的n个像素分量相对重建像素pk的n个像素分量的n个分量子权重加权求和的结果，即

其中，为当前编码像素cij的待编码像素分量相对重建像素pk的像素分量的分量权重，为分量加权值，且满足在本发明的一个实施例中，的取值为在本发明的另一个实施例中，根据像素分量分别与n个像素分量的距离大小来确定，距离越近，则对应的越大；在本发明的又一个实施例中，根据经验确定的取值。

在本发明的一个实施例中，在预测搜索窗口内计算当前编码像素cij的权重wij时，权重wij由当前编码像素的差异度权重difij和位置权重posij共同确定。对应k-1个已编码的重建像素p0、p1、p2、...pk...、pk-2，差异度权重difij有k-1个差异度子权重difij、k，位置权重posij有k-1个位置子权重posij、k，即

difij＝{difij、0,difij、1,difij、2,...difij、k...,difij、k-2}

posij＝{posij、0,posij、1,posij、2,...posij、k...,posij、k-2}

参见图10，图10为本发明实施例提供的权重的计算方法流程图，权重wij的确定方法包括如下步骤：

s321、计算当前编码像素的像素分量相对重建像素的像素分量的分量差异度权重每个像素分量的分量差异度权重有k-1个分量差异度子权重即

其中，分量差异度子权重根据当前编码像素cij的像素分量与重建像素pk的像素分量的差异度来确定。

优选地，本发明实施例中，分量差异度子权重为像素分量的原始值与重建像素分量的重建值的差值的绝对值，即

s322、计算当前编码像素的像素分量相对重建像素的像素分量的分量位置权重每个像素分量的分量位置权重有k-1个分量位置子权重即

其中，分量位置子权重根据当前编码像素cij与重建像素pk的位置关系来确定。

参见图11，图11为本发明实施例提供的预测搜索窗口中位置子权重的示意图。本发明实施例中，以当前编码像素cij与重建像素pk相间隔的像素数作为分量位置子权重对应预测搜索窗口中的k-1个重建像素p0、p1、p2、...pk...、pk-2，例如与当前编码像素cij相邻的重建像素p6与cij间隔像素数为0，则确定对应分量位置子权重为重建像素p5与cij间隔像素数为1，则确定对应分量位置子权重为同理，对应共7个重建像素p0、p1、p2、p3、p4、p5、p6的7个分量位置子权重为：

s323、计算当前编码像素的像素分量相对重建像素的像素分量的分量权重每个像素分量的分量权重有k-1个分量子权重即

其中，分量子权重为其中，和分别为差异度加权值和位置加权值，且满足在本发明的一个实施例中，取在本发明的另一个实施例中，根据的大小确定对应的值，越大，则越小；根据的大小确定的值，越大，则越小。在本发明的又一个实施例中，和的值根据经验值确定。

s324、计算当前编码像素cij相对每一个重建像素pk的子权重wij、k。当前编码像素cij相对重建像素pk的子权重wij、k为当前编码像素cij的n个像素分量相对重建像素pk的n个像素分量的n个分量子权重加权求和，即

其中，为分量加权值，且满足在本发明的一个实施例中，的取值为在本发明的另一个实施例中，根据像素分量分别与n个像素分量的距离大小来确定，距离越近，则对应的越大；在本发明的又一个实施例中，根据经验确定的取值。

s325、计算当前编码像素cij的权重，则权重为

s33、根据每一个权重确定当前编码像素cij的参考像素，并计算待编码像素分量的预测残差，得到当前编码像素cij的待编码像素分量的多个预测残差。多个预测残差例如包括第一窗口预测残差、第二窗口预测残差、第三窗口预测残差。具体为根据第一权重确定当前编码像素cij的第一窗口内的参考像素，计算得到第一窗口预测残差；根据第二权重确定当前编码像素cij的第二窗口内的参考像素，计算得到第二窗口预测残差；根据第三权重确定当前编码像素cij的第三窗口内的参考像素，计算得到第三窗口预测残差。具体地，每一个预测残差的计算方法包括如下步骤：

s331、根据权重wij确定当前编码像素cij的参考像素ps。具体地，根据最优值算法从权重wij的k-1个子权重wij、k中，选择出最优值，将最优值对应的重建像素ps作为当前编码像素cij的参考像素。最优值确定算法比如是最小权重确定算法，即从权重wij＝{wij、0,wij、1,wij、2,...wij、k...,wij、k-2}的k-1个子权重中，选择出子权重最小值如wij、s对应的重建像素ps，将重建像素ps作为当前编码像素cij的参考像素。

s332、计算当前编码像素cij的待编码像素分量的预测残差具体地，根据参考像素即ps的重建值与当前编码像素cij的待编码像素分量的原始值计算当前编码像素cij的待编码像素分量的预测残差为

通过以上步骤s31～s33，在多个预测搜索窗口内找到当前编码像素cij的多个参考像素，计算得到当前编码像素cij的待编码像素分量的多个预测残差。例如在第一预测搜索窗口内找到当前编码像素cij的参考像素为ps1，计算得到第一窗口预测残差在第二预测搜索窗口内找到当前编码像素cij的参考像素为ps2，计算得到第二窗口预测残差在第三预测搜索窗口内找到当前编码像素cij的参考像素为ps3，计算得到第三窗口预测残差

s34、比较多个预测残差，确定当前编码像素cij的待编码像素分量的第二预测残差和当前编码像素cij的第二参考像素。

具体为，在多个预测残差如第一窗口预测残差第二窗口预测残差第三窗口预测残差中，根据最小值算法确定最小预测残差，将最小预测残差作为当前编码像素cij的最优窗口预测残差该最优窗口预测残差对应的参考像素为当前编码像素cij的最优参考像素ps_perf，将最优参考像素ps_perf作为当前编码像素cij的第二参考像素，最优窗口预测残差作为当前编码像素cij的待编码像素分量的第二预测残差

本发明实施例通过计算重建像素的权重获得参考像素的方式，计算当前预测像素的预测残差，与现有方法相比，当待压缩图像的人造纹理较为复杂时，通过定义不同的参考像素获得预测残差，所定义的参考像素为图像中的原始像素，此种方式更容易提高当前预测像素的准确率，能够进一步提高复杂纹理区域预测残差的精度。进一步降低理论极限熵，提高带宽压缩率。此外，对于每个当前编码像素，采用多种形状的预测搜索窗口寻找到多个参考像素，并计算得到多个预测残差，在多个预测残差中选择出最优预测残差。对于复杂纹理图像，预测效果更优。

实施例四

本发明实施例在实施例一至实施例三任一基础上，步骤s4还包括以下步骤：

s41、计算当前编码宏块mbx的第一主观差异

根据步骤s25，由步骤s24中得到的最小的绝对残差和例如即为第一绝对残差和对应的一组预测残差即为一组第一预测残差则第一绝对残差和为

再根据当前编码宏块mbx的一组第一预测残差计算第一平均绝对残差和计算公式如下：

再根据第一平均绝对残差和计算第一绝对标准差计算公式如下：

此外，再引入一个第一惩罚因子penalty_1，第一惩罚因子的大小根据所采用的非等距采样预测方法的预测性能来配置，例如预测残差的运算速度的快慢、占用资源的多少、或者主观惩罚量等。

根据公式(10)和(12)得到的第一绝对残差和第一绝对标准差以及第一惩罚因子penalty_1，最后根据如下公式计算得到第一主观差异

其中，c1、c2、c3为分场景配置权重系数，且c1+c2+c3＝1。若为连续多帧且具有传导效应的场景，如h246参考值压缩，则c2的取值应较大，c1的取值较小；c3的大小根据对预测性能的要求进行配置，比如对运算速度要求较高，则c3的取值应较大。

s42、计算当前编码宏块的第二主观差异。

设定当前编码宏块mbx中的第1个当前编码像素为cij，则当前编码宏块mbx包含的m个当前编码像素为cij、cij+1、cij+2、...cij+m...、cij+m-1，根据步骤s332，当前编码宏块mbx中m个像素的待编码像素分量的一组第二预测残差为

对m个第二预测残差的绝对值求和得到当前编码宏块mbx的第二绝对残差和为

再根据当前编码宏块mbx的一组第二预测残差计算第二平均绝对残差和计算公式如下：

再根据第二平均绝对残差和计算第二绝对标准差计算公式如下：

此外，再引入一个第二惩罚因子penalty_2，第二惩罚因子的大小根据所采用的自适应窗口预测方法的特性来配置，例如预测残差的运算速度的快慢、占用资源的多少、或者主观惩罚量等。

根据公式(14)和(16)得到的第二绝对残差和第二绝对标准差以及第二惩罚因子penalty_2，最后根据如下公式计算得到第二主观差异

其中，c1、c2、c3为分场景配置权重系数，取值同公式(13)。

实施例五

本发明实施例在实施例一至实施例四任一基础上，在步骤s5中，根据两种预测方法得到的主观差异，即第一主观差异和第二主观差异比较第一主观差异与第二主观差异，选择其中最小值对应的预测方法作为当前编码宏块mbx的最优预测方法，将根据该最优预测方法确定的一组参考像素作为当前编码宏块mbx的一组最优参考像素，将根据该最优预测方法计算得到的一组预测残差作为当前编码宏块mbx的一组最优预测残差。

具体地，若则确定非等距采样预测方法为最优预测方法，根据非等距采样预测方法得到的一组第一预测残差为当前编码宏块mbx的一组最优预测残差；

若则确定自适应多窗口预测方法为最优预测方法，根据自适应多窗口预测方法得到的一组第二预测残差为当前编码宏块mbx的一组最优预测残差；

若则预设一个默认预测方法，确定该默认预测方法为最优预测方法，根据该默认预测方法得到的一组预测残差为当前编码宏块mbx的一组最优预测残差。默认预测方法可设定为非等距采样预测方法，或设定为自适应多窗口预测方法。

本文中，重建值是指已压缩图像解压端得到的像素分量值，进一步，预测残差加上参考值，即参考像素的对应像素分量值，便可得重建值。

综上所述，本发明实施例的带宽压缩中复杂纹理的双模式选择预测方法，以宏块为预测单元，采用了两种不同的预测方法计算得到每个宏块的两组预测残差，通过计算两组预测残差对应的主观差异并进行比较，选择出对于该宏块的最优预测方法计算其预测残差，对于复杂纹理图像，可根据图像不同区域纹理特征的不同，自适应地选择最优的预测方法，预测效果更优，进一步降低了理论极限熵。

综上所述，本文中应用了具体个例对本发明基于带宽压缩中复杂纹理的双模式选择预测方法进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。