带宽压缩中的后选择预测方法与流程

本发明涉及一种多媒体技术领域，特别涉及一种带宽压缩中的后选择预测方法。

背景技术：

带宽压缩技术主要由四个部分组成，包含：预测模块、量化模块、码控模块和熵编码模块。其中预测模块作为一个重要的模块，是利用相邻像素间存在的空间冗余度，根据邻近像素信息对当前像素值进行预测，预测差值的标准差远小于原始图像数据的标准差，因此对预测差值进行编码，更有利于使图像数据的理论熵达到最小，达到提高压缩效率的目的。目前预测模块的算法主要分为两类，纹理相关预测和像素值相关预测。

然而，当待压缩图像的纹理复杂多变时，预测待压缩图像的复杂纹理区域时往往因图像纹理之间的相关性较差，预测编码得不到精确的参考，导致理论极限熵得不到最大化的降低，影响预测模块的质量。因此，在待压缩图像的纹理复杂多变时，提高预测模块的质量成为亟需解决的问题。

随着视频的图像分辨率的增加，需要占用较多的存储空间和传输带宽，在这种情况下，利用芯片内的带宽压缩技术来提高图像的存储空间和传输带宽就显得尤为必要。

在图像纹理复杂区域，单一的预测方法往往不能获取最佳的预测效果，导致图像效果变差。

技术实现要素：

因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种带宽压缩中的后选择预测方法。

具体地，本发明一个实施例提出的一种带宽压缩中的后选择预测方法，包括：

将图像分成大小为m×n的多个mb；其中，m、n分别为每个mb的行分辨率、列分辨率；

分别采用自适应模板预测方法与自适应纹理渐变预测方法对当前mb进行预测以获取对应的残差主观和；

根据所述残差主观和确定所述当前mb中每个像素的最终预测残差。

本发明至少具备如下优点：

本发明提供的带宽压缩中的后选择预测方法，以自适应模板预测方法与自适应纹理渐变预测方法为基础，通过预测选择算法可以选择出最优的一种预测方法，对于复杂纹理图像进一步优化了预测效果。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例提供的一种带宽压缩中的后选择预测方法流程图；

图2为本发明实施例提供的一种自适应模板的示意图；

图3为本发明实施例提供的一种自适应纹理渐变预测方法的采样方式示意图；

图4为本发明实施例提供的一种自适应纹理渐变预测方法示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

实施例一

请参见图1，图1为本发明实施例提供的一种带宽压缩中的后选择预测方法流程图。该方法包括如下步骤：

步骤1、将图像分成大小为m×n的多个mb；其中，m、n分别为每个mb的行分辨率、列分辨率；

步骤2、分别采用自适应模板预测方法与自适应纹理渐变预测方法对当前mb进行预测以获取对应的残差主观和；

步骤3、根据所述残差主观和确定所述当前mb中每个像素的最终预测残差。

具体的，步骤2可以包括如下步骤：

步骤21、采用自适应模板预测方法对所述当前mb进行预测以获取第一残差主观和；

步骤22、采用自适应纹理渐变预测方法对所述当前mb进行预测以获取第二残差主观和。

其中，步骤21可以包括如下步骤：

步骤211、采用自适应模板预测方法对所述当前mb进行预测以获取所述当前mb中每个像素的第一预测残差；

步骤212、根据所述当前mb中每个像素的第一预测残差分别计算所述当前mb的第一残差绝对值和与第一绝对值残差和；

步骤213、根据所述第一残差绝对值和与第一绝对值残差和计算所述第一残差主观和。

进一步地，对于步骤211，可以包括如下步骤：

步骤2111、确定所述自适应模板的表位数量以及表位序号；

步骤2112、初始化填充所述自适应模板；

步骤2113、更新所述当前mb对应的自适应模板；

步骤2114、根据更新后的所述自适应模板获取所述当前mb中每个像素的第一预测残差。

对于步骤22，可以包括如下步骤：

步骤221、采用自适应纹理渐变预测方法对所述当前mb进行预测以获取所述当前mb中每个像素的第二预测残差；

步骤222、根据所述当前mb中每个像素的第二预测残差分别计算所述当前mb的第二残差绝对值和与第二绝对值残差和；

步骤223、根据所述第二残差绝对值和与第二绝对值残差和计算所述第二残差主观和。

进一步地，步骤221可以包括如下步骤：

步骤2211、选取n种采样方式对所述当前mb进行采样并预测以获取所述当前mb中每个像素的第二预测残差，其中n为大于1的自然数。

进一步地，所述n种采样方式包括：全采样、1/2采样、1/4采样、1/8采样和1/16采样。

对于步骤3，可以包括如下步骤：

步骤31、比较所述第一残差主观和与所述第二残差主观和的大小以确定所述最终预测残差；其中，

若所述第一残差主观和小于所述第二残差主观和，则选择所述第一预测残差作为所述最终预测残差；

若所述第一残差主观和大于所述第二残差主观和，则选择所述第二预测残差作为所述最终预测残差。

进一步地，所述第一残差主观和与第二残差主观和的计算公式为：

subdk＝a1×sadk+a2×sdk

其中，k为预测模式的序号，取值为1或2；

subd1为第一残差主观和，subd2为第二残差主观和；

a1与a2为按场景配置的权重系数；

sad1为所述当前mb的第一残差绝对值和，sad2为所述当前mb的第二残差绝对值和；

sd1为所述当前mb的第一绝对值残差和，sd2为所述当前mb的第二绝对值残差和。

本实施例提供的带宽压缩中的后选择预测方法，以采用自适应模板预测方法与自适应纹理渐变预测方法为基础，通过预测选择算法可以选择出最优的一种预测方法，对于复杂纹理图像进一步优化了预测效果。

实施例二

本实施例是在上述实施例的基础上重点对自适应模板预测方法进行说明。具体的，本发明提供的自适应模板预测方法包括如下步骤：

步骤1、更新当前mb对应的自适应模板；

步骤2、根据更新后的所述自适应模板获取所述当前mb的预测残差；

步骤3、判断是否获取完成所有的mb预测残差，若是，则预测结束；否则，跳转到步骤1。

其中，在步骤1之前，还可以包括：

步骤x1、确定所述自适应模板列表表位数量以及表位序号；

步骤x2、初始化填充所述自适应模板。

其中，步骤1可以包括：

步骤11、检测当前mb的相邻参考方向的mb重建值；

步骤12、判断所述相邻参考方向的mb的重建值与所述自适应模板中的填充重建值是否一致，以确定所述自适应模板的更新方式。

其中，步骤12可以包括：

步骤121、若所述相邻参考方向的mb的重建值与所述自适应模板中的填充重建值不一致，则将所述相邻参考方向的mb的重建值更新到所述自适应模板的设定表位序号，且将所述自适应模板的表位序号从所述设定表位序号之后顺序移位；

步骤122、若所述相邻参考方向的mb的重建值与所述自适应模板中的填充重建值具备一致性，则将一致的所述自适应模板中的填充重建值与所述设定表位序号位置的重建值更换。

进一步地，步骤121以及步骤122中的相邻参考方向包括上参考方向、左参考方向、左上参考方向或右上参考方向。

进一步地，对于步骤121以及步骤122中的一致性判断公式为：

其中，cur为当前mb的原始像素值，currec为当前mb的重建值，abs为求绝对值，pred为模板中填充的重建值，mbnum为当前mb中像素数量，a1和a2为权重系数，thr0为阈值。

其中，步骤2根据更新后的所述自适应模板获取所述当前mb的预测残差，包括以下步骤：

步骤21、根据第一预设公式选取更新后的所述自适应模板中m个候选重建值；

步骤22、利用第二预设公式通过m个所述候选重建值确定当前mb的预测值；

步骤23、通过点对点求差获取当前mb的所述预测残差。

其中，步骤21中的第一预设公式为：

其中，cur为当前mb的原始像素值，pred为模板中填充的重建值；mbnum为当前mb中像素数量，c1和c2为权重系数。

其中，步骤22中的第二预设公式为：

predwi＝(w1*predi-1+w2*predi+w3*predi+1+w4)/4

其中，w1、w2、w3、w4为一组预测参数。

其中，步骤2根据更新后的所述模板获取所述当前mb的预测残差，还可以包括：

将当前mb的像素值与更新后的所述自适应模板中的所有重建值进行自适应纹理预测，获取所述预测残差。

实施例三

本实施例是在上述实施例的基础上重点对自适应模板预测方法中的自适应模板进行详细描述。

请参见图2，图2为本发明实施例提供的一种自适应模板的示意图。该自适应模板的建立包括如下步骤：

步骤1、定义自适应模板的表位数量以及表位序号

优选地，可以定义自适应模板的表位数量为4个、8个、16个或32个；本实施例以表位数量为16个为例说明，其它数量的表位同理。自适应模板的表位数量为16，表位序号从0到15依次排列，序号越小，优先级越高，每个表位记录一个mb的一组重建值。mb大小可设定，本实施例以16×1为例，即每个mb的大小为16×1个像素，即每个mb有16个重建值。

步骤2、自适应模板的初始化填充

自适应模板的初始状态为空，将某一mb的重建值填充到序号为0的表位；继续填充自适应模板，将序号为0的表位中的重建值顺序移位到序号为1的表位中，将下一个mb的重建值填充到序号为0的表位；以此类推，每次填充自适应模板时，将已填充的n个表位位置顺序向后移位，移一个表位位置，将待填充的mb的重建值填充到序号为0的表位，直到自适应模板中的16个表位填充完毕。具体为：每次进行mb的重建值填充前，按序号从小到大，检测当前mb的重建值与列表中所有已填充的重建值的一致性；若不具备一致性，那么列表从序号0到序号n-1，共n个有效位置顺序向后移位，当前mb的重建值放在列表0位置。若具备一致性，列表中模板表位位置不变，可选择将自适应模板中与当前mb重建值一致的表位中已填充重建值更新为当前mb的重建值或者不更新。检测一致性的公式如下所示：

其中，cur为当前mb的原始像素值，currec为当前mb的重建值，abs为求绝对值，pred为模板中填充的重建值，mbnum为当前mb中像素数量，a1和a2为权重系数，thr0为阈值，thr0的取值根据用户需求确定。a1和a2的取值可以是预先设定的固定值，进一步地，a1+a2＝1，优选地，a1可以选取为0.5，a2可以选取为0.5，a1和a2也可以灵活调整大小。当的值小于thr0时，k的取值为1，1代表具备一致性，则可以判断为具备一致性；反之，当的值大于thr0时，k的取值为0，则可以判断为不具备一致性。

步骤3、自适应模板初始化填充后的更新

自适应模板初始化填充后，检测图像中的其余mb，更新自适应模板，更新方法如下：

若当前mb存在上参考mb，检测正上参考mb与自适应模板中已填充的重建值的一致性，若不具备一致性，先将自适应模板所有表位序号从0开始顺序移位，表位序号最后一个移除列表，再将上参考mb的重建值更新到自适应模板表位序号为0的位置；若具备一致性，将一致的自适应模板中已填充重建值与表位序号为0的位置的重建值对换，并可以更新模板中所有重建值。

同理，若当前mb存在左参考mb，检测左侧参考mb与自适应模板中已填充的重建值的一致性，若不具备一致性，先将自适应模板中以表位序号为1开始的表位序号顺序移位，表位序号最后一个移除列表，再将左参考mb的重建值更新到自适应模板表位序号为1的位置；若具备一致性，将一致的自适应模板中已填充重建值与表位序号为1的位置的重建值对换，并可以更新模板中所有重建值。

若当前mb存在左上参考mb，检测左上参考mb与自适应模板中已填充的重建值的一致性，若不具备一致性，先将自适应模板中以表位序号为2开始的表位序号顺序移位，表位序号最后一个移除列表，再将上参考mb的重建值更新到自适应模板表位序号为2的位置；若具备一致性，将一致的自适应模板中已填充重建值与表位序号为2的位置的重建值对换，并可以更新自适应模板中所有重建值。

若当前mb存在右上参考，检测右上参考mb与自适应模板中已填充的重建值的一致性，若不具备一致性，先将自适应模板中以表位序号为3开始的表位序号顺序移位，表位序号最后一个移除列表，再将右参考mb的重建值更新到自适应模板表位序号为3的位置；若具备一致性，将一致的自适应模板中已填充重建值与表位序号为3的位置的重建值对换，并可以更新自适应模板中所有重建值。

其中，一致性检测方法参考步骤2中检测一致性的公式。

其它类型的自适应模板的建立过程与上述方法类似，此处不再赘述。

实施例四

请参见图3和图4，图3为本发明实施例提供的一种自适应纹理渐变预测方法的采样方式示意图；图4为本发明实施例提供的一种自适应纹理渐变预测方法示意图。本实施例在上述实施例的基础上对本发明提供的一种预测方法进行详细描述，该预测方法包括如下步骤：

步骤1、定义mb的大小

定义mb的大小为m×n个像素，其中m≥1，n≥1；

优选的，可以定义mb的大小为8×1个像素，16×1个像素，32×1个像素，64×1个像素；本实施例以mb的大小为16×1个像素为例说明，其它不同大小的mb同理。mb中的像素按照从0到15的序号从左至右依次排列，每一个序号位置对应一个像素。

步骤2、定义采样方式

根据mb中存在的纹理相关性，mb中的像素距离越近，mb的纹理渐变的一致性概率越高，反之mb中的像素距离越远，mb的纹理渐变的一致性概率越低，据此将mb中的像素进行等距离采样，可以选取多种等距离采样方式。

优选地，如图3所示，本实施例将mb中的16×1个像素进行等距离采样，以全采样、1/2采样、1/4采样、1/8采样和1/16采样五种等距离采样方式举例说明，其它等距离采样方式同理，其中，

全采样是将mb中序号为0到15对应位置的16个像素全部进行采样；

1/2采样是将mb中序号为0、2、4、6、8、10、12、14、15对应位置的9个像素进行采样；

1/4采样是将mb中序号为0、4、8、12、15对应位置的5个像素进行采样；

1/8采样是将mb中序号为0、8、15对应位置的3个像素进行采样；

1/16采样是将mb中序号为0、15对应位置的2个像素进行采样。

步骤3、将步骤2中选取的多种等距离采样方式进行处理获取预测残差。

本实施例以一种等距离采样方式的处理过程为例进行说明，其他种类的等距离采样方式的处理过程相同。具体如下：

步骤31、如图4所示，设当前的等距离采样为1/4采样，将当前mb中的采样点与当前mb正上方相邻mb中垂直位置的点进行预测，求得预测残差，即将采样点的像素与当前mb正上方相邻mb中垂直位置点的像素相减，求得预测残差；

将当前mb中的非采样点，利用如下公式求得预测残差。

resi＝(sample1-sample0)*(i+1)/(num+1)

其中，simple0和simple1为连续的采样点的像素重建值，i为非采样点索引，num为非采样点数量。

进一步地，重建像素指已压缩图像mb解压重建得到的像素，重建像素的像素值通常称为重建值。根据预测残差可以得到重建值，即将参考值加上预测残差可以得到重建值。

步骤32、采用步骤31中的等距离采样方式的处理过程获取当前mb所有像素的预测残差，同时求取当前mb的残差绝对值和(sumofabsolutedifference，简称sad)，即将当前mb中每个像素的预测残差取绝对值后进行相加运算；

步骤33、重复步骤31～步骤33，获取当前mb的多种等距离采样方式的预测残差与sad，在本实施例中即获取当前mb的5种采样的5组预测残差和sad。

步骤4、将步骤3中获取的sad最小值所对应的采样方式确定为当前mb的最终采样方式。

步骤5、将当前mb的采样方式和预测残差写入码流。

综上所述，本文中应用了具体个例对本发明的原理及实现方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。