基于错位采样的图像插值方法、系统及存储介质与流程

本发明属于图像插值技术领域，具体涉及基于错位采样的图像插值方法、系统及存储介质。

背景技术：

近年来，插值法在图像处理的许多领域都发挥着极其重要的作用，许多研究人员对插值算法的改进做出了很大的贡献。从最邻近插值法、双线性插值法、双三次插值法到后来的基于边缘的插值方法以及自回归插值算法等等，处理后图像的视觉效果越来越好，许多现有的图像插值技术是在不同层度上通过权衡计算复杂性和处理图像视觉效果中开发出来的。常用在图像视频软件和硬件产品中流行的插值方法为双线性插值、双三次卷积插值和cubicspline插值。这些方法的主要优点是复杂性相对较低。由于与图像无关的内插的使用，它们的共同缺点是无法适应不同图像中的像素结构。因此它们对锯齿，模糊，和振铃方面的缺陷很敏感。

技术实现要素：

本发明的主要目的在于克服现有技术的缺点与不足，提出基于错位采样的图像插值方法、系统及存储介质，方法基于错位采样，能够结合传统插值方法如双线性插值方法等，在相同条件下其重构的图像效果好于传统的均匀采样方法。

为了达到上述目的，本发明采用以下技术方案：

基于错位采样的图像插值方法，包括以下步骤：

对原始图像采用错位下采样，得到下采样图像；

将下采样图像中每个像素恢复到原始图像的采样位置；

对未知像素采用双线性插值方法或双三次插值方法重构图像，得到重构图像。

进一步的，所述错位下采样具体为：

以2×2的四个像素作为一个像素块，将原始图像视为以一定数量的2×2像素块组成图像，称之为2×2像素块图像；对于该2×2像素块图像，奇数行的像素块采样时取像素块中左上角像素，偶数行的像素块采样时取像素块中右上角像素，保留的像素组成下采样图像。

进一步的，所述对未知像素采用双线性插值方法重构图像具体为：

对所有未知像素分为两轮进行插值完成图像重构；第一轮中，未知像素由三个相邻的已知像素使用双线性插值方法进行预测；第二轮中，剩余的未知像素由竖直和水平方向的四个已知像素预测得到。

进一步的，所述第一轮具体为：

第一轮中未知像素f(x,y)由三个相邻像素采用双线性插值方法进行预测得到；所述三个相邻像素包括两种情况：

当f(x-1,y)是未知像素的最近像素时，所述三个相邻像素为f(x-1,y)和f(x+1,y-1)，f(x+1,y+1)；

当f(x+1,y)是未知像素的最近像素时，所述三个相邻像素为f(x+1,y)和f(x-1,y-1)，f(x-1,y+1)；

其中，(x,y)表示未知像素的坐标，f(·)表示该坐标的像素值；

使用该三个相邻像素对未知像素f(x,y)进行预测，公式如下：

进一步的，所述第二轮具体为：

剩余未知像素f(x,y)由竖直水平方向的四个已知像素预测得到，所述四个已知像素包括水平方向的f(x+1,y)和f(x-1,y)以及竖直方向的f(x,y+1)和f(x,y-1)，计算得出未知像素：

进一步的，所述对未知像素采用双三次插值方法重构图像，具体为：

所有未知像素f(x,y)都是由相邻的20个相邻像素使用双三次插值方法预测得到，具体为：

由于下采样图像恢复到原始图像的采样位置，图像划分为2×2像素块图像，所述每个2×2像素块中有三个未知像素一个已知像素，奇数行的像素块的已知像素位于左上角，偶数行的像素块的已知像素位于右上角，采用未知像素附近以及自身所在的共20个像素块中的20个已知像素对一个像素块的未知像素进行插值预测，每个像素块中的三个未知像素使用相同的像素块中的已知像素进行双三次插值。

进一步的，所述20个像素块具体为：

假设未知像素所在的像素块位置为b(x,y)，20个像素块为：

未知像素所在像素块上面一行的5个像素块，分别为b(x-1,y-2)，b(x-1,y-1)，b(x-1,y)，b(x-1,y+1)，b(x-1,y+2)；

未知像素所在像素块的所在行的5个像素块，分别为b(x,y-2)，b(x,y-1)，b(x,y)，b(x,y+1)，b(x,y+2)；

未知像素所在像素块下面两行分别的10个像素块，分别为b(x+1,y-2)，b(x+1,y-1)，b(x+1,y)，b(x+1,y+1)，b(x+1,y+2)，b(x+2,y-2)，b(x+2,y-1)，b(x+2,y)，b(x+2,y+1)，b(x+2,y+2)。

进一步的，所述双三次插值方法是根据未知像素与相邻已知像素f(i,j)的位置距离确定不同距离的已知像素的权重，然后加权平均计算出未知像素的像素值，双三次插值的权重公式为：

当得到20个像素纵坐标和横坐标对应的权重后，求得未知像素，公式如下：

其中，f(i,j)是已知像素位置(i,j)的像素值，其横坐标权重为w(i)，纵坐标权重为w(j)。

本发明还包括基于错位采样的图像插值系统，应用本发明提供的基于错位采样的图像插值方法，包括下采样模块、插值预测模块以及输出模块；

所述下采样模块用于对原始图像进行错位下采样；

所述插值预测模块用于采用已知像素对未知像素使用双线性插值方法或双三次插值方法进行图像重构；

所述输出模块用于输出重构图像。

本发明还包括一种存储介质，存储有程序，当处理器执行程序时，实现本发明提供的基于错位采样的图像插值方法。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明的基于错位采样的双线性插值与基于均匀采样的双线性插值对比，基于错位采样的双线性插值在第一轮的预测像素值中，能够更准确的预测未知像素，且预测的像素总数量是基于均匀采样双线插值方法第一轮插值像素数量的两倍。对于双线性插值方法而言，第一轮能够更准确地预测更多像素能够有效降低第二轮的插值误差。

2、本发明的基于错位采样的双三次插值与基于均匀采样的双三次插值客观质量也更好，是因为当使用邻近的多个像素点对同一个像素点进行插值，错位采样中邻近像素点距离待插像素更近，通过双三次插值函数能更容易获得待插像素周围像素值的变化。本发明能提高图像存储和传输效率且适用于加密域图像压缩领域。

3、本发明采用了错位采样的结构模型，在与传统均匀采样模型比较中，当分别在两种模型中使用双线性插值方法和双三次插值方法时，基于错位采样模型的重构图像在图像测试集中，大部分图像psnr值要高于均匀采样模型，平均psnr值高于均匀采样模型，而且整个算法复杂度低，能够快速高效重构原高分辨率图像。

4、本发明中基于错位采样图像插值方法在图像有损压缩特别是加密域图像压缩领域研究中具有较大的启发作用。

附图说明

图1是本发明方法的流程图；

图2是图像错位下采样示意图；

图3是基于错位采样的双线性插值方法流程示意图；

图4是双线性插值第一轮插值的示意图；

图5是双线性插值第二轮插值的示意图；

图6是基于错位采样的双三次插值方法流程示意图；

图7是双三次插值方法中的20个相邻像素示意图；

图8a是错位采样示意图；

图8b是传统均匀采样示意图；

图9是本发明系统的结构示意图；

图10是本发明存储介质的结构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本发明，基于错位采样的图像插值方法，包括以下步骤：

对原始图像采用错位下采样，得到下采样图像；

将下采样图像中每个像素恢复到原始图像的采样位置；

对未知像素采用双线性插值方法或双三次插值方法重构图像，得到重构图像。

实施例1

在本实施例中，采用双线性插值方法重构图像，如图3所示，包括以下步骤：

s1、将高分辨率图像进行错位采样，得到下采样图像，具体为：

对高分辨率图像进行错位下采样，如图2所示，图2中的黑色点为采样点，将图像划分为以2×2像素块组成的图像，每个块对应地采样一个像素，奇数行的2×2像素块，取块中的左上角像素为采样点，偶数行的2×2像素块则取块中的右上角像素为采样点。

s2、将下采样图像中每个像素恢复到原高分辨率图像对应的采样位置；

s3、使用双线性插值方法对未知像素进行插值预测，具体为：

对所有未知像素分为两轮进行插值完成图像重构；

s31、第一轮，具体为：

未知像素由三个相邻的已知像素使用双线性插值方法进行预测，如图4所示，所述三个相邻像素包括两种情况：

当f(x-1,y)是未知像素的最近像素时，三个相邻像素为f(x-1,y)和f(x+1,y-1)，f(x+1,y+1)；

当f(x+1,y)是未知像素的最近像素时，三个相邻像素为f(x+1,y)f(x-1,y-1)，f(x-1,y+1)。

使用上述三个像素对未知像素f(x,y)进行预测，未知像素f(x,y)的值由以下公式得到：

s32、第二轮，剩余的未知像素由竖直和水平方向的四个已知像素预测得到，如图5所示，具体为

水平方向的f(x+1,y)和f(x-1,y)，竖直方向的f(x,y+1)和f(x,y-1)，计算得出：

本步骤完成后，获得由下采样图像重构的高分辨率图像。

实施例2

本实施例中，采用双三次插值方法重构图像，如图6所示，包括以下步骤：

s1、将高分辨率图像进行错位采样，得到下采样图像，具体为：

对高分辨率图像进行错位下采样，如图2所示，图2中的黑色点为采样点，将图像划分为以2×2像素块组成的图像，每个块对应地采样一个像素，奇数行的2×2像素块，取块中的左上角像素为采样点，偶数行的2×2像素块则取块中的右上角像素为采样点。

s2、将下采样图像中每个像素恢复到原高分辨率图像的采样位置；

s3、使用双三次插值方法对未知像素进行插值预测，具体为：

所有未知像素f(x,y)都由相邻对应的20个相邻像素使用双三次插值方法得到，所述20个相邻像素为：

如图7所示，由于下采样图像恢复到原始图像的采样位置，图像划分为2×2像素块图像，所述每个2×2像素块中有三个未知像素一个已知像素，奇数行的像素块的已知像素位于左上角，偶数行的像素块的已知像素位于右上角，采用未知像素附近以及自身所在的共20个像素块中的20个已知像素对一个像素块的未知像素进行插值预测，每个像素块中的三个未知像素使用相同的像素块中的已知像素进行双三次插值。

假设未知像素所在的像素块位置为b(x,y)，20个像素块为：

未知像素所在像素块上面一行的五个像素块，分别为b(x-1,y-2)，b(x-1,y-1)，b(x-1,y)，b(x-1,y+1)，b(x-1,y+2)；

未知像素所在像素块的所在行的五个像素块，分别为b(x,y-2)，b(x,y-1)，b(x,y)，b(x,y+1)，b(x,y+2)；

未知像素所在像素块下面两行分别的十个像素块，分别为b(x+1,y-2)，b(x+1,y-1)，b(x+1,y)，b(x+1,y+1)，b(x+1,y+2)；b(x+2,y-2)，b(x+2,y-1)，b(x+2,y)，b(x+2,y+1)，b(x+2,y+2)。

所述双三次插值方法是根据未知像素与相邻已知像素f(i,j)的位置距离确定不同距离的已知像素的权重，然后加权平均计算出未知像素的像素值，双三次插值的权重公式为：

当得到20个像素纵坐标和横坐标对应的权重后，求得未知像素f(x,y)，公式如下：

其中，f(i,j)是已知像素位置(i,j)的像素值，其横坐标权重为w(i)，纵坐标权重为w(j)。

上述步骤完成，获得由下采样图像重构的高分辨率图像。

如图9所示，在另一个实施例中，本发明还提供基于错位采样的图像插值系统，应用上述实施例1或2所述方法，系统包括下采样模块、插值预测模块以及输出模块；

所述下采样模块用于对原始图像进行错位下采样；

所述插值预测模块用于采用已知像素对未知像素使用双线性插值方法或双三次插值方法进行图像重构；

所述输出模块用于输出重构图像。

在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

如图10所示，在另一个实施例中，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现上述实施例1或2所述的方法，具体为：

对原始图像采用错位下采样，得到下采样图像；

将下采样图像中每个像素恢复到原始图像的采样位置；

对未知像素采用双线性插值方法或双三次插值方法重构图像，得到重构图像。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。

本发明采用错位采样方法，如图8a、图8b所示，图8a为错位采样，图8b为均匀采样。在基于错位采样的双线性插值中，在对x1未知点进行预测时使用1个近点x11和2个远点x12和x13，而在基于均匀采样的双线性插值中，在对x2未知点进行预测时使用的是4个远点分别是x21、x22、x23和x24，由于错位采样方法中有1个近点，能够有效降低插值误差。如图8a、图8b所示，错位采样在一行中可以预测的像素数为8个，均匀采样为4个。在使用相同的双线性插值方法，错位采样方法在第一轮可以预测的像素数目是均匀采样数目的2倍，第一轮预测的像素数目多有利于对第二轮剩余像素的预测。

采用18张标准测试图像实施测试比较，所选择的图片格式为bmp格式，原高分辨率图像尺寸为512*512，错位下采样和均匀采样后的图像为256*256，恢复的高分辨率图像尺寸为512*512；

本发明中的两种下采样模型在双线性插值和双三次插值法下进行对比，结果如表1所示。与传统均匀采样模型比较中，当使用相同的双线性插值方法，基于错位采样重构的大部分图像psnr值比基于均匀采样重构的图像高，平均提高0.51db；当使用相同双三次插值方法，基于错位采样重构的大部分图像psnr比基于均匀采样重构的图像高，平均提高0.21db。

表1

还需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。