一种图像下采样方法与流程

本发明涉及数字图像处理技术领域，尤其涉及一种图像下采样方法。

背景技术：

数字图像处理技术在多媒体和计算机视觉任务里发挥了重要作用，常见的数字图像处理技术包括变采样，去噪，超分辨等。数字图像的变采样包括下采样和上采样，其中下采样技术的常见应用场景包括图片重定向和图像压缩。在图片重定向里，输入源图像的分辨率高于目标显示设备，为了能在目标显示设备中显示源图像，需要对其进行下采样。在这个任务里，目标一般是使得下采样之后的低分辨率图像主观质量好，尽量多地保留原图里的细节。而在图像压缩任务里，当给定的信道带宽较低，即可用的码率不足以清晰表示图像里的所有像素时候，为了获得较好的编码性能，通常对待编码图像进行下采样，然后对下采样之后的图像进行编码，最后在解码端通常利用超分辨技术把下采样的重建图像恢复到原始分辨率。在这个任务里，一个比较好的下采样算法需要满足两个要求，一是下采样之后的图像容易压缩，即压缩之后码率低；二是下采样图像包含尽可能多的关于原图的信息，即容易从下采样图像恢复出原图的细节。

以下是一些研究在图片重定向和图像压缩里面使用下采样技术的工作：

1)基于像素缝裁剪的下采样(avidans,shamira.seamcarvingforcontent-awareimageresizing[c]//acmtransactionsongraphics(tog).acm,2007,26(3):10)。

2)基于两项l0正则化先验的下采样(liuj,hes,laurwh.l0-regularizedimagedownscaling[j].ieeetransactionsonimageprocessing,2018,27(3):1076-1085)。

3)基于投影的下采样(tsaigy,eladm,milanfarp,etal.variableprojectionfornear-optimalfilteringinlowbit-rateblockcoders[j].ieeetransactionsoncircuitsandsystemsforvideotechnology,2005,15(1):154-160)。

以上方法的缺陷在于：

1、这些方法中下采样滤波器的设计基于信号处理理论，其最优性的保证需要输入信号平稳的假设，而实际图像信号很难满足这个假设。

2、这些方法中下采样滤波器都是针对单一目标设计，无法同时满足多种应用需求，如基于像素缝裁剪的下采样算法不考虑从下采样图像恢复原图的信息损失，因此只能被用于图像重定向，而不适合用于图像压缩任务。

技术实现要素：

本发明的目的是提供一种图像下采样方法，可以获得更加精确的重建图像，而且视觉效果优于传统方案的结果。

本发明的目的是通过以下技术方案实现的：

一种图像下采样方法，包括：

基于数据驱动训练下采样滤波器：a、通过传统下采样方法对原图像块进行下采样；b、通过卷积神经网络对原图像块像进行下采样；c、对卷积神经网络的下采样结果进行上采样得到重建图像块；d、利用传统下采样方法的下采样结果以及卷积神经网络的下采样结果得到正则化项损失函数，利用重建图像块及相应的原图像块得到重建项损失函数，再结合正则化项损失函数与重建项损失函数获得总的损失函数；e、结合总的损失函数利用反向传播算法更新下采样滤波器参数；

利用训练好的下采样滤波器对输入图像做下采样处理。

由上述本发明提供的技术方案可以看出，通过数据驱动的方式训练下采样滤波器，对图像内容具有更强的鲁棒性和适应性，在训练过程中使用的两项损失函数则使得训练出来的下采样滤波器具备多种特性：视觉效果优于一般的下采样滤波器，看起来细节丰富；而相比于一般下采样滤波器，在对下采样图像进行压缩之后造成的码率增加几乎可以忽略；同时，从下采样图像恢复原始图像之后，可以提供更加精确的重建图像。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种图像下采样方法的流程图；

图2为本发明实施例提供的通过两个损失函数加上基于数据驱动的方式训练下采样滤波器的总体流程图；

图3为本发明实施例提供的卷积神经网络的结构示意图

图4为本发明实施例提供的测试时使用不同方法下采样，然后不同方法上采样重建之后的psnr结果；

图5为本发明实施例提供的测试时使用不同方法下采样，再使用不同方法上采样的视觉质量的结果；

图6为本发明实施例提供的图片重定向任务的测试结果。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种图像下采样方法，如图1所示，其主要包括：

1、基于数据驱动训练下采样滤波器。

本发明实施例的核心在于训练下采样滤波器，从而增加下采样滤波器的鲁棒性和对图像内容的自适应性，下面针对整个训练过程做详细的介绍。

如图2所示，为通过两个损失函数加上基于数据驱动的方式训练下采样滤波器的总体流程图，主要过程如下：

a、通过传统下采样方法对原图像块进行下采样。

本发明实施例中，下采样滤波器是基于数据训练得到，首先需要产生训练集。所述的原图像块是指对训练集进行预处理后的图像块；所述训练集是指包含图像的数据集，预处理时将每一图像图裁剪成大小相等的图像块，图像块大小灵活，具体根据实际情况决定，本发明实施例中，将第i个图像块记为xi，图像块的总个数记为n。

本领域技术人员可以理解，所述传统下采样方法即为目前常规的传统下采样方法，包括：双三次插值下采样、双线性插值下采样及最近邻下采样等；通常先对原图像块进行低通滤波后再使用传统下采样方法对原图像块进行下采样；将传统下采样方法的映射函数记为f，则传统下采样方法的下采样结果为f(xi)，其中的xi表示第i个图像块。

b、通过卷积神经网络对原图像块进行下采样。

利用卷积神经网络对原图像进行下采样，这个过程即为图像降分辨率(compact-resolution，cr)。所述卷积神经网络为能够改变图像分辨率的任意结构形式；所述通过卷积神经网络对原图像块像进行下采样时，卷积神经网络将传统下采样方法的下采样结果输入至卷积神经网络的最后一层的输出中，将卷积神经网络的映射函数记为f，参数记为θf，则卷积神经网络的下采样结果为f(xi；θf)。

示例性的，图3给出了卷积神经网络的结构示意图；图3所示的网络结构由10个卷积层组成，每个卷积层的卷积核大小都是3x3，除了最后一层，每个卷积层后面都使用了relu激活函数。第一层卷积的步长(stride)设置成了2。此外，该网络将输入图像块经过双三次插值(bicubic)下采样之后得到的低分辨率图像添加到网络最后一层的输出中，因此该网络具有残差学习特性。

c、对卷积神经网络的下采样结果进行上采样得到重建图像块。

本步骤中，对卷积神经网络的下采样结果f(xi；θf)进行双线性插值操作，得到重建图像块，将双线性插值操作的映射函数记为g，则重建图像块为g(f(xi；θf))。

d、利用传统下采样方法的下采样结果以及卷积神经网络的下采样结果得到正则化项损失函数，利用重建图像块及相应的原图像块得到重建项损失函数，再结合正则化项损失函数与重建项损失函数获得总的损失函数。

所述利用传统下采样方法的下采样结果以及卷积神经网络的下采样结果得到正则化项损失函数，表示为：

所述利用重建图像块及相应的原图像块得到重建项损失函数，表示为：

总的损失函数为前述两个损失函数的加权和，表示为：

其中，α是一预先给定的加权因子，为正数。例如，本实施例可以取α＝0.7。

e、结合总的损失函数利用反向传播算法更新下采样滤波器参数，表示为：

另外，本发明还提供另一实现方式，之前的a～b完全相同；后续的c～e改变了实现方式，记为c'～e'：

c'、对卷积神经网络的下采样结果进行上采样得到重建图像块。

本步骤中，使用上采样卷积神经网络重建图像块，上采样卷积神经网络可以是任何可以实现超分辨的网络，把上采样卷积神经网络的映射记为g，参数记为θg，那么经过上采样卷积神经网络得到的重建图像块记为g(f(xi；θf)；θg)。

d'、计算总的损失函数。

正则化项损失函数与之前的相同，即：

重建项损失函数为：

总的损失函数是正则化损失函数和重建项损失函数的加权后的结果，表示为：

e'、利用反向传播算法更新下采样滤波器参数，即

实际上，上述两种实现方式的原理相同，区别仅在于上采样的实现方式不同，使得后续损失函数及更新下采样滤波器参数的表达形式存在一定的区别。

2、利用训练好的下采样滤波器对输入图像做下采样处理。

通过前述过程不断训练后可以获得训练好的下采样滤波器，将输入图像直接输入至训练好的下采样滤波器即可。

本发明实施例中，所述训练好的下采样滤波器也即训练好的卷积神经网络，其工作过程与之前的训练过程相同，即训练好的卷积神经网络以一张图像作为输入，并将该图像经过双三次插值下采样的图像也作为输入，直接输出结果。

为了说明本发明实施例上述方案的效果，还进行了相关的测试。

测试条件包括：使用div2k数据集作为训练集，使用caffe深度学习平台训练了神经网络，训练时候使用的优化器是adam，传统下采样方法选择bicubic下采样，图像上采样使用了bilinear，把训练出来的下采样滤波器记为cnn-cr^sep，注意cnn-cr^sep是用bilinear上采样训练出来的。

图4给出了使用不同方法下采样，然后不同方法上采样重建之后的psnr结果，↓、↑分别表示下采样和上采样。图4结果可以看出，当使用bilinear上采样时，从cnn-cr^sep得到的重建图像比从bicubic得到的重建图像具有更高的psnr，因此cnn-cr^sep比bicubic下采样包含更多的信息。当使用除了bilinear以外的其他上采样，如bicubic、lanczos进行上采样时，从cnn-cr^sep得到的重建图像依然比从bicubic得到的重建图像具有更高的psnr，这说明cnn-cr^sep包含的信息具有较强的鲁棒性，可以被多种上采样方法使用。

图5给出了使用不同方法下采样，再使用不同方法上采样的视觉质量的结果，其中(a)是原图，(b)是bicubic下采样图像和cnn-cr^sep下采样得到图像的差值，为了显示清晰，已经做了归一化处理，(c)是对(a)图中取出的两个局部块进行了放大的结果，(d)左侧图是使用bicubic对(c)下采样得到的图，(d)的右侧图是使用cnn-sr对(d)的左侧图上采样之后的结果，(e)左侧图是使用cnn-cr^sep对(c)下采样得到的图，(e)的右侧图是使用cnn-sr对(e)的左侧图上采样之后的结果。可以看出从cnn-cr^sep得到的下采样图像比从bicubic得到的下采样图像包含更多细节，看起来更加逼真。而从cnn-cr^sep恢复出来的重建图像比从bicubic恢复出的重建图像，看起来和原图更加接近，包含了更清晰边缘。

图6给出了在图片重定向任务的测试结果，cnn-cr^sep分别和seamcarving、bicubic方法进行了对比，并作了主观测试。测试结果表明，从cnn-cr^sep得到的重定向图片具有更高的主观得分，即可以达到更加高的视觉质量。

通过以上方案及相关测试结果可见，通过数据驱动的方式训练出来的下采样滤波器对图像内容具有更强的鲁棒性和适应性，在训练过程中使用的两项损失函数则使得训练出来的下采样滤波器具备多种特性：视觉效果优于一般的下采样滤波器，看起来细节丰富；而相比于一般下采样滤波器，在对下采样图像进行压缩之后造成的码率增加几乎可以忽略；从下采样图像恢复原始图像之后，可以提供更加精确的重建。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。