基于总变差分和卷积神经网络的超分辨率重建方法与流程

本发明属于视频图像处理技术领域，特别是涉及一种基于总变差分和卷积神经网络的超分辨率重建方法。

背景技术：

随着数码产品的普及，图像作为人类获取信息的主要来源，得到了越来越广泛的应用。同时，数字图像处理技术也得到了迅速发展。而视频图像的采集是数字图像处理系统中一个关键的步骤。在数字化采集过程中，受以下几个因素的影响，图像分辨率和图像质量会下降：采样频率——欠采样使得图像的频谱混叠，因变形效应而发生降质；大气扰动、脱焦、传感器尺寸以及图像采集设备和被拍摄物体之间的相对运动，会造成图像的模糊；而在图像的获取、传输和存储过程中，也会引入噪声，如高斯噪声，也会使图像发生降质。

因此，如何提高图像的分辨率和质量，使其尽可能的接近原始的图像成为近年来国际上图像处理领域的研究热点之一。而随着图像处理技术的发展和计算机计算能力的不断提升，视频图像的超分辨率重建技术为低分辨率图像的重建提供了很好的解决方案。它可以将一系列低分辨率的图像按一定的比例放大，最终产生一幅或者多幅高分辨率的图像，并且很好的保持原图的结构。

现有的超分辨率重建方法主要分为三大类：第一类是基于插值的超分辨率技术，第二类是基于重建的超分辨率技术，第三类是基于学习的超分辨率技术。

简单的线性插值技术，比如双线性和双三次插值，计算简单但是会产生锯齿效应，同时也会模糊边缘。为了更好的保持边缘的锐度，很多基于边缘指导的插值方法被相继提出。有研究者在2001年提出在低分辨率图像上估计高分辨率图像的协方差，然后用该协方差来进行插值。有研究者在2008年提出一种基于分块的自回归模型，一次估计整块像素。有研究者在2012年提出一种鲁棒的软决策插值技术，在参数和像素的估计中，都采用加权最小二乘法。然而，这些方法都只考虑了边缘部分的重建，没有考虑纹理部分的重建。

基于重建的超分辨率技术，是模拟图像降质的反过程，去解一个优化方程。图像降质过程是，一幅高分辨率图像，经过模糊之后，降采样得到低分辨率图像。有研究者在2005年提出的基于图像总变差分的方法是该类方法中很有代表性的一个。在该方法中，图像的总变差分作为约束项，加到优化方程中，从而约束问题的解。它在保持边缘锐度的同时可以极大的抑制人造效应。有研究者在2011年提出通过低分辨率图像的梯度来估计高分辨率图像边缘的梯度，然后把估计得到的梯度作为约束项，加入到优化方程中。

近年来，一些基于学习的超分辨率重建方法也不断被提出。有研究者在2010年提出一种基于稀疏表示的超分辨率重建方法。该方法提出，图像块可以被一个超完备的字典中的元素通过线性组合的方式表示，其中，非零系数的个数会尽可能的少。所以，首先产生两个超完备的字典集合，这两个集合中的图像块是一一对应的，分别是低分辨率图像和高分辨率图像。对于输入的任意低分辨率图像块，在低分辨率字典中寻找一种稀疏表示，然后用这一组稀疏在高分辨率字典中生成高分辨率图像块。有研究者在2016年提出使用深度学习的方法来重建高分辨率图像。基本方法是，生成多组低分辨率和高分辨率图像对，然后把低分辨率图像作为卷积神经网络的输入，把高分辨率图像作为卷积神经网络的输出，训练网络。对于训练好的网络，把任意低分辨率图像作为输入，产生高分辨率图像作为重建结果。

现有的几种重建方法分别存在一下缺陷：基于插值的方法，计算量低，但是重建的效果差；基于重建的方法，不能同时将边缘和纹理两个部分都很好的重建；基于学习的方法计算机复杂度高，而且对于训练库的选择也有很强的依赖性。

技术实现要素：

本发明的目的是实现图像超分辨率重建，同时保持图像的边缘和纹理结构，并降低运算复杂度，满足实时性的要求。

为了实现上述目的，本发明提出了一种基于总变差分和卷积神经网络的超分辨率重建方法，结合基于重建和学习的超分辨率技术，可以很好的对图像的边缘结构和纹理结构进行重建。

本发明的技术方案如下：

一种基于总变差分和卷积神经网络的超分辨率重建方法，包括如下步骤：

图像分解步骤，采取基于总变差分的方法将原始低分辨率的图像分解成结构部分和纹理部分；

结构部分图像放大步骤，先用线性插值对所述结构部分进行放大得到初始放大图像，然后用锐化滤波器对边缘进行锐化，最后进行结果修正；

纹理部分图像重建步骤，用线性插值针对所述纹理部分进行放大，将放大后的图像输入卷积神经网络，经运算后得到重建后的纹理图像；以及

图像结合步骤，将所述放大后的结构部分图像和所述重建后的纹理图像组合，生成最终的超分辨率图像

总变差分，是指信号的变化程度之和，对于二维图像，总变差分就是图像的梯度之和。图像分解步骤中，基于总变差分的方法是解以下最小化方程：

${\min }_u\∫\[\▿u\]+\mathrm{\λ}\∫\left|f-u\right|,$

其中，f代表所述图像分解步骤中所述原始低分辨率的图像，u代表所述图像分解步骤中所述结构部分，是结构部分u的梯度，λ是拉格朗日乘子，其最优取值为0.85。

结构部分图像放大步骤中进行线性插值放大时采用双三次线性插值技术。

结构部分图像放大步骤中，锐化滤波器对边缘进行锐化是通过对像素进行迭代操作实现，具体如下：

${\mathrm{Iu}}^{n+1}={\mathrm{Iu}}^n-sign\left({\mathrm{\ΔIu}}^n\right)||\▿{\mathrm{Iu}}^n||t,$

其中，Iuⁿ表示第n次迭代操作得到的图像，n＝1时Iu代表结构图像进行线性插值放大后的初始图像；t是迭代步长，ΔIuⁿ和通过以下方式进行计算，

$\mathrm{\Δ}Iu={\mathrm{Iu}}_{xx}\·{\mathrm{Iu}}_x^2+2\·{\mathrm{Iu}}_{xx}{\mathrm{Iu}}_x{\mathrm{Iu}}_y+{\mathrm{Iu}}_{yy}\·{\mathrm{Iu}}_y^2,$

$\▿Iu=\sqrt{{\mathrm{Iu}}_x^2+{\mathrm{Iu}}_y^2},$

其中，Iu_x和Iu_y分别是图像I_u水平和垂直方向的一阶导数。

迭代总次数n的最优取值为50，迭代步长t的最优值为0.1。

结构部分图像放大步骤中结果修正的方法是对每个像素点使用其周边S×S窗口内像素点进行加权平均来得到修正后的灰度值。

其中，权值使用基于灰度强度和灰度分布的像素点的相似性进行估计，所述基于灰度强度和灰度分布的像素点的相似性通过像素点周边N×N相应图像块的灰度强度和灰度分布的相似性来估计，依据如下方程：

$\mathrm{\ω}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{{\mathrm{\σ}}_1}}{e}^{-\frac{h(m,n)}{{\mathrm{\σ}}_2}}$

其中，ω(m,n)表示赋予SxS窗口内像素点y(m,n)的权值；Z(i,j)是归一化常量，代表所有权值的总和；参数σ₁和σ₂控制指数方程的衰减速度，d(m,n)为像素点y(i,j)周边N×N的像素点组成的图像块N(i,j)和像素点y(m,n)周边N×N的像素点组成的图像块N(m,n)之间的灰度强度差异，h(m,n)为图像块N(i,j)和N(m,n)之间的灰度分布差异。

纹理部分图像重建步骤中进行线性插值放大时采用双三次线性插值技术。

纹理部分图像重建步骤中的卷积神经网络包括输入层、隐含层和输出层；纹理部分图像重建步骤中的运算是依据卷积神经网络模型对所述放大后的图像进行重建，卷积神经网络模型通过训练建立，训练方法如下：

选取若干幅纹理图像作为训练集，对每一幅图像，将原图按一定的比例采用双三次插值的方法进行降采样，将降采样之后的图像作为低分辨率图像，将原图作为目标图像，将低分辨率图像通过双三次插值，放大到和原图一致大小，将放大后的图像划分成多个固定大小的图像块，相应的原图也按相同方式划分，从而构成输入和输出图像对，最后进行配对训练。

本发明具有如下有益效果：

本发明的一种基于总变差分和卷积神经网络的超分辨率重建方法，将图像分解成结构图像和纹理图像，并且根据这两种图像的特点分别按不同的方法进行重建。其中，对于结构图像的重建，先使用简单的线性插值技术，放大到和目标大小一致，然后采用一个锐化滤波器，迭代的对图像进行锐化，之后，进行插值修正，使最终放大之后的结构图像既能有锐利的边缘，也能抑制锯齿效应的产生。对于纹理结构的重建，充分利用卷积神经网络对高频信息重建的能力，同时，只对纹理图像进行处理，大大简化了运算复杂度。本方法可以同时对图像的边缘和纹理进行很好的重建，为后续的应用奠定了基础，同时，只有较低的运算量，可以满足实时性的要求。

附图说明

图1是本发明的基于总变差分和卷积神经网络的超分辨率重建方法流程图；

图2是本发明实施例的图像分解示意图，其中，(a)是原始图像，(b)是结构部分，(c)是纹理部分；

图3是本发明实施例中对结构部分进行放大的子流程示意图；

图4是本发明实施例的结构图像进行结果修正前后对比图，其中，(a)是修正前的效果图，(b)是修正后的效果图；

图5是本发明实施例中纹理部分的图像重建的子流程示意图；

图6是本发明实施例的卷积神经网络的训练方法流程图；

图7是本发明实施例的卷积神经网络的训练过程示意图。

具体实施方式

以下结合附图对本发明做进一步详细阐述。

如图1所示，一种基于总变差分和卷积神经网络的超分辨率重建方法，包括如下步骤：

在步骤S1中进行图像分解，将一幅图像f分解成结构部分u和纹理部分v，f＝u+v。其中结构部分相对平滑，并且具有锐利的边缘，而纹理部分包含图像的纹理和细节。分解采用基于总变差分的方法。总变差分，是指信号的变化程度之和，对于二维图像，总变差分就是图像的梯度之和。图像分解的问题通过解以下最小化方程来求解：

${\min }_u\∫\[\▿u\]+\mathrm{\λ}\∫\left|f-u\right|,$

其中是图像u的梯度，梯度越小，说明图像越平滑，λ是拉格朗日乘子，用来平衡这两部分的权重。λ越大，说明u越接近f，因此就没有那么平滑；λ越小，总变差分项的权重就越大，说明u越平滑。通过实验发现，当λ取0.85时，分解效果较好。分解结果如图2所示。其中，上方图像为原始图像f，下方左侧图为结构部分u，下方右侧图为纹理部分v。

在步骤S2中，对结构部分进行放大，主要是要保持原图边缘的锐度。结构图像包含图像的边缘和平滑部分，对结构部分的放大流程图如图2所示，包括以下三个步骤：

在步骤S21中进行线性插值放大。首先，采用传统的双三次插值处理输入的结构图像，获得初始放大后的结构图像Iu。

双三次插值又叫双立方插值，是用于在图像中“插值”(Interpolating)或增加“像素”(Pixel)数量/密度的一种方法，是能创造出比双线性插值更平滑的图像边缘。

在步骤S22中进行基于冲击滤波的结构图像锐化。采用冲击滤波器对边缘进行锐化操作。冲击滤波器对像素的迭代操作如下：

${\mathrm{Iu}}^{n+1}={\mathrm{Iu}}^n-sign\left({\mathrm{\ΔIu}}^n\right)||\▿{\mathrm{Iu}}^n||t,$

其中，t是迭代步长，ΔIuⁿ和通过以下方式进行计算：

$\mathrm{\Δ}Iu={\mathrm{Iu}}_{xx}\·{\mathrm{Iu}}_x^2+2\·{\mathrm{Iu}}_{xx}{\mathrm{Iu}}_x{\mathrm{Iu}}_y+{\mathrm{Iu}}_{yy}\·{\mathrm{Iu}}_y^2,$

$\▿Iu=\sqrt{{\mathrm{Iu}}_x^2+{\mathrm{Iu}}_y^2},$

其中，Iu_x和Iu_y是图像在水平和垂直方向的一阶导数。实验结果表明，当迭代总次数为50，迭代步长为0.1的时候能取得较好的锐化效果。

以上锐化操作在保持边缘锐度的同时也会引入一些锯齿，所以，在步骤S23中，对插值的结果进行修正。修正采用非局部均值滤波的方式，对于每个像素点，使用周边21×21窗口内像素点进行加权平均来得到修正后的灰度值。权值使用像素点之间的相似性进行估计，像素点的相似性通过图像块的相似性来定义，这样更加精确也更具鲁棒性。

假设当前像素点为y(i,j)，其周边NxN的像素点组成的图像块为N(i,j)。假设图像中另一像素点为y(m,n)，其周边NxN的像素点组成的图像块为N(m,n)。像素点y(i,j)和y(m,n)之间的相似性通过相应图像块的灰度强度和灰度分布的相似性来估计。因为结构图像主要以平滑区域和边缘区域为主，因此，加入灰度强度分布这一项，能更加准确的估计两个图像块之间的相似性。两个图像块之间的灰度强度差异通过以下公式定义：

$d(m,n)={||N(i,j)-N(m,n)||}_2^2,$

其中，是第二范式操作符。

对于图像块的灰度分布，使用感知哈希的方法进行度量。假设二进制图像块H(i,j)和H(m,n)分别为图像块N(i,j)和N(m,n)的哈希值。对于图像块N(i,j)，首先计算它的灰度平均值。然后对于N(i,j)中的每个像素点，如果其灰度值大于平均灰度值则在H(i,j)相应位置赋值为1，否则赋值为0。同理计算图像块N(m,n)的哈希值。两个图像块之间的灰度分布差异通过以下公式定义：

$h(m,n)={||H(i,j)-H(m,n)||}_1^1,$

其中，是第一范式操作符。根据d(m,n)和h(m,n)定义的两类相似性，给像素点y(m,n)赋予一个权值ω(m,n)，用来度量相似度，如以下公式所示：

$\mathrm{\ω}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{{\mathrm{\σ}}_1}}{e}^{-\frac{h(m,n)}{{\mathrm{\σ}}_2}},$

其中，Z(i,j)是归一化常量，代表所有权值的总和，参数σ₁和σ₂控制指数方程的衰减速度。图像块之间的差异越大，赋予相应像素点的权值越小，反之，则权值越大。在此，将窗口块大小N×N设置为7×7，σ₁大小取7×7图像块的方差，σ₂取0.1。

修正前和修正后结果对比图如图3所示，其中左侧图为未经修正的图，右侧图为修正后的图。可以看出，修正之后的结构图像既能有锐利的边缘，也能抑制锯齿效应的产生。

在步骤S3中对纹理图像进行重建。采用基于卷积神经网络的方法。图5是纹理部分的图像重建的流程图，具体步骤包括：

在步骤S31中进行线性插值放大，采用传统的双三次插值处理输入的纹理图像，获得初始放大后的纹理图像。

在步骤S32中进行基于卷积神经网络的纹理图像重建。放大后的图像输入卷积神经网络，输出得到重建后的纹理图像。

传统基于卷积神经网络的方法是，以低分辨率图像作为输入，高分辨率图像作为输出，由于是对图像的全部内容进行重建，因此，网络的结构相对复杂，而且重建效果依赖图像库的大小。这将带了极大的运算复杂度。本发明中的采用的卷积神经网络，将分解之后的纹理图像作为输入，重建之后的纹理图像作为输出。同时，卷积神经网络只包含三层，分别是输入层，隐含层，输出层。因为只需要对纹理结构进行重建。

重建需要建立卷积神经网络模型，具体做法是：

选取MBT数据库中154幅纹理图像作为训练集。训练方法如图6所示，步骤S321中，将原图按一定的比例采用双三次插值的方法进行降采样，然后将降采样之后的图像为低分辨率图像，原图为目标图像；步骤S322中，将低分辨率图像通过双三次插值放大到和原图一致大小；步骤S323中，将放大后的图像划分成多个固定大小的图像块，相应的原图也按相同方式划分；步骤S323中，进行图像配对训练。

以下以图7为例具体说明训练过程。取图像中一个大小为M×M的图像块作为输入。然后通过由n1个卷积核分别在图像块上进行卷积运算。以其中一个卷积核为例，假设卷积核的大小为c×f1×f1，其中c是输入图像的通道数，f1×f1是卷积核的空间大小。然后图像块中任意一个像素点，取其周边f1×f1大小的子块，f1×f1核为权值，进行加权平均，得到新的像素值，作为该卷积核在该像素点位置的特征值。因此，总共有n1个卷积核，会产生n1幅特征图。通过公式表达如下：

F₁(Y)＝max(0,W₁*Y+B₁)，

其中，W₁代表卷积核，B₁代表偏差。*代表卷积运算。

然后，在重建阶段，依旧是采用卷积，此时，卷积核的大小n1×f2×f2，其中n1是第一个卷积层的输出特征图个数，f2×f2是卷积核的空间大小。总共有c个卷积核，因为输出图像是c通道。卷积运算过程和第一层的卷积运算过程一致。该层的输出即为重建的结果。通过公式表达如下：

F₂(Y)＝max(0,W₂*F₁(Y)+B₂)，

其中，本例中是将彩色图像从RGB空间转换到YCbCr空间，而且只对亮度Y进行处理，因此，通道数c为1，M×M取33×33，f1×f1取9×9，n1取96，f2×f2取5×5。卷积神经网络采用caffe框架。

得到训练好的卷积神经网络模型之后，将通过双三次插值进行放大后的纹理图像，作为卷积神经网络的输入，输出就是重建好的高分辨率纹理图像。

在步骤S4中，将放大后的结构图像和纹理图像组合，生成最终的超分辨率图像。

为了验证本发明的优越性，与现有的超分辨率重建算法进行了对比，其中包括传统的双三次插值算法，梯度指导插值算法，偏移场图像放大算法，以及基于稀疏表示超分辨率算法，评价是在图像集Set14中14幅图像上进行，通过对各个算法来重建图像计算客观评价值，包括14幅图像的平均峰值信噪比(PSNR)和结构相似性指数(SSIM)，可以从客观上证明本发明的效果最好，如表1所示。

表1 PSNR及SSIM评价结果