一种基于联合深度网络的压缩低分辨率图像复原方法与流程

本发明属于数字图像/视频信号处理领域，特别涉及一种基于联合深度网络的压缩低分辨率图像复原方法。

背景技术：

随着多媒体技术的快速发展和广泛的应用，高质量的图像和视频已经成为一种主流的需求。视频数据的质量越高，其分析价值越大。然而，受到有限的信道带宽和存储能力等因素的影响，图像和视频均已压缩形式传输和常态存储。最常见的图像退化因素有下采样和压缩失真。下采样减少了图像的空间分辨率，而压缩失真导致图像存在块效应、振铃、以及模糊等问题。因此，针对压缩失真的低分辨率图像，研究多降质因素图像复原技术，具有重要的理论意义和实际应用价值。

图像超分辨率复原方法能够利用单帧或多帧的低分辨率图像恢复出高分辨率图像。在采用针对无压缩图像的超分辨率方法直接对压缩失真的低分辨率图像进行超分辨率复原时，图像分辨率会提高，但严重的块效应失真现象也会放大。因此，去除块效应成为退化图像复原过程中的一个重要问题。广大学者往往采用预处理、后处理的去噪方法来减少块效应，提高重建图像的主观质量，具有灵活、简单、有效等优势。

现有的传统处理方法通常将图像去压缩失真和超分辨率复原作为分别独立的任务加以解决。或者，有些方法将含有压缩失真的低分辨率图像进行依次串行处理。已有的主要方法分为基于图像增强的预处理方法和后处理方法。在预处理方法中，图像去噪、去块处理模块后级联一个超分辨率复原模块。该方法基本实现图像去块、去噪和空间分辨率提高等功能。但在去噪过程中，其不可避免地丢失的一些图像细节信息，从而降低超分辨率复原的性能。基于图像增强的后处理方法，则在超分辨率复原模块后级联一个图像去噪模块。该方法虽然实现空间分辨率放大，但在超分辨率复原过程中，压缩失真现象也随之放大，这对后续的压缩失真处理造成困难。

以上方法均为浅层学习的方法。由于学习能力有限，这些方法提取的特征是图像的底层特征，该方法的重建性能受到制约。另外，两个降质因素分别独立处理的方式，未能充分考虑两个问题的相互关系。

近年来，基于深度学习的图像复原方法受到了人们的关注。这类方法在领域知识引导及数据驱动下进行网络学习，所获得的特征在预测任务中被证实比传统的手工设计的特征具备更强的表征能力，从而提升预测的准确性。相比于传统的浅层学习方法，深度学习方法取得更优的重建质量。

基于卷积神经网络的超分辨率复原方法与基于稀疏编码的超分辨率复原方法构建等价性，将特征提取、非线性映射、图像重建三个阶段统一到一个深度卷积神经网络中，通过卷积神经网络直接学习低分辨率图像到高分辨率图像的映射关系。在去噪声问题中，该方法在改变训练样本之后，端对端的学习退化图像与复原图像之间的映射关系，可以实现去噪声功能。该方法表明深度卷积神经网络具有强大的特征表示学习能力。然而，在针对同时含有压缩失真和低分辨率降质因素的图像复原中，该方法的重建图像的平坦区域仍含有较明显的块效应。

基于卷积神经网络的去压缩失真复原方法根据去压缩失真任务的特点，在特征提取层后加入特征增强层。该方法首先通过特征提取过程中得到含噪声影响的特征，再将其映射到理想的特征空间，最后完成图像重建。该方法表明深度学习在特征学习过程中具有去压缩失真的能力，并为退化特征到理想特征的映射关系学习提供指导。然而，该方法的卷积核尺寸是为了去压缩失真任务而特定设置，未能实现空间分辨率的放大。

虽然基于深度学习的图像复原方法具有较好的重建效果，但是由于此方法针对解决图像单降质因素问题，当对多降质因素的处理时，此方法无法得到较好的重建图像。

技术实现要素：

本发明的目的在于克服现有技术的不足，针对同时含有压缩失真和低分辨率两种降质问题的低质量图像，提供一个去压缩失真与超分辨率复原的联合深度网络，使其能协同解决具有压缩失真的低分辨率图像的超分辨复原问题。

本发明是采用以下技术手段实现的：一种基于联合深度网络的压缩低分辨率图像复原方法，主要包括整体流程、离线部分和在线部分。

整体流程：首先设计了图像复原的处理流程；然后根据此流程设计了网络结构；最后将该网络各阶段特征图尺寸的调整，完成退化图像映射到复原图像；

离线部分：主要包括3个步骤：训练样本彩色空间变换；训练样本库生成；网络训练及模型获取。其中，训练样本库生成方法中包括训练样本获取的三个阶段；网络模型训练及模型获取阶段包括损失函数、梯度下降法的选取；

在线部分：主要包括5个步骤：特征提取；特征增强；特征图重建；高频信息提取；高频信息融合。其中，特征提取包括图像块提取，特征表示；高频信息融合包括特征融合，残差图像融合。

所述的整体流程，具体步骤如下：

(1)本发明的整体流程。如附图1所示，图像复原流程主要包括去压缩失真处理和超分辨率复原处理。当待处理的退化图像放大倍数为a时，本发明的图像复原流程具体如下：

在去压缩失真处理中，输入退化图像，对其进行特征提取、特征增强和特征映射重建，产生去压缩失真的特征图；然后，在超分辨率复原处理中，首先将去压缩失真的特征图插值放大a倍，输出后的高分辨率HR初始估计图像是输入退化图像尺寸的a倍；然后，将HR初始估计图经过高频特征提取和高频信息融合得到残差图像；最后，残差图像与HR初始估计图像相加后得到重建后的HR图像。

(2)本发明设计的网络结构，各层对应于图像复原的处理流程，具有不同的物理意义。如附图3所示，本发明的网络结构包括28个卷积层，25个RELU激活模块，一个双三次(Bicubic)插值放大模块，两个融合层。其中，在去压缩失真的步骤中，由4个卷积层和3个RELU激活模块组成去压缩失真的子模块，每个卷积层对应本发明中特征提取、特征增强、非线性映射、特征重建的步骤；在尾端级联一个相同的去压缩失真子模块，由两个去压缩失真子模块组成一个去压缩失真的子网络，包括8个卷积层和6个RELU激活模块。在超分辨率复原的步骤中，由一个插值放大模块，20个卷积层，19个RELU激活模块，两个融合层组成一个超分辨率复原子网络，其中高频信息提取阶段采用19个卷积层，重建阶段采用1个卷积层，两个融合层包括特征图融合、残差图像融合。

在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D,其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类。如5×5×3×20:代表滤波器宽高各为5个像素，输入图像通道数为3，共20种。

(3)本发明在图像复原过程中，各卷积层输入和输出特征图的变化如下：

本发明中没有加入池化层和全连接层，在前8个卷积层中先采用先卷积操作，再对输出尺寸变化的特征图采用上采样操作，旨在保证输入特征图与输出特征图的尺寸不变。在压缩失真处理过程中，输入图像大小为1×64×64的特征图，在第一个卷积层中，先经过64个卷积核9×9之后会产生64×56×56的特征图，再经过上采样得到64×64×64的特征图；在第二个卷积层中，输入大小为64×64×64的特征图，先经过32个卷积核7×7之后会产生32×58×58的特征图，再经过上采样得到32×64×64的特征图；在第三个卷积层中，输入大小为32×64×64的特征图，先经过16个卷积核1×1之后会产生16×64×64的特征图；在第四个卷积层中，输入大小为16×64×64的特征图，先经过1个卷积核5×5之后会产生1×60×60的特征图，再经过上采样得到1×64×64的特征图，此时，第四个卷积层的输出特征图与第一个卷积层的输入特征图相等，与第一个到第四个卷积层相同，第五个到第八个卷积层重复它们的操作，第八个卷积层会产生1×64×64的特征图，完成前八个卷积层的去压缩失真处理。在超分辨率复原操作中，去压缩失真处理的输出特征图可作为超分辨率复原处理的输入特征图，输入大小为1×64×64的特征图，经过四倍双三次插值放大产生1×256×256的特征图，作为高分辨率初始估计图，再经过二十个卷积层处理。其中，在第一个卷积层中，输入大小为1×256×256的特征图，先经过64个卷积核3×3之后会产生64×254×254的特征图，再经过64×254×254的特征图上下左右各一个补零后得到64×256×256的特征图；其余第二个到第十九个卷积层与第一个卷积层呈现相同的操作，第十九个卷积层会产生64×256×256的特征图，它是没有信息融合所得到的特征图；在特征图融合层中，分别为第十八个和第十九个卷积层的输出特征图赋予权重0.4和0.6，它们加权后的结果为64×256×256的信息融合特征图；在第二十个卷积层中，分别处理有无信息融合的特征图，在第一个处理过程中，将输入大小为64×256×256的无信息融合特征图经过1个卷积核3×3之后会产生1×254×254的特征图，再经过上采样得到1×256×256的无信息融合的残差图像；在第二个处理过程中，将输入大小为64×256×256的有信息融合特征图经过1个卷积核3×3之后会产生1×254×254的特征图，再经过上采样得到1×256×256的有信息融合残差图像，前后共得到两个输出图像；在残差图像融合层中，给有无信息融合的残差图像分别赋予权重0.6和0.4，它们加权后的结果为1×256×256的残差图像；最后，将与1×256×256的残差图像与1×256×256的高分辨率初始估计图相加后得到1×256×256的高分辨率图像。

所述的离线部分，具体步骤如下：

(1)训练样本彩色空间变换：将图像从RGB彩色空间转换到YCbCr彩色空间；只对图像的亮度通道(Y)进行处理；

(2)训练样本库生成：首先采用滑动窗在图像上滑动，随机裁剪生成大量子图像Z；然后先经过不同放大倍数的下采样D，再经过不同放大倍数上采样U，生成无压缩失真的低分辨率训练样本；最后采用JPEG压缩方法Q，分别进行不同压缩质量参数(CQ)的压缩处理，生成不同压缩失真程度的低分辨率训练样本X。所得训练样本可根据不同阶段重建监督的需求进行分组；图像退化过程如公式(1)所示。

X＝DUQ(Z) (1)

(3)训练网络：首先，为去压缩失真子网络和超分辨率复原子网络分别建立损失监督，并采用常用的梯度下降法求解最小化损失函数的问题。其中，去压缩失真子网络采用MSE损失函数确定误差，通过随机梯度下降法(SGD)调整最优化网络参数，基础学习率设置为0.0001，每训练1000次减半；权重衰减设为0.0005，动量设置为0.9；超分辨率复原子网络采用微批梯度下降法(mini-batch)计算网络误差并调节网络参数，基础学习率设置为0.1，每训练1000次减半；权重衰减设为0.0005，动量设置为0.9；最后，经过反复迭代，当达到预设的最大迭代次数(4万次)时停止训练，获得图像复原的网络模型。

所述的在线部分，具体步骤如下：

(1)对输入图像进行特征提取：获取一幅待处理的压缩失真的低分辨率，采用滑动窗提取重叠的图像块；并将每个图像块表示为向量，由这些向量组合成特征图的集合；根据逐层特征图可视化得到特征变换的重要信息，但是特征提取阶段所得到的特征图含有噪声和伪影；

(2)对含噪声的特征图进行去噪声并实现特征增强：对特征提取得到的特征图进行卷积操作；利用离线训练所得到的含噪声特征与无噪声特征的映射关系，进行含噪声特征的自适应调节，完成含噪声特征到理想特征空间的映射；特征增强层产生去除噪声的特征图，但是所得到的特征图过亮或过暗；

(3)去噪声特征图的重建：将去除噪声特征图中的向量非线性映射到另一个向量中；由这些向量组成多个重建特征图，再由多个重建的特征图平均产生一个重建特征图；

以上三个步骤为一个去压缩失真子模块的处理过程，在去压缩失真子模块之后需要级联一个相同的去压缩失真子模块，重复前三个步骤处理过程，获得去压缩失真重建特征图，它的尺寸与输入图像的尺寸相同；

(4)高频信息提取：对去压缩失真得到的特征图处理，采用双三次插值放大(Bicubic)的方式进行a倍插值放大，产生高分辨率HR初始估计图像，它的尺寸是去压缩失真特征图尺寸的a倍；采用十九个卷积层得到卷积滤波后的特征图；

(5)高频信息融合：第十九层的特征图作为无融合的特征图；将各层卷积后的特征图进行逐层特征可视化、分析各层特征图的相关性，选择加权融合第十八、十九层的特征图，得到融合后的特征图；将有无融合的特征图通过重建层产生两个残差图像，再将两个残差图像加权融合得到融合后的残差图像；最后将融合后的残差图像与高分辨率HR初始估计图相加后得到最终的重建图像。

本发明的特点：

首先，本发明从协同处理压缩失真和降采样因素的角度出发，建立了一种基于联合深度网络的压缩低分辨率图像复原方法，可完成含有压缩失真与低分辨率随机组合的退化图像复原；其次，本发明的网络含有28卷积层，建立细长型的网络结构，根据迁移学习的思想，对预先训练好的模型采用微调的方式完成极深网络的训练收敛，解决梯度消失、梯度爆炸的问题；再者，本发明通过特征可视化完成网络模型参数的设定，端对端的学习退化特征与理想特征的关系，且省去预处理和后处理；最后，本发明完成三个重要融合，相同尺寸特征图的融合，残差图像的融合，高频信息与高频初始估计图的融合。

附图说明：

图1、发明方法总体流程图；

图2、发明方法离线部分流程图；

图3、发明方法在线部分流程图；

图4、去压缩失真子网络逐层可视化结果图；

图5、有无去压缩失真级联结构的实验结果图；

(a)一个去压缩失真子模块的实验结果图；

(b)两个级联去压缩失真子模块的实验结果图；

图6、有无特征融合的实验结果图；

(a)无特征融合层的实验结果图；

(b)有特征融合层的实验结果图；

图7、本发明方法与现有方法主观实验结果比较；

(a)原始图像；

(b)待处理的低质量图像(L4Q20：由原图下采样四倍，JPEG压缩20得到)；

(c)VDSR方法的实验结果图；

(d)FSRCNN方法的实验结果图；

(e)CSCN方法的实验结果图；

(f)本发明的实验结果图；

图8、本发明方法与现有方法客观实验结果比较；

(a)测试图片:(放大四倍，不同压缩比的“buttery”图像)，不同方法的PSNR曲线；

(b)测试图片:(放大两倍，不同压缩比的“buttery”图像)，不同方法的PSNR曲线。

具体实施方式：

以下结合说明书附图，对本发明的实施实例加以详细说明：

一种基于联合深度网络的压缩低分辨率图像复原方法，整体流程图如附图1所示；算法分为离线部分和在线部分；其流程图分别如附图2和附图3所示；离线部分，根据图像下采样和压缩失真程度建立训练样本库；对于一幅尺寸为M×N图像，在第一阶段，首先对其进行S倍下采样，然后进行S倍上采样，最后得到尺寸为M×N低分辨率LR图像；在第二阶段，采用不同压缩质量参数(CQ，Compressed Quality)值对低分辨率图像进行压缩；在第三阶段，首先将有无压缩失真的训练样本作为第一组训练样本库，将高低分辨率的训练样本作为第二组训练样本库；然后将第一、二组训练样本库分别进行去压缩失真子网络和超分辨率子网络的训练；最后由两个级联结构的子网络构成一个联合深度网络。在线部分，避免图像预处理及后处理，对需要输入压缩失真的低分辨率图像，由网络模型预测得出复原图像，进一步提升网络预测性能。

所述离线部分分为3个步骤：

(1)在训练样本彩色空间变换过程中，考虑到国内外通用数据集“91image”的普遍性及重要的实验对比意义，本发明采用图像复原领域通用的包含有91幅自然图像的数据集作为训练样本，该数据集包含91幅无压缩失真的高分辨率图像；在JPEG压缩和模糊前，将图像从RGB彩色空间转换到YCbCr彩色空间；由于数据量化阶段中，亮度数据Y的量化明显比色差数据Cr和Cb的量化表带来的数据损失要小，因此，只对图像的亮度通道(Y)进行处理；

(2)在训练样本库生成的过程中，为了实现去压缩失真与超分辨率复原子网络的协同训练，本发明经过三个阶段获得训练样本库。第一阶段，采用33×33的滑动窗在图像上滑动，将高分辨率HR图像随机裁剪生成大约24,800个33×33子图像，作为无压缩的HR训练样本Zⁱ；第二阶段，先经过不同放大倍数S_i的下采样(S_i＝2,3,4)，再经过不同放大倍数S_i的上采样，输出图像与输入图像(称为无压缩的高分辨率训练样本Zⁱ)尺寸大小相同，生成74,400幅无压缩失真的低分辨率LR训练样本Yⁱ；第三阶段，对74,400幅无压缩失真的LR训练样本运用JPEG压缩方法，分别进行不同压缩质量参数(CQ)值的压缩处理，CQ设定为(10，20，30，40)，生成不同压缩失真程度的低分辨率训练样本Xⁱ；最后阶段，将训练样本分组，将有无压缩失真的低分辨率训练样本可作为去压缩失真子网络的训练样本库，将无压缩失真的高低分辨率训练样本作为超分辨率复原子网络的训练样本库；

(3)网络训练及模型获取的方法，分别为去压缩失真子网络和超分辨率复原子网络建立训练机制，并通过端到端学习得到其映射关系；

去压缩失真模块训练数据集为其中，Xⁱ是压缩失真的低分辨率训练样本，Yⁱ是无压缩失真的低分辨率训练样本，N为训练样本的数量；用均方误差MSE作为损失函数，如公式(2)；通过反向传播的随机梯度下降法SGD使得损失函数最小化，得到调节后的网络参数θ₁＝{W₁，W₂，W₃，B₁，B₂，B₃}；

超分辨率复原模块训练数据集为其中，Yⁱ是无压缩失真的低分辨率训练样本，Zⁱ是无压缩失真的高分辨率训练样本，N为训练样本的数量；残差图像为rⁱ＝Zⁱ-Yⁱ，通过CNN网络训练得到Yⁱ的残差预测F(Yⁱ)，最后，残差预测F(Yⁱ)与插值放大的低分辨率图像Yⁱ相结合得到高分辨率图像Zⁱ，如公式(4)；

用均方误差MSE作为损失函数，如公式(3)；通过反向传播微批(mini-batch)梯度下降法使得损失函数最小化，得到调节后的网络参数θ₁＝{W₁，...，W₂₀，B₁，...，B₂₀}；

Zⁱ＝F(Yⁱ)+Yⁱ (4)

经过反复迭代训练，当达到预设的最大迭代次数(4万次)时停止训练，获得图像复原的网络模型。

所述的在线部分，具体步骤如下：

(1)对输入图像进行特征提取。采用卷积神经网络CNN进行自底向上的特征提取和表达。输入图像为一幅待处理的压缩失真的低分辨率图像，首先对输入的图像采用滑动窗，步长为1，提取重叠的图像块，并将其表示为向量，由这些向量组成特征图的结合；然后根据卷积滤波器的参数设定得到逐级变换的特征图，并实现逐层特征图可视化，根据特征图可视化的结果对卷积滤波器进行优化，可达到网络参数优化的作用；最后特征提取阶段所得到的特征图含有噪声和伪影，需要对其处理。特征提取层公式表示如下：

F₁(X)＝max(0，W₁*X+B₁) (5)

式中，W₁和B₁分别表示特征提取层的卷积滤波器和偏置，W₁的尺寸是1×9×9×64,它表示64种不同的卷积滤波器，每个卷积的核尺寸1×9×9,F₁(X)是特征提取层得到的特征图；

(2)对含噪声的特征图进行去噪声并实现特征增强。首先，将特征提取阶段所得到的特征图作为特征增强层的处理对象；然后采用训练阶段得到的一组卷积滤波器对其处理，完成含噪声特征到理想特征空间的映射，最后特征增强层达到对特征提取层特征图去噪声的作用。特征增强层的公式表示如下：

F₂(X)＝max(0，W₂*F₁(X)+B₂) (6)

式中，W₂和B₂分别表示特征增强层的卷积滤波器和偏置，W₂的尺寸是64×7×7×32,它表示32种不同的卷积滤波器,每个卷积的核尺寸64×7×7,F₂(X)是特征增强层卷积得到的特征图；

(3)无压缩失真特征图重建。首先，将去噪声后特征图中的向量非线性映射到另一个向量中；然后，采用类似于均值滤波器的卷积操作，将特征图中多个过亮和过暗的特征图重建，其中，特征重建层与特征提取层相对应，采用均值功能的卷积滤波器聚合多个特征图为一个特征图；无压缩失真特征图重建的公式表示如下：

F₃(X)＝max(0，W₃*F₂(X)+B₃) (7)

式中，W₃和B₃分别表示非线性映射层的卷积滤波器和偏置,W₃的尺寸是32×1×1×16。一个非线性映射层具有16种不同的卷积滤波器。每个卷积的核尺寸是32×1×1，F₃(X)是通过非线性映射层产生的特征图；

F₄(X)＝W₄*F₃(X)+B₄ (8)

式中，W₄和B₄分别表示特征重建层的卷积滤波器和偏置，W₄的尺寸是16×5×5×1，特征重建层有1个卷积滤波器,等同于均值滤波器的作用，每个卷积的核尺寸是16×5×5，能够实现平均特征图的作用，F₃(X)是特征重建层产生的特征图；

(4)级联网络。以上三个步骤可作为一个去压缩失真子模块，在其后级联1个相同的去压缩失真子模块，由两个去压缩失真子模块组成一个去压缩失真子网络；最后，输入的退化图像经过去压缩失真子网络处理后，产生去压缩失真的特征图；

(5)高频信息提取。首先，在去压缩失真子网络后加入一个双三次bicubic插值放大层，将去压缩失真特征图调整尺寸，得到HR初始估计图Y，其中，双三次bicubic插值放大也是一种卷积操作；然后，采用VGG19网络结构，通过19个卷积层逐层特征提取，其中，更深层的网络会学习到细节信息更多的特征图；该步骤由下式实现：

F₁(X)＝W₁*Y+B₁ (9)

F_i+1(X)＝max(0，W_i*F_i(X)+B_i){i＝2，...19} (10)

式中,W_i和B_i分别表示高频信息提取阶段的卷积滤波器和偏置,其中,卷积滤波器W₁的尺寸是1×3×3×64,第2-19层卷积层W_i的尺寸是64×3×3×64,每个卷积核的尺寸为64×3×3。非线性激活函数ReLu的表示为max(0,X),可以提取有用的特征图；

(6)高频信息融合。首先观察各层特征图，并分析各层特征图，每层包含64种相同尺寸的特征图；然后，通过双流网络得到特征图，一流网络得到未融合的第19层的特征图，另一流网络加权融合第18、19卷积层的特征图，分别为其赋予权值，得到有融合的特征图；最后，有无融合的特征图分别经过第20个卷积层重建获得各自的残差图像，并为其赋予权值，加权融合得到融合后的残差图像；最后，融合后的残差图像与高分辨率HR初始估计图相加后得到最终的重建图像，高频信息融合由以下公式实现：

A(X)＝a×F₁₈(X)+(1-a)F₁₉(X) (11)

式中，F₁₈(X)和F₁₉(X)分别表示为第18层和第19层的特征图，分别为其赋予权值，a为0.4。分别为有无信息融合的特征图通过重建层产生残差图像，由以下公式实现：

K(X)＝max(0，W₂₀*F₁₉(X)+B₂₀) (12)

L(X)＝max(0，W₂₀*A(X)+B₂₀) (13)

F＝a×K(X)+(1-a)L(X) (14)

式中，W₂₀和B₂₀分别表示为重建层的卷积滤波器和偏置，其中，卷积滤波器W₂₀的尺寸是64×3×3×1,每个卷积核的尺寸为64×3×3。L(X)和K(X)分别是通过重建层产生的有无加权融合的残差图像，分别为其赋予权值，a为0.4，得到融合后的残差图像F；

R＝Y+F (15)

式中，将残差图像F和高分辨率初始估计图Y相加得到重建图像R。