一种基于生成对抗网络的单幅图像超分辨率重建方法及系统

1.本发明涉及图像处理领域，具体涉及一种基于生成对抗网络的单幅图像超分辨率重建方法及系统。


背景技术：

2.图像分辨率越高，图像越清晰，得到的图像中的信息也越准确。成像的效果往往会受到硬件设备的限制，比如元件性能低、设备老化等问题，得到不理想的图像。另外环境因素的不确定性也会干扰拍摄图像的清晰度，比如天气、物体遮挡、空气湿度等。诸多客观因素使得设备在成像的时候出现模糊、噪声、降采样等退化现象，使得最后成像分辨率不高。现实生活中通常增加硬件设备成本，提高成像系统的性能，得到高分辨率图像。使用这种方法存在问题，一方面通过硬件提升的方法代价过于昂贵；另一方面，通过增加成像系统传感器的密度提高图像分辨率目前已达到瓶颈，继续增加摄像机的传感器数量很难再提高图像分辨率。并且，这样的方法仍无法避免环境因素对成像效果的影响。此外，高分辨率图像在存储介质中占用空间大，存储高清图像和视频时，经常出现存储介质空间不够用的情况，也使硬件成本增加。超分辨率重建算法就是为了从软件算法的途径解决上述因图像分辨率产生的问题。
3.超分辨率重建问题的目标是给定一幅或多幅低分辨率图像，恢复其高频细节，得到尽可能合理的高分辨率图像。高分辨率图像一方面有拥有更多的图像像素，另一方面在对同一场景的描述上能体现出更多的细节信息。这样，即使原摄像传感器的分辨率不变，也可进一步提高图像分辨率；此外，面对解决高清图像存储问题，可以先将图像以低分辨率图像进行储存，需要使用时通过超分辨率重建复原，达到节约存储介质空间的目的。
4.图像的超分辨率技术已广泛应用于生产生活，在许多领域取得很重要的成果。比如视频监控、高清电视、数码相机、手机照相技术等。超分辨率重建技术最成熟的应用是在图像和视频压缩传输中。
5.按照重建目标的不同，超分辨率重建问题可以分为三类：单帧图像，多帧图像和视频的超分辨率重建。其中，由于单帧图像没有多帧图像与视频的图像参照信息，其超分辨率重建过程设计有难度。因此，如何提高重建图片的质量，成为亟待解决的问题。


技术实现要素：

6.为了解决上述技术问题，本发明提供一种基于生成对抗网络的单幅图像超分辨率重建方法及系统。
7.本发明技术解决方案为：一种基于生成对抗网络的单幅图像超分辨率重建方法，包括：
8.步骤s1：获取高分辨率图像集i
h
，对i
h
进行裁剪，裁剪尺寸为m
×
m，其中，m小于i
h
中最小尺寸图像的长或宽，得到高分辨率子图像集i
bh
；
9.步骤s2：设置图像下采样因子为s，利用双三次插值法对i
bh
进行下采样，得到低分
辨率子图像集i
bl
，i
bl
中图像的大小为
10.步骤s3：将所述低分辨率子图像集i
bl
输入到生成网络，通过网络的正向传播得到重建后的图像集i
s
，其中，i
s
中图像大小为m
×
m；
11.步骤s4：将i
bh
与i
s
分别送入判别网络中进行正向传播得到其分类概率，以使所述判别网络学习区分真实图像与生成图像；使用交叉熵函数作为损失函数对二者的分类概率进行计算；
12.步骤s5：采用adam算法对所述判别网络的参数反向传播，更新所述判别网络；
13.步骤s6：采用adam算法对所述生成网络的参数反向传播，更新所述生成网络；
14.步骤s7：重复步骤s3～s6，直至当所述生成网络与所述判别网络达到相对的平衡状态时，即所述生成网络的损失函数趋于0，所述判别网络的损失函数趋于1，得到重建的超分辨率图像。
15.本发明与现有技术相比，具有以下优点：
16.1、本发明公开了一种基于生成对抗网络的单幅图像超分辨率重建方法，其中的生成网络方法采用u
‑
net网络结构，相较于传统使用残差结构的生成网络，u
‑
net结构对图像的先验信息提取能力更强，经过u
‑
net结构重建的图片其像素空间更接近于真实图像空间，使生成图像更容易快速的向真实图像的生成空间拟合。且通过实验证明u
‑
net结构可以提升图片重建质量。
17.2、本发明公开的一种基于生成对抗网络的单幅图像超分辨率重建方法，改进了判别网络结构。相较于普遍的使用vgg网络结构的判别网络，本发明引入了残差模块对网络提取深层特征的能力进行提升。使其可以提取到更多更深层的特征信息，让判别网络对生成网络的图像与原图进行判别，迫使生成网络进一步提升生成图像的质量。
附图说明
18.图1为本发明实施例中一种基于生成对抗网络的单幅图像超分辨率重建方法的流程图；
19.图2为本发明实施例中生成网络的结构示意图；
20.图3为本发明实施例中判别网络的结构示意图；
21.图4为本发明实施例中一种基于生成对抗网络的单幅图像超分辨率重建系统的结构框图。
具体实施方式
22.本发明提供了一种基于生成对抗网络的单幅图像超分辨率重建方法，其中生成网络方法采用u
‑
net网络结构，使得重建的图片更接近于真实图像，并在判别网络引入残差模块，提升抽取深层特征的能力,让判别网络对生成网络的图像与原图进行判别，迫使生成网络进一步提升生成图像的质量。
23.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
24.实施例一
25.如图1所示，本发明实施例提供的一种基于生成对抗网络的单幅图像超分辨率重建方法，包括下述步骤：
26.步骤s1：获取高分辨率图像集i
h
，对i
h
进行裁剪，裁剪尺寸为m
×
m，其中，m小于i
h
中最小尺寸图像的长或宽，得到高分辨率子图像集i
bh
；
27.步骤s2：设置图像下采样因子为s，利用双三次插值法对i
bh
进行下采样，得到低分辨率子图像集i
bl
，i
bl
中图像的大小为
28.步骤s3：将低分辨率子图像集i
bl
输入到生成网络，通过网络的正向传播得到重建后的图像集i
s
，其中，i
s
中图像大小为m
×
m；
29.步骤s4：将i
bh
与i
s
分别送入判别网络中进行正向传播得到其分类概率，以使判别网络学习区分真实图像与生成图像；使用交叉熵函数作为损失函数对二者的分类概率进行计算；
30.步骤s5：采用adam算法对判别网络的参数反向传播，更新判别网络；
31.步骤s6：采用adam算法对生成网络的参数反向传播，更新生成网络；
32.步骤s7：重复步骤s3～s6，直至当生成网络与判别网络达到相对的平衡状态时，即生成网络的损失函数趋于0，判别网络的损失函数趋于1，得到重建的超分辨率图像。
33.在一个实施例中，上述步骤s1：获取高分辨率图像集i
h
，对i
h
进行裁剪，裁剪尺寸为m
×
m，其中，m小于i
h
中最小尺寸图像的长或宽，得到高分辨率子图像集i
bh
，具体包括：
34.从高分辨率图像数据集中获取到图像集i
h
，并对i
h
进行裁剪，裁剪尺寸为m
×
m，m严格小于高分辨率图像集i
h
中的最小尺寸图像的长或宽，经裁剪后得到新的、多张高分辨率的小尺寸图像，构成高分辨率子图像集i
bh
。
35.在一个实施例中，上述步骤s2中利用双三次插值法对i
bh
进行下采样，具体包括：
36.步骤s21：构造双三次插值函数，如公式(1)所示：
[0037][0038]
其中，x为i
bh
图像像素点的坐标；
[0039]
步骤s22：对于待插值像素点(x,y)，取其附近的4
×
4领域点(x
i
,y
j
)，i,j＝0,1,2,3，按公式(2)计算插值位置：
[0040][0041]
其中，f(x,y)为像素点(x,y)的值。
[0042]
高分辨率子图像集i
bh
经过上述步骤的下采样处理后，得到低分辨率子图像集i
bl
，i
bl
中图像的大小为
[0043]
将低分辨率子图像集输入生成网络，利用获取图像先验信息能力更强的网络结构可以更有效率的生成图像。同时，在利用先验信息后，生成图像也更接近真实图像。通过实验分析，相比与传统的残差网络生成结构，u
‑
net在对图像的处理上可以从更多维的方向获
取图像先验。因此本发明实施例采用基于u
‑
net的生成网络，通过其结构的特点，逐层将低分辨率子图像的特征进行提取融合，提升重建图像质量。生成网络的结构如图2所示。
[0044]
在一个实施例中，上述步骤s3：将低分辨率子图像集i
bl
输入到生成网络，通过网络的正向传播得到重建后的图像集i
s
，具体包括：
[0045]
步骤s31：将低分辨率子图像集i
bl
通过亚像素卷积进行上采样，其中，亚像素卷积层的计算公式(3)如下所示，放大至重建目标图像的尺寸；
[0046]
i
input
＝ps(lrelu(conv(i
bl
)3))4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0047]
其中，conv表示卷积运算，卷积运算中下标3表示卷积核的尺寸，lrelu为leaky relu函数；ps表示亚像素卷积上采样模块，下标4表示采样倍数，表示ps公式(4)如下所示：
[0048]
ps(t)
h,w,c
＝t
[h/s][w/s]c
·
s
·
mod(w,s)+c
·
mod(h,s)+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0049]
公式(4)表示对形状为h
×
w
×
c
·
s2的输入图像张量元素进行变换，最终得到图像形状变为sh
×
sw
×
c，s为采样因子，c表示图像的色彩通道数，t为转换函数；b为偏置；
[0050]
通过本步骤将低分辨率图像的分辨率提高，从空间上补充了像素。但放大后的图像生成像素是无规律的，需要生成网络进一步的处理。
[0051]
步骤s32：通过步长对i
input
进行n次下采样，n>1，每次下采样后图像尺寸缩小一倍，记第n次下采样后的图像为i
n
；
[0052]
本发明实施例中共进行4次下采样，并保留每次下采样的结果。将步骤s31中，经过上采样放大至重建目标图像的尺寸为m
×
m的特征图，经过4次下采样后，尺寸变为
[0053]
步骤s33：将最后一次下采样的图像i
n
进行通过亚像素卷积方法进行上采样操作，采样后图像再经过n次批量正则化层计算，如公式(5)所示，最终得到图像i'的尺寸与重建目标图像尺寸一致；
[0054]
i'
n
‑1＝bn(upsample(lrelu(conv(i
n
)3))2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0055]
其中，bn表示批量正则化，upsample表示上采样；
[0056]
本发明实施例中，将步骤s32中最后一次下采样的图像i4仍使用亚像素卷积进行上采样(采样因子为2)，上采样结果经过批量正则化运算防止过拟合，再经过卷积运算提取特征并与之前保留的i3结果相加以保证在卷积运算后特征不退化。此过程也进行四次，最终得到图像尺寸与样本集中图像块的大小一致。
[0057]
步骤s34：将i'通过三层卷积网络进行非线性映射重组，最后经过sigmoid函数激活得到重建后的图像集i
s
。
[0058]
将上一步中得到特征图i'，再通过三层卷积网络进行非线性映射重组，使128幅特征图映射到rgb三通道。最后经过sigmoid函数激活得到重建图像i
s
。
[0059]
将步骤s1得到的高分辨率子图像集i
bh
和步骤s3经由生成网络生成的重建后的图像集i
s
输入判别网络进行学习，使得判别网络分辨真实与重建图像。在传统的超分辨生成对抗网络，判别网络使用vgg结构。vgg在图像分类任务上有出色的表现，但随着生成网络的能力的提升，vgg结构的判别网络在生成图像与真实图像判别表现上常不尽如人意。通常在短暂的几次迭代周期后，vgg网络已经无法区分生成图像与真实图像。提升vgg结构的网络深度可以改善其判别表现，但过深的网络会引起特征退化。本发明实施例通过融入残差网络的方法，可以有效防止深层网络的特征退化，提升判别网络的能力。本发明实施例中的判
别网络如图3所示，其中sr表示超分辨率图像，hr表示高分辨率图像。
[0060]
在一个实施例中，上述步骤s4：将i
bh
与i
s
分别送入判别网络中进行正向传播得到其分类概率，以使判别网络学习区分真实图像与生成图像，具体包括：
[0061]
步骤s41：图像i
s
与i
bh
输入判别网络中，通过残差块对其提取深层特征；残差块的运算如公式(6)所示：
[0062]
i
f
＝lrelu(bn(conv(lrelu(bn(conv(i)3)))3))+i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0063]
其中，i为输入图像，包括i
s
和i
bh
；i
f
为输出图像；
[0064]
步骤s42：对i
f
通过采用增加卷积步长的下采样方法得到更多更深层的特征图，其过程如公式(7)～(8)所示；
[0065]
i
o
＝i
f
+f(lrelu(bn(conv(i
f
)3)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0066][0067]
本发明实施例将i
f
通过一个由两层卷积层组成的残差模块进一步提取深层特征，并使用vgg结构的方式对i
o
进行下采样得到更局部的深层特征。同时，增加卷积核的数量使特征图的数量也增加。下采样模块的组成结构与残差模块类似，但在第二个卷积层中，卷积核数量使前一个的一倍，且卷积的步长为2。
[0068]
步骤s43：重复步骤s41～s42，直到提取出1024张特征图；
[0069]
本发明实施例中重复步骤s41～s42的过程4次，以第一次下采样过程中64个卷积核开始为例，此时最终的特征图数量共有1024张。
[0070]
步骤s44：对1024张特征图进行最大池化运算，并通过全连接层与leaky relu激活函数运算后得到其分类概率。
[0071]
最大池化运算后通过两层全连接层得到图像的分类值，最终用sigmoid函数将值转变到(0,1)之间，使其成为真正的类概率。此过程可以用如下公式表示：
[0072]
p
i
＝sigmoid(f(lrelu(f(maxpool(
·
))
1024
))1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0073]
在一个实施例中，上述步骤s5：采用adam算法对判别网络的参数反向传播，更新判别网络，具体包括：
[0074]
构建判别网络损失函数，如公式(10)所示，对其进行求导，再通过adam算法进行优化；
[0075][0076]
其中，d是判别网络，g是生成网络，θ表示相应网络的参数，p
train
为真实高分辨率图像的概率分布，p
g
为低分辨图片经重建后的图像的概率分布。
[0077]
由于初次重建的图像与真实图像差异较大，判别网络容易区分。随着生成网络生成图像质量越高，利用公式(11)的判别网络损失函数，可以使判别网络能更好博弈，同样需要对其进行反向传播
[0078]
在一个实施例中，上述步骤s6：采用adam算法对生成网络的参数反向传播，更新生成网络，具体包括：
[0079]
构建生成网络损失函数，如公式(11)所示，对其进行求导，再反向传播；
[0080]
g
loss
＝l
imgloss
+6
×
10
‑3l
vggloss
+10
‑3l
advloss
+2
×
10
‑8l
tvloss
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0081]
其中，l
imgloss
与l
vggloss
表示生成网络的内容损失，l
advloss
表示在判别过程中的对抗
损失，l
tvloss
表示重建后图像的全变差损失，其表示如下述公式(12)～(15)所示：
[0082][0083][0084][0085][0086]
其中，l
imgloss
中s为上采样因子，l
vggloss
中h
i,j
，w
i,j
为所采用的判别网络相应特征图的高度与宽度，φ
i,j
为在经过第i次池化前，通过第j次卷积后的特征图运算，β为tvloss的可调参数，当β<1时容易生成图像伪影，β>1时，图像会更加平滑。
[0087]
在一个实施例中，上述步骤s7：重复步骤s3～s6，直至当生成网络与判别网络达到相对的平衡状态时，即生成网络的损失函数趋于0，判别网络的损失函数趋于1时，得到重建的超分辨率图像。
[0088]
实施例二
[0089]
如图4所示，本发明实施例提供了一种基于生成对抗网络的单幅图像超分辨率重建系统，包括下述模块：
[0090]
获取高分辨率子图像集模块41，用于获取高分辨率图像集i
h
，对i
h
进行裁剪，裁剪尺寸为m
×
m，其中，m小于i
h
中最小尺寸图像的长或宽，得到高分辨率子图像集i
bh
；
[0091]
获取低分辨率子图像集模块42，用于设置图像下采样因子为s，利用双三次插值法对i
bh
进行下采样，得到低分辨率子图像集i
bl
，i
bl
中图像的大小为
[0092]
获取重建后的图像集模块43，用于将低分辨率子图像集i
bl
输入到生成网络，通过网络的正向传播得到重建后的图像集i
s
，其中，i
s
中图像大小为m
×
m；
[0093]
判别模块44，用于将i
bh
与i
s
分别送入判别网络中进行正向传播得到其分类概率，以使判别网络学习区分真实图像与生成图像；使用交叉熵函数作为损失函数对二者的分类概率进行计算；
[0094]
更新判别网络模块45，用于采用adam算法对判别网络的参数反向传播，更新判别网络；
[0095]
更新生成网络模块46，用于采用adam算法对生成网络的参数反向传播，更新生成网络；
[0096]
获取重建超分辨率图像模块47，用于判断当生成网络与判别网络达到相对的平衡状态时，即生成网络的损失函数趋于0，判别网络的损失函数趋于1时，得到重建的超分辨率图像。
[0097]
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。