一种图像超分辨率网络模型和重建方法

本发明涉及图像超分辨率，特别是涉及图像超分辨率重建方法。

背景技术：

1、图像是重要的信息载体，图像分辨率质量对于图像内容的信息提取和目译判读具有非常重要的影响。因此，超分辨率图像蕴含的像素密度更高，高频纹理细节更丰富，提供的有效信息更多。在5g时代的背景下，智能设备逐渐普及到生活的每个角落，针对各种场景的成像设备也层出不穷。在实际应用场景中，由于硬件水平及造价成本等限制，以及设备成像过程受到光学模糊、运动模糊、压缩噪声和机械振动等诸多因素的影响，导致最终的成像质量一般，图像分辨率较低。

2、随着srcnn网络的提出，基于深度学习的超分辨率重建方法取得了突破性进展，特别是与传统的算法相比，重建性能得到了很大的提升。目前超分辨率算法随着网络的加深，非线性表达能力也越强，但在网络传播过程中可能带来浅层特征信息的丢失，因此亟需一种能够改善浅层特征信息丢失的方法。

技术实现思路

1、本发明提供一种图像超分辨率网络模型和重建方法，通过将图像超分辨率网络模型改为mcran网络，改善了超分辨率网络应用过程中浅层特征信息丢失的问题，提高了图像超分辨率的视觉质量。

2、为实现上述效果，本发明的技术方案如下：

3、一种图像超分辨率网络模型，图像超分辨率网络模型为mcran网络，mcran网络包括依次连接的浅层特征提取模块、深层特征提取模块、上采样模块；

4、浅层特征提取模块由依次连接的卷积层conv_1、第一leaky relu非线性激活函数组成；深层特征提取模块由8个依次连接的mrab模块、卷积层conv_2、第二leaky relu非线性激活函数组成；上采样模块由依次连接的卷积层conv_3、第三leaky relu非线性激活函数、卷积层conv_4、亚像素卷积模块组成。

5、需要说明的是，浅层特征提取模块、深层特征提取模块、上采样模块均设有leakyrelu非线性激活函数以增加超分辨率网络的非线性能力。深层特征提取模块一共使用8个mrab模块进行串联，旨在更好地提取图像特征信息。

6、本发明mcran网络是对srresnet网络的改进，在原始srresnet网络中的残差结构中包含批归一化层(bn)，为加快学习收敛速度，存在梯度消失的问题。但对于超分辨率重建任务来说，批归一化层在传统的重构方法edsr中被证明效果不佳；批归一化层在训练时，使用一个小批次训练数据的均值和方差对该批次特征进行归一化，但在测试阶段批归一化层使用整个测试集上数据的均值和方差进行预测，当测试集与训练集的数据量有较大差异时，在梯度计算时可能会引入噪声，从而生成伪影，弱化了单张图像本身特有的一些细节信息，并且限制模型的泛化能力。所以本发明在设计mcran网络时移除了批归一化层，以更有利于超分辨率网络的训练。

7、进一步的，所述卷积层conv_1、卷积层conv_2、卷积层conv_3、卷积层conv_4的卷积核均为3x3。

8、进一步的，所述mrab模块包括输入端xn-1、卷积层conv1_1、卷积层conv1_2、卷积层conv1_3、第一融合层、卷积层conv2_1、卷积层conv2_2、第二融合层、卷积层conv3_1、通道注意力模块，输出端xn；

9、其中，输入端xn-1分别和卷积层conv1_1、卷积层conv1_2、卷积层conv1_3、第一融合层的输入端连接；输入端xn-1、卷积层conv1_2、输出端卷积层conv1_3的输出端分别和第一融合层的输入端连接，第一融合层的输出端分别和卷积层conv2_1、卷积层conv2_2的输入端连接，输入端xn-1、卷积层conv2_1的输出端、卷积层conv2_2的输出端、卷积层conv1_1的输出端分别和第二融合层的输入端连接，第二融合层的输出端依次连接卷积层conv3_1、通道注意力模块后得到输出端xn；

10、卷积层conv1_2、卷积层conv1_3、卷积层conv2_1、卷积层conv2_2、卷积层conv3_1均设有leaky relu非线性激活函数。

11、一种图像超分辨率重建方法，包括以下步骤：

12、s1：获取对原始高分辨率图像进行下采样后得到的低分辨率图像，并对所述低分辨率图像进行特征提取以得到初始特征图；

13、s2：利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像；

14、s3：基于所述原始高分辨率图像和所述超分辨率图像构建l1损失函数；

15、s4：利用所述l1损失函数对mcran网络进行训练，以得到训练后的mcran网络模型；

16、s5：将待优化的低分辨率图像输入至训练后的mcran网络模型中，得到相应的超分辨率图像。

17、需要说明的是，初始特征图的分辨率在整个mcran网络提取过程中与原始高分辨率图像保持一致，原始高分辨率图像作为mcran网络的输入图像。

18、进一步的，步骤s1中下采样为双三次插值下采样。

19、进一步的，步骤s2具体为：

20、步骤s2.1：低分辨率图像经过超分辨率网络模型的浅层特征提取模块提取低分辨率图像的低频特征信息，输出64维特征图；浅层特征提取模块的输入输出维度均为64维；

21、步骤s2.2：64维特征图经过深层特征提取模块进行多尺度特征提取，提取高频特征信息；深层特征提取模块中mrab模块的输入输出维度均为64维；

22、步骤s2.3：将所有深层特征提取模块提取后的高频特征信息与浅层特征提取模块提取的低频特征信息进行特征融合，得到特征融合图；

23、步骤s2.4：特征融合图经过上采样模块进行上采样，得到超分辨率图像。

24、需要说明的是，浅层特征提取模块用于提取低分辨率图像中的底层特征信息，采用3×3标准卷积核，并在其后设置leaky relu非线性激活函数增加mcran网络的非线性能力；mrab模块用于特征提取，上采样模块用于将特征图像信息重建为超分辨率图像。

25、进一步的，步骤s2.4具体为：上采样采用亚像素卷积，将特征融合图经过特征提取后输出上采样特征图像，上采样特征图像经亚像素排列后生成r2维度的超分辨率图像，r代表网络重建倍数，通道数即为超分辨率图像尺寸的平方。

26、需要说明的是，上采样特征图像与输入的初始特征图尺寸相同；上采样采用亚像素卷积，利用了特征融合图本身的信息，没有破坏高频特征信息与低频特征信息之间的关联性与空间特征，并通过自适应的方式学习亚像素信息的生成与排列。

27、如果特征融合图进行2倍上采样，那么只需控制亚像素卷积模块的卷积核个数，使特征融合图输出维度为22，再经过亚像素卷积即可重建为2倍的超分辨率图像；同理，重建3倍和4倍图像，只需将r分别设置为3和4；上采样模块通过控制卷积核个数来灵活调整重建倍数，对图像进行任意尺度的超分辨率放大，相比固定尺度的超分辨率可以有更灵活的放大倍数，解决了原始超分辨率网络固定缩放因子的问题。

28、进一步的，步骤s3中l1损失函数表示如下；

29、

30、其中，n表示训练集的数量，ihr和isr分别表示原始高分辨率图像和超分辨率图像。

31、进一步的，步骤s4之前还包括：按照预设下采样倍数对若干数量张原始高分辨率图像进行下采样，以得到相应的低分辨率图像；基于所述原始高分辨率图像和所述低分辨率图像构造用于训练所述mcran网络的训练集；其中，所述训练集中包含所述原始高分辨率图像以及对应的所述低分辨率图像。

32、进一步的，步骤s4具体为：确定预设迭代次数和预设优化器的超参数信息；其中，所述超参数信息包括学习率和参数；基于所述预设迭代次数和所述预设优化器并利用所述训练集和所述l1损失函数对mcran网络进行训练，以得到训练后的mcran网络模型。

33、进一步的，将adam作为训练过程使用的优化器，学习率初始值为0.001，优化器参数包括β1和β2，β1和β2分别为0.9和0.999。

34、本发明根据mrab模块构造mcran网络，mcran网络接收不同尺度的感受野信息，从多个层次进行信息交互和提取。

35、与现有技术相比，本发明技术方案的有益效果是：

36、本发明提出的mcran网络选用mrab模块作为特征提取模块，提升mcran网络的性能，提高了图像超分辨率的视觉质量；低分辨率图像经过mcran网络中获得了视觉质量良好的超分辨率图像；通过设置浅层特征提取模块改善了超分辨率网络应用过程中浅层特征信息丢失的问题，充分利用了图像多尺度感受野的特征信息。