基于卷积神经网络的移动端轻量级图像超分辨率重建方法

本发明涉及数字图像处理，特别涉及一种仅依靠卷积神经网络且基于等价转化技术的移动端轻量级图像超分辨率重建方法。

背景技术：

1、图像和视频超分辨率将低清晰度转化为高清晰度，在许多领域都有着广泛的应用，包括医学影像，卫星图像，医学影像等等。例如，某公司使用了基于深度学习的视频超分辨率技术将标清电视(sdtv)提升为高清电视(hdtv)。近年来，随着移动端设备的普及和性能的提升，将现有的图像超分辨率模型进行优化并部署到移动端有非常重要的意义。

2、图像超分辨率模型分为传统的超分辨率模型，基于插值如双线性插值，双三次插值，实现简单但是效果不佳，基于深度学习的超分辨率模型比较复杂，需要大量的成本和计算资源，超分辨率效果较好。然而，现有的超分辨率模型很少针对于终端设备的硬件进行相关的优化和适配。

3、卷积神经网络(convolutional neural networks,cnn)一般是由卷积层，池化层以及全连接层组成，可以提取图片特征，将大量参数降维为少量参数。目前，卷积神经网络在图像超分辨率领域有出色的效果。近几年也出现了越来越复杂的卷积网络用于图像超分辨率，(即卷积层数更深更多)伴随着越来越出色的性能。例如，lim等提出的multi-scaledeep super resolution(mdsr)(enhanced deep residual networks for single imagesuper-resolution.2017ieee conference on computer vision and patternrecognition workshops(cvprw))有160层卷积网络，而最开始提出的dong等提出的superresolution convolutional neural network(srcnn)(image super-resolution usingdeep convolutional networks.ieee transactions on pattern analysis and machineintelligence,38(2),295–307.

4、https://doi.org/10.1109/tpami.2015.2439281)只有3层卷积网络。其存在的缺陷：

5、1、大多数基于深度学习的图像超分辨率具有很好的图像恢复的准确度，但是模型训练和预测的复杂度，存储和时间耗费都很高。例如，swinir模型基于swin transformer(swinir:image restoration using swin transformer.2021ieee/cvf internationalconference on computer vision workshops(iccvw),1833–1844.https://doi.org/10.1109/iccvw54120.2021.00210)有较好的图像超分辨率效果，但模型有约12m的参数量，不适用于移动端的情形。

6、2、一些比较小的卷积神经网络超分辨率网络能够在移动端设备实现接近实时的速度，但以psnr度量的超分辨率准确度比较有限。

7、结构重参数化技术是指在训练过程中使用较大的模型，通过参数的等价转化将其转化为另外一组参数用于推理，使得推理时使用的模型较小，消耗更少的资源并且保留大模型的精度。结构重参数化技术在移动端场景有很好的应用场景。例如，zhang等人提出的edge-oriented convolution block for real-time super resoluion(ecbsr)(edge-oriented convolution block for real-time super resolution on mobiledevices.proceedings of the 29th acm international conference on multimedia,4034–4043.https://doi.org/10.1145/3474085.3475291)一个适用于超分辨率任务的重参数化模块ecb,将包含3*3,1*1卷积，相关梯度信息在推理时都折叠为一个3*3卷积，从而减小推理时模块的体积，进而加快移动端的推理速度。其存在的缺陷：

8、1、重参数化技术将几个卷积合并为一个卷积，对于卷积中间存在relu等非线性层的情况，并不适用。

9、2、现有的重参数化技术没有对移动端现有设备算子进行具体分析，因而对于移动端的场景有一些不够适用的情况。例如，对于现有的智能电视平台的int8量化模型没有进行相关优化。

技术实现思路

1、本发明的目的是针对现有技术的缺陷，提供了一种基于卷积神经网络的移动端轻量级图像超分辨率重建方法。仅依靠卷积神经网络且基于等价转化技术，模型较小，在有较好的图像恢复质量的同时，训练速度快，适用于移动端的场景。

2、为了实现以上发明目的，本发明采取的技术方案如下：

3、一种基于卷积神经网络的移动端轻量级图像超分辨率重建方法，所述方法包括以下步骤：

4、s1：使用数据集div2k，div2k数据集包含数百张图片，低分辨率图片通过高分辨率图片双三次下采样生成，得到训练数据集；

5、s2：构建用于移动端的图像超分辨率网络

6、s21：构建训练阶段的图像超分辨率网络，该网络包括：

7、特征提取部分，使用卷积层以及重参数化模块对于图片的特征进行提取；

8、图像重建部分，使用像素重组对于提取的特征进行重建，并附加全局的残差；最后，将特征使用算子clip转化到[0,255]范围中以适用于int8量化情形；

9、s22：将步骤s21的训练阶段的超分辨率网络等价转化，得到推理阶段的图像超分辨率网络即用于移动端的图像超分辨率网络，具体包括：

10、对于算子repeat，由得

11、

12、则使用卷积核为repeat(i,n)的卷积替换算子repeat，其中x为输入张量，i为单位矩阵，n代表将输入张量重复n次，为卷积操作；

13、对于算子add，在训练阶段的网络中为两个卷积网络，即和其中w1和w2是两个不同的卷积核，x和y是两个不同的输入张量，b1和b2是卷积核对应的张量；

14、将算子add转化如下，即卷积核变为[w1,w2]，偏置变为b1+b2

15、

16、对于算子concat，在训练的网络中为conv2d_relu层，则转化如下，卷积核变为偏置为

17、

18、对于算子clip，根据算子clip与relu的等价转化关系为：

19、clip(x)＝relu(-relu(-x+255)+255)

20、将算子clip等价转化为两个卷积层，卷积核为-i，偏置为255

21、

22、

23、s3：训练移动端的图像超分辨率网络

24、将s1得到的训练数据集输入到构建完成的移动端的图像超分辨率网络中，输出高分辨率图片；数据集中的图片随机旋转和翻转，比较数据集中的原始图片与生成的高分辨率图片的损失，基于损失进行反向传播计算，直至训练结束；损失函数为l1 loss，即mae

25、

26、与现有技术相比，本发明的优点在于：

27、1)在维持较好的峰值信噪比(psnr)超分辨率准确度的基础上，在移动端设备上有相当快的速度，单张图片可以在30ms以内实现*2，*3倍数的超分辨率，同时可以在移动便携设备上运行本方法。

28、2)使用峰值信噪比(psnr)度量的准确度中，本发明相比于之前相同参数量的模型有较大的提升，在set5数据集的*3倍的测试上，可以实现pnsr为31.1，14.6ms的推理速度，相比于现有的针对于移动端设备进行优化的ecbsr方法即30.8的psnr和13.3ms的推理速度，由较大的提升。

29、3)相比于重参数化技术等，本发明对卷积层以及relu进行等价转化，转化为模型更简单的推理时候的网络。

30、4)对于clip算子进行了优化，即对于当前的智能电视平台的int8量化模型进行了相关优化和适配。