一种基于非对称卷积调制网络的轻量级图像超分辨率重建方法

本发明涉及图像处理，具体涉及一种基于非对称卷积调制网络的轻量级图像超分辨率重建方法。

背景技术：

1、单图像超分辨率(sisr)的目标是通过恢复丢失的细节，从退化的低分辨率图像中重建出相应的高分辨率图像。sisr是一种典型的低水平计算机视觉任务，广泛地应用于许多实际应用中，如卫星成像、医学图像、视频处理等。然而，sisr是一个高度不适定问题，因为一张低分辨率图像可以被许多张不同的高分辨率图像退化。为了解决这一问题，人们提出了许多基于卷积神经网络(cnn)的图像超分辨率重建方法，并且相较于传统方法获得了更好的重建图像质量。dong等人首次提出了基于3层卷积的srcnn模型，并且取得了优越的重建性能。vdsr则通过叠加20个卷积层来进一步提高图像的重建性能。随后，lim等人提出了一个更深层次、更广泛的残差网络edsr，模型的参数量达到了43m。rcan首次将通道注意机制引入到残差块中，并且网络模型的深度达到了400多层。

2、虽然这些方法表现出显著的重建能力，但它们主要是通过堆叠大量的小尺寸卷积核来增加网络的深度，以此来提升模型的重建性能。因此，它们需要消耗大量的计算和存储资源，使其难以应用于资源受限的边缘设备。此外，固定小尺寸的卷积核采用静态权值，缺乏适应性。同时，小尺寸卷积核的接受域非常有限，不能更好地表示图像的全局结构特征。因此，如何解决现有的问题并且提升网络模型的重建效率是十分有必要的。

技术实现思路

1、本发明提出了一种基于非对称卷积调制网络的轻量级图像超分辨率重建方法。

2、为了解决上述技术问题，本发明的技术方案如下：

3、一种基于非对称卷积调制网络的轻量级图像超分辨率重建方法，包括以下步骤：

4、步骤1，构建训练数据集：

5、首先从公共数据库中获取div2k和flickr2k数据集，然后将数据集中的高分辨率图像进行下采样处理，得到相对应的低分辨率图像，最后将这些高分辨率图像和对应的低分辨率图像组成训练样本对，从而得到训练数据集；

6、步骤2，构建轻量级图像超分辨率网络，该网络包含三个部分：

7、浅层特征提取部分，使用一个简单的3×3卷积层来提取浅层特征；

8、深层特征提取部分，使用16个非对称卷积调制块来提取深层特征；

9、图像重建部分，使用重建组件对提取的特征进行重建，恢复出高分辨率图像；

10、步骤3，构建损失函数：

11、该损失函数的数学公式如下：

12、

13、其中，l(θ)表示损失函数，θ表示网络中可以训练的参数，n表示输入到网络中的图像批量大小，facmn(·)表示本发明提出的网络模型，表示第i个低分辨率图像，表示第i个地面真实高分辨率图像；

14、步骤4，训练轻量级图像超分辨率网络：

15、将步骤1中的训练样本对输入到轻量级图像超分辨率网络中，利用梯度下降法，对网络的参数进行迭代更新，直到损失函数收敛为止，从而得到一个训练好的轻量级图像超分辨率网络；

16、步骤5，对低分辨率图像进行超分辨率重建：

17、将自然场景下的低分辨率图像输入到轻量级图像超分辨率网络中，经过网络处理后，得到相应的高分辨率重建图像。

18、所述步骤1中下采样处理指的是，利用双三次插值下采样算法对高分辨率图像进行下采样处理，其过程可以表述为：

19、

20、其中，表示经过下采样后的低分辨率图像，fbicubic(·)表示双三次插值下采样算法，ihr表示原始高分辨率图像，s表示下采样因子。

21、所述步骤2中的非对称卷积调制块由2个ln层、1个非对称卷积调制单元、1个通道增强单元组成；所述的非对称卷积调制单元由3个1×1卷积层，1个gelu激活函数，1个21×1深度非对称卷积层、1个1×21深度非对称卷积层组成；所述的通道增强单元由2个1×1卷积层、1个3×3深度卷积层、1个gelu激活函数、1个通道洗牌操作组成。

22、所述步骤2中的重建组件由1个3×3卷积层和1个高效的像素洗牌操作组成。

23、所述步骤3中的损失函数，本发明采用平均绝对误差函数l1loss来优化模型的参数。

24、与现有技术相比，本发明的有益效果是：本发明提出了一种基于非对称卷积调制网络的轻量级图像超分辨率重建方法，具体来说，本发明通过结合大核设计和卷积调制机制，能够自适应地从大接受域中选择具有代表性的特征。此外，本发明采用深度非对称卷积来进一步降低模型的复杂度。同时，本发明在通道增强单元中引入通道洗牌操作来加强通道间的信息交互，进一步提升模型的性能。与以往的轻量级图像超分辨率重建方法相比，本发明提出的方法不仅重建效果更好，而且模型的复杂度更低，适用于资源有限的边缘设备上。

技术特征：

1.一种基于非对称卷积调制网络的轻量级图像超分辨率重建方法，其特征在于,包括以下步骤：

2.根据权利要求1所述的一种基于非对称卷积调制网络的轻量级图像超分辨率重建方法，其特征在于，所述步骤1中下采样处理指的是，利用双三次插值下采样算法对原始高分辨率图像进行下采样处理，其过程可以表述为：

3.根据权利要求1所述的一种基于非对称卷积调制网络的轻量级图像超分辨率重建方法，其特征在于，所述步骤2中的非对称卷积调制块由2个ln层、1个非对称卷积调制单元、1个通道增强单元组成；

4.根据权利要求1所述的一种基于非对称卷积调制网络的轻量级图像超分辨率重建方法，其特征在于，所述步骤2中的重建组件由1个3×3卷积层和1个高效的像素洗牌操作组成。

5.根据权利要求1所述的一种基于非对称卷积调制网络的轻量级图像超分辨率重建方法，其特征在于，所述步骤3中的损失函数，本发明采用平均绝对误差函数l1loss来优化模型的参数。

技术总结
本发明公开一种基于非对称卷积调制网络的轻量级图像超分辨率重建方法，包括如下步骤：1)构建训练数据集；2)构建轻量级图像超分辨率网络；3)构建损失函数；4)训练轻量级图像超分辨率网络，得到训练好的图像超分辨率网络；5)对低分辨率图像进行超分辨率重建。本发明提出的非对称卷积调制网络，通过构建非对称卷积调制单元，从大接受域中自适应选择关键特征。此外，本发明采用深度非对称卷积来降低模型复杂度。同时，本发明在通道增强单元中引入通道洗牌操作来加强通道间的信息交互，以进一步提升模型性能。与以往的轻量级图像超分辨率重建方法相比，本发明提出的方法不仅重建效果更好，而且模型复杂度更低，适用于资源有限的边缘设备上。

技术研发人员：卢佩,谢峰,刘效勇
受保护的技术使用者：桂林理工大学
技术研发日：
技术公布日：2024/2/1