基于多尺度可形变卷积的泛化图像增强方法

本发明涉及图像处理，具体而言，尤其涉及一种基于多尺度可形变卷积的泛化图像增强方法。

背景技术：

1、恶劣环境中拍摄的图像，(如水下图像、低照度图像、有雾图像、噪声图像等)通常表现出不尽人意的外观。这些图像具体表现为对比度低、色偏严重、清晰度差、噪声明显等特点。低质量图像中存在的这些问题严重影响了后续基于视觉任务的性能，如目标检测、目标追踪等。因此提高恶劣环境下拍摄的图像的质量对自动驾驶、水下勘探、场景重构等领域的发展具有重要的意义。

2、近几年，图像增强已经受到国内外学者专家的广泛关注，多样的图像增强方法已经被设计与应用，这些方法在增强退化图像上取得了一定的效果。现有的退化图像增强方法主要分为两大类：传统的图像增强方法与基于深度学习的图像增强方法。

3、一些传统的图像增强方法通过直接调整退化图像的像素分布来调整图像的对比度与颜色分布。其中，许多图像增强方法借鉴直方图均衡化技巧处理拍摄的低质量图像，从而提高图像的对比度，增强图像的亮度。基于融合的图像增强方法也广受欢迎，该方法首先获取同一场景的多幅图像，然后对多幅图像进行权重融合，依次融合图像间的互补特征，获取高质量的图像。除此之外，还有一些传统的图像增强方法对低质量图像的成像过程进行建模，根据所建立的模型提出求解方案，以此求解退化前的高质量图像。其中，大气散射模型、retinex模型等被广泛的应用于水下图像增强、图像去雾、低照度图像增强等领域。传统的图像增强方法能够较好地增强特定场景的退化图像，但其泛化能力较低。具体地，因为没有参照标准的限制，传统的图像增强方法容易产生欠增强与过增强现象。除此之外，基于模型的方法由于模型繁琐、待求参数量多等问题，造成方法自身灵活性与鲁棒性较差。

4、另一方面，随着计算能力的提升与数据样本的丰富，基于深度学习的图像增强方法在该领域逐渐占据主导定位。在大量数据样本与损失函数的训练下，基于深度学习的图像增强方法能够正确地学习到低质量图像与高质量图像之间的映射。在基于深度学习的图像增强方法中，卷积神经网络(cnn)、生成对抗网络(gan)、vision transformer(vit)等模型被新颖的设计，他们在图像增强领域取得了优良的结果。尽管基于深度学习的方法的优越性能已经被见证，但部分方法的泛化能力低下，限制此类方法的应用范围。

5、针对上述两类方法存在的问题，为提高图像增强方法的泛化能力与普适性，本发明提供了一种基于多尺度可形变卷积的泛化图像增强方法。

技术实现思路

1、根据上述提出的不足，本发明提供一种基于多尺度可形变卷积的泛化图像增强方法。本发明主要利用多尺度可形变卷积模块和特征均衡化模块，多尺度可形变卷积模块利用具有不同尺度卷积核的可形变卷积提取不同感受野内的图像特征，特征均衡化模块用于均衡特征值之间的差异，强化不同特征对结果的影响，提高模型的收敛速度。在多尺度可形变卷积模块与特征均衡化模块的共同作用下，本发明提供的方法能够充分地提取图像的特征，鲁棒、稳定地提高恶劣环境下的图像质量。

2、本发明采用的技术手段如下：

3、本发明提供了一种基于多尺度可形变卷积的泛化图像增强方法，包括：

4、采用多尺度可形变卷积模块和特征均衡化模块搭建网络模型；

5、采用训练集对所述网络模型进行训练，得到训练后的所述网络模型；

6、向训练后的所述网络模型输入原始图像，训练后的所述网络模型输出增强图像。

7、进一步地，所述采用多尺度可形变卷积模块和特征均衡化模块搭建网络模型，包括：

8、多尺度可形变卷积模块包括第一多尺度可形变卷积模块、第二多尺度可形变卷积模块、第三多尺度可形变卷积模块和第四多尺度可形变卷积模块；特征均衡化模块包括第一特征均衡化模块和第二特征均衡化模块；

9、顺次连接所述第一多尺度可形变卷积模块、所述第二多尺度可形变卷积模块、第一拼接模块、所述第三多尺度可形变卷积模块和所述第四多尺度可形变卷积模块、第二拼接模块和卷积层；

10、将所述第一特征均衡化模块分别与所述第一多尺度可形变卷积模块、所述第一拼接模块连接，将所述第二特征均衡化模块分别与所述第三多尺度可形变卷积模块、所述第二拼接模块连接。

11、进一步地，所述多尺度可形变卷积模块按照以下方式搭建：

12、顺次连接第一7×7可形变卷积单元、第一lrelu单元、第二7×7可形变卷积单元、第二lrelu单元、第一坐标注意力机制单元；

13、顺次连接第一3×3可形变卷积单元、第三lrelu单元、第二3×3可形变卷积单元、第四lrelu单元；

14、顺次连接第一5×5可形变卷积单元、第五lrelu单元、第二5×5可形变卷积单元、第六lrelu单元、第二坐标注意力机制单元；

15、将逐像素相加单元分别与所述第一坐标注意力机制单元、所述第四lrelu单元、所述第二坐标注意力机制单元连接。

16、进一步地，所述特征均衡化模块，按照以下方式计算：

17、

18、其中，frefined(x)为均衡化后的特征图，f(x)为输入特征图，fmin为特征图最小值，fmax为特征图最大值。

19、进一步地，所述采用训练集对所述网络模型进行训练，所述训练集包括至少一组图像对，所述图像对包括低质量图像和对应的高质量图像，采用的损失函数，按照以下方式计算：

20、

21、其中，为总损失，lmse(g，y)为均方误差损失，lpre(g，y)为感知损失，lssim(g，y)为结构相似性损失，λ为权重。

22、进一步地，所述均方误差损失，按照以下方式计算：

23、

24、其中，h为所述低质量图像的高度，w为所述低质量图像的宽度，y为所述高质量图像，g为所述增强图像，(i，j)为像素位置。

25、进一步地，所述感知损失，按照以下方式计算：

26、

27、其中，h为所述低质量图像的高度，w为所述低质量图像的宽度，y为所述高质量图像，g为所述增强图像，(i，j)为像素位置，φk为通过vgg19网络的第k个卷积层计算得到的特征图。

28、进一步地，所述结构相似性损失，按照以下方式计算：

29、

30、其中，m为图像块的个数，μg为所述增强图像的均值，μy为所述高质量图像的均值，σgy为所述增强图像与所述高质量图像的协方差，σg为所述增强图像的方差，σy为所述高质量图像的方差，c1为第一常量，c1≠0，c2为第二常量，c2≠0。

31、较现有技术相比，本发明具有以下优点：

32、本发明提供的基于多尺度可形变卷积的泛化图像增强方法，采用多尺度可形变卷积模块和特征均衡化模块搭建网络模型；采用训练集对网络模型进行训练，得到训练后的网络模型；向训练后的网络模型输入原始图像，训练后的网络模型输出增强图像。多尺度可形变卷积模块具有不同尺度卷积核的可形变卷积提取不同感受野内的图像特征，特征均衡化模块用于均衡特征值之间的差异，强化不同特征对结果的影响，提高模型的收敛速度。在多尺度可形变卷积模块与特征均衡化模块的共同作用下，本文方法能够充分地提取图像的特征，鲁棒、稳定地提高恶劣环境下的图像质量。