一种基于Transformer的水下图像增强方法

一种基于transformer的水下图像增强方法
技术领域
1.本发明涉及数字图像处理和水下图像处理技术领域，是一种基于transformer的水下图像增强方法。


背景技术：

2.海洋有着丰富的自然资源，进行水下的光学观察是人类了解海洋、利用海洋资源发展的重要手段。水下光学图像是其中很重要的组成部分，它可以承载丰富的水下信息，其在渔业、水产以及军事方面均有重要的作用。然而，水下环境和陆地环境不同，在水下成像的过程中会产生许多的干扰，光穿过水的同时会被水吸收和散射，产生衰减，导致影响光学成像的图像色彩和纹理特征，产生退化。水深增加，自然光源传播的困难也会逐渐增加，自然光源中的不同频率的光能传输的最大深度也不同，因此在比较深的水下获得的水下图像通常更加偏蓝色或者黄绿色，并且质量会下降、细节较为模糊、偏暗等。针对这类水下退化图像进行图像质量和细节特征方面的增强，有利于恢复和提高图像之中的有用信息，对于下游任务的开展十分有帮助。


技术实现要素：

3.本发明为了解决水下图像中的质量下降、模糊等问题，本发明提供了一种基于transformer的水下图像增强方法，本发明提供了以下技术方案：
4.一种基于transformer的水下图像增强方法，包括以下步骤：
5.步骤1：通过输入端输入待增强的水下图像，采用多级下采样模块通过卷积的方式进行下采样，获得不同尺度下的图像；
6.步骤2：通过全局特征提取模块采用卷积结合残差块的方式，进行不同尺度下图像的特征提取，获得不同尺寸下的特征图；
7.步骤3：将最小尺寸的特征图输入编码器，并采用多级特征深化提取的方式进行处理；
8.步骤4：将解码器的输出进行块解码，将最小尺寸特征图经过transformer的输出从序列重新恢复成图像形式；
9.步骤5：经过多级上采样模块进行尺度上的恢复，结合之前的多级细节深化模块，获得输出的增强图像。
10.优选的，所述步骤1具体为：
11.使用不同尺寸的卷积核进行逐级下采样，对原始图像逐渐减小尺寸，在获得不同尺度下的原始图片的同时，将后续transformer处理所需的内存进行限制。
12.优选的，所述步骤2具体为：
13.使用残差块进行特征提取，残差块由两个不改变图尺寸的卷积层结合批标准化和激活函数组成，获得不同尺寸下的多级特征图，为后续的深化特征做准备。
14.优选的，所述步骤3具体为：
15.针对尺寸最小的特征图进行分块编码，将编码后的图像输入transformer的编解码器；针对中间尺寸的特征图，使用第一细节深化模块进行细节特征提取；针对原尺寸的特征图，使用全局深化模块进行细节特征提取；针对transformer的编码器输出，使用第二细节深化模块进行提取。
16.优选的，第一细节深化模块部分为多层感知机搭建的小型特征提取网络，用作深化部分细节；全局深化模块则是采用二维傅里叶变换的方式，将图像转换到频域后结合自适应滤波和softmax层获得频域细节的评价图，和原图相乘后再和原图相加，用以深化频域细节，后经傅里叶反变换获得全局深化过的原尺寸图。
17.优选的，所述步骤5具体为：
18.采用转置卷积的方式进行上样，在上采用的同时进行学习，对比插值类型的上采样模块有着更好的恢复效果，在每一级上采样的同时融合之前深化过的多级特征图，直到最终获得输出的增强图像，在融合的时候采用可学习的参数进行控制，获得更合适的融合效果。
19.本发明具有以下有益效果：
20.本发明所述方法可用于数字图像的增强，特别适用于水下较为复杂环境下受水各种因素影响较大的水下退化图像。通过采用多级深化细节的方式，可以充分利用图像在不同尺度下的特征，并且结合当前深度学习和计算机视觉领域中效果较为突出的transformer结构，能够很好的增强图像中的细节部分，对于一些退化现象较为严重的图像也有着不错的增强效果。
21.本发明所述的一种基于transformer的水下图像增强方法是基于数字图像处理、计算机视觉和深度学习等技术实现的，有着良好的图像增强效果，在模型训练好之后，增强过程变为端到端，较为简便。应用transformer进行水下图像增强，不仅能够提高增强的效果，还可以更好的深化细节特征。transformer和深度学习应用在水下图像处理中目前较为少见。
22.本发明所述的一种基于transformer的水下图像增强方法主要技术有transformer、数字图像处理技术、深度学习技术等。本发明采用基于transformer的水下图像增强方法，不仅适用于水下图像增强，同时也适用于一些陆地环境或其他一些有退化或细节模糊的光学图像增强。
附图说明
23.图1是全局深化模块框图；
24.图2是第一细节深化模块框图；
25.图3是第二细节深化模块框图；
26.图4是基于transformer的水下图像增强网络模型框图。
具体实施方式
27.以下结合具体实施例，对本发明进行了详细说明。
28.具体实施例一：
29.根据图1至图4所示，为解决上述技术问题采取的具体优化技术方案是：本发明涉
及一种基于transformer的水下图像增强方法：
30.一种基于transformer的水下图像增强方法，包括以下步骤：
31.步骤1：通过输入端输入待增强的水下图像，采用多级下采样模块通过卷积的方式进行下采样，获得不同尺度下的图像；
32.所述步骤1具体为：
33.使用不同尺寸的卷积核进行逐级下采样，对原始图像逐渐减小尺寸，在获得不同尺度下的原始图片的同时，将后续transformer处理所需的内存进行限制。
34.步骤2：通过全局特征提取模块采用卷积结合残差块的方式，进行不同尺度下图像的特征提取，获得不同尺寸下的特征图；
35.所述步骤2具体为：
36.使用残差块进行特征提取，残差块由两个不改变图尺寸的卷积层结合批标准化和激活函数组成，获得不同尺寸下的多级特征图，为后续的深化特征做准备。
37.步骤3：将最小尺寸的特征图输入编码器，并采用多级特征深化提取的方式进行处理；
38.所述步骤3具体为：
39.针对尺寸最小的特征图进行分块编码，将编码后的图像输入transformer的编解码器；针对中间尺寸的特征图，使用第一细节深化模块1进行细节特征提取；针对原尺寸的特征图，使用全局深化模块进行细节特征提取；针对transformer的编码器输出，使用第二细节深化模块2进行提取。
40.第一细节深化模块1部分为多层感知机搭建的小型特征提取网络，用作深化部分细节；全局深化模块则是采用二维傅里叶变换的方式，将图像转换到频域后结合自适应滤波和softmax层获得频域细节的评价图，和原图相乘后再和原图相加，用以深化频域细节，后经傅里叶反变换获得全局深化过的原尺寸图。
41.步骤4：将解码器的输出进行块解码，将最小尺寸特征图经过transformer的输出从序列重新恢复成图像形式；
42.步骤5：经过多级上采样模块进行尺度上的恢复，结合之前的多级细节深化模块，获得输出的增强图像。
43.所述步骤5具体为：
44.采用转置卷积的方式进行上样，在上采用的同时进行学习，对比插值类型的上采样模块有着更好的恢复效果，在每一级上采样的同时融合之前深化过的多级特征图，直到最终获得输出的增强图像，在融合的时候采用可学习的参数进行控制，获得更合适的融合效果。
45.具体实施例二：
46.步骤一、将待增强图像经过一些前期处理，输入到水下图像增强处理网络；
47.步骤二、使用水下图像处理网络针对这一类有退化的水下图像进行增强；
48.步骤三、输出并获得最终增强后的结果图
49.所述步骤一具体为：首先针对由各种来源获取到的待增强光学图像(水下光学图像)进行预处理，由于网络的输入部分的尺寸固定，需要将输入图片的尺寸处理成合适的大小。
50.所述步骤二具体为：使用本发明中的水下图像增强网络进行图像增强。本发明中设计的实际上是一个端到端的网络，要得到的效果是将图片输入网络中后直接获得输出增强的图片。网络的主体结构使用transformer进行处理，在其中设计了多级细节增强模块进行图像增强。如图1，是特征深化模块中的全局特征深化模块。首先将输入经过傅里叶变换后变换到频域，再经过自适应滤波器和softmax组合成的深化细节部分，通过残差连接得到输出。如图2，是第一细节深化模块1的结构，采用两个多层感知机块跨层连接，其中多层感知器块的结构不固定，通常采用全连接层和激活函数交替连接的形式，层数可按照实际情况调整。如图3，是第二细节深化模块2的结构，采用自适应滤波器和transformer解码器组构成，其中解码器输入同主体transformer编解码器组不同的可学习参数，用于观察更多不同的细节特征。综合上面这些多级特征提取模块，主体采用多级上下采样和编解码以及tranformer编解码器组，组成整个水下图像增强网络，如图4。
51.所述步骤三具体为：经过主体增强网络后可得到增强后的图像，可为后续的下游视觉任务提供图像。
52.以上所述仅是一种基于transformer的水下图像增强方法的优选实施方式，一种基于transformer的水下图像增强方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。