基于编码解码注意力与跨层白化的水下图像增强方法

本发明属于计算机视觉与图像处理，尤其涉及一种基于编码解码注意力与跨层白化的水下图像增强方法。

背景技术：

1、海洋中含有丰富的资源，针对海洋资源的探索是人类科研探索的重要组成部分。水下场景存在光吸收现象、光散射现象以及微小粒子，导致水下图像的视觉效果存在失衡问题，图像整体呈现出偏绿色和偏蓝色，并且伴随着细节的模糊与失真，即造成拍摄到的水下图像存在质量降低问题。一方面，低质量的水下图像给水下摄影任务带来了不利影响，造成拍摄到的水下生物视觉效果降低，并且不符合水下生物的真实视觉效果与细节状态；另一方面，对于水下探索设备来说，低质量的水下图像不利于探索任务的正常进行。水下图像增强任务目的包括对水下图像色彩失衡进行校正，以及对细节信息进行复原，提升成像设备拍摄到的低质量水下图像的总体质量。

2、现有的水下图像增强研究提出了多种有效的增强算法，将单张的低质量水下图像作为输入，通过增强算法的处理可以初步地提升图像的视觉质量。islam等人提出了funiegan[islam,m.j.,y.xia,and j.sattar,fast underwater image enhancement forimproved visual perception.ieee robotics and automation letters,2020.5(2):p.3227-3234.]，是一种卷积模型与生成式对抗训练相结合的端到端的水下图像增强方法，但是该方法在增强过程中缺乏对全局信息的提取，导致增强后的图像存在色彩校正不足问题；li等人提出了waternet[li,c.,c.guo,w.ren,et al.,an underwater imageenhancement benchmark dataset and beyond.ieee transactions on imageprocessing,2019.29:p.4376-4389.]，waternet将白平衡、伽马矫正与直方图均衡技术嵌入到卷积神经网络中，该方法增强后的图像在细节复原上存在一定失真现象；liu等人提出了uresnet[liu,p.,g.wang,h.qi,et al.,underwater image enhancement with a deepresidual framework.ieee access,2019.7:p.94614-94629.]，该方法利用了基于残差连接的卷积模型，并采用像素与边缘损失函数进行网络训练，uresnet网络的特征抽取能力不足，导致其内容和结构复原效果受限。总体来说，当前的研究存在三个问题，第一是卷积模型的特征提取与重建能力不足，因此对特征提取与重建能力更强的视觉多头自注意力的研究与应用具有重要意义；第二是网络的特征传递能力不足，缺少针对跨层连接与编码解码架构的探索；第三是缺少对水类型的考虑，导致对多样的水下环境的处理能力不足。

3、随着海洋探索任务的不断发展，水下图像增强技术已经成为海洋探索任务的重要技术成分。因此，针对水下图像的质量退化现象，设计出高质量的水下图像增强算法是亟待解决的问题。

技术实现思路

1、为解决上述问题，本发明公开了针对现有水下图像增强算法存在的视觉效果与细节复原能力不足问题，本发明公开了一种基于编码解码注意力与跨层白化的水下图像增强方法，该方法获得的增强后的水下图像具有更高峰值信噪比值与结构相似性值。

2、为了实现上述目的，本发明采用以下技术方案：

3、第一方面，设定整体网络架构，步骤如下：

4、步骤1：设定水下图像增强网络的路径与整体架构，水下图像增强网络包含三个路径，分别为特征编码路径、特征解码路径以及特征跨层传递路径。采用基于反射填充(reflect padding)与窗口模式(window pattern)的视觉多头自注意力模块作为编码路径与解码路径的核心模块。

5、步骤s2：将基于反射填充与窗口模式的视觉多头自注意力模块的构建划分为三个过程，第一个过程是视觉多头自注意力计算；第二个过程是由反射填充操作保证特征图的长宽尺寸是窗口大小的整数倍数；第三个过程是采用多层感知机与层归一化完成模块构建。

6、步骤s3：设定三条路径的功能以及网络的训练方式。水下图像的特征编码路径负责特征的提取与降维过程，特征解码路径负责特征升维与图像重建过程，特征跨层传递路径通过实例白化操作将特征从编码路径传递到解码路径。水下图像增强网络的输入是低质量的水下图像，采用像素与结构损失进行联合训练，经过网络包含的三个路径处理后可以提升水下图像质量。

7、第二方面，构建基于反射填充与窗口模式的视觉多头自注意力模块，步骤如下：

8、步骤s4：实现基于反射填充与窗口模式的视觉多头自注意力模块的第一个过程是构建视觉多头自注意力模型，计算自注意力如下：

9、

10、上式中矩阵q、k与v分别代表查询、键和值，并且d代表维度缩放值，自注意力机制是水下图像增强网络所用的核心机制，帮助特征的提取与重建。接下来，将相对位置偏差b添加到公式(1)中，此时sa为：

11、

12、步骤s5：采用多头拼接方式实现视觉多头自注意力计算提升水下图像增强网络的网络容量，将每个头记为：

13、headc＝sa(qwcq,kwck,vwcv)#(3)

14、上式中wcq、wck与wck均代表投射矩阵，c为头的索引。拼接操作使用表示，自注意力的拼接过程如下：

15、

16、上式中γ(·)代表视觉多头自注意力计算，n为总拼接次数，wo为投射矩阵。

17、步骤s6：实现基于反射填充与窗口模式的视觉多头自注意力模块的第二个过程是使用反射填充与窗口模式的视觉多头自注意力结合。由于水下增强模型的各个网络阶段的输入特征图的长宽尺寸并不能够保证是窗口大小的整数倍数，因此采用反射填充的方式对特征图进行填充，反射填充操作在特征图的长宽维度上进行，对上、下、左与右四个边界进行元素填充，填充内容为对称方向的边界处的元素值。

18、步骤s7：计算视觉多头自注意力时采用基于窗口的模式，将特征图划分为8x8的窗口，而不是在整张特征图上进行计算。将采用反射填充与窗口模式后的视觉多头自注意力计算γ(·)记为rwγ(·)。

19、步骤s8：实现基于反射填充与窗口模式的视觉多头自注意力模块的第三个过程是结合多层感知机与层归一化操作，完成最终的模块构建。采用层归一化函数ψ(·)对特征图进行处理，在计算第m层的特征ζm时，需要利用前一层特征ζm-1，中间特征的计算如下：

20、

21、步骤s9：获得中间特征后，进一步添加多层感知机多层感知机的权重项为w1与w2且偏差项为b1与b2，并采用gelu(·)(gaussian error linear unit)激活函数，可得到第m层的特征ζm为：

22、

23、综上，将获得ζm的计算过程记为rb(refect block)，即代表基于反射填充与窗口模式的视觉多头自注意力模块。

24、第三方面，针对网络特征计算实例白化，步骤如下：

25、步骤s10：通过水下图像特征跨层传递将编码路径的特征传递到解码路径，特征的跨层传递采用实例白化操作实现。记水下图像增强网络的特征层索引为j，批数量为n。对于通道数量、长度与宽度分别为c、v与l的批次特征ζj∈rc×nvl，计算第k个特征的均值向量如下：

26、

27、上式中k的取值范围是k∈{1,2,…,n}。

28、步骤s11：计算协方差矩阵：

29、

30、计算协方差矩阵时采用了矩阵转置操作t，参数α的值设定为0.00001，i代表单位矩阵。

31、步骤s12：协方差矩阵λ的对角线元素表示各个通道的方差，非对角线元素则表示通道之间的相关性，根据基于实例所计算的均值向量μ与协方差矩阵λ，实现实例白化iw(·)计算如下：

32、

33、在计算实例白化过程中满足关系

34、第四方面，构建水下图像特征编码路径，步骤如下：

35、步骤s13：利用一个卷积模块、三个rb、与三次降维构建编码路径。将网络输入的低质量水下图像记为x，网络增强后的水下图像记为y，第j层的特征图记为ωi。记步长为s，卷积、池化与插值操作分别使用cs(·)、ps(·)与bs(·)表示。编码路径的输入是x，使用卷积模块作为第一层，卷积模块的实现为ω1＝relu(c1(x))，其中relu函数为线性整流单元(linear rectification function)，卷积模块输出是通道数为d且长宽为256x256的特征图，其中d设定为64；降维使用ωj+1＝p2(ωj)实现，用于降低特征图的长宽，编码路径经过3次降维后特征图长宽从256x256降低到32x32。

36、第五方面，构建特征跨层传递路径，步骤如下：

37、步骤s14：记为编码路径的特征且为对应的解码路径的特征,其中j代表编码路径特征层索引且j*代表对应的解码路径特征层索引，对进行处理，通过跨层连接将与拼接,可获得强化后的解码特征其中为通道拼接操作。

38、第六方面，构建水下图像特征解码路径，步骤如下：

39、步骤s15：利用rb、通道降维、插值与卷积模块构建解码路径。通道降维过程为ωj+1＝c1(ωj)，通道降维的输入特征图为编码阶段特征图与解码阶段特征图的拼接(concatenate)，将特征图通道数从2d降低为d；插值操作由双三次插值与卷积计算实现ωj+1＝relu(c1(b2(ωj)))，解码路径包含三个插值操作，特征图长宽从32x32升高到256x256；解码路径的卷积模块将通道数为d的特征图映射为通道数为3的增强后的水下图像。

40、第七方面，训练水下图像增强网络，步骤如下：

41、步骤s16：使用像素损失与结构损失联合对水下图像增强网络进行训练，损失计算如下：

42、

43、上式中h与w代表失真水下图像x与参考水下图像y*的长度与宽度，ψ(·)代表水下图像增强网络，ssim为结构相似性(structural similarity)，λ用于平衡公式第一项的像素损失与第二项的结构损失。损失函数的计算完成后，通过梯度下降算法更新水下图像增强网络的参数。

44、本发明的有益效果：

45、1、本发明能够增强拍摄到的低质量水下图像的质量，对低质量的水下图像进行色彩校正，并增强其细节与结构信息。

46、2、本发明可以用于海洋资源探索、水下图像处理、智能机器人。