一种基于多方向卷积注意机制的水下图像增强方法

本发明涉及水下图像处理，具体而言，尤其涉及一种基于多方向卷积注意机制的水下图像增强方法。

背景技术：

1、水下环境的物理属性使得水下图像增强方法仍然是一个具有挑战性的任务。受吸收和散射的影响，采集到的水下图像在许多情况下会发生退化。在水下场景中，相机捕捉到的光主要包括来自物体反射的直接光、目标反射光引起的前向散射分量，以及光线在照射到水中物体时遇到水中的杂质引起的后向散射分量。水下图像可以被视为这些分量的线性组合。前向散射导致图像模糊，而后向散射掩盖了图像的细节，同时悬浮颗粒引入了不必要的噪声。这导致了水下图像在信息显示和场景信息提取方面存在一定的局限性。

技术实现思路

1、根据上述提出的技术问题，提供一种基于多方向卷积注意机制的水下图像增强方法。本发明主要使用基于多方向卷积注意机制的编码器进行多层次特征提取，然后基于多方向卷积注意机制设计了解码器对于编码其中的多层层特征进行特征恢复，最后使用平滑l1损失函数、感知损失函数和多尺度结构相似性损失函数对于网络进行引导，有效增强水下图像。

2、本发明采用的技术手段如下：

3、一种基于多方向卷积注意机制的水下图像增强方法，包括以下步骤：

4、步骤01：获取原始水下图像i，使用特征提取模块获取特征f1；所述特征提取模块包含卷积；

5、步骤02：对所述特征f1进行下采样获取特征d2，根据所述特征d2使用多方向卷积注意力机制增强获取特征f2；所述多方向卷积注意力机制包含多方向卷积和双重注意力机制；

6、步骤03：重复所述步骤02三次，分别获取中层编码器特征f3、高层编码器特征f4、最高层编码器特征f5；

7、步骤04：对所述最高层编码器特征f5进行上采样获取特征u5，根据所述特征u5使用多方向卷积注意力机制增强获取特征e5；

8、步骤05：对所述特征e5进行上采样获取特征u4，根据所述特征u4结合特征f4通过通道融合策略获取特征c4，根据所述融合特征c4使用多方向卷积注意力机制增强获取特征e4；

9、步骤06：重复所述步骤05两次，分别获取中层解码器特征e3、浅层解码器特征e2；

10、步骤07：对所述浅层解码器特征e2进行上采样获取特征u1，根据所述特征u1结合特征f1通过通道融合策略获取特征c1，根据所述融合特征c1使用特征恢复模块获取增强图像e，其中所述特征恢复模块包含多方向卷积注意力机制和卷积操作；

11、步骤08：使用平滑l1损失函数、感知损失函数和多尺度结构相似性损失函数对于网络进行引导。

12、进一步地，所述步骤01中的特征提取模块为：

13、f1＝conv(i)；

14、其中，i表示水下图像，f1表示初级特征。

15、进一步地，所述下采样操作，具体公式为：

16、d2＝down(f1)；

17、其中，down表示下采样操作，d2表示浅层特征；

18、所述特征增强，包括以下步骤：

19、步骤21：多方向卷积注意力机制中四个方向的特征提取操作如下：

20、o1(x)＝lrelu(conv(concat(x,r2(x),r2(x),r3(x))))；

21、其中，x表示输入特征，o1(x)表示提取四个方向的特征操作，r2表示特征x在第二、三维度上进行翻转，r3表示特征x在r2的基础上进行交换，r4表示特征x在r3的基础上再次反转；

22、步骤22：为增强网络的特征提取能力，多方向卷积注意力机制中重复使用所述步骤21两次：

23、o(x)＝o1(o1(x))；

24、其中，o(·)表示多方向卷积注意力机制，x表示输入特征；

25、步骤23：为同时增强通道维度和空间的特征信息，双重注意力机制包括通道注意力机制和空间注意力机制；所述通道注意力机制操作如下：

26、ca(x)＝sigmoid(m(max(x))+m(avg(x)))；

27、其中，x表示输入特征，ca(·)表示通道注意力机制操作，max表示最大池化操作，avg表示平均池化操作，m表示多层感知器，sigmoid表示sigmoid函数，具体公式如下：

28、

29、其中，x表示输入特征；

30、步骤24：所述空间注意力机制操作如下：

31、sa(x)＝sigmoid(conv(concat(max(x),avg(x))))；

32、其中，x表示输入特征，sa(·)表示空间注意力机制操作，max表示最大池化操作，avg表示平均池化操作，sigmoid表示sigmoid函数，conv表示卷积操作，concat表示通道中的拼接；

33、步骤25：所述双重注意力机制操作如下：

34、csa(x)＝sa(ca(x)×x)×(ca(x)×x)；

35、其中，x表示输入特征，csa(·)表示双重注意力机制操作。

36、进一步地，所述步骤02中的特征d2使用多方向卷积注意力机制增强获取特征f2如下：

37、f2＝csa(o(d2))；

38、其中，o(·)表示多方向卷积注意力机制操作，csa(·)表示双重注意力机制操作。

39、进一步地，所述步骤03，04，05为重复步骤02分别获取中层编码器特征f3、高层编码器特征f4、最高层编码器特征f5。

40、进一步地，所述进行上采样操作为：

41、u5＝up(f5)；

42、其中，up表示上采样操作，f5表示最高层编码器特征，u5表示高层特征；

43、所述步骤04中的多方向卷积注意力机制操作如下：

44、e5＝csa(o(u5))；

45、其中，o(·)表示多方向卷积注意力机制操作，csa(·)表示双重注意力机制操作，e5表示最高层解码器特征。

46、进一步地，所述步骤05中的上采样操作如下：

47、u4＝up(e4)；

48、其中，up表示上采样操作，e4表示高层解码器特征，u4表示中层特征；

49、所述步骤05中的通道融合策略操作如下：

50、c4＝conv(concat(u4,f4))；

51、其中，conv表示卷积操作，concat表示通道中的拼接，f4表示高层编码器特征，u4表示中层特征；

52、所述步骤05中的多方向卷积注意力机制操作如下：

53、e4＝csa(o(u4))；

54、其中，o(·)表示多方向卷积注意力机制操作，csa(·)表示双重注意力机制操作，e4表示高层解码器特征。

55、进一步地，所述步骤07中的上采样操作如下：

56、u1＝up(e2)；

57、其中，up表示上采样操作，e2表示浅层解码器特征，u1表示原尺寸特征；

58、所述步骤07中的通道融合策略操作如下：

59、c1＝conv(concat(u1,f1))；

60、其中，conv表示卷积操作，concat表示通道中的拼接，f1表示原尺寸编码器特征，c1表示原尺寸解码器特征。

61、进一步地，所述步骤07中的特征恢复模块如下：

62、e＝conv(csa(o(c1)))；

63、其中，o(·)表示多方向卷积注意力机制操作，csa(·)表示双重注意力机制操作，c1表示原尺寸解码器特征，e表示增强图像。

64、进一步地，所述步骤08中的损失函数包括以下步骤：

65、步骤81：平滑l1损失函数公式如下：

66、

67、其中，g表示真实水下图像；

68、步骤82：感知损失函数公式如下：

69、

70、其中，lp表示感知损失函数，g表示真实水下图像，e表示增强水下图像，表示vgg预训练网络的第16层输出；

71、步骤83：多尺度结构相似性损失函数公式如下：

72、

73、

74、

75、

76、其中，m表示图像的块数，μx和μy表示x和y的均值，σx和σy表示x和y的标准差，σxy表示x和y之间的协方差，c1、c2、c3是常数，用于稳定计算；

77、步骤84：综合损失函数公式如下：

78、l＝l1+0.1×lp+0.5×lms-ssim；

79、其中，l表示综合损失函数。

80、较现有技术相比，本发明具有以下优点：

81、1、本发明提出了一种基于多方向卷积水下图像增强模块，通过使用自定义函数对卷积后的各部分特征图进行方向调整，生成多个具有不同特点的深度特征图，并将它们融合在一起。最终形成一个高级特征图，其中包含丰富的语义信息，涵盖了不同层次的细节和关键特征信息，从而提升了模型的性能。

82、2、本发明设计了综合损失函数，包含平滑l1损失、感知损失和多尺度结构相似性损失。通过进行多损失的联合训练，能够全面考虑图像质量、结构相似性以及人眼感知差异等方面，发挥各种损失函数的优势，从而提高模型在解决水下图像特定问题时的性能。

83、基于上述理由本发明可在图像处理等领域广泛推广。