一种水下图像超分辨率方法、装置、设备及存储介质

本发明涉及图像处理，特别涉及一种水下图像超分辨率方法、装置、设备及存储介质。

背景技术：

1、图像超分辨率是图像处理领域中的一项重要底层任务，其目的是将低分辨率图像放大成高分辨率图像。在这个过程中，需要通过算法技术来还原出低分辨率图像中缺失的细节和清晰度，使得图像看起来更加清晰、更加细腻。

2、在实际应用中，可以将图像超分辨率算法分为传统方法和基于深度学习的方法。传统方法的典型代表是插值法。插值法的基本思路是在低分辨率图像中插入一些新的像素点，从而得到高分辨率图像，其包括双线性插值法、双三次插值法等等，主要对原始低分辨率图像进行基于相邻像素值的插值。另外，传统方法还包括基于重构的方法，此类方法又包括频域方法和空域方法等。传统方法的主要缺点是没有在语义层次上考虑整张图像的具体内容，生成的高分辨率图像一般比较模糊，缺少细节信息。基于深度学习的图像超分辨率算法在自然图像上发展地很成熟，其基本思路是通过建立低分辨率图像和对应的高分辨率图像的图像对，设计深度学习神经网络潜式地学习其中的映射规律。此类方法主要基于卷积神经网络或者transformer结构，可以有效地利用整幅图像的局部特征和全局特征，由于其考虑了整张图像的语义信息，效果一般要优于传统方法。然而，此类方法在一些具有特殊的成像特点的领域关注度却比较少，现有的水下图像上的超分辨率算法主要是针对于水下机器人的实时场景进行设计的，虽然计算量低但是效果不好。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种水下图像超分辨率方法、装置、设备和存储介质，能够提高水下图像的分辨率和成像效果。其具体方案如下：

2、第一方面，本发明公开了一种水下图像超分辨率方法，包括：

3、获取待处理水下图像，并基于所述待处理水下图像获取对应的介质传播图像；所述待处理水下图像为低于第一预设分辨率阈值的图像；

4、将所述待处理水下图像以及所述介质传播图像输入预训练的目标图像处理模型；

5、对所述待处理水下图像以及所述介质传播图像进行特征提取，对提取后的特征信息进行上采样，以得到目标分辨率图像。

6、可选的，所述获取待处理水下图像之前，还包括：

7、获取原始水下图像数据集，并对所述原始水下图像数据集进行预处理操作，以得到处理后原始水下图像数据集；所述原始水下图像数据集中的图像为高于第二预设分辨率阈值的高分辨率图像；

8、利用双三次下采样方法处理所述原始水下图像数据集，以得到下采样后图像数据集；所述下采样后图像数据集中的图像为低于第三预设分辨率阈值的低分辨率图像；

9、利用泛式的暗通道先验算法处理所述下采样后图像数据集，以得到对应的训练水下图像介质传播图；

10、将所述训练水下图像介质传播图、所述原始水下图像数据集输入原始图像处理模型进行训练，以得到所述目标图像处理模型。

11、可选的，所述对所述原始水下图像数据集进行预处理操作，以得到处理后原始水下图像数据集，包括：

12、将所述原始水下图像数据集中的图像进行对齐操作并删除离群值，得到精选原始水下图像数据集；

13、按照预设图像分类方式对所述精选原始水下图像数据集进行配比，以得到所述处理后原始水下图像数据集。

14、可选的，所述基于所述待处理水下图像获取对应的介质传播图像，包括：

15、利用泛式的所述暗通道先验算法处理所述待处理水下图像，以得到所述介质传播图像。

16、可选的，所述对所述待处理水下图像以及所述介质传播图像进行特征提取，对提取后的特征信息进行上采样，以得到目标分辨率图像，包括：

17、对所述待处理水下图像以及所述介质传播图像进行特征提取，以得到待处理水下图像特征信息以及介质传播图像特征信息；

18、将所述待处理水下图像特征信息与所述介质传播图像特征信息进行信息交换，以得到增益后第一模态特征与增益后第二模态特征；其中，所述增益后第一模态特征为与所述待处理水下图像对应的模态特征，所述增益后第二模态特征为与所述介质传播图像对应的模态特征；

19、对所述增益后第一模态特征与所述增益后第二模态特征进行上采样，以得到目标分辨率图像

20、可选的，所述将所述待处理水下图像特征信息与所述介质传播图像特征信息进行信息交换，以得到增益后第一模态特征与增益后第二模态特征，包括：

21、将所述介质传播图像特征信息输入所述线性映射层，得到映射后介质传播图像特征信息，以便基于第一目标特征维度将所述映射后介质传播图像特征信息与所述待处理水下图像特征信息融合，得到融合后第一模态特征；

22、将所述待处理水下图像特征信息输入线性映射层，得到映射后待处理水下图像特征信息，以便基于第二目标特征维度将所述映射后待处理水下图像特征信息与所述介质传播图像特征信息融合，得到融合后第二模态特征；

23、将初始融合次数加1，以得到当前融合次数；其中，所述初始融合次数为0；

24、判断所述当前融合次数是否达到预设融合次数阈值；

25、若所述当前融合次数未达到所述预设融合次数阈值，则将所述融合后第一模态特征确定为所述待处理水下图像特征信息，将所述融合后第二模态特征确定为所述介质传播图像特征信息，并重新进入所述将所述介质传播图像特征信息输入所述线性映射层的步骤；

26、若所述当前融合次数已达到所述预设融合次数阈值，则基于最后一次得到的所述融合后第一模态特征、所述融合后第二模态特征以及预设模特特征处理规则获取所述增益后第一模态特征以及所述增益后第二模态特征。

27、可选的，所述基于第一目标特征维度将所述映射后介质传播图像特征信息与所述待处理水下图像特征信息融合，得到融合后第一模态特征，包括：

28、确定第一目标特征维度，并基于所述第一目标特征维度将所述映射后介质传播图像特征信息与所述待处理水下图像特征信息进行矢乘，以得到第一激活图；

29、对所述第一激活图与所述待处理水下图像特征信息进行矢乘，以得到所述融合后第一模态特征；

30、相应的，所述基于第二目标特征维度将所述映射后待处理水下图像特征信息与所述介质传播图像特征信息融合，得到融合后第二模态特征，包括：

31、确定第二目标特征维度，并基于所述第二目标特征维度将所述映射后待处理水下图像特征信息与所述介质传播图像特征信息进行矢乘，以得到第二激活图；

32、对所述第二激活图与所述介质传播图像特征信息进行矢乘，以得到所述融合后第二模态特征。

33、第二方面，本发明公开了一种水下图像超分辨率装置，包括：

34、介质传播图像获取模块，用于获取待处理水下图像，并基于所述待处理水下图像获取对应的介质传播图像；所述待处理水下图像为低于第一预设分辨率阈值的图像；

35、图像处理模块，用于将所述待处理水下图像以及所述介质传播图像输入预训练的目标图像处理模型；

36、特征提取模块，用于对所述待处理水下图像以及所述介质传播图像进行特征提取；

37、上采样模块，用于提取后的特征信息进行上采样，以得到目标分辨率图像。

38、第三方面，本发明公开了一种电子设备，包括：

39、存储器，用于保存计算机程序；

40、处理器，用于执行所述计算机程序，以实现如前述公开的水下图像超分辨率方法的步骤。

41、第四方面，本发明公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如前述公开的水下图像超分辨率方法。

42、可见，本发明提供了一种水下图像超分辨率方法，包括：获取待处理水下图像，并基于所述待处理水下图像获取对应的介质传播图像；所述待处理水下图像为低于第一预设分辨率阈值的图像；将所述待处理水下图像以及所述介质传播图像输入预训练的目标图像处理模型；对所述待处理水下图像以及所述介质传播图像进行特征提取，对提取后的特征信息进行上采样，以得到目标分辨率图像。由此可见，本发明通过提取大气光散射模型在水下成像环境中的隐含的介质传播图，对待处理水下图像和介质传播图像提取出的特征信息进行上采样获取目标分辨率图像，通过待处理水下图像与介质传播图像之间特征的相互增益，提高了水下图像的分辨率和成像效果。