一种基于多尺度特征融合的轻量级水下图像增强方法

本发明属于水下图像增强领域，涉及一种基于多尺度特征融合的轻量级水下图像增强方法。

背景技术：

1、水下光学图像记录了纷繁复杂的水下世界，承载了丰富的水下信息，是在水下环境中获取的图像，是海洋勘探、水下考古和环境监测的重要手段。然而，水下光学图像的成像过程受到水的吸收、散射和波动等因素的显著影响，导致图像存在颜色偏移、噪声明显和对比度下降等问题，影响水下光学图像的直观理解和准确分析，限制了实际应用中的效用。因此，研究水下图像增强技术，提供色彩均衡、纹理清晰的水下图像，对水下多领域发展具有重要的应用前景和科学意义。

2、水下图像增强是一种针对水下环境下图像质量差的问题而设计的技术，通过在图像处理过程中添加去噪、增强亮度和对比度等算法，以提高图像的可视性和清晰度，一般可以分为两类，一类是基于传统方法的增强技术，另一类是基于深度学习的增强技术。基于传统方法的水下图像增强一方面是基于物理模型引入视觉先验估计水下光学参数，但是在多变和复杂的水下环境中，这些先验并非恒定不变；另一方面基于统计学方法直接调整像素值提高图像质量，例如白平衡、直方图拉伸等方法，但易出现色彩失真问题。基于深度学习的水下图像增强技术利用卷积神经网络(cnn)等技术，从大规模的数据中学习与水下清晰图像之间的映射关系。该类方法在增强水下图像中效果显著，能够有效应对颜色失真、模糊等问题，提高图像的清晰度。然而，深度学习方法通常需要大量参数拟合清晰图像和水下原始图像之间的映射关系，在算例受限场景下存在部署困难的问题。综上所述，传统方法具有高效性但缺少普适性，深度学习方法能够处理多场景水下图像，但需要克服数据和计算资源的挑战。

3、针对上述问题，本发明利用深度学习技术提出轻量化水下图像增强方法，拓宽水系图增强模型的应用范围。

技术实现思路

1、有鉴于此，本发明需要解决的技术问题是提供一种改善水下图像颜色与结构细节退化的水下图像增强方法，该方法在视觉质量、推理速度、模型参数和复杂性之间取得了良好的均衡。

2、本发明解决技术问题所采用的技术方案如下：

3、一种基于多尺度特征融合的轻量级水下图像增强方法，其中包括：

4、步骤1)将三通道的输入图像进行维度转换，将其映射到一个具有16通道的新表示空间；

5、步骤2)将经维度转换后的图像在rgb空间进行颜色校正，同时提取水下图像的结构与细节特征；

6、步骤3)使用多尺度特征优化模块融合颜色与空间两个方面捕获的图像信息；

7、步骤4)在输出端将颜色校正模块和像素注意力机制进行结合。获取最终的增强结果图。

8、进一步，所述步骤1)具体包括以下步骤：

9、步骤11)使用一个1×1的卷积操作，将原始的三通道输入图像进行转换，使其在新的表示空间中具有16个通道；

10、进一步，所述步骤2)具体包括以下步骤：

11、步骤21)将经维度转换后的图像使用颜色空间拉伸的方法在rgb空间进行颜色校正，使图像更符合人眼感知的自然色彩，同时使用不同大小的卷积提取不同感受野下的水下图像特征，进而采用逐像素相乘相减的方法得到细节与结构特征图。

12、进一步，所述步骤3)具体包括以下步骤：

13、步骤31)将特征提取后的颜色特征与结构特征作为多尺度特征融合网络的输入，首先经过第一层的卷积、不同大小的池化操作及最大池化操作，使网络能够在不同尺度上有效地捕捉图像特征，第二层通过一系列1×1卷积操作，网络可以学习到更抽象和高级的特征信息。与第一层不对称的第三层的池化操作有助于捕捉图像中的水平和垂直特征。第四层采用3×3卷积操作，进一步提取图像中的局部特征。最后将各分支提取的特征图连接在一起，形成多尺度融合的特征表示。

14、进一步，所述步骤4)具体包括以下步骤：

15、步骤41)将经过多尺度特征融合网络后的特征图送入颜色校正加像素注意力模块，颜色校正模块与步骤二相同，像素注意力模块包含一个通道降维和一个注意力权重生成的卷积层序列，对融合特征进行优化，提升模型的细节的理解与泛化能力。

技术特征：

1.一种基于多尺度特征融合的轻量级水下图像增强方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的融合颜色校正与结构特征提取模块的轻量级的水下图像增强方法，其特征在于，步骤2中构建在rgb空间进行颜色校正的cs-sm模块和由不同空洞率的卷积核组成的sdfe模块，其处理水下图像的步骤如下：cs-sm模块首先，采用直方图拉伸方法，通过线性方式扩展调整图像的像素值分布范围，将图像的像素值拉伸到整个亮度范围内，使得亮的部分更亮、暗的部分更暗，图像的整体明暗分布更加均匀，细节更加清晰可见。该模块包含全局最大池化gmp，左侧gmp是获得最大值，而右边的gmp是得到最小值，接着通过计算最大值和最小值，生成一个归一化的输出，紧接着经过1×1卷积层进行通道数的调整。然后又引入3×3卷积层和tanh激活函数的残差增强模块，从而帮助修复颜色偏移，使图像的颜色更加真实和准确。同时，sdfe模块由不同空洞率的卷积核组成，其中左侧分支c1卷积核大小为3，步幅与空洞率均为1，右侧c2卷积核大小为3，步幅为1，空洞率为5，以此提取不同感受野下的水下图像特征。此后两分支相减获得引导图，利用结构特征比度较低，细节特征对比度高的特性，进一步将引导图g与原始特征图i1相乘获得细节特征图id。最后，利用细节特征图从原始特征图中分离出水下结构特征图作为该分支的输出。

3.据权利要求1所述的融合颜色校正与结构特征提取模块的轻量级的水下图像增强方法，其特征在于，步骤3中构建多尺度特征融合模块mf-fm，该模块主要包含大小不同且不对称的池化层、一个全局池化层以及一些卷积块。该结构第一层输入图像通过1×1卷积操作，实现对初始特征的自适应提取。同时，针对不同空间尺度，引入1×5、1×9和1×17的最大池化操作和全局池化层，以在多个尺度上捕捉图像的关键特征。通过多分支操作，我们进一步细化图像特征，第二层通过一系列的1×1卷积操作学习抽象和高级的特征信息。第三层使用与第一层不对称的5×1、9×1和17×1的池化分支有助于捕捉图像中的水平和垂直特征。第四层中3×3卷积分支通过局部操作提取图像的局部特征。最后通过连接将各分支提取的特征图整合在一起，形成多尺度的特征表示。这样的融合机制充分考虑了不同尺度下信息的互补性，使网络能够更全面地理解输入图像。

4.据权利要求1所述的融合颜色校正与结构特征提取模块的轻量级的水下图像增强方法，其特征在于，步骤5中构建的颜色校正与像素注意力pa结合的模块，将多尺度特征融合后的图像进一步进行与步骤二相同的颜色校正，进而将其输出图像送入像素注意力模块通过学习得到的像素级注意力权重，对输入特征图进行加权，使得网络更关注重要的像素。首先使用一个1×1的卷积层，将输入特征图进行通道数的变换。接着，对变换后的特征图应用relu激活函数，增强非线性特征。紧接着再次使用一个1×1的卷积层，将特征图的通道数变换回1，这一步的目的是将特征图映射到单一的通道，用于表示像素级的注意力权重。然后采用sigmoid激活函数，将输出的单通道特征图的值缩放到[0，1]范围，得到像素级的注意力权重。最后将输入特征图与得到的像素级注意力权重相乘，得到加权后的特征图。

技术总结
本发明公开了一种基于多尺度特征融合的轻量级水下图像增强方法。考虑到水下光学图像的成像过程受到水的吸收、散射和波动等因素的显著影响，导致图像存在颜色偏移、噪声明显和对比度下降等问题。为此本发明提出了一种轻量级的水下图像增强方法。该方法结合水下图像成像特点设计低参数量、低时延的水下图像增强网络UIE‑LNet。本文引入颜色空间拉伸模块校正颜色失真，并在输出端结合颜色空间拉伸模块和像素注意力机制，解决水下图像颜色退化问题、提升对图像元素和细节的理解并且提高模型的泛化能力；同时设计结构与细节特征并行提取模块，解决水下图像结构退化问题；然后提出了一个多尺度特征融合模块，解决单个特征方面捕获图像细节信息不充分问题。本发明的优势在于，相较于前沿水下图像检测算法，本方法在具有较低参数量的同时保证增强图像在全局内容、局部纹理、风格特征等方面和清晰图像一致，更加适用于水下图像增强任务。

技术研发人员：陶洋,孙萌萌
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/2/21