一种水域自适应水下图像增强方法

1.本发明涉及水下图像增强技术领域，具体涉及一种水域自适应水下图像增强方法
。


背景技术：

2.随着经济的发展和能源需求的增加，对水下资源的开发和利用日益迫切
。
然而，水下图成像的特殊性使得水下图像质量较低，水下环境的复杂性使得退化图像呈现多样性，从而对环境保护和能源开发领域的应用提出了挑战
。
水下图像增强技术通过改善水下图像的清晰度
、
对比度和细节还原，可以提供更真实
、
可靠的水下视觉信息，从而支持水下工作的开展
。
不同于传统陆地图像增强技术，水下图像增强方法需要考虑水下环境
、
色彩失真
、
散射和噪声影响等因素呈现真实场景的细节和色彩，但是在不同水域环境中上述因素有所差异，导致采集的水下图像呈现多种退化现象
。
因此，水下图像增强技术可以视为一个具有域间差异的图像处理问题
。
3.水下图像增强方法通常可分为三种，分别为：基于物理模型的方法
、
基于图像的方法和基于学习的方法
。
基于物理模型的方法基于对光在水下传播
、
散射衰减和颜色失真等水下图像的退化过程建立物理模型，利用该模型和水下光学先验知识反演退化过程，得到退化前的水下图像
。
这类方法能够友好地理解和模拟水下光学现象，对于增强的水下图像有较好的理论基础和可解释性
。
然而，基于物理模型的方法往往过于依赖大量的先验知识和对环境参数的准确估计，且当应对新的水下场景或复杂的水下场景时需要建立新的物理模型，严重限制了该类方法在实际应用的灵活性和普适性
。
第二类基于图像的方法不考虑成像过程，直接对水下图像进行处理，利用简单的图像处理算法对水下图像进行增强，通过直接调整像素值改善图像的可视化效果
。
基于图像的增强方法具有计算效率高和简单易用的特点
。
然而，这种方法无法很好地处理复杂场景下的光照衰减和散射现象，可能会导致增强结果不够准确或产生其他图像伪影
。
基于学习的水下图像增强方法通过训练模型从大量的水下图像数据中学习特征和规律，以实现图像增强
。
这类方法通常使用深度学习技术，如卷积神经网络
(cnn)
和生成对抗网络
(gan)。
基于学习的方法能够通过大规模数据的学习提取水下图像中的特征，从而更好地处理光照衰减
、
色彩失真和散射等问题
。
基于学习的方法能够通过大规模数据的学习提取水下图像中的特征，从而更好地处理光照衰减
、
色彩失真和散射等问题
。
然而，基于学习的方法通常不能兼顾全局信息的恢复和局部细节的处理，且通常无法应对水域多样性导致的水下图像分布的多样性
。
上述三种方法虽然能够有效提升水下图像质量，但模型的鲁棒性和泛化能力有限，并不能通过一个独立的模型解决由于水下环境的域间差异导致的水下图像退化的多样性
。
4.目前水下图像增强技术的关键在于如何有效地学习退化图像到清晰图像的映射关系，如何利用水下环境的域间差异实现不同水域的自适应水下图像增强，如何利用全局色彩轮廓和局部细节纹理确保增强图像能够最大限度得与真实清晰图像保持高度一致等
。


技术实现要素：

5.本发明要解决的技术问题是：克服了现有算法对应对多种水下场景的退化图像表现出环境适应性差的特点，提供了一种水域自适应的水下图像增强方法，利用水下环境的域间差异和水类型分类网络，提高了模型对水域的敏感性；克服了主流的基于学习的算法增强的水下图像存在丢失细节和去噪效果不佳的现象，提出了基于多组卷积和稀疏网格注意力的特征提取方法；克服了基于学习的算法的增强结果不稳定的现象，利用跳跃连接提高了模型的稳定性，提出了一种聚合损失函数和训练策略
。
6.本发明采用的技术方案为：一种水域自适应的水下图像增强方法，包括以下步骤：
7.步骤
(1)、
基于多组卷积和稀疏网格注意力的特征提取方法：使用卷积操作对输入图像进行初步处理，对于输入的特征，使用多组卷积使模型聚焦局部细节，增强局部特征模型对布局特征的感知能力，利用稀疏网格注意力建模全局信息，保留全局色彩轮廓，利用最大池化实现特征在空间维度的下采样，获得编码特征；提出了多组卷积提取局部特征方法，利用了稀疏网格注意力高效地建模全局信息，增强了模型对全局整体内容和局部细节信息感知能力，在保持高效性的同时提升了计算效率，减少了不必要的计算操作；
8.步骤
(2)、
基于水下环境域间差异的水域自适应方法：通过步骤
(1)
编码特征，利用分类网络和交叉熵损失函数约束，获得输入图像的水域类型，从水类型分类网络提取水域相关特征，结合编码特征，使用空间和通道维度的融合策略，获得对水域敏感特征；利用了水域的域间差异和水类型分类网络抽取了输入图像的水域信息，提出了水域敏感特征的构建方法，该敏感特征能够有效指引编码器在特定的水域环境中重建水下图像，使得增强图像能够更准确地恢复真实的水域环境的细节
、
颜色和纹理特征，保证增强结果和对应水域具有自适应性和一致性
9.步骤
(3)、
基于水域敏感特征诱导和聚合损失函数的图像增强：通过步骤
(2)
获得的水域敏感特征，使用步骤
(1)
所提出的特征提取方法，结合
bicubic
算法插值实现特征在空间维度的上采样，使用聚合损失函数约束增强结果，并利用多阶段训练策略增强模型的鲁棒性；将步骤
(2)
构建的水域敏感特征作为解码器的输入，并通过使用步骤
(1)
所述的特征提取方法提取特征信息，提出了一个由平方差损失
l2、
颜色损失
l2和梯度损失
l
grad
组成的聚合损失用于度量增强图像和清晰图像之间的差异，利用了平方差损失使得增强后的图像在像素级别上更接近清晰图像，利用了颜色损失避免出现不自然或者失真的颜色效果，利用了梯度损失帮助图像保持结构和纹理
。
10.进一步的：步骤
(1)
的具体内容如下：
11.对于输入的退化的水下图像，首先使用两层卷积层实现对输入数据的初步处理和特征提取，且对特征中局部和全局信息采用不同的手段进行关注；
12.对于特征中的局部信息，利用基于多组卷积局部特征提取方法获得，将输入特征在通道维度均匀划分多个分组，每个分组包含相同通道数的输入，将卷积核按照输出通道数划分为多个分组，每个分组包含和通道数相同的卷积核，对于每组数据，使用对应的卷积核进行卷积操作，对于编码网络中的第i层，多组卷积表示如下：
[0013][0014]
其中，
mgc(
·
)
为多组卷积操作，由多个单组卷积操作gg
(
·
)
组成，di-1
∈rc×h×w为
当前层输入，g为在通道维度划分的组数，为输入特征
zi的连续子集，
concat(
·
)
为在通道维度串联g组特征，利用批量正则化和
relu
激活函数防止梯度消失和梯度爆炸，
con
p
(
·
)
为点卷积操作；
[0015]
对于特征中的全局信息，利用稀疏网格注意力特征提取方法获得，将经过多组卷积操作的特征作为该阶段输入特征，使用固定大小为
(g,g)
的网格将特征网格并块化为特征大小为获得具有全局信息的窗口特征，在该窗口内执行多头注意力操作，以获取全局信息，多头注意力操作定义如下：
[0016][0017][0018]
其中，
t
为转置操纵，h为注意力头的数量，为比例因子，fpro
为非线性映射函数，
softmax(
·
)
为归一化操作，对于编码网络中的第i层，一个完整的稀疏网格注意力
sga(
·
)
操作流程如下：
[0019][0020][0021]
其中，fgb
(
·
)
为对特征的先网格化后块化的操作，
ln(
·
)
为正则化操作，
ffn(
·
)
为前馈层，fubg
(
·
)
为将特征返回至形状大小
(c,h,w)
的操作，通过对特征执行卷积映射和最大池化操作进行下采样，得到特征di
；
[0022]
上述步骤迭代四次得到信息更加丰富
、
全面的编码特征
d4。
[0023]
其中，步骤一中局部信息为细节
、
纹理，全局信息为色彩
、
轮廓
。
[0024]
进一步的：步骤
(2)
的具体内容如下：
[0025]
利用一个由卷积神经网络搭建的水类型分类器，获取步骤
(1)
获得的编码特征的水域信息，表示如下：
[0026]
d(d4)
＝
maxpool(fd(d4))
[0027]
其中，
d(
·
)
为水域分类网络，
fd(
·
)
为非线性映射，
maxpool(
·
)
为最大池化操作，该分类网络具有
ic、
两个输出；
[0028]
ic是一个长度和水域数量相等的一维向量，用于预测水类型，利用交叉熵损失函数来衡量预测结果和真实标签之间的差异，交叉熵损失
ln(
·
,
·
)
表示如下：
[0029][0030]
其中，c为正确水类型，c为预测水类型，当c＝c时，
yc＝1，否则
yc＝0，n为水类型的数量；
[0031]
为水域分类网络中间层的输出，使用反卷积将映射到和
z4相同的维度，二者在通道维度串联，串联后的特征在空间维度经过点卷积处理后生成对水域敏感特征，该过程
f(
·
,
·
)
表示如下：
[0032][0033]
其中，
f(
·
,
·
)
为生成水域敏感特征的映射过程，
convt(
·
)
为反卷积操作，生成的水域敏感特征i，用于指导编码网络在对应的水域中重建水下图像
[0034]
进一步的：步骤
(3)
的具体内容如下：
[0035]
使用和编码网络对称的解码网络重建清晰的水下图像，除利用步骤
(1)
提出的特征提取方法解码信息外，还利用双线性差值实现特征的上采样，利用跳跃连接将解码阶段的输入和编码阶段对应层的输出在通道维度进行串联，被用于避免信息丢失，对于解码阶段的第i层，解码过程如下：
[0036]e′i＝
sga(mgc(concat(e
i-1
,d
4-i
)))
[0037]
对输出特征d′i执行双线性差值上采样，获得当前解码层输出ei
；
[0038]
重复迭代上述操作四次，得到特征
e4，利用卷积映射得到通道数为3，宽高和输入图像相等的增强水下图像y，利用聚合损失约束增强图像，聚合损失
l
total
(
·
,
·
)
如下：
[0039]
l
total
(y,yg)
＝
α
l2(y,yg)+
β
l
grad
(y,yg)+
γ
l
color
(y,yg)
[0040]
其中，
yg分别清晰图像，
α
、
β
和
γ
为权重项，
l2(y,yg)
＝
‖y
g-y‖2为重建损失，为梯度损失，为梯度损失，
δ
r、
δg和
δb分别表示增强图像y和清晰图像
yg在
rgb
颜色空间中各个颜色通道之间的差值，
[0041]
本发明的原理在于：
[0042]
(1)
本发明提出的基于多组卷积和稀疏网格注意力的特征提取方法，利用多组卷积提取局部信息，保留细节的同时去除噪声，并利用稀疏网格注意力提取全局信息，去除水雾色彩的同时增强轮廓，实现了不同图像内容的相互补充优化，降低了模型的计算参数，有效地帮助了模型学习水下图像中退化部分与清晰图像之间的映射关系
。
[0043]
(2)
本发明提出的基于水下环境的域间差异的水域自适应方法，利用了不同水域环境的差异性信息生成对水域敏感特征，有效地保证了增强结果在不同水域中的准确性，提高图像质量和可视化效果，实现了针对不同水域的图像增强
。
[0044]
(3)
本发明提出的基于水域敏感特征诱导和聚合损失函数的图像增强，利用水域敏感特征指引解码网络在指定水下场景中重建水下图像，有效地提升了增强图像和水域环境的一致性，利用多个损失函数给模型提供更多的反馈信号，针对图像的不同内容进行指导，提出多阶段的训练方法，有效提高了模型的稳定性，提高了增强图像和清晰图像的一致性
。
[0045]
本发明与现有技术相比的优点在于：
[0046]
1、
本发明提出了一种基于多组卷积和稀疏网格注意力特征提取方法，该方法具有出色的信息保护能力
。
一方面，它通过多组卷积操作聚焦于局部信息，另一方面，采用稀疏网格注意力来保留全局色彩轮廓
。
有效地解决了细节丢失和色彩失真的问题，实现了不同
信息之间的相互优化，且具备更少的计算参数和更低的复杂度
。
[0047]
2、
对比已有的水下图像增强算法，本算法提出的基于水类型分类的水域自适应方法，模型根据水域的类型采用相应的增强策略，提升了模型的泛化能力，保证了增强结果和退化场景的一致性，使得增强结果更加准确和可靠
。
[0048]
3、
本发明所提出的聚合损失和多阶段训练策略，综合考虑多个因素进行优化，提供更丰富的反馈信号，避免了过拟合和欠拟合的问题，并能够在优化过程中更好地平衡各个因素
。
通过逐步优化各个子任务，使得每个阶段的训练更加专注和有效
。
这种策略有助于加快模型的收敛速度和学习效率，提高了算法的稳定性和可靠性
。
附图说明
[0049]
图1为本发明所述一种水域自适应的水下图像增强方法的流程图：
[0050]
图2为在成对人工合成水下数据集，类型为1的增强效果对比图
(
左上角为
psnr
值和
ssim
值，二者数值越大表示增强效果越好
)
；
[0051]
图3为在成对人工合成水下数据集，类型为3的增强效果对比图
(
左上角为
psnr
值和
ssim
值，二者数值越大表示增强效果越好
)
；
[0052]
图4为在成对人工合成水下数据集，类型为5的增强效果对比图
(
左上角为
psnr
值和
ssim
值，二者数值越大表示增强效果越好
)
；
[0053]
图5为在成对人工合成水下数据集，类型为7的增强效果对比图
(
左上角为
psnr
值和
ssim
值，二者数值越大表示增强效果越好
)
；
[0054]
图6为在成对人工合成水下数据集，类型为9的增强效果对比图
(
左上角为
psnr
值和
ssim
值，二者数值越大表示增强效果越好
)
；
[0055]
图7为在成对人工合成水下数据集，类型为i的增强效果对比图
(
左上角为
psnr
值和
ssim
值，二者数值越大表示增强效果越好
)
；
[0056]
图8为在成对人工合成水下数据集，类型为
ii
的增强效果对比图
(
左上角为
psnr
值和
ssim
值，二者数值越大表示增强效果越好
)
；
[0057]
图9为在成对人工合成水下数据集，类型为
iii
的增强效果对比图
(
左上角为
psnr
值和
ssim
值，二者数值越大表示增强效果越好
)
；
[0058]
图
10
为在成对真实水下数据集
uieb
的增强效果对比图
(
左上角为
psnr
值和
ssim
值，二者数值越大表示增强效果越好
)
；
[0059]
图
11
为在成对真实水下数据集
euvp
的增强效果对比图
(
左上角为
psnr
值和
ssim
值，二者数值越大表示增强效果越好
)
；
[0060]
图
12
为在成对真实水下数据集
ufo-120
的增强效果对比图
(
左上角为
psnr
值和
ssim
值，二者数值越大表示增强效果越好
)
；
[0061]
图
13
为在非成对真实水下数据集
uccs
，色调为蓝色的增强效果对比图
(
左上角为
uiqm
值，
uiqm
数值越大增强效果越好
)
；
[0062]
图
14
为在非成对真实水下数据集
uccs
，色调为绿色的增强效果对比图
(
左上角为
uiqm
值，
uiqm
数值越大增强效果越好
)
；
[0063]
图
15
为在非成对真实水下数据集
uccs
，色调为蓝绿色的增强效果对比图
(
左上角为
uiqm
值，
uiqm
数值越大增强效果越好
)
；
[0064]
图
16
为在非成对真实水下数据集
uccs
，退化等级为a的增强效果对比图
(
左上角为
uiqm
值，
uiqm
数值越大增强效果越好
)
；
[0065]
图
17
为在非成对真实水下数据集
uccs
，退化等级为b的增强效果对比图
(
左上角为
uiqm
值，
uiqm
数值越大增强效果越好
)
；
[0066]
图
18
为在非成对真实水下数据集
uccs
，退化等级为c的增强效果对比图
(
左上角为
uiqm
值，
uiqm
数值越大增强效果越好
)
；
[0067]
图
19
为在非成对真实水下数据集
uccs
，退化等级为d的增强效果对比图
(
左上角为
uiqm
值，
uiqm
数值越大增强效果越好
)
；
[0068]
图
20
为在非成对真实水下数据集
uccs
，退化等级为e的增强效果对比图
(
左上角为
uiqm
值，
uiqm
数值越大增强效果越好
)
；
[0069]
图
21
为在成对人工合成水下图像数据集的统计结果对比图；
[0070]
图
22
为在成对
uieb、euvp
和
ufo
真实水下图像数据集的统计结果对比图；
[0071]
图
23
为在非成对
uiqs
和
uccs
真实水下图像数据集的统计结果对比图
。
具体实施方式
[0072]
下面结合附图及具体实施方式进一步说明本发明
。
[0073]
图1给出水域自适应水下图像增强方法的总体处理流程
。
[0074]
本发明提供一种水域自适应水下图像增强方法，其主要步骤介绍如下：
[0075]
步骤
(1)、
基于多组卷积和稀疏网格注意力的特征提取方法：
[0076]
对于输入的退化的水下图像，首先使用两层卷积层实现对输入数据的初步处理和特征提取，为了使得生成的编码特征具备更加全面的信息，需要对特征中局部和全局信息采用不同的手段进行关注；
[0077]
对于特征中的细节
、
纹理等局部信息，利用基于多组卷积局部特征提取方法获得，将输入特征在通道维度均匀划分多个分组，每个分组包含相同通道数的输入，将卷积核按照输出通道数划分为多个分组，每个分组包含和通道数相同的卷积核，对于每组数据，使用对应的卷积核进行卷积操作，对于编码网络中的第i层，多组卷积表示如下：
[0078][0079]
其中，
mgc(
·
)
为多组卷积操作，由多个单组卷积操作gg
(
·
)
组成，用于学习对应通道特征的局部信息，di-1
∈rc×h×w为当前层输入，g为在通道维度划分的组数，为输入特征
zi的连续子集，
concat(
·
)
为在通道维度串联g组特征，利用批量正则化和
relu
激活函数防止梯度消失和梯度爆炸，
con
p
(
·
)
为点卷积操作，促进不同组特征之间的信息交互；
[0080]
对于特征中的色彩
、
轮廓等全局信息，利用稀疏网格注意力特征提取方法获得，将经过多组卷积操作的特征作为该阶段输入特征，使用固定大小为
(g,g)
的网格将特征网格并块化为特征大小为获得具有全局信息的窗口特征，在该窗口内执行多头注意力操作，以获取全局信息，多头注意力操作定义如下：
[0081]
[0082][0083]
其中，
t
为转置操纵，h为注意力头的数量，为比例因子，fpro
为非线性映射函数，
softmax(
·
)
为归一化操作，对于编码网络中的第i层，一个完整的稀疏网格注意力
sga(
·
)
操作流程如下：
[0084][0085][0086]
其中，fgb
(
·
)
为对特征的先网格化后块化的操作，
ln(
·
)
为正则化操作，
ffn(
·
)
为前馈层，fubg
(
·
)
为将特征返回至形状大小
(c,h,w)
的操作，通过对特征执行卷积映射和最大池化操作进行下采样，得到特征di
；
[0087]
上述步骤迭代四次得到信息更加丰富
、
全面的编码特征
d4；
[0088]
步骤
(2)、
基于水下环境域间差异的水域自适应方法：
[0089]
利用一个由卷积神经网络搭建的水类型分类器，获取步骤
(1)
获得的编码特征的水域信息，表示如下：
[0090]
d(d4)
＝
maxpool(fd(d4))
[0091]
其中，
d(
·
)
为水域分类网络，
fd(
·
)
为非线性映射，
maxpool(
·
)
为最大池化操作，该分类网络具有
ic、
两个输出；
[0092]
ic是一个长度和水域数量相等的一维向量，用于预测水类型，利用交叉熵损失函数来衡量预测结果和真实标签之间的差异，交叉熵损失
ln(
·
,
·
)
表示如下：
[0093][0094]
其中，c为正确水类型，c为预测水类型，当c＝c时，
yc＝1，否则
yc＝0，n为水类型的数量；
[0095]
为水域分类网络中间层的输出，使用反卷积将映射到和
z4相同的维度，二者在通道维度串联，串联后的特征在空间维度经过点卷积处理后生成对水域敏感特征，该过程
f(
·
,
·
)
表示如下：
[0096][0097]
其中，
f(
·
,
·
)
为生成水域敏感特征的映射过程，
convt(
·
)
为反卷积操作，生成的水域敏感特征i，用于指导编码网络在对应的水域中重建水下图像；
[0098]
步骤
(3)、
基于水域敏感特征诱导和聚合损失函数的图像增强：
[0099]
使用和编码网络对称的解码网络重建清晰的水下图像，除利用步骤
(1)
提出的特征提取方法解码信息外，还利用双线性差值实现特征的上采样，利用跳跃连接将解码阶段的输入和编码阶段对应层的输出在通道维度进行串联，被用于避免信息丢失，对于解码阶
段的第i层，解码过程如下：
[0100]e′i＝
sga(mgc(concat(e
i-1
,d
4-i
)))
[0101]
对输出特征d′i执行双线性差值上采样，获得当前解码层输出ei
；
[0102]
重复迭代上述操作四次，得到特征
e4，利用卷积映射得到通道数为3，宽高和输入图像相等的增强水下图像y，利用聚合损失约束增强图像，聚合损失
l
total
(
·
,
·
)
如下：
[0103]
l
total
(y,yg)
＝
α
l2(y,yg)+
β
l
grad
(y,yg)+
γ
l
color
(y,yg)
[0104]
其中，
yg分别清晰图像，
α
、
β
和
γ
为权重项，
l2(y,yg)
＝
‖y
g-y‖2为重建损失，用于恢复基本的图像信息，为梯度损失，用于保留和增强细节纹理，
δ
r、
δg和
δb分别表示增强图像y和清晰图像
yg在
rgb
颜色空间中各个颜色通道之间的差值，
[0105]
本发明采用的编解码结构，通过在模型的瓶颈期提取对水域敏感特征诱导解码器在指定水域场景下生成清晰的水下图像
。
为此提出了多阶段训练策略，逐步优化各个组件，首先利用聚合损失
l
total
(
·
,
·
)
训练编码器和解码器，直至增强结果和清晰图像的结构相似性指数
(ssim)
达到某一阈值，停止该阶段训练，旨在使编码器能够产生有意义的编码特征；第二步单独训练水域分类网络，采用编码特征作为网络输入，使用交叉熵损失函数
ln(
·
,
·
)
约束输出和真实水域类型的差异，且不反向传播更新编码器，直至水域类型预测的正确率达到某一阈值，停止该阶段训练；第三步再次训练编码器和解码器，以及水域敏感特征的映射过程，使用
l
total
(
·
,
·
)
约束增强结果和清晰图像的差异，直至训练结束，提高了模型整体的性能和鲁棒性
。
[0106]
本发明在公开水下图像数据集的水下图像增强处理中应用
[0107]
本发明所提出的多频双分支水下图像增强方法，通过
python
实现，运行在
windows 1064
位系统上
。
实验使用的硬件配置是
intel i7-8700
处理器，
8g
内存，
nvidia 2700
显卡
。
图
2-图9给出了所发明算法在人工合成的
、
成对的水下图像数据上和其他先进算法的对比结果，图
10-图
12
给出了所发明算法在真实的
、
成对的水下图像合成数据上和其他先进算法的对比结果，图
13-图
20
给出了所发明算法在真实的
、
非成对的水下图像数据上和其他先进算法的对比结果，图
21-图
22
给出了在成对数据集上统计结果，图
23
给出了在非成对数据集上统计结果
。
[0108]
本发明未详细阐述的技术内容属于本领域技术人员的公知技术
。
[0109]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列
。