基于多感受野特征融合和混合注意力的图像去雾方法

本技术涉及图像处理，特别是涉及一种基于多感受野特征融合和混合注意力的图像去雾方法。

背景技术：

1、近年来，绿化减少、空气污染加剧等因素导致大雾天气频发。大雾环境下，大气中的悬浮颗粒会对可见光产生散射和吸收作用。该气候条件下采集拍摄的图像往往遭受严重的色彩失真和细节退化，且无法直接用于进一步的高级视觉任务，如目标检测、图像分类、语义分割等。为了去除雾，提高图像质量，获得对比度高、细节清晰的图像，国内外学者们提出了多种去雾算法。根据去雾原理的不同，现有去雾方法主要可分为以下三类：基于图像增强、物理模型和深度学习的方法。基于图像增强的去雾方法主要通过直接修改图像对比度或饱和度增强图像中的有用信息，达到提升图像质量、去除雾的目的。该类方法未考虑图像降质的原因，仅依靠增强图像来改善雾图视觉效果，往往会造成去雾后图像失真、去雾效果欠佳等问题。基于物理模型的方法通常以大气散射模型为基础，通过估计雾图成像过程中的传输率和大气光，实现图像去雾。由于依赖先验知识，且需要人工提取雾图中的特征信息，该类方法的鲁棒性通常较差，一旦对雾图成像过程中传输率和大气光的估计出现偏差，将导致去雾不彻底、细节丢失或图像偏色等问题。

2、近年来，随着gpu算力的提高及大型去雾数据集的建立，基于深度学习的图像去雾已成为了研究的热点。基于深度学习的去雾方法不涉及雾图先验理论模型构建，可通过自动学习图像特征达到去雾目的。近年来，基于深度学习的去雾方法通常依赖于复杂的训练策略和大量的超参数优化，提升模型的表达能力。此外，目前大部分深度学习方法对不同网络层特征信息缺乏充分的提取与利用，这将导致去雾后图像存在结构信息缺失和颜色失真等现象。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高去雾后的图像准确率的基于多感受野特征融合和混合注意力的图像去雾方法。

2、一种基于多感受野特征融合和混合注意力的图像去雾方法，所述方法包括：

3、获取训练数据集；训练数据集包括多个有雾图像和有雾图像对应的无雾图像；

4、构建图像去雾网络；图像去雾网络包括编码器、特征提取模块、跳跃连接模块和解码器；编码器包括卷积层、多感受野特征增强模块、第一误差反馈模块和第二误差反馈模块；特征提取模块包括多个多感受野特征增强模块；解码器包括多感受野特征增强模块、第三误差反馈模块、第四误差反馈模块和卷积层；跳跃连接模块包括两层带有混合注意力模块的跳跃连接；

5、根据训练数据集对图像去雾网络进行训练，直至预先设置的混合损失函数收敛，得到训练好的图像去雾网络；

6、利用训练好的图像去雾网络对待处理的有雾图像进行去雾，得到去雾后的图像。

7、在其中一个实施例中，编码器用于根据卷积层将输入图像映射至高维特征空间，得到第一特征图，运用多感受野增强模块对第一特征图进行处理，将得到的特征图先后进行两次下采样，并在每次下采样后依次部署一个误差反馈模块和一个多感受野特征增强模块，第一特征图不仅作为其后连接的多感受野特征增强模块的输入、还作为第一误差反馈模块和第二误差反馈模块的输入，第一误差反馈模块的输出不仅作为其后连接的多感受野特征增强模块的输入，还作为第二误差反馈模块的输入，处于编码器末端的多感受野特征增强模块的输出为编码后的特征图。

8、在其中一个实施例中，特征提取模块由多个多感受野特征增强模块级联组成；特征提取模块用于对编码后的特征图进行图像高级语义特征提取，得到特征提取后的特征图；特征提取后的特征图包括自适应融合后的特征；多感受野特征增强模块包括三层类金字塔卷积结构，第一层包含一个大小为3×3、步长为1的卷积层，第二层包含两个级联的大小为3×3、步长为1的卷积层，第三层包含三个级联的大小为3×3、步长为1的卷积层；多感受野特征增强模块用于根据三层类金字塔卷积结构进行特征提取并对提取到的特征进行加权融合，得到加权融合后的特征，对加权融合后的特征进行大小为3×3、步长为1的卷积操作，得到精炼后的特征。

9、在其中一个实施例中，利用通道注意力机制将多感受野特征增强模块的输入特征与精炼后的特征进行自适应融合，得到自适应融合后的特征为

10、

11、

12、其中，表示特征fout的第j个通道，fin和fr分别表示输入特征与精炼后的特征，具有相同的通道数，通道数由nc表示，和分别表示fr和fin的第j个通道，和分别表示和的注意力权重，在网络训练过程中自动获取。

13、在其中一个实施例中，解码器用于根据多感受野特征增强模块对特征提取模块输出的特征图进行特征提取，得到第二特征图，对第二特征图先后进行两次上采样并在每次上采样后依次部署一个误差反馈模块和一个多感受野特征增强模块，其中第一次上采样和第二次上采样之后连接的误差反馈模块，分别为第三误差反馈模块和第四误差反馈模块，在每次上采样前部署一个相加操作，将上采样操作之前的多感受野特征增强模块的输出与跳跃连接模块的输出进行相加融合，得到上采样后的特征图；根据误差反馈模块和多感受野特征增强模块分别对两次上采样后的特征图进行误差反馈和多感受野特征增强，得到最终的特征图；根据卷积层对最终的特征图进行重建，得到去雾图像；其中，特征提取模块输出的特征图不仅作为解码器中与其连接的多感受野特征增强模块的输入、还作为第三误差反馈模块和第四误差反馈模块的输入，第三误差反馈模块的输出不仅作为其后连接的多感受野特征增强模块的输入，还作为第四误差反馈模块的输入。

14、在其中一个实施例中，跳跃连接模块的输出包括第一跳跃连接特征和第二跳跃连接特征；跳跃连接模块包含两层带有混合注意力模块的跳跃连接，第一层跳跃连接将编码器中第一误差反馈模块之后连接的多感受野特征增强模块的输出和解码器中第三误差反馈模块之后连接的多感受野特征增强模块的输出作为输入，共同输入至带有混合注意力模块的跳跃连接，得到第一跳跃连接特征；第二层跳跃连接将编码器末端的多感受野特征增强模块的输出和解码器第一个多感受野特征增强模块的输出作为输入，共同输入至带有混合注意力模块的跳跃连接，得到第二跳跃连接特征。

15、在其中一个实施例中，将编码器中第一误差反馈模块之后连接的多感受野特征增强模块的输出和解码器中第三误差反馈模块之后连接的多感受野特征增强模块的输出作为输入，共同输入至带有混合注意力模块的跳跃连接，得到第一跳跃连接特征，包括：

16、将编码器中第一误差反馈模块之后连接的多感受野特征增强模块的输出和解码器中第三误差反馈模块之后连接的多感受野特征增强模块的输出进行相加，得到特征f％，并将f％输入混合注意力模块，分别从通道和像素维度获取通道注意力权重qc和像素注意力权重qp，根据广播机制将qc和qp进行相加融合，获取注意力权重μ，并利用权重μ对编码器和解码器端的特征进行加权求和，得到特征fha，采用残差连接将编码端和解码端的输入特征fen和fde与fha进行相加融合，得到融合后的特征fhac，使用大小为1×1、步长为1的卷积层对融合后的特征fhac进行投影，得到第一跳跃连接特征。

17、在其中一个实施例中，根据权利要求1的方法，其特征在于，预先设置的混合损失函数为

18、l＝ls+λlp

19、

20、

21、

22、其中，ls和lp分别表示平滑损失和感知损失，λ为权重系数，λ优选0.3～0.7之间的常数，gc(g)和jc(g)分别表示网络预测的无雾图像和真实的清晰无雾图中第g个像素在通道c上的值，n表示图像的像素数目，x表示gc(g)和jc(g)的差值，表示网络预测的去雾图像，j表示真实的清晰无雾图像，和φk(j)分别表示将和j输入vgg-16网络得到的第k层的特征图，表示求给定矩阵的二范数，ck、hk和wk分别表示第k层特征图的通道数、高度和宽度。

23、一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

24、获取训练数据集；训练数据集包括多个有雾图像和有雾图像对应的无雾图像；

25、构建图像去雾网络；图像去雾网络包括编码器、特征提取模块、跳跃连接模块和解码器；编码器包括卷积层、多感受野特征增强模块、第一误差反馈模块和第二误差反馈模块；特征提取模块包括多个多感受野特征增强模块；解码器包括多感受野特征增强模块、第三误差反馈模块、第四误差反馈模块和卷积层；跳跃连接模块包括两层带有混合注意力模块的跳跃连接；

26、根据训练数据集对图像去雾网络进行训练，直至预先设置的混合损失函数收敛，得到训练好的图像去雾网络；

27、利用训练好的图像去雾网络对待处理的有雾图像进行去雾，得到去雾后的图像。

28、一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

29、获取训练数据集；训练数据集包括多个有雾图像和有雾图像对应的无雾图像；

30、构建图像去雾网络；图像去雾网络包括编码器、特征提取模块、跳跃连接模块和解码器；编码器包括卷积层、多感受野特征增强模块、第一误差反馈模块和第二误差反馈模块；特征提取模块包括多个多感受野特征增强模块；解码器包括多感受野特征增强模块、第三误差反馈模块、第四误差反馈模块和卷积层；跳跃连接模块包括两层带有混合注意力模块的跳跃连接；

31、根据训练数据集对图像去雾网络进行训练，直至预先设置的混合损失函数收敛，得到训练好的图像去雾网络；

32、利用训练好的图像去雾网络对待处理的有雾图像进行去雾，得到去雾后的图像。

33、上述基于多感受野特征融合和混合注意力的图像去雾方法，本技术将多感受特征提取、误差反馈与混合注意力机制融入u形深度卷积神经网络构建图像去雾网络，在图像去雾网络中设置编码器、特征提取模块、跳跃连接模块和解码器来提高特征提取的准确率并综合考虑图像像素级和语义级损失，构建基于平滑损失和感知损失的混合损失函数；利用训练数据集进行网络训练，直至混合损失函数收敛根据训练好的网络对待处理的有雾图像进行处理，得到去雾后的清晰无雾图。本发明可在不引入庞大参数量的情况下，恢复出色彩保真度更高、纹理更丰富的清晰自然无雾图，同时避免去雾图像出现偏色、伪影等问题，去雾准确率高。