一种基于特征增强的双重注意力去雾网络实现方法

本发明涉及图像处理，尤其涉及一种基于特征增强的双重注意力去雾网络实现方法。

背景技术：

1、在恶劣雾霾环境下，空气中悬浮的大气微粒散射，导致入射到成像设备的目标物体反射光和环境光同时减弱，采集到的图像出现对比度低、细节模糊、图像失真等质量退化问题，不利于图像的识别与应用，更会对后续计算机视觉工作产生不良影响。

2、目前，去雾方法主要分为图像增强去雾、图像恢复去雾和基于深度学习去雾。图像增强去雾一般不考虑雾天成像原理，通过增强图像的像素点达到去雾效果，但当雾浓度分布不均匀时，易出现光晕、噪声过大等现象，主要用于早期去雾；图像恢复去雾的方法通过分析雾天成像原理，建立雾天成像模型，利用先验知识和假设方法求解未知数，反推出无雾图像，例如何凯明等提出的基于暗通道先验的图像去雾技术，此类算法有一定的去雾效果，但过于依赖先验知识，导致模型泛化能力欠缺，且缺少多尺度结构，导致遇到复杂场景中的团雾时去雾不均匀；基于深度学习的去雾算法通过学习有参考图像，迭代更新参数，实现图像去雾，是近年来主流的去雾方法，例如基于cnn的一体化去雾网络(aod-net)等，此类方法去雾效果良好，但常出现网络模型复杂，参数量大的情况。为了解决现有去雾方法常出现的噪点处理能力差，复杂场景中的团雾去雾不均匀，网络模型复杂，参数量大的问题，本发明提出一种基于特征增强的双重注意力去雾方法。

技术实现思路

1、发明目的：本发明的目的是提供一种基于特征增强的双重注意力去雾网络实现方法，对有雾图像处理后，能实现细节恢复，色彩清晰，均匀去雾。

2、技术方案：本发明的双重注意力去雾网络实现方法，包括以下步骤：

3、s1，建立训练数据集和测试数据集；

4、s2，将训练数据集输入到基于特征增强的双重注意力去雾网络模型中；

5、s3，双重注意力去雾网络模型中的编码器，运用卷积操作、残差组模块、密集特征融合模块提取训练数据集的特征信息；

6、s4，双重注意力去雾网络模型中的双重注意力特征增强模块运用ghost模块丰富特征，并结合改进的rfb结构捕捉不同尺度特征，融合通道注意力机制和空间注意力机制实现特征自优化；

7、s5，双重注意力去雾网络模型中的解码器，运用密集特征融合模块、sos boosted结构、卷积操作恢复特征，输出除雾后的图像。

8、进一步，所述编码器包括依次连接的卷积操作、第一特征提取块、第二特征提取块、第三特征提取块和第四特征提取块，第一特征提取块、第二特征提取块、第三特征提取块和第四特征提取块分别包括依次连接的残差组模块、密集特征融合模块和卷积层；

9、所述解码器包括依次连接的第四特征恢复块、第三特征恢复块、第二特征恢复块、第一特恢复块和卷积操作；第四特征恢复块、第三特征恢复块、第二特征恢复块和第一特恢复块分别包括依次连接的反卷积操作、sos boosted模块和密集特征融合模块；

10、所述双重注意力特征增强模块包括依次连接的ghost模块、rfb结构和融合通道注意力和空间注意力模块。

11、进一步，步骤s3中，所述编码器运用卷积操作、残差组模块、密集特征融合模块提取训练数据集的特征信息，详细步骤如下：

12、s31，运用卷积操作对训练数据集进行初步特征提取；

13、s32，运用残差组模块修复训练数据集的特征；

14、s33，将所述训练数据集的特征利用所述卷积操作进行下采样，降低所述训练数据集的特征尺寸；

15、s34，运用所述密集特征融合模块将提取的初步特征和前每一个特征提取块的输出进行融合，并输入到下一个特征提取块。

16、进一步，步骤s4中，双重注意力特征增强模块通过ghost模块丰富特征，减少参数量，并结合rfb结构捕捉不同尺度特征，再通过通道注意力机制和空间注意力机制进行融合，保证去雾性能的同时增强网络噪点处理能力，详细步骤如下：

17、s41，编码器输出的特征经过ghost模块，用线性变换代替普通卷积进行特征丰富，将直接映射的特征和利用线性变换进行间接映射的特征进行融合，然后将融合后的特征送入rfb结构；

18、s42，通过rfb结构捕捉细节特征，在不同尺度对所述ghost模块输出特征进行融合；

19、s43，通过通道注意力机制与空间注意力机制的融合，对所述经过rfb结构的特征进行权重分配，实现特征自适应优化，提高网络噪点处理能力；然后将输出特征传入解码器中。

20、进一步，步骤s5中，所述解码器运用密集特征融合模块、sos boosted结构、卷积操作恢复特征，输出除雾后的图像；详细的实现步骤如下：

21、s51，通过反卷积操作将双重注意力特征增强模块输出的特征进行上采样；

22、s52，通过所述sos boosted模块，将双重注意力特征增强模块的输出、前每一特征恢复块的输出、同层级特征提取块的输出三部分进行融合，实现特征增强；

23、s53，通过所述密集特征融合模块将非相临的层级间的特征进行融合，并输入到下一特征提取块；

24、s54，通过卷积操作对第一特征恢复块的输出进行恢复，输出无雾图像。

25、进一步，所述rfb模块分为3个分支，第一分支用于整体特征描述；第二分支用于常规尺度特征提取；第三分支用于捕捉细微特征；三个平行分支将各自提取的特征进行串联拼接，再通过卷积调整通道数，并添加一条残差连接为多尺度平行分支的输出引入初始特征。

26、本发明与现有技术相比，其显著效果如下：

27、1、网络模型优化，参数量显著减少：本发明运用ghost模块代替传统卷积进行特征丰富，减少参数量，实现高效去雾；

28、2、对于复杂场景下的团雾，能够实现均匀去雾：本发明运用rfb结构多尺度提取特征，调整感受野大小，实现网络对图像的整体结构和细节纹理的有效把握，对于复杂场景的雾图特征提取更加灵活，去雾更加均匀；

29、3、对于有雾图像噪点处理能力更强：本发明的双重通道注意力模块结合空间注意力机制和通道注意力机制，保证去雾性能的同时增强网络抗干扰能力，对噪点处理效果更加优异；

30、4、恢复的无雾图像结构更加完整，细节更加清晰：本发明中的密集特征融合模块，将编码器、解码器的非相邻层级之间的特征信息紧密联系，弥补了传统编码器-解码器结构在信息传递中的空间信息丢失的情况，最大程度的保留了原始图像集的细节信息，减少特征传递中的信息丢失，保证恢复出来的图像更接近真实无雾图像。

技术特征：

1.一种基于特征增强的双重注意力去雾网络实现方法，其特征在于，包括以下步骤：

2.根据权利要求1所述基于特征增强的双重注意力去雾网络实现方法，其特征在于，所述编码器包括依次连接的卷积操作、第一特征提取块、第二特征提取块、第三特征提取块和第四特征提取块，第一特征提取块、第二特征提取块、第三特征提取块和第四特征提取块分别包括依次连接的残差组模块、密集特征融合模块和卷积层；

3.根据权利要求2所述基于特征增强的双重注意力去雾网络实现方法，其特征在于，步骤s3中，所述编码器运用卷积操作、残差组模块、密集特征融合模块提取训练数据集的特征信息，详细步骤如下：

4.根据权利要求2所述基于特征增强的双重注意力去雾网络实现方法，其特征在于，步骤s4中，双重注意力特征增强模块通过ghost模块丰富特征，减少参数量，并结合rfb结构捕捉不同尺度特征，再通过通道注意力机制和空间注意力机制进行融合，保证去雾性能的同时增强网络噪点处理能力，详细步骤如下：

5.根据权利要求2所述基于特征增强的双重注意力去雾网络实现方法，其特征在于，步骤s5中，所述解码器运用密集特征融合模块、sos boosted结构、卷积操作恢复特征，输出除雾后的图像；详细的实现步骤如下：

6.根据权利要求2所述基于特征增强的双重注意力去雾网络实现方法，其特征在于，所述rfb模块分为3个分支，第一分支用于整体特征描述；第二分支用于常规尺度特征提取；第三分支用于捕捉细微特征；三个平行分支将各自提取的特征进行串联拼接，再通过卷积调整通道数，并添加一条残差连接为多尺度平行分支的输出引入初始特征。

技术总结
本发明公开了一种基于特征增强的双重注意力去雾网络实现方法，包括步骤：建立训练和测试的数据集；将训练数据集输入到基于特征增强的双重注意力去雾网络模型中；基于特征增强的双重注意力去雾网络的编码器，运用卷积操作、残差组模块、密集特征融合模块提取训练数据集的特征信息；基于特征增强的双重注意力去雾网络的双重注意力特征增强模块运用Ghost模块丰富特征，并结合改进的RFB结构捕捉不同尺度特征，融合通道注意力和空间注意力机制实现特征自优化；基于特征增强的双重注意力去雾网络的解码器运用密集特征融合模块、SOS Boosted结构、卷积操作恢复特征，输出除雾后的图像。本发明能使去雾后的图像更接近真实无雾图像。

技术研发人员：黄仔洁,陈海秀,陆康,陆成,何珊珊,房威志,卢海涛,陈子昂
受保护的技术使用者：南京信息工程大学
技术研发日：
技术公布日：2024/4/17