基于注意力机制与细节增强双分支网络的图像去尘雾方法

本发明涉及煤矿图像领域，特别是涉及一种基于注意力机制与细节增强双分支网络的图像去尘雾方法。

背景技术：

1、随着人工智能技术的不断进步和煤矿智能化的持续发展，计算机视觉在保障煤矿安全生产、提高煤炭开采效率和煤矿智能化水平等方面的作用愈加突出。但由于煤矿井下煤尘颗粒物又多又大、水雾较多、光照不均匀等复杂环境，通过计算机视觉获取的图像存在能见度和对比度较低、细节信息模糊以及亮度不均等缺点，不利于识别矿井下目标。因此，研究煤矿井下图像去尘去雾具有重要意义。

2、随着深度学习的快速发展，深度学习去尘雾方法成为研究的主流，主要分为：利用神经网络估计沙尘和雾天图像的成像模型参数的方法和直接利用神经网络获取清晰图像的方法。但现有方法在处理煤矿图像时，由于煤矿开采过程中存在人工光源、煤尘颗粒度大以及尘雾浓度高等问题，会导致整体亮度偏暗或加重曝光、去尘雾效果不明显以及图像细节模糊等问题。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的基于注意力机制与细节增强双分支网络的图像去尘雾方法解决了现有去尘雾方法整体亮度偏暗或加重曝光、去尘雾效果不明显以及图像细节模糊的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：一种基于注意力机制与细节增强双分支网络的图像去尘雾方法，包括以下步骤：

3、s1：利用限制对比度自适应直方图均衡化方法分别对煤矿图像的r通道、g通道和b通道进行均衡处理后融合，获得光线均匀的煤矿图像；

4、s2：利用基于注意力机制的去尘雾分支网络对光线均匀的煤矿图像进行初步去尘雾，获得去尘雾图和传输估计值，同时利用细节增强分支网络对光线均匀的煤矿图像通过多尺度空洞卷积和单卷积从全局和局部增强细节，获得细节特征图；

5、s3：对去尘雾图和细节特征图进行拼接，输出新的去尘雾图，并利用重构损失和先验损失构成新的组合损失函数，优化双分支网络去尘雾效果，获得最终的去尘雾图像。

6、上述方案的有益效果是：本发明利用基于注意力机制的去尘雾分支网络和细节增强分支网络构成基于注意力机制与细节增强双分支网络，其中利用基于注意力机制的去尘雾分支网络实现初步去尘雾，利用细节增强分支网络获取更具代表性的细节特征，为进一步优化去尘雾效果，通过先验损失和重构损失来减少图像域间的差异和提高图像质量。解决了现有去尘雾方法整体亮度偏暗或加重曝光、去尘雾效果不明显以及图像细节模糊的问题。

7、进一步地，s2中基于注意力机制的去尘雾分支网络以msbdnet中的u型结构主干网络为基础，通过设计新的残差密集块分别对msbdnet的编码结构、特征恢复结构和解码结构进行改进，获得改进的编码结构、改进的特征恢复结构和改进的解码结构。

8、上述进一步方案的有益效果是：去尘雾分支网络以msbdnet中的u型结构主干网络为基础，针对原主干网络存在细节特征不足以及去尘雾效果不佳等问题，本方案提出了不同于原网络的残差密集块，并基于该模块对原网络的编码结构、特征恢复结构以及解码结构进行不同改进，优化原网络的不足。

9、进一步地，残差密集块包括依次连接的密集连接层、局部特征融合层和局部残差学习层，在所述局部特征融合层后依次加入通道注意力机制和空间注意力机制，用于不均匀尘雾图像的特征关注和提取。

10、上述进一步方案的有益效果是：通过加入通道注意力机制和空间注意力机制，更好融合不同通道信息以及提高残差密集块的判别学习能力，实现不均匀尘雾图像的特征关注与提取。

11、进一步地，改进的编码结构包括4个依次连接的基于注意力残差密集组，每个基于注意力残差密集组包括3个依次连接的残差密集块和1个轻量化注意力机制，所述轻量化注意力机制与残差密集块连接。

12、上述进一步方案的有益效果是：通过增加轻量化注意力机制，增强对目标区域的特征信息提取，通过关注有效特征，进一步提取更关键的信息以及提高信息处理的灵敏度。

13、进一步地，改进的特征恢复结构包括3个依次连接的残差密集块。

14、上述进一步方案的有益效果是：特征恢复结构使用设计的残差密集块块数相较于msbdnet减少为3个，避免了残差密集块随着数量越多，对煤矿尘雾的提取关注越高问题。

15、进一步地，改进的解码结构包括4个依次连接的残差密集组，每个残差密集组包括3个依次连接的残差密集块。

16、上述进一步方案的有益效果是：通过上述技术方案，新的输出方式获得的输出粗略去尘雾图可与细节增强分支输出特征图构成精去尘雾图，同另一个输出分支生成传输图搭建物理模型。基于该模型进行去尘雾可以为网络训练指定任务特定的优化目标，并使整个训练过程具有可解释性。

17、进一步地，s2中细节增强分支网络包括全局分支和局部分支，所述全局分支通过光滑空洞卷积获取全局信息特征，所述局部分支采用单卷积层对局部细节特征进行提取，所述光滑空洞卷积包括依次连接的分离共享卷积和空洞卷积。

18、上述进一步方案的有益效果是：细节增强分支网络由两个分支组成，被用来弥补基于注意力机制去尘雾分支网络在处理煤矿下尘雾图像时产生的信息丢失，恢复重建图像的细节。

19、进一步地，s3中重构损失用于计算输入图像与重构有雾图像间的损失，重构有雾图像基于ifsm模型实现，所述ifsm模型包括以下公式：

20、i(x)＝j(x)t2(x)+a(1-t(x))

21、其中，i(x)为观测到的有雾图像，j(x)为无尘雾图像，t(x)为描述光未被散射而到达目标物体部分的透射率，a为全球大气光；

22、重构损失函数l1为

23、

24、其中，i为输入图像，为由双分支网络以及a-net网络的输出共同进行重构的含尘雾图，||·||1表示范数。

25、上述进一步方案的有益效果是：利用上述计算输入图像与重构有雾图间的损失，而ifsm模型充分考虑了光的两次衰减，因此相较于传统的大气散射模型更适合描述工业场景中的图像形成。

26、进一步地，s3中先验损失包括暗通道损失和亮通道损失，用于优化去尘效果，所述先验损失通过暗通道损失和亮通道损失获取真实煤矿图像传输估计值，所述暗通道损失和亮通道损失包括以下公式：

27、

28、

29、其中，ldcp为暗通道损失，lbcp为亮通道损失，t1为暗通道的传输估计值，t2为亮通道的传输估计值，为双分支网络的传输估计值，la为laplacian矩阵，t为矩阵的转置，λ为超参数；

30、则先验损失lpior为

31、lpior＝ldcp+lbcp

32、则组合损失函数l为

33、l＝l1+lpior。

34、上述进一步方案的有益效果是：通过上述技术方案，利用物理先验算法构成的先验损失弥补公共数据集与真实煤矿井下差异、促进去尘雾效果以及提高图像整体质量。

技术特征：

1.一种基于注意力机制与细节增强双分支网络的图像去尘雾方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于注意力机制与细节增强双分支网络的图像去尘雾方法，其特征在于，所述s2中基于注意力机制的去尘雾分支网络以msbdnet中的u型结构主干网络为基础，通过设计新的残差密集块分别对msbdnet的编码结构、特征恢复结构和解码结构进行改进，获得改进的编码结构、改进的特征恢复结构和改进的解码结构。

3.根据权利要求2所述的基于注意力机制与细节增强双分支网络的图像去尘雾方法，其特征在于，所述残差密集块包括依次连接的密集连接层、局部特征融合层和局部残差学习层，在所述局部特征融合层后依次加入通道注意力机制和空间注意力机制，用于不均匀尘雾图像的特征关注和提取。

4.根据权利要求2所述的基于注意力机制与细节增强双分支网络的图像去尘雾方法，其特征在于，所述改进的编码结构包括4个依次连接的基于注意力残差密集组，每个基于注意力残差密集组包括3个依次连接的残差密集块和1个轻量化注意力机制，所述轻量化注意力机制与残差密集块连接。

5.根据权利要求2所述的基于注意力机制与细节增强双分支网络的图像去尘雾方法，其特征在于，所述改进的特征恢复结构包括3个依次连接的残差密集块。

6.根据权利要求2所述的基于注意力机制与细节增强双分支网络的图像去尘雾方法，其特征在于，所述改进的解码结构包括4个依次连接的残差密集组，每个残差密集组包括3个依次连接的残差密集块。

7.根据权利要求1所述的基于注意力机制与细节增强双分支网络的图像去尘雾方法，其特征在于，所述s2中细节增强分支网络包括全局分支和局部分支，所述全局分支通过光滑空洞卷积获取全局信息特征，所述局部分支采用单卷积层对局部细节特征进行提取，所述光滑空洞卷积包括依次连接的分离共享卷积和空洞卷积。

8.根据权利要求1所述的基于注意力机制与细节增强双分支网络的图像去尘雾方法，其特征在于，所述s3中重构损失用于计算输入图像与重构有雾图像间的损失，重构有雾图像基于ifsm模型实现，所述ifsm模型包括以下公式：

9.根据权利要求8所述的基于注意力机制与细节增强双分支网络的图像去尘雾方法，其特征在于，所述s3中先验损失包括暗通道损失和亮通道损失，用于优化去尘效果，所述先验损失通过暗通道损失和亮通道损失获取真实煤矿图像传输估计值，所述暗通道损失和亮通道损失包括以下公式：

技术总结
本发明公开了基于注意力机制与细节增强双分支网络的图像去尘雾方法，涉及煤矿图像领域，对图像进行去尘雾以及细节增强之前采用限制对比度自适应直方图均衡化进行光线均匀处理，减少煤矿井下人工光源带来的不均匀光照对图像去尘雾的影响；随后，采用双分支方式对图像进行粗去尘雾、细节增强操作，获得精去尘雾图像。基于注意力机制的去尘雾分支网络生成粗去尘的图像和传输图，细节增强分支网络生成更多细节，弥补基于注意力机制去尘雾分支网络在去尘雾过程中造成的信息丢失，最后利用重构损失和先验损失构成损失函数组合，优化双分支网络去尘雾效果。本发明解决了现有去尘雾方法整体亮度偏暗或加重曝光、去尘雾效果不明显以及图像细节模糊的问题。

技术研发人员：吴浩,金钟杨,刘彦希,钟长华
受保护的技术使用者：四川轻化工大学
技术研发日：
技术公布日：2024/1/15