基于参数建模与梯度引导的陆海空战场图像去雾方法

本发明属于战场图像去雾方法，涉及一种基于参数建模与梯度引导的陆海空战场图像去雾方法。

背景技术：

1、目前图像去雾方法主要分为三类：第一类是基于物理模型的方法，第二类是非物理模型方法，第三类是基于深度学习的方法。基于物理模型的方法需要准确估计模型参数，难以应用于挑战性雾化场景。非物理模型方法高度依赖于图像中可观察信息，对于去雾任务无法取得良好成效。随着深度学习技术的蓬勃发展，基于深度学习的去雾方法已成为主流。文献“b.li,y.gou,j.z.liu,h.zhu,j.t.zhou,and x.peng.zero-shot imagedehazing.ieee transactions on image processing,vol.29,pp.8457-8466,aug.2020.”公开了一种零样本学习去雾网络，采用编解码模型估计介质传输和环境光，逆求解大气散射成像模型去除自然图像中的雾化效应。部分遥感图像去雾方法和水下图像去雾方法同样将大气散射成像模型纳入深度网络并取得了良好的视觉效果。然而，上述方法仅能改善单一场景雾化现象。此外，文献“q.guo,h.-m.hu,and b.li.haze and thin cloud removalusing elliptical boundary prior for remote sensing image.ieee transactions ongeoscience and remote sensing,vol.57,no.11,pp.9124-9137,nov.2019.”提出大气散射成像模型忽略了介质传输和雾浓度的相关性，难以改善遥感图像对比度。如何合理结合成像模型与深度网络互补优势仍需探索，设计单一框架去除多源传感器图像中的雾化现象更是待解决的难题。

技术实现思路

1、要解决的技术问题

2、为了避免现有技术的不足之处，本发明提出一种基于参数建模与梯度引导的陆海空战场图像去雾方法，克服现有图像去雾方法难以应用于多源传感器捕获场景的不足。

3、本方法采用暗通道先验理论获取遥感战场图像暗通道，并通过swin transformer模块以非重叠局部窗口形式学习暗元素特征，以生成雾浓度参数。其次，建立编解码网络生成多源图像介质传输参数，即遥感战场图像、自然战场图像和水下图像介质传输参数，并利用引导滤波保留参数边缘信息。同时，通过局部最小滤波排除高亮度像素对于环境光估计的干扰，结合注意力机制和可变形卷积将更多注意力集中于雾化区域，合理估计环境光参数。然后，将遥感战场图像相关参数，即雾浓度参数、介质传输参数和环境光参数输入遥感雾图成像模型，将自然战场图像和水下图像相关参数，即介质传输参数和环境光参数输入大气散射成像模型，逆求解成像模型生成多源去雾图像。最后，构建梯度引导模块自适应增强图像纹理细节，并采用白平衡算法补偿水下图像色彩衰减，实现单一框架去除多源战场图像雾化现象。

4、技术方案

5、一种基于参数建模与梯度引导的陆海空战场图像去雾方法，其特征在于步骤如下：

6、步骤1：采集自然战场图像和遥感战场图像样本，采用基于成像模型的雾合成策略构建自然战场去雾数据基准和遥感战场去雾数据基准，收集现有水下图像去雾数据基准，并以10：1的比例将上述数据基准分为遥感战场去雾、自然战场去雾和水下图像去雾训练样本集和测试样本集；

7、步骤2：对训练样本集执行数据增广，按尺度裁切和镜像翻转，生成维度为h×w×3的训练样本；

8、步骤3：将遥感战场去雾训练样本输入至雾浓度估计网络(s-net)，采用暗通道先验理论获取训练样本的暗通道：

9、

10、其中，jdark为暗通道，c为rgb颜色通道中的任一通道，ω(x)为以像素x为中心的局部区域；

11、步骤4：将步骤3中暗通道输入至swin transformer模型，生成雾浓度参数sr；

12、步骤5：将遥感战场去雾训练样本、自然战场去雾训练样本、水下图像去雾训练样本输入至介质传输估计网络(t-net)，采用编解码模型分别生成维度为h×w×1的介质传输参数tr、th、tu，激活函数为relu和sigmoid；

13、步骤6：采用引导滤波细化步骤5中的介质传输参数，保留边缘信息；

14、步骤7：将遥感战场去雾训练样本、自然战场去雾训练样本、水下图像去雾训练样本输入至环境光估计网络(a-net)，分别生成维度为h×w×3的环境光参数ar、ah、au；

15、将步骤4、步骤6、步骤7中的雾浓度参数sr、介质传输参数tr、环境光参数ar输入至遥感雾图成像模型：

16、ir(x)＝jr(x)tr(x)+arsr(x)

17、其中，ir为遥感雾图，jr为清晰遥感图像，r表示遥感去雾任务；

18、步骤9：逆求解步骤8中的遥感雾图成像模型得到清晰遥感战场图像：

19、

20、其中，t0为临界值，设为0.1，以避免清晰遥感图像亮度失衡；

21、步骤10：将步骤6和步骤7中的介质传输参数th和环境光参数ah输入至大气散射成像模型：

22、ih(x)＝jh(x)th(x)+ah(1-th(x))

23、其中，h表示自然图像去雾任务；

24、步骤11：逆求解步骤10中的大气散射成像模型得到清晰自然战场图像：

25、

26、步骤12：将步骤6和步骤7中的介质传输参数tu和环境光参数au输入大气散射成像模型，并逆求解得到清晰水下图像；

27、步骤13：采用白平衡算法补偿水下图像颜色衰减；

28、步骤14：将清晰遥感战场图像、清晰自然战场图像、清晰水下图像输入至梯度引导模块增强图像纹理细节；

29、步骤15：对陆海空战场图像去雾网络进行训练，得到训练好的陆海空战场图像去雾网络，其中优化器选用adam，损失函数采用由l1损失函数ll1、梯度损失函数lg、ms-ssim损失函数lm组成的混合损失函数：

30、l＝λ1ll1+λ2lg+λ3lm

31、其中，λ1、λ2、λ3为权衡参数，设为1、1、2。l1损失函数计算公式如下：

32、

33、其中，j为真实无雾图像，j'为网络输出的去雾图像。梯度损失函数计算公式如下：

34、lg＝eg'～q(r),g～q(g)||g'-g||1

35、其中，e(·)为数学期望，g'为j'的梯度图，g为j的梯度图，q(r)为g'的分布，q(g)为g的分布。ms-ssim损失函数计算公式如下：

36、lm＝1-ms-ssim(j',j)

37、利用得到的陆海空战场图像去雾网络对遥感战场雾图、自然战场雾图、水下雾图进行处理，得到去雾图像。

38、所述步骤7环境光估计网络具体包括如下步骤：

39、步骤7-1：对输入图像使用局部最小滤波，降低高亮像素干扰；

40、步骤7-2：对步骤7-1所述图像使用3×3卷积生成浅层特征；

41、步骤7-3：对步骤7-2所述浅层特征使用通道注意机制和像素注意机制，生成注意力特征，不平等对待图像中的雾区域和无雾区域；

42、步骤7-4：对步骤7-3所述注意力特征进行4次最大池化、可变形卷积、批归一化和relu激活的组合处理后，使用全局最大池化和全连接层生成环境光值；

43、步骤7-5：对步骤7-4所述环境光值使用维度扩展操作生成维度为h×w×3的环境光参数。

44、所述步骤14梯度引导模块具体包括如下步骤：

45、步骤14-1：对输入图像使用sobel算子生成梯度图gi；

46、步骤14-2：将步骤14-1所述梯度图与网络输出去雾图像逐像素相乘生成细节特征fd：

47、fd＝j'×gi

48、步骤14-3：将步骤14-2所述细节特征与网络输出去雾图像逐元素相加生成细节清晰去雾图像jc：

49、jc＝j'+fd。

50、有益效果

51、本发明提出的一种基于参数建模与梯度引导的陆海空战场图像去雾方法，解决单一模型难以去除多种战场场景中雾化现象的问题。主要包括如下步骤：采集自然战场图像和遥感战场图像，利用雾合成策略生成自然战场去雾数据集和遥感战场去雾数据集，获取水下图像增强数据集，对3个数据集进行数据增广，生成训练集和测试集；构建战场图像去雾网络，其中雾浓度估计网络结合暗通道先验与swin transformer模型生成雾浓度参数，介质传输估计网络基于编解码模型估计介质传输参数，环境光估计网络协同编码器与局部最小滤波估计环境光参数。通过将估计参数代入成像模型，并逆求解成像模型，生成战场去雾结果。采用梯度引导模块进一步增强图像细节，获得清晰且细节丰富的战场图像。本发明整合物理模型方法和深度学习方法互补优势，有效提升战场雾图视觉效果，且能够以单一框架实现多场景去雾，便于推广使用。

52、本发明的有益效果是：该方法结合暗通道先验理论和swin transformer模型合理估计遥感雾图成像模型特有参数，即雾浓度参数；协同编码器和局部最小滤波，降低高亮度像素如爆炸产生的火光等带来的干扰，合理估计环境光参数；采用编解码模型估计介质传输参数，并利用引导滤波细化介质传输图像边缘细节；在使用成像模型实现多场景战场图像去雾同时考虑图像细节模糊问题，构建梯度引导模块，完成图像细节增强，为后续战场视觉任务提供高质量数据。