基于深度学习的针对真实带雾图像的去雾方法及装置

1.本发明涉及图像处理和深度学习的技术领域，尤其涉及一种基于深度学习的针对真实带雾图像的去雾方法，以及基于深度学习的针对真实带雾图像的去雾装置。


背景技术：

2.近年来，雾霾天气持续蔓延的态势，在严重影响人们健康的同时，大气中的水滴和颗粒会将光线吸收和散射。这使得到的户外图像丢失许多真实的信息，极大降低了成像设备的成像质量，无法满足人类视觉的需求，并且给后续的视觉任务带来了很多阻碍与困难。其所导致的重大交通事故、公路交通阻断、航班延误等情况时有发生。在道路交通方面，大雾不仅给驾驶员造成视线模糊，也给道路监控带来成像干扰。在军事侦察方面，烟雾会影响指战员对战场的实时观察和战术的及时调整，云雾会限制无人机的全天候侦查和监视。在航空航天方面，雨雾影响飞行员视线并危害航班安全，雾霾影响遥感卫星的成像质量。同时，雾霾对智能视觉感知系统也造成巨大影响，其导致成像的对比度低、动态范围小、细节不清晰等，从而影响图像识别、目标检测、物体跟踪等高层次的视觉感知任务。
3.因此，我们需要良好的除雾技术，以提高对比度和恢复图像的颜色。因此，迫切需要一种能对真实带雾图像进行去雾工作的方法。目前，要实现对带雾图像的去雾处理，是较为困难的事情。已有的方法主要分为：基于图像增强的方法、基于物理模型的图像复原方法和基于深度学习的方法。基于图像增强的方法主要通过增强对比度改善图像质量，如直方图均衡化、同态滤波、小波融合等，这种方法只是稍微改善了图像质量，并没有针对性地去雾，因此效果不是很理想。而基于物理模型的图像复原方法，则沿着图像退化的逆过程进行复原。对于大气模型来说，大多方法需要参考同一场景的图像深度信息来恢复图像对比度，这样无法保证图像去雾的实时性，大大降低了工作效率。基于深度学习的方法目前大多停留在利用合成雾天图像对神经网络进行训练的阶段，神经网络过于依赖仿真训练集，最终所得的网络对于真实雾天图像的处理结果较差。
4.综上所述，为了保证对真实带雾图像的去雾质量及其实时性，需要一种基于深度学习的针对真实带雾图像的去雾方法。


技术实现要素：

5.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于深度学习的针对真实带雾图像的去雾方法，其能够使图像恢复较高的质量和细节，并且具有实时性和泛用性。
6.本发明的技术方案是：这种基于深度学习的针对真实带雾图像的去雾方法，其包括以下步骤：
7.(1)对训练集中所有图像的大小进行处理；
8.(2)输入一个模糊图像，对其进行特征提取；
9.(3)图像再被输入到3个跳跃连接的网络结构中；
10.(4)利用特征注意力模块将网络输出的特征融合；
11.(5)将特征输入到残差学习模块；
12.(6)重复步骤(2)-(5)，对训练集中的图片分批次进行训练；
13.(7)在微调部分，用物理先验知识作为指导，训练未标记的真实带雾图像；
14.(8)融合特征，输出恢复后的清晰图像。
15.本发明通过对空间进行四面体剖分达到自适应邻域分割的目的，为不同采集密度下的插值点提供了合适的邻域，减小了采集密度不均匀导致的参数不平衡的影响；通过对空间中待插值的体素采用体积权重插值与空间二阶多项式插值相融合的插值策略，具有更低的重建误差，增加了方法的适用范围；不同体素的插值过程具有独立性，可以并行计算，极大提高了重建效率。
16.还提供了基于深度学习的针对真实带雾图像的去雾装置，其包括：
17.图像大小处理模块，其配置来对训练集中所有图像的大小进行处理；
18.特征提取模块，其配置来输入一个模糊图像，对其进行特征提取；
19.图像输入模块，其配置来将图像输入到3个跳跃连接的网络结构中；
20.特征融合模块，其配置来利用特征注意力模块将网络输出的特征融合；
21.训练模块，其配置来将特征输入到残差学习模块，重复训练；
22.微调模块，其配置来用物理先验知识作为指导，训练未标记的真实带雾图像；
23.输出模块，其配置来融合特征，输出恢复后的清晰图像。
附图说明
24.图1是根据本发明的基于深度学习的针对真实带雾图像的去雾方法的流程图。
25.图2是根据本发明的步骤(2)-(6)的示意图。
26.图3是根据本发明的基本处理的示意图。
27.图4是根据本发明的特征注意力模块的流程示意图。
28.图5是根据本发明的步骤(7)的流程示意图。
具体实施方式
29.如图1所示，这种基于深度学习的针对真实带雾图像的去雾方法，其包括以下步骤：
30.(1)对训练集中所有图像的大小进行处理；
31.(2)输入一个模糊图像，对其进行特征提取；
32.(3)图像再被输入到3个跳跃连接的网络结构中；
33.(4)利用特征注意力模块将网络输出的特征融合；
34.(5)将特征输入到残差学习模块；
35.(6)重复步骤(2)-(5)，对训练集中的图片分批次进行训练；
36.(7)在微调部分，用物理先验知识作为指导，训练未标记的真实带雾图像；
37.(8)融合特征，输出恢复后的清晰图像。
38.本发明通过对空间进行四面体剖分达到自适应邻域分割的目的，为不同采集密度下的插值点提供了合适的邻域，减小了采集密度不均匀导致的参数不平衡的影响；通过对
空间中待插值的体素采用体积权重插值与空间二阶多项式插值相融合的插值策略，具有更低的重建误差，增加了方法的适用范围；不同体素的插值过程具有独立性，可以并行计算，极大提高了重建效率。
39.优选地，所述步骤(1)中，对图像的大小进行处理为对图像进行裁剪，得到相同大小的图像。
40.优选地，所述步骤(1)中，将图像裁剪为240
×
240的图像大小。
41.优选地，所述步骤(2)中输入模糊图像，首先对其进行特征提取，通道数设置为16，卷积核大小设置为3
×
3。
42.优选地，所述步骤(3)中3个跳跃连接的网络结构的每个结构都由19 个基本块组成，每个基本块都由1个卷积层、一个relu层、一个特征注意力模块组成，其中relu函数为公式(1)：
43.f(x)＝max(0,x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
44.其中，x为上一层的输出值，当x《0时取0，当x≥0时取x。
45.优选地，所述步骤(4)中特征注意力模块，其通道注意力部分卷积核大小设置为1
×
1。
46.优选地，所述步骤(4)中特征注意力模块包括：通道注意力模块ca和特征注意力模块pa；
47.ca卷积核大小设置为1
×
1，其包括一个全局平均池化层、两个卷积层和sigmoid、relu激活函数，全局池化函数表达式为公式(2)
[0048][0049]
其中，xc(i,j)表示第c个通道在(i,j)未知的值，h和w表示图像的高和宽，c表示颜色通道，fc表示当前颜色通道的值，h
p
表示全局池化函数，gc表示全局平均池化的输出；
[0050]
sigmoid函数为公式(3)：
[0051][0052]
pa卷积核大小设置为3
×
3，其由两个卷积层和sigmoid、relu激活函数组成。
[0053]
优选地，所述步骤(6)中对图像进行重复训练次数为1
×
106次。
[0054]
优选地，所述步骤(7)中，微调部分用未标记的真实带雾图像作为输入，依据暗通道dcp和亮通道bcp先验定义损失函数，作为无监督训练的指导方式
[0055][0056]
其中，t和分别表示来自dcp和本网络的传输估计，l是拉普拉斯矩阵，λ是一个超参数；前半部分为图像做铺垫，后半部分提高了暗通道方法的逼真度。
[0057]
虽然极大地提高了模型在真实雾天图像上的性能，但其结果相较于预期会偏暗。因此，还要引入亮通道先验：
[0058][0059]
其中，t和分别表示来自dcp和本网络的传输估计；
[0060]
对于所有损失函数：
[0061][0062]
其中，λd和λb是权衡权重。
[0063]
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于深度学习的针对真实带雾图像的去雾装置。该装置包括：
[0064]
图像大小处理模块，其配置来对训练集中所有图像的大小进行处理；
[0065]
特征提取模块，其配置来输入一个模糊图像，对其进行特征提取；
[0066]
图像输入模块，其配置来将图像输入到3个跳跃连接的网络结构中；
[0067]
特征融合模块，其配置来利用特征注意力模块将网络输出的特征融合；
[0068]
训练模块，其配置来将特征输入到残差学习模块，重复训练；
[0069]
微调模块，其配置来用物理先验知识作为指导，训练未标记的真实带雾图像；
[0070]
输出模块，其配置来融合特征，输出恢复后的清晰图像。
[0071]
本发明提出了一种基于深度学习的针对真实带雾图像的去雾方法，在其中，利用特征注意力融合机制忽略了图像中不重要的信息，提升了网络的性能；利用真实带雾图像以无监督的方式对模型进行微调，对结果进一步优化。该发明不需借助相应的场景的深度信息，可实时所得图像进行去雾处理，具有广阔的应用前景。
[0072]
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。