一种基于端到端的雾霾浓度自适应神经网络图像去雾方法与流程

本发明涉及图像处理技术领域，具体涉及一种基于端到端的雾霾浓度自适应神经网络图像去雾方法。

背景技术：

随着技术的发展，一些计算机视觉任务如目标检测、目标跟踪、行为分析、人脸识别等取得了巨大的突破。然而，高级视觉任务例如检测、跟踪依赖于清晰的视频和图像数据，其性能在实际场景，如大雾、大雨等场景往往受到极大的影响。作为一些高级视觉任务的预先任务，图像去雾近几年受到很多研究者关注。

图像去雾是一个典型的图像复原问题，其可以追溯到1924年，mccartney等人首先提出了经典的大气光散射模型，模型如下：

i＝tj+a(1-t)，

t(x)＝e^βd(x)，

其中，i表示有雾图像，t是介质透射率，j为清晰图像，a为全局大气光照，d表示物体成像的深度。上述模型中，i为已知量，图像去雾旨在估计其他参数，从而合成清晰的图像，该问题是一个病态的问题。早期的去雾算法主要分为基于图像增强和基于图像复原的去雾算法，其中，基于图像增强的去雾算法代表有直方图均衡化(hle)、自适应直方图均衡化(ahe)、限制对比度自适应直方图均衡化(clahe)、retinex算法、小波变换、同态滤波等等，大部分算法立足点是在去除图像噪声，提高图像对比度，很多也已嵌入在opencv库中；基于图像复原的图像去雾往往借助于人工设置的先验信息。例如，何凯明等人于2009年通过观察与统计发现在雾图中绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道有很低的像素值。根据这样的观察与统计，何凯明等人提出了暗通道先验(dcp,darkchannelprior)的去雾方法。从此，很多先验被研究人员例如颜色衰减先验(cap,colorattenuationprior)、色差差异先验等提出，提高了模型去雾性能。然而不同的先验依赖于图像某一个特性的估计，在真实场景下这些先验信息往往失效且计算复杂。

技术实现要素：

针对现有技术存在的不足，本发明的目的在于提供一种能对实际拍摄的雾图进行有效地去雾处理，并恢复高质量图像的基于端到端的雾霾浓度自适应神经网络图像去雾方法。

为实现上述目的，本发明提供了如下技术方案：一种基于端到端的雾霾浓度自适应神经网络图像去雾方法，包括以下步骤：

s1、构建图像去雾模型，其中，该图像去雾模型包括金字塔特征提取器、特征增强模块和多尺度特征注意力模块；

s2、获取有雾图像数据，利用金字塔特征提取器提取雾图经过卷积神经网络的四个不同层的特征图，将不同尺度信息融合生成有用信息；

s3、特征增强模块级联不同路径恢复的图像，将具有不同浓密雾度的模糊图像拼接在一起，帮助网络自适应感知图像雾霾浓度；

s4、将特征增强模块生成的特征通过多尺度特征注意力模块重构为清晰的无雾图像；

s5、计算恢复图像和对应清晰图像的均方误差和感知损失，更新图像去雾模型；其中，均方误差指导图像去雾模型学习清晰图像的内容，感知损失用于量化恢复的图像和对应清晰图像之间的视觉差异，均方误差损失函数和感知误差损失函数两种损失函数协作优化去雾模型。

作为优选的，步骤s5，具体包括：

对恢复的图像和对应的清晰图像计算所用的均方误差损失函数具体公式为:

其中，n代表每批图像的数量，y代表模型恢复的图像，x表示对应清晰的图像；

所用的感知误差损失函数具体公式为：

其中，φk(.),k＝1,2,3是指从上述三个阶段中提取的特征，ck，wk和hk表示φk(.)的维数，k＝1,2,3；

总的去雾模型损失函数为：

l＝lmse+λ*lper,

其中，λ是平衡这两个损失函数的参数。

作为优选的，步骤s2，具体包括：

特征提取部分包括以下六层神经网络，按层顺序对于输入特征进行处理。第一层是7×7卷积，其后是batchnorm(批量归一化)；第二层是步长为2的3×3max-pooling(最大池化)；resblock放置在第3-5层中，resblock(残差块)的数量分别设置为2、4、5和8；第六层是步长为1的1×1卷积。

经过每一层时，特征的分辨率降低一半，而特征的宽度(通道数)则增加两倍于前一层。然后特征提取模块的融合部分将特征从第6层融合到第3层。在融合之前，对上层的特征进行上采样，然后利用逐元素加法融合来自下层的特征，以获取合并的特征。

最后，在每个拼接的特征图上使用一个3×3卷积来生成宽度为32的最终特征图。融合部分代表输入雾图低层特征；逐元素加法合并的4层5层神经网络生成的特征代表中层特征；6层神经网络输出特征代表高层特征。这些特征表示图像语义越来越强，金字塔特征提取器生成雾图的三种特征。

作为优选的，步骤s3，所述特征增强模块包括三个路径，

第一条路径有5层卷积层构成。具体，1-4层神经网络由四个conv+bn+relu(卷积-批量归一化-激活组合)组成，其过滤器大小为32×3×3×32。第5层是3×3卷积层，用于恢复生成图像。第二条和第三条路径分别为3×3卷积层。

将金字塔特征提取模块生成的高层特征通过第一条路径处理，中层与低层特征分别通过第二第三条路径处理，通过这些操作，特征增强模块可以生成雾度条件不同的三个雾度较浅图像；最后，使用拼接操作融合输入雾度最大图像和三个雾度较浅图像，以增强除雾模型的特征表达能力，同时直到模型自适应不同浓度的雾图。

作为优选的，步骤s4，多尺度特征注意力模块使用全局上下文特征来建模两个不同位置像素之间的关系，以采用图像的内部信息来恢复纹理细节。

为了适应具有不同雾度条件的特征，将全局上下文模块放入多尺度结构中以学习纹理细节。多尺度结构中拥有四个全局上下文模块，相当于四条特征处理路径，其卷积核大小分别为1×1、3×3、5×5和7×7。

多尺度特征注意力模块中使用的是一种注意力机制，指导网络丢弃冗余信息，侧重关注输入雾图中清晰图像重要的特征信息，以优化整个网络模型的训练过程。注意力机制通过注意层来实现，注意层是通过卷积核为1×1的conv(卷积层)和tanh激活函数组成。注意力机制使用两个步骤来实现，第一步从多尺度结构(也就是四条处理路径)的输出中采用卷积核大小为1×1的conv(卷积层)和随后的tanh激活函数将特征转换为向量作为权重；第二步利用权重乘以输入的特征；注意力机制引导前一阶段恢复纹理细节，最后，使用一个3x3的conv(卷积层)联合注意力层来恢复最终的清晰图像。

本发明的优点是：与现有技术相比，本发明具有如下有益效果：

1、与现有技术相比，本发明提出了金字塔特征提取器，该提取器能捕获有雾图像不同尺度的浅层小尺度特征(颜色、边缘、纹理等)和深层对象级别的大尺度特征信息；

2、与现有技术相比，本发明实现了雾霾浓度自适应感知有雾图像，提出了上述特征增强模块，该模块集成了具有不同密集雾度条件的模糊图像。它有助于网络自适应地感知具有不同密集雾度的图像，而无需任何其他监督；

3、本发明还提出使用均方差损失和感知损失函数协作指导去雾模型达去雾性能。mse损失用于测量去雾图像与其对应的地面真实情况之间的重建误差，感知损失用于量化恢复图像和地面真实情况之间的视觉差异，这对于恢复清晰的图像非常有益。

下面结合说明书附图和具体实施例对本发明作进一步说明。

附图说明

图1为本发明实施例的去雾流程图；

图2为本发明实施例的应用场景图；

图3为图2模型中核心组件多尺度特征注意力模块的应用场景图；

图4为图2的图像去雾模型中复原的图像与其他方法对比的效果图。

具体实施方式

参见图1、图2、图3和图4，本发明公开的一种基于端到端的雾霾浓度自适应神经网络图像去雾方法，包括以下步骤：

s1、构建图像去雾模型，其中，该图像去雾模型包括金字塔特征提取器、特征增强模块和多尺度特征注意力模块；

具体过程为，如图2所示，构建图像去雾模型。图像去雾模型包括金字塔特征提取器(如图2所示)、特征增强模块(如图2所示)和多尺度特征注意力模块(如图2所示)；

s2、获取有雾图像数据，利用金字塔特征提取器提取雾图经过卷积神经网络的四个不同层的特征图，将不同尺度信息融合生成有用信息；其中主要有小尺度信息，诸如纹理、边缘等；大尺度信息，属于对象级别的信息。

s3、特征增强模块级联不同路径恢复的图像，将具有不同浓密雾度的模糊图像拼接在一起，帮助网络自适应感知图像雾霾浓度；

s4、将特征增强模块生成的特征通过多尺度特征注意力模块重构为清晰的无雾图像；

s5、计算恢复图像和对应清晰图像的均方误差和感知损失，更新图像去雾模型；其中，均方误差指导图像去雾模型学习清晰图像的内容，感知损失用于量化恢复的图像和对应清晰图像之间的视觉差异，均方误差损失函数和感知误差损失函数两种损失函数协作优化去雾模型。

作为优选的，步骤s5，具体包括：

对恢复的图像和对应的清晰图像计算所用的均方误差损失函数具体公式为:

其中，n代表每批图像的数量，y代表模型恢复的图像，x表示对应清晰的图像；

所用的感知误差损失函数具体公式为

其中，φk(.),k＝1,2,3是指从上述三个阶段中提取的特征，ck，wk和hk表示φk(.)的维数，k＝1,2,3；

总的去雾模型损失函数为：

l＝lmse+λ*lper,

其中，λ是平衡这两个损失函数的参数。

作为优选的，步骤s2，具体包括：

特征提取部分包括以下六层神经网络，按层顺序对于输入特征进行处理。第一层是7×7卷积，其后是batchnorm(批量归一化)；第二层是步长为2的3×3max-pooling(最大池化)；resblock(残差块)的数量分别设置为2、4、5和8；第六层是步长为1的1×1卷积。

经过每一层时，特征的分辨率降低一半，而特征的宽度(通道数)则增加两倍于前一层。然后特征提取模块的融合部分将特征从第6层融合到第3层。在融合之前，对上层的特征进行上采样，然后利用逐元素加法融合来自下层的特征，以获取合并的特征。

最后，在每个拼接的特征图上使用一个3×3卷积来生成宽度为32的最终特征图。融合部分代表输入雾图低层特征；逐元素加法合并的4层5层神经网络生成的特征代表中层特征；6层神经网络输出特征代表高层特征。这些特征表示图像语义越来越强，金字塔特征提取器生成雾图的三种特征。

作为优选的，步骤s3，所述特征增强模块包括三个路径，

第一条路径有5层卷积层构成。具体，1-4层神经网络由四个conv+bn+relu(卷积-批量归一化-激活组合)组成，其过滤器大小为32×3×3×32。第5层是3×3卷积层，用于恢复生成图像。第二条和第三条路径分别为3×3卷积层。

将金字塔特征提取模块生成的高层特征通过第一条路径处理，中层与低层特征分别通过第二第三条路径处理，通过这些操作，特征增强模块可以生成雾度条件不同的三个雾度较浅图像；最后，使用拼接操作融合输入雾度最大图像和三个雾度较浅图像，以增强除雾模型的特征表达能力，同时直到模型自适应不同浓度的雾图。

作为优选的，步骤s4，多尺度特征注意力模块使用全局上下文特征来建模两个不同位置像素之间的关系，以采用图像的内部信息来恢复纹理细节。

为了适应具有不同雾度条件的特征，将全局上下文模块放入多尺度结构中以学习纹理细节。多尺度结构中拥有四个全局上下文模块，相当于四条特征处理路径，其卷积核大小分别为1×1、3×3、5×5和7×7。

多尺度特征注意力模块中使用的是一种注意力机制，指导网络丢弃冗余信息，侧重关注输入雾图中清晰图像重要的特征信息，以优化整个网络模型的训练过程。注意力机制通过注意层来实现，注意层是通过卷积核为1×1的conv(卷积层)和tanh激活函数组成。注意力机制使用两个步骤来实现，第一步从多尺度结构(也就是四条处理路径)的输出中采用卷积核大小为1×1的conv(卷积层)和随后的tanh激活函数将特征转换为向量作为权重；第二步利用权重乘以输入的特征；注意力机制引导前一阶段恢复纹理细节，最后，使用一个3x3的conv(卷积层)联合注意力层来恢复最终的清晰图像。

实际应用时，首先一张有雾的图像从上述金字塔提取器输入，利用该提取器提取图像有效的低、中、高层面的不同特征；

其次，将金字塔提取的四种特征输入到特征增强模块，该模块级联不同路径恢复的图像，将具有不同浓密雾度的模糊图像整合在一起，帮助网络自适应感知图像雾霾浓度；

然后，利用上述多尺度特征注意力模块将功能增强后的特征重构为清晰的无雾图像；

最后，计算恢复图像和对应清晰图像的均方误差和感知损失，更新图像去雾模型；其中均方误差指导图像去雾模型学习清晰图像的内容，感知损失用于量化恢复的图像和对应清晰图像之间的视觉差异。两种损失函数协作优化去雾模型。

本发明具有如下有益效果：

1、与现有技术相比，本发明提出了金字塔特征提取器，该提取器能捕获有雾图像不同尺度的浅层小尺度特征(颜色、边缘、纹理等)和深层对象级别的大尺度特征信息；

2、与现有技术相比，本发明实现了雾霾浓度自适应感知有雾图像，提出了上述特征增强模块，该模块集成了具有不同雾浓度条件的图像。它有助于网络自适应地感知具有不同雾浓度的图像，而无需任何其他监督；

3、本发明还提出使用均方差损失和感知损失函数协作指导去雾模型达去雾性能。mse损失用于测量去雾图像与其对应的地面真实情况之间的重建误差，感知损失用于量化恢复图像和地面真实情况之间的视觉差异，这对于恢复清晰的图像非常有益。

上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。