一种多层次特征融合和注意力引导的神经网络图像去雾方法与流程

本发明涉及图像处理技术领域，具体涉及一种多层次特征融合和注意力引导的神经网络图像去雾方法。

背景技术：

恶劣天气下(大雾、大雨)能见度低，是大多数计算机视觉技术运用到实际场面所要面临的主要问题。大多数自动监控、自动驾驶、户外目标识别等系统都假设输入的视频、图像具有清晰的可视性。然而，在大多数情况下并不总是满足这样的理想情况，因此，对低质量的图像、视频进行增强，是一个不可避免的任务。其中，图像去雾是一个具有代表性的图像质量增强问题。清晰图像雾化的过程可以由mccartney等人提出的大气光散射模型进行表述：

i＝tj+a(1-t)，

t(x)＝e^βd(x)，

其中，i是有雾图像，t是介质透射率，j为清晰图像，a为大气光照，d表示物体成像的深度，β表示大气的散射系数。上述模型中，i为已知量，图像去雾任务的目标是估计a和t，然后生成清晰的图像。图像去雾的问题是一个病态的问题。在过去的20多年里，研究人员研发了许多的图像去雾算法处理在有雾的复杂场景下拍摄的图像。早期的算法主要聚焦与多张图像和大气光线索对图像的深度信息进行估计，从而实现图像去雾。例如，narasimhan等人提出了一种基于物理的方法，从任意天气条件下捕获同一场景的两张图像中去定位深度不连续性和计算场景结构。此外，还有一系列算法借助一些先验信息来增强图像去雾的视觉效果，典型算法为何凯明等人于2009年提出的暗通道先验(dcp,darkchannelprior)的去雾方法，该先验是基于观察与统计发现在雾图中绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道有很低的像素值。例如，朱青松等人提出了颜色衰减先验(cap,colorattenuationprior)。利用先验估计t，通过大气散射模型恢复清晰图像。这些先验，在一定程度上提高了模型去雾性能。但是，不同的先验依赖于图像某一个特性的估计，往往并不适用于真实场景。

技术实现要素：

针对现有技术存在的不足，本发明的目的在于提供一种对实际拍摄的雾图进行去雾增强处理，恢复高质量图像的多层次特征融合和注意力引导的神经网络图像去雾方法。

为实现上述目的，本发明提供了如下技术方案：一种多层次特征融合和注意力引导的神经网络图像去雾方法，包括以下步骤：

s1、构建图像去雾模型；其中，该图像去雾模型包括特征提取模块、多层次特征融合模块和残差混合卷积注意力模块；

s2、获取有雾图像数据，首先通过一个卷积层，将雾图转换为16个特征图；然后，通过特征提取模块的四个阶段处理这些特征图，以获取不同层次的特征；

s3、多层次特征融合模块利用逐点元素相乘的方式融合不同阶段得到的特征图，利用低层与高层特征的互补性指导网络更好地恢复清晰图像；

s4、将多层次特征融合模块生成的特征通过残差混合卷积注意力模块得到与输入要素具有相同尺寸的权重图，从基于注意力机制设计的注意力层中得出的权重图指导网络丢弃冗余信息，侧重对恢复清晰图有效的特征信息，同时残差混合卷积注意力模块中采用的深度可分离卷积运算可提高残差混合卷积注意力模块的训练与运行效率，经过残差混合卷积注意力模块后特征最终重构为清晰的无雾图像；

s5、计算恢复图像和对应清晰图像的均方误差和感知损失，更新图像去雾模型；其中，均方误差测量恢复的图像与相应的清晰图像之间的偏差，而感知损失帮助模型从更高的维度感知图像，恢复的更加真实的清晰图像，均方误差和感知损失两种损失函数协作共同优化去雾模型。

作为优选的，步骤s5，具体包括：

对恢复的图像和对应的清晰图像计算均方误差和感知损失，第一种损失函数为均方误差损失损失函数，公式为:

其中，w和h表示图像的宽度和高度，i^re和i^gt是恢复的图像以及相对应清晰的图像，i和j为索引图像中的像素位置，c是图像rgb通道，范围从1-3；

第二种为感知损失函数，使用在imagenet数据集上预训练的vgg16网络(vgg-16具有13个卷积层，分为5个阶段)网络每个阶段的最后卷积层提取特征并计算差异，公式为：

其中，{φk(.)，k＝1,2,3}表示vgg16对应的卷积层(即conv1-2，conv2-2和conv3-3)相对应的特征提取器，ck，wk和hk对应于φk(.)；

总的去雾模型损失函数为：

l＝lmse+α*lper,

其中，其中α是平衡这两个损失函数的参数。

作为优选的，步骤s2，具体包括：

特征提取从3×3卷积层开始，该层将给定的输入有雾图像转换为16个特征图；

然后，通过以下四个阶段处理这些特征图，以获取不同层次的特征；每个阶段包括四层，第一层是步长为2的3×3卷积，它用于将特征图的分辨率降低到1/2，并将宽度增加一倍；第二层和第三层分别包括3×3卷积，relu激活函数和3×3卷积；第四层是1×1卷积，这将第三层产生的特征的宽度减小为64，作为每个阶段的输出。

作为优选的，步骤s3，所述多层次特征融合模块，从上到下共有三个特征融合模块。特征融合模块一融合了高层特征(第四个卷积-激活函数-卷积组合输出特征图)和低层特征(第三个卷积-激活函数-卷积组合输出特征图)，融合生成的特征视为高级特征，然后由第二个特征融合模块将其与第三个卷积-激活函数-卷积组合输出特征图中的中层特征融合。最后，将第二个特征融合模块得到的特征视为高级特征，并通过第三个特征融合模块将其与第一个卷积-激活函数-卷积组合输出特征图中的低层特征融合。

对于每个特征融合模块，给定高层和低层特征，使用逐元素乘法实现特征之间的融合。融合的特征将被应用到卷积层，batchnormalization(批量归一化)和relu激活函数，然后由下一个融合模块进行处理。

作为优选的，步骤s4，具体包括：残差混合卷积注意模块有三个连续的分组卷积层，后面是一个注意层。给定的特征由它们处理并添加到残差中以获得输出特征。分组卷积就是将输入特征按通道数进行分组(分组数为超参数)，并将卷积运算分别应用于各个组。由于组的划分，残差混合卷积注意力模型的flop(每秒所执行的浮点运算次数)大大减少了，提高了网络的训练与去雾效率。分组卷积层的组号分别为4、8和16，也就是将输入的特征图按通道数分别分为4组，8组和16组来处理。此配置由实验研究确定。

经过三个分组卷积处理之后，增加一个注意层，注意层使得输出特征侧重体现输入雾图中清晰图像重要的特征信息，从而使网络关注重要的清晰无雾图像信息采用；通过两个步骤来实现注意力机制，第一步是使用深度卷积，然后是relu激活函数，再是点卷积，接着是sigmoid激活函数，以获取特征权重；第二步使用获得的权重将原始输入特征相乘，得到一个与输入要素具有相同尺寸的权重图，权重图通过逐元素相乘应用于输入特征，以输出最终特征；从注意力层中得出的权重图指导网络丢弃冗余信息(雾霾特征信息)，侧重关注清晰无雾图像的特征信息，同时采用深度可分离卷积运算(由深度卷积和点卷积两个部分结合)提高残差混合卷积注意力模块的训练与运行效率。

本发明的优点是：与现有技术相比，本发明具有如下有益效果：

1、与现有技术相比，本发明提出了一种多层次特征融合模块，该模块能够适应性地采用不同层次的特征，并利用它们之间的互补性效恢复清晰图像；

2、与现有技术相比，本发明开发了一个带有注意层的残差混合卷积注意模块。混合卷积运算提高网络运行的效率，而注意力块则使模型专注于更重要的信息；

3、本发明还提出使用均方差损失和感知损失函数协作指导去雾模型达去雾性能。均方误差测量恢复的图像与相应的清晰图像之间的偏差，而感知损失帮助模型从更高的维度感知图像，恢复的更加真实的清晰图像。

下面结合说明书附图和具体实施例对本发明作进一步说明。

附图说明

图1为本发明实施例的去雾流程图；

图2为本发明实施例的应用场景图；

图3为图2模型中核心组件残差混合卷积模块的应用场景图；

图4为图3模型中核心组件注意力层的应用场景图；

图5为图2的图像去雾模型中复原的图像与其他方法对比的效果图。

具体实施方式

参见图1至图5，本发明公开的一种多层次特征融合和注意力引导的神经网络图像去雾方法，包括以下步骤：

s1、构建图像去雾模型；其中，该图像去雾模型包括特征提取模块、多层次特征融合模块和残差混合卷积注意力模块；

具体过程为，如图2所示，构建图像去雾模型。图像去雾模型包括特征提取模块(如图2所示)、多层次特征融合模块(如图2所示)和残差混合卷积注意力模块(如图2所示)；

s2、获取有雾图像数据，首先通过一个卷积层，将雾图转换为16个特征图；然后，通过特征提取模块的四个阶段处理这些特征图，以获取不同层次的特征；

s3、多层次特征融合模块利用逐点元素相乘的方式融合不同阶段得到的特征图，利用低层与高层特征的互补性指导网络更好地恢复清晰图像；

s4、将多层次特征融合模块生成的特征通过残差混合卷积注意力模块得到与输入要素具有相同尺寸的权重图，从基于注意力机制设计的注意力层中得出的权重图指导网络丢弃冗余信息，侧重对恢复清晰图有效的特征信息，同时残差混合卷积注意力模块中采用的深度可分离卷积运算可提高残差混合卷积注意力模块的训练与运行效率，经过残差混合卷积注意力模块后特征最终重构为清晰的无雾图像；

s5、计算恢复图像和对应清晰图像的均方误差和感知损失，更新图像去雾模型；其中，均方误差测量恢复的图像与相应的清晰图像之间的偏差，而感知损失帮助模型从更高的维度感知图像，恢复的更加真实的清晰图像，均方误差和感知损失两种损失函数协作共同优化去雾模型。

作为优选的，步骤s5，具体包括：

对恢复的图像和对应的清晰图像计算均方误差和感知损失，第一种损失函数为均方误差损失损失函数，公式为:

其中，w和h表示图像的宽度和高度，i^re和i^gt是恢复的图像以及相对应清晰的图像，i和j为索引图像中的像素位置，c是图像rgb通道，范围从1-3；

第二种为感知损失函数，使用在imagenet数据集上预训练的vgg16(vgg-16具有13个卷积层，分为5个阶段)网络每个阶段的最后卷积层进行提取特征并计算差异，公式为：

其中，{φk(.)，k＝1,2,3}表示vgg16对应的卷积层(即conv1-2，conv2-2和conv3-3)相对应的特征提取器，ck，wk和hk对应于φk(.)；

总的去雾模型损失函数为：

l＝lmse+α*lper,

其中，其中α是平衡这两个损失函数的参数。

作为优选的，步骤s2，具体包括：具体过程为，获取有雾图片，该特征提取器与其他方法的特征提取器最大的不同是无需提前训练且是轻量级的特征提取器；

特征提取从3×3卷积层开始，该层将给定的输入有雾图像转换为16个特征图；

然后，通过以下四个阶段处理这些特征图，以获取不同层次的特征；每个阶段包括四层，第一层是步长为2的3×3卷积，它用于将特征图的分辨率降低到1/2，并将宽度增加一倍；第二层和第三层分别包括3×3卷积，relu激活函数和3×3卷积；第四层是1×1卷积，这将第三层产生的特征的宽度减小为64，作为每个阶段的输出。

作为优选的，步骤s3，所述多层次特征融合模块，从上到下共有三个特征融合模块，特征融合模块一融合了高层特征(第四个卷积-激活函数-卷积组合输出特征图)和低层特征(第三个卷积-激活函数-卷积组合输出特征图)，融合生成的特征视为高级特征，然后由第二个特征融合模块将其与第三个卷积-激活函数-卷积组合输出特征图中的中层特征融合。最后，将第二个特征融合模块得到的特征视为高级特征，并通过第三个特征融合模块将其与第一个卷积-激活函数-卷积组合输出特征图中的低层特征融合。

对于每个特征融合模块，给定高层和低层特征，使用逐元素乘法实现特征之间的融合。融合的特征将被应用到卷积层，batchnormalization(批量归一化)和relu激活函数，然后由下一个融合模块进行处理。

作为优选的，步骤s4，具体包括：残差混合卷积注意模块有三个连续的分组卷积层，后面是一个注意层。给定的特征由它们处理并添加到残差中以获得输出特征。分组卷积就是将输入特征按通道数进行分组(分组数为超参数)，并将卷积运算分别应用于各个组。由于组的划分，残差混合卷积注意力模型的flop(每秒所执行的浮点运算次数)大大减少了，提高了网络的训练与去雾效率。分组卷积层的组号分别为4、8和16，也就是将输入的特征图按通道数分别分为4组，8组和16组来处理。此配置由实验研究确定。

经过三个分组卷积处理之后，增加一个注意层，注意层使得输出特征侧重体现输入雾图中清晰图像重要的特征信息，从而使网络关注重要的清晰无雾图像信息采用；通过两个步骤来实现注意力机制，第一步是使用深度卷积，然后是relu激活函数，再是点卷积，接着是sigmoid激活函数，以获取特征权重；第二步使用获得的权重将原始输入特征相乘，得到一个与输入要素具有相同尺寸的权重图，权重图通过逐元素相乘应用于输入特征，以输出最终特征；从注意力层中得出的权重图指导网络丢弃冗余信息(雾霾特征信息)，侧重关注清晰无雾图像的特征信息，同时采用深度可分离卷积运算(由深度卷积和点卷积两个部分结合)提高残差混合卷积注意力模块的训练与运行效率。

实际应用时，首先一张有雾的图像输入到特征提取模块，利用该模块四个不同阶段的卷积层、激活函数和卷积层的组合提取图像有效的四个层面的不同特征；

其次，将提取的四种特征输入到多层次特征融合模块，该模块逐元素相乘不同层次特征，利用低层与高层特征的互补性帮助网络更好地恢复清晰图像；

然后，利用上述残差混合卷积注意力模块处理多层次特征融合模块生成的特征得到与输入要素具有相同尺寸的权重图。从注意力模块得出的权重图指导网络放弃冗余功能，而将注意力集中在更重要的功能上。采用的深度和点方向卷积运算可提高此模块的效率。经过该模块后最终重构为清晰的无雾图像；

最后，计算恢复图像和对应清晰图像的均方误差和感知损失，更新图像去雾模型；其中均方误差测量恢复的图像与相应的清晰图像之间的偏差，而感知损失帮助模型从更高的维度感知图像，恢复的更加真实的清晰图像。两种损失函数协作共同优化去雾模型。

本发明具有如下有益效果：

1、与现有技术相比，本发明提出了一种多层次特征融合模块，该模块能够适应性地采用不同级别的特征，并利用它们之间的互补作用从模糊图像中有效恢复清晰图像；

2、与现有技术相比，本发明开发了一个带有注意层的残差混合卷积注意模块。混合卷积运算提高网络运行的效率，而注意力块则使模型专注于更重要的信息；

3、本发明还提出使用均方差损失和感知损失函数协作指导去雾模型达去雾性能。均方误差测量恢复的图像与相应的清晰图像之间的偏差，而感知损失帮助模型从更高的维度感知图像，恢复的更加真实的清晰图像。

上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。