一种基于多尺度信息选择注意机制的图像去雾方法及系统

1.本发明涉及图像去雾技术领域，特别是涉及一种基于多尺度信息选择注意机制的图像去雾方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.造成视力障碍的恶劣天气会对当前的视觉系统造成很大的干扰，其中大雾天气因其发生频率高、影响范围广而备受关注。恶劣大雾天气会使成像设备产生劣质图像，如严重失真、模糊不清、细节丢失等。雾气导致成像质量低下，这会对目标检测、跟踪和分割等计算机视觉任务造成一定的障碍，同时给交通监控、智能导航、场景勘测等实际应用带来一定挑战。因此，对有雾图像进行去雾处理、恢复图像清晰化对后续一系列的计算机视觉任务能够正常开展以及人类正常生产生活有着重大意义。
4.当前的图像去雾算法主要可以分为三类：基于图像处理的增强方法、基于物理模型的去雾算法以及基于深度学习的去雾方法。其中，基于图像处理的增强方法运用已有的、成熟的数字图像处理技术改善图像质量实现图像去雾。这类方法不探究引起图像降质的原因，直接对图像进行增强处理，可能会让图像丢失一些信息，甚至引入噪声使图像失真。
5.基于物理模型的去雾算法是通过构建大气散射模型预测大气光值等参数，利用先验知识实现去雾。这类方法的去雾效果普遍强于基于图像处理的增强方法，但过于依赖物理模型及先验知识，对参数的估计偏差会直接导致不理想的去雾效果。
6.基于深度学习的去雾方法主要是通过构建端到端的卷积神经网络直接恢复出无雾图像，是目前最常用的去雾方法，尽管在一定程度上提升了去雾的性能，但是对图像有雾像素区域和重要特征通道信息关注不足，仍会存在去雾效果不理想的问题。


技术实现要素：

7.为了解决上述问题，本发明提出了一种基于多尺度信息选择注意机制的图像去雾方法及系统，将图像的高低频信息作为去雾的附加先验，通过并行的多尺度卷积神经网络提取到图像不同尺度的特征信息，并对其进行特征融合，最后基于空间注意力和通道注意力机制设计注意力群组，以实现更高效、更有针对性的去雾效果。
8.为了实现上述目的，本发明采用如下技术方案：
9.第一方面，本发明提供一种基于多尺度信息选择注意机制的图像去雾方法，包括：
10.对有雾图像经预处理后得到添加高低频先验信息的图像样本；
11.对图像样本采用多个卷积分支进行并行的多尺度多层卷积操作，并通过层间交叉方式提取多尺度特征，对多尺度特征融合后得到样本融合特征；
12.采用包括多个级联的多尺度特征选择注意模块的注意力群组，对样本融合特征进行结合空间注意和通道注意的多尺度选择注意特征图的提取与拼接，拼接后得到融合注意
力特征；
13.根据融合注意力特征对去雾网络进行训练，对待处理有雾图像采用训练后的去雾网络得到无雾图像。
14.作为可选择的实施方式，对有雾图像的预处理包括：采用拉普拉斯算子提取有雾图像的高频分量，采用高斯滤波提取有雾图像的低频分量，将有雾图像与对应的高频分量和低频分量级联后，得到图像样本。
15.作为可选择的实施方式，并行的多尺度多层卷积操作包括：所述多个卷积分支中，每个卷积分支包括多层卷积层，多个卷积分支对图像样本并行进行特征提取，且每个分支的下一层输入为该分支前一层的输出和其他分支前一层的输出，以此提取多尺度特征。
16.作为可选择的实施方式，多尺度选择注意特征图的提取过程包括：对样本融合特征采用多层卷积分支进行并行的多尺度单层卷积操作，以提取不同尺度信息并进行拼接，对拼接特征进行注意特征提取，得到结合空间注意和通道注意的注意力特征图；将注意力特征图与样本融合特征逐元素相加后，将得到的特征重复多尺度单层卷积操作和注意特征提取，得到多尺度选择注意特征图。
17.作为可选择的实施方式，注意特征提取的过程包括：对拼接特征进行全局最大池化和全局平均池化，得到两个通道描述符，采用一维卷积聚合两个通道描述符邻域内k个通道信息，将一维卷积后的特征按元素相加，并通过sigmoid函数运算后，得到通道注意特征值，将通道注意特征值与拼接特征逐元素相乘后，得到空间注意的输入特征；
18.对空间注意的输入特征沿通道轴方向进行全局最大池化和全局均值池化，得到两个空间上下文描述符，对两个空间上下文描述符进行通道拼接，得到有效空间特征描述符，对有效空间特征描述符采用空洞卷积聚合空间上下文信息，根据空间上下文信息得到空间注意特征值，将空间注意特征值与空间注意的输入特征逐元素相乘后，得到注意力特征图。
19.作为可选择的实施方式，多尺度选择注意特征图的拼接过程包括：对每个多尺度特征选择注意模块得到的多尺度选择注意特征图进行拼接，得到融合注意力特征；其中，前一个多尺度特征选择注意模块得到的多尺度选择注意特征图，为后一个多尺度特征选择注意模块的输入。
20.作为可选择的实施方式，根据融合注意力特征对去雾网络进行训练的过程包括，将融合注意力特征与有雾图像进行逐元素相加后，采用l1损失对去雾网络进行训练。
21.第二方面，本发明提供一种基于多尺度信息选择注意机制的图像去雾系统，包括：
22.高低频信息提取模块，被配置为对有雾图像经预处理后得到添加高低频先验信息的图像样本；
23.多尺度特征提取模块，被配置为对图像样本采用多个卷积分支进行并行的多尺度多层卷积操作，并通过层间交叉方式提取多尺度特征，对多尺度特征融合后得到样本融合特征；
24.注意力群组模块，被配置为采用包括多个级联的多尺度特征选择注意模块的注意力群组，对样本融合特征进行结合空间注意和通道注意的多尺度选择注意特征图的提取与拼接，拼接后得到融合注意力特征；
25.去雾处理模块，被配置为根据融合注意力特征对去雾网络进行训练，对待处理有雾图像采用训练后的去雾网络得到无雾图像。
26.第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
27.第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
28.与现有技术相比，本发明的有益效果为：
29.为了实现有雾图像清晰化的目标，同时最大限度的保持图像原有的结构和细节信息，本发明提出一种基于多尺度信息选择注意机制的图像去雾方法及系统，将图像的高低频信息作为去雾的附加先验，通过并行的多尺度多层卷积神经网络提取到图像不同尺度的特征信息，并将图像不同尺度的特征信息进行有效结合，最后基于空间注意力机制和通道注意力机制设计msab注意力群组，引入注意力机制来加强信息提取能力，提高图像重点区域的关注度，进而更有针对性的去雾，提升图像去雾的效果；解决现有模型对有雾图像进行特征提取时，忽略对图像不同尺度空间特征信息的提取和聚合，可能导致图像细节信息丢失的问题；且现有模型平等地对待有雾图像中的通道特征和像素特征，导致对图像有雾像素区域和重要特征通道信息关注不足，从而导致去雾效果不佳的问题。
30.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
31.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
32.图1为本发明实施例1提供的基于多尺度信息选择注意机制的图像去雾方法框架图；
33.图2为本发明实施例1提供的多尺度特征选择注意模块结构图；
34.图3为本发明实施例1提供的特征注意模块结构图；
35.图4为本发明实施例1提供的通道注意模块结构图；
36.图5为本发明实施例1提供的空间注意模块结构图。
具体实施方式
37.下面结合附图与实施例对本发明做进一步说明。
38.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
39.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
40.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
41.实施例1
42.如图1所示，本实施例提供一种基于多尺度信息选择注意机制的图像去雾方法，包括：
43.s1：对有雾图像经预处理后得到添加高低频先验信息的图像样本；
44.s2：对图像样本采用多个卷积分支进行并行的多尺度多层卷积操作，并通过层间交叉方式提取多尺度特征，对多尺度特征融合后得到样本融合特征；
45.s3：采用包括多个级联的多尺度特征选择注意模块的注意力群组，对样本融合特征进行结合空间注意和通道注意的多尺度选择注意特征图的提取与拼接，拼接后得到融合注意力特征；
46.s4：根据融合注意力特征对去雾网络进行训练，对待处理有雾图像采用训练后的去雾网络得到无雾图像。
47.在所述步骤s1中，对有雾图像的预处理包括：提取有雾图像的高频分量和低频分量，并将有雾图像与对应的高频分量和低频分量级联后，得到图像样本；具体包括：
48.s1-1：利用拉普拉斯算子提取有雾图像的高频分量；
49.采用拉普拉斯算子使有雾图像的边缘和纹理被增强，拉普拉斯算子本质是使用二阶微分进行图像锐化，增大邻域间像素的差值，使图像的突变部分变的更加明显。本实施例采用如表1所示的拉普拉斯算子核；
50.表1拉普拉斯算子核
[0051][0052][0053]
s1-2：利用高斯滤波提取有雾图像的低频分量；
[0054]
为了提取低频信息，本实施例对有雾图像进行高斯滤波，以去除高频细节。首先设定一个掩模，然后对模板内的图像灰度值进行加权平均，再将加权平均值赋给模板中心像素点，直至扫描整个有雾图像的所有像素点。
[0055]
二维高斯函数的公式如下：
[0056][0057]
其中，x、y表示模板内的坐标点；σ为标准偏差；为了达到较好的模糊效果，本实施例使用窗口大小为15的高斯模板，标准偏差σ设为3。
[0058]
s1-3：将有雾图像与其对应的高频分量和低频分量进行级联，得到添加高低频先验信息的图像样本；
[0059]
设给定的有雾图像为i，经过高斯滤波后得到的低频分量为i
lf
，经过拉普拉斯运算后得到的高频分量为i
hf
；将有雾图像i与其对应的低频分量和高频分量进行级联，得到图像样本i
concat
如下：
[0060]iconcat
＝i∞i
lf
∞i
hf
[0061]
其中，∞表示级联，即通道方向上的连接。
[0062]
本实施例利用高低频信息作为附加先验信息，进而能够提取到更丰富且能有效区分有雾与无雾图像的特征信息。
[0063]
在所述步骤s2中，将添加了高低频先验信息的图像样本i
concat
通过并行多尺度多层卷积神经网络，提取多尺度特征，并对多尺度特征融合后得到样本融合特征，具体包括：
[0064]
s2-1：将图像样本i
concat
采用并行多尺度多层卷积神经网络，通过层间交叉方式提取图像样本的多尺度特征；其中，并行多尺度多层卷积神经网络包括多个卷积分支，每个卷积分支包括多层卷积层，多个卷积分支并行进行特征提取，且每个分支下一层的输入为该分支前一层的输出和其他分支前一层的输出；
[0065]
本实施例采用两个卷积分支，每个卷积分支都包括两个卷积层；同时，设各个卷积分支的卷积核大小分别为3
×
3和5
×
5，令并行多尺度多层卷积神经网络的输入为f0，f0分别通过两个卷积分支的第一层卷积层，第一层卷积层的输出表示如下：
[0066]f13
×3＝f3×3(f0；η
03
×3)；
[0067]f15
×5＝f5×5(f0；η
05
×5)；
[0068]
其中，f
1n
×n表示第一层尺度为n
×
n的卷积输出，fn×n(.)表示尺度为n
×
n的卷积操作，η
0n
×n表示尺度为n
×
n的卷积超参数。
[0069]
为了进一步提高网络的表示能力，本实施例引入层间多尺度信息融合技术，将不同尺度的特征进行交叉融合，公式表示如下：
[0070]f23
×3＝f3×3((f
13
×3+f
15
×5)；η
13
×3)；
[0071]f25
×5＝f5×5((f
15
×5+f
13
×3)；η
15
×5)；
[0072]
其中，f
2n
×n表示第二层尺度为n
×
n的卷积输出，η
1n
×n表示第二层尺度为n
×
n的卷积超参数。
[0073]
在本实施例中，以上卷积层的激活函数都使用α为0.5的leaklyrelu激活函数。
[0074]
s2-2：将多尺度特征进行特征融合，得到信息更丰富的样本融合特征f
n-1
：
[0075]fn
_1＝f
23
×3∞f
25
×5；
[0076]
其中，∞表示通道方向上的连接。
[0077]
在所述步骤s3中，所述注意力群组基于空间注意力机制和通道注意力机制而设计，注意力群组包括3个级联的多尺度特征选择注意模块msab；如图2所示，每个多尺度特征选择注意模块msab包括并行多尺度单层卷积模块和特征注意模块fam；如图3所示，特征注意模块fam包括通道注意模块cam和空间注意模块sam，通道注意模块cam和空间注意模块sam以残差连接的方式组合为特征注意模块fam。
[0078]
在本实施例中，多尺度选择注意特征图的提取包括如下步骤：
[0079]
s3-1：通过并行多尺度单层卷积模块，将样本融合特征f
n-1
采用多层卷积分支进行并行的多尺度单层卷积操作，以提取不同尺度特征信息并进行拼接；
[0080]
本实施例的并行多尺度单层卷积模块采用两个卷积分支，每个卷积分支包括一层卷积层，两个卷积分支的卷积核大小分别为1
×
1和3
×
3，在两个卷积分支后连接一个3
×
3的卷积层，将不同尺度特征信息经3
×
3的卷积层后得到拼接特征f，公式表示如下：
[0081]
f＝f3×3(f3×3(f
n-1
)∞f1×1(f
n-1
))
[0082]
其中，fn×n(.)表示尺度为n
×
n的卷积操作。
[0083]
s3-2：对拼接特征f采用特征注意模块进行注意特征提取，得到结合空间注意和通道注意的注意力特征图；具体包括：
[0084]
s3-2-1：对拼接特征f采用通道注意模块，对不同通道特征赋予不同的加权信息，得到通道注意特征值；
[0085]
如图4所示，在通道注意模块中，对于大小为c
×h×
w的拼接特征f，首先，采用全局最大池化和全局平均池化从空间信息中得到两个1
×1×
c的通道描述符，用以分别表示最大池化特征和平均池化特征；
[0086]
然后，采用卷积核长度为k的一维卷积来聚合通道描述符邻域内k个通道的信息；
[0087]
最后，将一维卷积后的两个特征按元素相加，并通过sigmoid函数运算，得到通道注意特征值mc(f)；公式表示如下：
[0088][0089]
其中，σ表示sigmoid函数，表示卷积核大小为k的一维卷积操作；k值大小为：
[0090][0091]
其中，c表示拼接特征f的通道数，odd表示取与值最接近的奇数。
[0092]
s3-2-2：将通道注意特征值mc(f)在空间的两个维度上分别进行广播扩充，并与拼接特征f逐元素相乘，得到空间注意模块的输入特征f
′
；公式表示如下：
[0093][0094]
其中，表示逐元素相乘。
[0095]
s3-2-3：如图5所示，在空间注意模块中，对于输入大小为c
×h×
w的特征图f
′
，首先，沿通道轴方向分别进行全局最大池化和全局均值池化，生成两个不同的1
×h×
w的空间上下文描述符；
[0096]
然后，对两个空间上下文描述符进行通道拼接，生成有效空间特征描述符，对有效空间特征描述符采用空洞卷积高效聚合空间上下文信息；
[0097]
最后，对空间上下文信息经过sigmoid函数生成空间注意特征值ms(f)；公式表示如下：
[0098][0099]
其中，∞表示通道拼接，表示卷积核大小为3
×
3、空洞率为2空洞卷积。
[0100]
s3-2-4：将空间注意特征值ms(f)在空间的两个维度上分别进行广播扩充，并与特征图f
′
逐元素相乘，得到注意力特征图f
″
，公式如下：
[0101][0102]
s3-3：将样本融合特征f
n-1
与注意力特征图f
″
逐元素相加：
[0103][0104]
其中，表示逐元素相加；
[0105]
对相加得到的特征f
n-1
′
重复上述的多尺度单层卷积操作和注意特征提取操作，最终得到多尺度选择注意特征图；其中，多尺度单层卷积模块选择不同大小的卷积核，第二次两个卷积分支的卷积核大小分别为3
×
3和5
×
5。
[0106]
在本实施例中，将多个级联的多尺度特征选择注意模块的多尺度选择注意特征图进行拼接；具体地，通过残差连接的方式进行通道方向上的拼接，继而将拼接特征f
msab
经过两个卷积层，得到最终的融合注意力特征f
attention
；其中，两个卷积层的卷积核大小分别为1
×
1和公式3
×
3；公式如下：
[0107]fmsab
＝f
msab1
∞f
msab2
∞f
msab3
[0108]
其中，f
msabn
表示在网络架构中第n个msab的输出。
[0109]
在所述步骤s4中，将融合注意力特征f
attention
与原始的有雾图像i进行逐元素相加，采用l1损失对去雾网络进行训练，最后输出清晰无雾图像j；l1损失函数的公式如下所示：
[0110][0111]
其中，j表示无雾图像，i表示有雾图像，misa表示去雾网络。
[0112]
实施例2
[0113]
本实施例提供一种基于多尺度信息选择注意机制的图像去雾系统，包括：
[0114]
高低频信息提取模块，被配置为对有雾图像经预处理后得到添加高低频先验信息的图像样本；
[0115]
多尺度特征提取模块，被配置为对图像样本采用多个卷积分支进行并行的多尺度多层卷积操作，并通过层间交叉方式提取多尺度特征，对多尺度特征融合后得到样本融合特征；
[0116]
注意力群组模块，被配置为采用包括多个级联的多尺度特征选择注意模块的注意力群组，对样本融合特征进行结合空间注意和通道注意的多尺度选择注意特征图的提取与拼接，拼接后得到融合注意力特征；
[0117]
去雾处理模块，被配置为根据融合注意力特征对去雾网络进行训练，对待处理有雾图像采用训练后的去雾网络得到无雾图像。
[0118]
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0119]
在更多实施例中，还提供：
[0120]
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
[0121]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用
处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0122]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0123]
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
[0124]
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0125]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0126]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。