基于物理模型与特征稠密关联的图像去雾方法及装置

1.本发明属于计算机视觉的技术领域，具体涉及一种基于物理模型与特征稠密关联的图像去雾方法及装置。


背景技术：

2.雾是一种典型的大气现象。受到空气中悬浮粒子的影响，雾会导致拍摄图像颜色失真、模糊和低对比度，从而对物体识别、语义分割等后续视觉任务造成不利影响。因此，图像去雾具有重要的意义。图像去雾的目的就是将受雾气影响的退化图像恢复为清晰的图像。早期的去雾方法依赖于人为的假设，利用数理统计等方法寻找传输图、大气光以及图像退化的规律。但是，人为的假设在真实有雾场景下并不总是成立，从而导致这类方法容易造成图像失真。随着深度学习的发展，许多方法开始将卷积神经网用于预测传输图、大气光或者清晰图像。这类方法可以打破假设的局限性，从而有更好的去雾效果。但是现有的基于学习的方法仍有不足：(1)对于低级视觉任务而言，相似的特征是重要的。尽管存在高价值的长距离相似特征信息，拥有固定感受野的卷积操作无法捕获到该信息，使得网络难以充分利用这些信息处理退化严重的区域，从而限制了复杂场景下的去雾表现。(2)浅层特征可以保留图像的纹理细节。目前许多的方法使用长距离的跳连来保留纹理细节，但是由于其受到雾的影响，这些信息是退化的，难以完全保留下来。针对以上问题，本发明专注于构建特征空间内不同局部特征的稠密关联关系，从而使得长距离的相似特征可以充分相互借鉴。同时，本发明提出了浅层特征映射模块，还原出受到雾影响而退化的浅层特征信息，从而构建出真实清晰的无雾图像。此外，本发明使用对比学习的方式对提出的网络进行优化，使得网络能够充分学习到有雾图像与无雾图像的区别，同时引入了focal frequency loss来对网络进行约束，使得网络能够在色彩上有更加准确的表达。


技术实现要素：

3.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于物理模型与特征稠密关联的单图像去雾方法及装置，提升复杂场景特别是不均匀雾场景下的去雾表现，同时能够真实地还原出图像的色彩与纹理细节，提升去雾图像的真实性。
4.为了达到上述目的，本发明采用以下技术方案：
5.本发明一方面提供了一种基于物理模型与特征稠密关联的单图像去雾方法，包括下述步骤：
6.采用预先设立的编码器提取有雾图像的特征，并根据编码器中网络层数的不同，将编码器输出特征分为浅层特征与深层特征；
7.对编码器输出的深层特征进行处理，使用卷积来强化局部特征并提取出特征图，将提取的特征图处理为特征序列，利用多头注意力构建特征序列内每个元素与所有元素之间的联系，从而实现全局范围内局部特征之间的稠密关系的构建，使用前馈网络对多头注意力的输出序列进行处理，加强元素自身内部的信息交流，得到增强后的深层特征；
8.对编码器输出的浅层特征通过相邻小尺度的特征图计算出联合参数，基于联合参数和预先设立的大气散射模型实现浅层特征映射，得到清晰的浅层纹理特征；
9.对增强后的深层特征与浅层纹理特征进行融合，将融合后特征输入预先设立的解码器，得到去雾后的清晰图像。
10.作为优选的技术方案，所述编码器基于resblock与下采样设计得到；所述解码器基于resblock与上采样得到。
11.作为优选的技术方案，所述卷积提取的特征图处理为特征序列，具体为：
12.使用3
×
3的滑动窗口在卷积获取的特征图的全局范围内捕获局部特征，并将滑动窗口内的特征展开为1
×
9的标量作为序列的元素，使得该序列的不同元素代表了不同的局部特征。
13.作为优选的技术方案，所述多头注意力由具有全局感受野的自注意力组成，用于建立全局特征信息之间的稠密关系，从而弥补卷积固定感受野带来的局限，在多头注意力中，一个自注意力构成了一个头的计算，是多头注意力构建全局特征关联的关键算子，同时，不同的头在全局的不同范围内学习到不同局部特征之间支持，使得网络更具有表现力，所述自注意力机制定义如下：
[0014][0015]
其中，e表示的是自注意力的输入向量，qu、ke、va分别表示生成查询值query、键值key、数值value的线性运算，dk代表键值的维度，自注意力通过qu(e)ke(e)
t
使得查询值与键值进行矩阵相乘运算，从而构建序列e中每个元素之间的稠密关联关系，使元素之间可相互影响，va(e)表示每个元素自身的映射，使其在无法与其他元素建立关联时也可以被增强。
[0016]
作为优选的技术方案，所述联合参数通过下述方式计算：
[0017][0018]
其中，d表示的是编码器输出的特征图，fe表示的是解码器输出的与fd相同尺度的特征图，在获取联合参数k的过程中，使用了卷积以及sigmoid来近似求得的结果，从而防止梯度爆炸。
[0019]
作为优选的技术方案，所述大气散射模型定义如下：
[0020]
i(x)＝j(x)t(x)+a(1-t(x))
[0021]
其中，i、j表示的是有雾图像与无雾图像，t、a分别代表传输图和全局大气光，x表示的是像素，构建的物理模型使用了大气光与传输图的联合参数，基于大气光与传输图的联合参数的模型表示为：
[0022]
j(x)＝j(x)k(x)-k(x)+b
[0023]
其中，k表示大气光与传输图的联合参数，b为恒定偏差可设置为常数。
[0024]
作为优选的技术方案，还包括下述步骤：利用对比学习方法进行网络优化，同时引入了focal frequency loss进行优化提升去雾性能，具体为：
[0025]
使用预训练vgg来构建对比损失函数，对比损失函数为：
[0026][0027]
其中，v代表的是vgg特征提取器，i代表其特征提取所用的网络层数，i
haze
表示的是有雾图像、i
gt
表示的是清晰图像，f表示的是去雾网络，对比损失函数衡量的是输出图像到正样本和负样本之间的距离，将标准清晰图像设置为正样本、输入的有雾图像作为负样本，对比损失能够使输出图像靠近正样本，远离负样本，负样本的加入为网络提供了新的参照，提升了模型性能；
[0028]
focal frequency loss从图像的频率域角度对网络进行约束，使生成图像在频率上保真，同时使得网络能够更加关注于退化严重的区域，从而能够准确地还原出退化区域的纹理和色彩，离散傅里叶变换被用于将图像从空间域转变到频率域，随后利用欧拉公式分离出实部与虚部，再计算损失，focal frequency loss为：
[0029][0030]
其中，cat表示的是图像的实部和虚部的连接，ρ表示动态权重:
[0031][0032]
c、d分别表示图像的长和宽，ρ使得网络能够根据不同的退化程度进行动态的权重调整，从而提升网络在退化严重区域的表现。
[0033]
本发明另一方面提供了一种基于物理模型与特征稠密关联的单图像去雾系统，应用于所述的基于物理模型与特征稠密关联的单图像去雾方法，包括编码模块、特征稠密关联模块、浅层特征映射模块以及解码模块；
[0034]
所述编码模块，用于采用预先设立的编码器提取有雾图像的特征，并根据编码器中网络层数的不同，将编码器输出特征分为浅层特征与深层特征；
[0035]
所述特征稠密关联模块，用于对编码器输出的深层特征进行处理，使用卷积来强化局部特征并提取出特征图，将提取的特征图处理为特征序列，利用多头注意力构建特征序列内每个元素与所有元素之间的联系，从而实现全局范围内局部特征之间的稠密关系的构建，使用前馈网络对多头注意力的输出序列进行处理，加强元素自身内部的信息交流，得到增强后的深层特征；
[0036]
所述浅层特征映射模块，用于对编码器输出的浅层特征通过相邻小尺度的特征图计算出联合参数，基于联合参数和预先设立的大气散射模型实现浅层特征映射，得到清晰的浅层纹理特征；
[0037]
所述解码模块，用于对增强后的深层特征与浅层纹理特征进行融合，将融合后特征输入预先设立的解码器，得到去雾后的清晰图像。
[0038]
本发明又一方面提供了一种电子设备，所述电子设备包括：
[0039]
至少一个处理器；以及，
[0040]
与所述至少一个处理器通信连接的存储器；其中，
[0041]
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于物理模型与特征稠密关联的单图像去雾方法。
[0042]
本发明再一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于物理模型与特征稠密关联的单图像去雾方法。
[0043]
本发明与现有技术相比，具有如下优点和有益效果：
[0044]
1、本发明提出基于物理模型与特征稠密关联的端到端去雾网络。该网络基于提出的特征稠密关联模块，该模块使得提出的网络具有全局感受野，可以建立不同局部特征之间的稠密关联关系，使得局部特征之间可以相互借鉴，与当前的单图像去雾方法相比，能够更好地应对不均匀雾的情况。
[0045]
2、本发明提出的网络基于提出的浅层特征映射模块。该模块能够获取到大气散射模型的参数并将其应用到浅层特征的映射上，从而恢复浅层特征中受雾影响退化的信息，使得生成的清晰图像在纹理细节上有更好的表现。
[0046]
3、本发明采用对比学习的优化方式对所提出的去雾网络进行优化，使得网络能够学习到有雾图像与无雾图像的区别，从而使得模型更加鲁棒。本发明同时采用了focal frequency loss函数对网络进行约束，使得网络能够在颜色上保持准确，从而提升生成图像的真实性。
附图说明
[0047]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]
图1是本发明实施例基于物理模型与特征稠密关联的图像去雾方法的流程图；
[0049]
图2是本发明实施例基于物理模型和特征稠密关联的网络示意图；
[0050]
图3是本发明实施例中对比学习与focal frequency loss的示意图；
[0051]
图4是本发明实施例中特征稠密关联模块的示意图；
[0052]
图5是本发明与几个先进去雾算法的去雾效果对比图；
[0053]
图6为本发明实施例电子设备的结构图。
具体实施方式
[0054]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0055]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本技术所描述的实施例可以与其它实施例相结合。
[0056]
请参阅图1，本实施例基于物理模型与特征稠密关联的单图像去雾方法，包括下述步骤：
[0057]
s1、基于resblock与下采样设计出编码器，提取有雾图像的特征，并根据编码器中
网络层数的不同，将编码器输出特征分为浅层特征与深层特征；
[0058]
s2、对编码器输出的深层特征进行处理，在深层特征中构建全局范围内的稠密关联关系，使得不同的局部信息能够相互支持，从而利用全局信息对局部特征进行增强。
[0059]
进一步的，步骤s2具体为：
[0060]
s21、使用卷积来强化局部特征并提取出特征图；
[0061]
s22、随后，将该特征图处理为特征序列：使用3
×
3的滑动窗口在该特征图的全局范围内捕获局部特征，并将窗口内的特征展开为1
×
9的标量作为序列的元素，使得该序列的不同元素代表了不同的局部特征。
[0062]
s23、利用多头注意力构建该序列内每个元素与所有元素之间的联系，从而实现全局范围内局部特征之间的稠密关系的构建。
[0063]
更进一步的，在本实施例中，多头注意力由具有全局感受野的自注意力组成，可以建立全局特征信息之间的稠密关系，从而弥补卷积固定感受野带来的局限，在多头注意力中，一个自注意力构成了一个头的计算，是多头注意力构建全局特征关联的关键算子。同时，不同的头可以在全局的不同范围内学习到不同局部特征之间支持，使得网络更具有表现力。
[0064]
所述自注意力机制定义如下：
[0065][0066]
其中，e表示的是自注意力的输入向量，qu、ke、va分别表示生成查询值query、键值key、数值value的线性运算，dk代表键值的维度，自注意力通过qu(e)ke(e)
t
使得查询值与键值进行矩阵相乘运算，从而构建序列e中每个元素之间的稠密关联关系，使元素之间可相互影响，va(e)表示每个元素自身的映射，使其在无法与其他元素建立关联时也可以被增强。
[0067]
在本技术的一个实施例中，在提出的去雾网络中使用了8个特征稠密关联模块，根据特征金字塔原理，分别将每个模块的多头注意力头数设置为：[1,2,8,16,16,8,2,1]。
[0068]
s24、使用前馈网络对多头注意力的输出序列进行处理，以加强元素自身内部的信息交流，并将其还原为特征图。
[0069]
s3、对编码器输出的浅层特征通过相邻小尺度的特征图计算出联合参数，基于联合参数和预先设立的大气散射模型实现浅层特征映射，得到清晰的浅层纹理特征。
[0070]
进一步的，浅层特征映射采用物理模型进行特征映射；大气散射模型定义如下：
[0071]
i(x)＝j(x)t(x)+a(1-t(x))
ꢀꢀꢀ
(2)
[0072]
其中，i、j表示的是有雾图像与无雾图像，t、a分别代表传输图和全局大气光，x表示的是像素，构建的物理模型使用了大气光与传输图的联合参数，公式(2)可以表示为：
[0073]
j(x)＝j(x)k(x)-k(x)+b
ꢀꢀꢀ
(3)
[0074]
其中，k表示大气光与传输图的联合参数。b为恒定偏差可设置为常数；浅层特征映射模块首先在特征空间上学习出联合参数k，再基于该参数和公式(3)得到包含浅层特征的输出，并将其用于去雾模型的解码部分，以实现图像纹理细节的还原。首先在较小尺度的特征上获取联合参数k的值，并且反过来将其运用在较大尺度特征的映射上，根据公式(3)得到:
[0075][0076]
其中，对于每一个浅层特征关联模块，fd表示的是编码模块输出的与该模块相邻的下一个尺度的特征图，fe表示的是解码器输出的与fd相同尺度的特征图。在获取联合参数k的过程中，使用了卷积以及sigmoid来近似求得的结果，从而防止梯度爆炸。在获取到k的基础上，将k进行上采样，然后，根据公式(2)，将k应用到该模块相同尺度特征的浅层特征的映射上。
[0077]
s4、对增强后的深层特征与映射后的浅层特征进行融合，将融合后特征输入基于resblock与上采样的解码器模块，得到去雾后的清晰图像；可以理解的是，本技术的特征融合，采用的是常规的融合方法。
[0078]
s5、采用对比学习以及focal frequency loss损失函数对步骤s1到步骤s4提出的去雾网络进行优化。对比学习方法将有雾图像作为训练的负样本，将清晰图像作为训练的正样本，使网络能够学习出有雾图像与无雾图像的区别；同时focal frequency loss使网络拥有准确的色彩表现，进而得到最优的网络参数，实现鲁棒的去雾效果。
[0079]
本实施例使用预训练vgg来构建对比损失函数，对比损失函数为：
[0080][0081]
其中，v代表的是vgg特征提取器，i代表其特征提取所用的网络层数，i
haze
表示的是有雾图像、i
gt
表示的是清晰图像。f表示的是去雾网络。对比损失函数衡量的是输出图像到正样本和负样本之间的距离；将标准清晰图像设置为正样本、输入的有雾图像作为负样本。对比损失能够使输出图像靠近正样本，远离负样本。负样本的加入为网络提供了新的参照，提升了模型性能。
[0082]
focal frequency loss从图像的频率域角度对网络进行约束，使生成图像在频率上保真，同时使得网络能够更加关注于退化严重的区域，从而能够准确地还原出退化区域的纹理和色彩。离散傅里叶变换被用于将图像从空间域转变到频率域，随后利用欧拉公式分离出实部与虚部，再计算损失。focal frequency loss为：
[0083][0084]
其中，cat表示的是图像的实部和虚部的连接。ρ表示动态权重:
[0085][0086]
c、d分别表示图像的长和宽，ρ使得网络能够根据不同的退化程度进行动态的权重调整，从而提升网络在退化严重区域的表现。
[0087]
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
[0088]
基于与上述实施例中的基于物理模型与特征稠密关联的单图像去雾方法相同的思想，本发明还提供了基于物理模型与特征稠密关联的单图像去雾系统，该系统可用于执行上述基于物理模型与特征稠密关联的单图像去雾方法。为了便于说明，基于物理模型与
特征稠密关联的单图像去雾系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0089]
请参阅图2，在本技术的另一个实施例中，提供了一种基于物理模型与特征稠密关联的单图像去雾系统，该系统包括编码模块、特征稠密关联模块、浅层特征映射模块以及解码模块；有雾图像经过编码器得到的深层特征通过特征稠密关联模块来构建特征空间内部的稠密联系，使其能够根据全局信息进行局部增强；同时，编码器输出的浅层特征经过浅层特征映射模块得到清晰纹理特征。最后，解码器根据增强后的深层特征和映射后的浅层特征进行融合，随后进行清晰图像的构建。
[0090]
所述编码模块，用于采用预先设立的编码器提取有雾图像的特征，并根据编码器中网络层数的不同，将编码器输出特征分为浅层特征与深层特征；
[0091]
所述特征稠密关联模块，用于对编码器输出的深层特征进行处理，使用卷积来强化局部特征并提取出特征图，将提取的特征图处理为特征序列，利用多头注意力构建特征序列内每个元素与所有元素之间的联系，从而实现全局范围内局部特征之间的稠密关系的构建，使用前馈网络对多头注意力的输出序列进行处理，加强元素自身内部的信息交流，得到增强后的深层特征；
[0092]
所述浅层特征映射模块，用于对编码器输出的浅层特征通过相邻小尺度的特征图计算出联合参数，基于联合参数和预先设立的大气散射模型实现浅层特征映射，得到清晰的浅层纹理特征；
[0093]
所述解码模块，用于对增强后的深层特征与浅层纹理特征进行融合，将融合后特征输入预先设立的解码器，得到去雾后的清晰图像。
[0094]
需要说明的是，本发明的基于物理模型与特征稠密关联的单图像去雾系统与本发明的基于物理模型与特征稠密关联的单图像去雾方法一一对应，在上述基于物理模型与特征稠密关联的单图像去雾方法的实施例阐述的技术特征及其有益效果均适用于基于物理模型与特征稠密关联的单图像去雾的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
[0095]
此外，上述实施例的基于物理模型与特征稠密关联的单图像去雾系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于物理模型与特征稠密关联的单图像去雾系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
[0096]
请再次参阅图2，本技术基于物理模型与特征稠密关联的单图像去雾系统具体为：
[0097]
图2的编码模块中，最左侧的方块表示卷积核为7，步长为1的卷积；在其余两组大小相同的方块中，左侧的方块表示resblock，右侧的方块表示下采样；
[0098]
图2的解码模块中，在最右侧两个大小相同的方块中，第一个方块表示反卷，最后一个方块表示卷积核为7，步长为1的卷积；在其余两组大小相同的方块中，左侧的方块表示反卷，右侧的方块表示resblock；
[0099]
图2中，每个浅层特征映射模块包括了与“浅层特征映射模块”相连的所有实线与虚线部分；
[0100]
图3表示了本发明中focal frequency loss与对比学习的原理。
[0101]
图3中左下方的虚线框表示的是对比学习，右下方的虚线框部分则表示了focal frequency loss的原理；
[0102]
除了focal frequency loss与对比损失，本发明还使用了l1损失与感知损失作为基本的损失函数；
[0103]
图3中的“去雾网络”表示的是图2中的网络；
[0104]
本发明采用以下权重进行训练：l1损失权重为1，感知损失权重为0.03，对比损失权重为0.03，focal frequency loss权重为0.01；
[0105]
本发明在rtx3090上训练200个epoch，同时设置初始步长为0.0001。本发明使用240
×
240的窗口在图像上随机切割，同时将切割后的图片进行随机旋转，将得到的图像作为训练的输入。
[0106]
图4为本发明中特征稠密关联模块的结构示意图。
[0107]
图4中
“□”
表示将元素进行逐像素累加；
[0108]
图4中的方块表示的是卷积；
[0109]
图4中的h表示多头注意力的头数；
[0110]
图4中的自注意力定义如下：
[0111][0112]
其中，e表示的是自注意力的输入向量。qu、ke、va分别表示的是生成查询值query、键值key、以及数值value的线性运算。dk代表键值的维度。
[0113]
图5显示了本发明的方法的主观分析结果。
[0114]
图5所示，发明的方法可以更好地应对复杂条件下的有雾场景，充分去雾的同时避免伪影的产生，并且更好地还原出图像的纹理细节。
[0115]
方法的客观评价结果如表1所示，本发明使用峰值信噪比(psnr)与结构相似度(ssim)作为评价指标，数值越高代表生成的图像与标准清晰图像越接近。
[0116]
表1
[0117][0118]
请参阅图6，在一个实施例中，提供了一种实现基于物理模型与特征稠密关联的单
图像去雾方法的电子设备，所述电子设备100可以包括第一处理器101、第一存储器102和总线，还可以包括存储在所述第一存储器102中并可在所述第一处理器101上运行的计算机程序，如基于物理模型与特征稠密关联的单图像去雾程序103。
[0119]
其中，所述第一存储器102至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器102在一些实施例中可以是电子设备100的内部存储单元，例如该电子设备100的移动硬盘。所述第一存储器102在另一些实施例中也可以是电子设备100的外部存储设备，例如电子设备100上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(securedigital，sd)卡、闪存卡(flash card)等。进一步地，所述第一存储器102还可以既包括电子设备100的内部存储单元也包括外部存储设备。所述第一存储器102不仅可以用于存储安装于电子设备100的应用软件及各类数据，例如基于物理模型与特征稠密关联的单图像去雾程序103的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0120]
所述第一处理器101在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器101是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器102内的程序或者模块，以及调用存储在所述第一存储器102内的数据，以执行电子设备100的各种功能和处理数据。
[0121]
图6仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图6示出的结构并不构成对所述电子设备100的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0122]
所述电子设备100中的所述第一存储器102存储的基于物理模型与特征稠密关联的单图像去雾程序103是多个指令的组合，在所述第一处理器101中运行时，可以实现：
[0123]
采用预先设立的编码器提取有雾图像的特征，并根据编码器中网络层数的不同，将编码器输出特征分为浅层特征与深层特征；
[0124]
对编码器输出的深层特征进行处理，使用卷积来强化局部特征并提取出特征图，将提取的特征图处理为特征序列，利用多头注意力构建特征序列内每个元素与所有元素之间的联系，从而实现全局范围内局部特征之间的稠密关系的构建，使用前馈网络对多头注意力的输出序列进行处理，加强元素自身内部的信息交流，得到增强后的深层特征；
[0125]
对编码器输出的浅层特征通过相邻小尺度的特征图计算出联合参数，基于联合参数和预先设立的大气散射模型实现浅层特征映射，得到清晰的浅层纹理特征；
[0126]
对增强后的深层特征与浅层纹理特征进行融合，将融合后特征输入预先设立的解码器，得到去雾后的清晰图像。
[0127]
进一步地，所述电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0128]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0129]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0130]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。