一种基于元辅助学习的图像去雾方法及系统

1.本发明涉及图像去雾领域，特别是涉及一种基于元辅助学习的图像去雾方法及系统。


背景技术：

2.图像去雾是图像增强领域的核心研究问题之一，目的是将模糊的有雾图像恢复成清晰图像，提升其他计算机视觉任务的性能。图像去雾是计算机视觉的一项底层任务，其应用场景非常广泛，可以辅助其他计算机视觉任务，如目标检测、行人重识别、图像分割、图像分类等领域，因此，图像去雾技术的研究迫在眉睫。
3.现有的图像去雾技术主要分为两大类，一类是基于统计学先验的机器学习方法，另一类是基于端到端的深度学习方法。基于统计学先验的方法主要有暗通道先验、颜色先验和对比度先验等方法，这些方法通过对大量数据进行分析，结合大气散射模型进行去雾。而基于端到端的深度学习方法则是直接将待去雾的图像输入到网络模型中，由该网络模型直接输出一个清晰图像。但是基于端到端的深度学习方法过于依赖人工合成的成对雾图数据集，人工合成雾图与真实雾天图像的数据分布不一致，仅使用人工合成数据集训练出来的网络模型在真实数据上表现堪忧，有些方法通过自监督的方式引入天然数据集，但存在比较多的噪声，从而导致去雾性能不是最优的。


技术实现要素：

4.本发明的目的是提供一种基于元辅助学习的图像去雾方法及系统，以解决现有技术中图像去雾方法的去雾性能稍差的问题。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于元辅助学习的图像去雾方法，包括：
7.构建数据集；所述数据集包括人工合成的雾图数据集以及天然雾图数据集；所述人工合成的雾图数据集包括一张清晰图像以及多张由该清晰图像人工合成的合成雾图；所述天然雾图数据集包括多张真实雾天图像；
8.构建卷积网络模型；所述卷积网络模型包括编码器、解码器、元学习单元以及辅助学习单元；
9.利用卷积网络模型对所述合成雾图以及所述真实雾天图像进行特征提取，得到图像特征数据；所述图像特征数据包括第一图像特征数据以及第二图像特征数据；
10.利用所述图像特征数据以及所述清晰图像对所述卷积网络模型进行优化，得到优化后的卷积网络模型；
11.利用所述优化后的卷积网络模型对待测雾图进行去雾处理。
12.可选的，所述利用卷积网络模型对所述合成雾图以及所述真实雾天图像进行特征提取，得到图像特征数据，之前还包括：
13.对所述合成雾图以及所述真实雾天图像进行归一化处理，得到归一化合成雾图以
及归一化真实雾天图像。
14.可选的，所述利用所述图像特征数据以及所述清晰图像对所述卷积网络模型进行优化，得到优化后的卷积网络模型，具体包括：
15.利用所述第一图像特征数据和所述清晰图像对卷积网络模型的元学习单元进行优化，得到优化后的元学习单元；
16.利用所述第二图像特征数据对卷积网络模型的辅助学习单元进行优化，得到优化后的辅助学习单元；
17.根据所述优化后的元学习单元以及所述优化后的辅助学习单元，确定优化后的卷积网络。
18.可选的，所述利用所述第一图像特征数据对卷积网络模型的元学习单元进行优化，得到优化后的元学习单元，具体包括：
19.将所述第一图像特征数据输入到卷积网络模型的元学习单元中，生成第一伪无雾图；
20.根据所述清晰图像和所述第一伪无雾图，计算元学习单元的损失函数；
21.根据所述元学习单元的损失函数利用反向传播算法优化所述元学习单元，得到优化后的元学习单元。
22.可选的，所述利用所述第二图像特征数据对卷积网络模型的辅助学习单元进行优化，得到优化后的辅助学习单元，具体包括：
23.将所述第二图像特征数据输入到卷积网络模型的辅助学习单元中，得到第三图像特征数据；
24.根据所述第三图像特征数据以及所述第一伪无雾图，得到第四图像特征数据；
25.根据所述第四图像特征数据，确定第二伪无雾图；
26.将所述第二伪无雾图输入到辅助学习单元的判别器网络中，计算辅助学习单元的损失函数；
27.根据所述辅助学习单元的损失函数利用反向传播算法优化所述辅助学习单元，得到优化后的辅助学习单元。
28.一种基于元辅助学习的图像去雾系统，包括：
29.数据集构建模块，用于构建数据集；所述数据集包括人工合成的雾图数据集以及天然雾图数据集；所述人工合成的雾图数据集包括一张清晰图像以及多张由该清晰图像人工合成的合成雾图；所述天然雾图数据集包括多张真实雾天图像；
30.卷积网络模型构建模块，用于构建卷积网络模型；所述卷积网络模型包括编码器、解码器、元学习单元以及辅助学习单元；
31.特征提取模块，用于利用卷积网络模型对所述合成雾图以及所述真实雾天图像进行特征提取，得到图像特征数据；所述图像特征数据包括第一图像特征数据以及第二图像特征数据；
32.模型优化模块，用于利用所述图像特征数据以及所述清晰图像对所述卷积网络模型进行优化，得到优化后的卷积网络模型；
33.去雾模块，用于利用所述优化后的卷积网络模型对待测雾图进行去雾处理。
34.可选的，还包括：
35.归一化处理模块，用于对所述合成雾图以及所述真实雾天图像进行归一化处理，得到归一化合成雾图以及归一化真实雾天图像。
36.可选的，所述模型优化模块，具体包括：
37.元学习单元优化子模块，用于利用所述第一图像特征数据和所述清晰图像对卷积网络模型的元学习单元进行优化，得到优化后的元学习单元；
38.辅助学习单元优化子模块，用于利用所述第二图像特征数据对卷积网络模型的辅助学习单元进行优化，得到优化后的辅助学习单元；
39.模型确定子模块，用于根据所述优化后的元学习单元以及所述优化后的辅助学习单元，确定优化后的卷积网络模型。
40.可选的，所述元学习单元优化子模块，具体包括：
41.第一无雾图生成单元，用于将所述第一图像特征数据输入到卷积网络模型的元学习单元中，生成第一伪无雾图；
42.第一损失函数计算单元，用于根据所述清晰图像和所述第一伪无雾图，计算元学习单元的损失函数；
43.第一优化单元，用于根据所述元学习单元的损失函数利用反向传播算法优化所述元学习单元，得到优化后的元学习单元。
44.可选的，所述辅助学习单元优化子模块，具体包括：
45.第一特征提取单元，用于将所述第二图像特征数据输入到卷积网络模型的辅助学习单元中，得到第三图像特征数据；
46.第二特征提取单元，用于根据所述第三图像特征数据以及所述第一伪无雾图，得到第四图像特征数据；
47.第二无雾图生成单元，用于根据所述第四图像特征数据，确定第二伪无雾图；
48.第二损失函数计算单元，用于将所述第二伪无雾图输入到辅助学习单元的判别器网络中，计算辅助学习单元的损失函数；
49.第二优化单元，用于根据所述辅助学习单元的损失函数利用反向传播算法优化所述辅助学习单元，得到优化后的辅助学习单元。
50.根据本发明提供的具体实施例，本发明公开了以下技术效果：
51.本发明涉及的一种基于元辅助学习的图像去雾方法及系统，方法包括：构建数据集；对所述数据集中的合成雾图以及真实雾天图像进行归一化处理，得到归一化合成雾图以及归一化真实雾天图像；利用卷积网络对所述归一化合成雾图以及所述归一化真实雾天图像进行特征提取，得到图像特征数据；所述卷积网络包括编码器、解码器、元学习单元以及辅助学习单元；利用所述图像特征数据对所述卷积网络进行优化即对元学习单元以及辅助学习单元进行优化，得到优化后的卷积网络；利用所述优化后的卷积网络对待测雾图进行去雾处理，得到清晰图像。本发明通过引入辅助学习单元，元学习单元以及辅助学习单元共享卷积网络的一部分参数，辅助学习单元以自监督的方式在天然雾图数据集上进行训练，对网络进行微调，使得合成雾图与真实雾天图像的数据分布一致，提高了卷积网络模型的去雾性能。
附图说明
52.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
53.图1为本发明提供的一种基于元辅助学习的图像去雾方法的流程图；
54.图2为本发明提供的卷积网络模型的结构图；
55.图3为本发明提供的辅助学习单元中判别器网络的结构图；
56.图4为本发明提供的一种基于元辅助学习的图像去雾系统的结构图。
具体实施方式
57.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
58.本发明的目的是提供一种基于元辅助学习的图像去雾方法及系统，以解决现有技术中图像去雾方法的去雾性能稍差的问题。
59.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
60.为了使去雾性能达到最优，本发明提出了一种基于元辅助学习的图像去雾方法及系统，为了使卷积网络模型学到更多信息，在卷积网络模型中加入一个辅助学习单元，辅助学习单元与元学习单元共享卷积网络模型的一部分参数，辅助学习单元以自监督的方式在天然雾图数据集上进行训练，对网络进行微调，通过引入辅助学习单元使得卷积网络模型可以更好的适应真实的去雾场景。
61.图1为本发明提供的一种基于元辅助学习的图像去雾方法的流程图，如图1所示，一种基于元辅助学习的图像去雾方法，包括：
62.步骤101：构建数据集。所述数据集包括人工合成的雾图数据集以及天然雾图数据集；所述人工合成的雾图数据集包括一张清晰图像以及多张由该清晰图像人工合成的合成雾图；所述天然雾图数据集包括多张真实雾天图像。
63.天然雾图数据集为在真实场景下拍摄的真实雾天图像，与人工合成雾图数据集不同之处在于，天然雾图数据集只有真实雾天图像。所述清晰图像为人工选择的无雾图像。
64.在实际应用中，首先进行数据收集和预处理。收集的数据包括人工合成的雾图数据集和天然雾图数据集，将收集好的雾图数据集随机划分为三个子集，包括训练集、测试集、验证集，比例为8：1：1，并对雾图进行标准化处理。
65.步骤102：构建卷积网络模型。所述卷积网络模型包括编码器、解码器、元学习单元以及辅助学习单元。
66.图2为本发明提供的卷积网络模型的结构图，如图2所示，在实际应用中，然后设计元学习单元和辅助学习单元共享的网络结构，共享的网络结构包含图像编码器和特征解码器，其中编码器由7个模块组成，解码器由6个模块组成。编码器用于提取雾图的多种维度特
征数据，提取特征数据过程中利用特征融合模块将维度不一致的特征进行融合卷积以获取更多图像信息。经过编码器提取特征数据后，再由解码器对提取到的特征数据进行向上卷积操作以恢复清晰图像。该共享的网络结构可以最大化程度的提取图像特征。
67.再设计元学习模块，经过编码器和解码器后对特征数据进行再次卷积操作获得清晰的复原图像，并以真实无雾图像为目标计算损失，反向传播优化网络模型。
68.最后设计辅助学习模块，为了让卷积网络模型学到更多的信息，引入辅助学习单元，该辅助学习单元主要以自监督的形式对网络进行微调。辅助学习单元除了在原有的卷积网络模型中加入了一个新分支外，还新引入了判别器网络，用来对辅助学习单元进行监督。图3为本发明提供的辅助学习单元中判别器网络的结构图，判别器网络如图3所示。
69.步骤103：利用卷积网络模型对所述合成雾图以及所述真实雾天图像进行特征提取，得到图像特征数据。所述图像特征数据包括第一图像特征数据以及第二图像特征数据。
70.在一个具体实施方式中，所述步骤103，之前还包括：
71.对所述合成雾图以及所述真实雾天图像进行归一化处理，得到归一化合成雾图以及归一化真实雾天图像。在实际应用中，将合成雾图和真实雾天图像进行数据预处理，即在合成雾图和真实雾天图像传入卷积网络模型前，将合成雾图和真实雾天图像的像素值归一化到[0，1]之间。
[0072]
在实际应用中，使用编码器和解码器对卷积网络模型的输入图像进行特征提取，输入的图像包括人工合成雾图数据集中的合成雾图与天然雾图数据集中的真实雾天图像。
[0073]
首先依次将归一化合成雾图以及归一化真实雾天图像输入到卷积网络模型中，以归一化合成雾图为例，将归一化合成雾图输入到编码器中，步骤如下：
[0074]
将归一化合成雾图输入到第一卷积模块(conv block1)中获得第一合成雾图特征数据。
[0075]
将第一合成雾图特征数据输入第二残差模块(resnet block2)中获得第二合成雾图特征数据，即将第一卷积模块输出数据进行再次卷积得到第二合成雾图特征数据，j＝φ
relu
(i+ρ(i))，其中j表示第二合成雾图特征数据，i表示第一合成雾图特征数据，φ
relu
表示relu激活函数，ρ表示卷积操作。
[0076]
将第二合成雾图特征数据输入到第三卷积模块(conv block3)进行向下卷积操作获得第三合成雾图特征数据。其中第三卷积模块的步长为2。
[0077]
将第一合成雾图特征数据和第三合成雾图特征数据输入到第四融合模块(feature block4)进行特征融合操作获得第四合成雾图特征数据，为了融合不同尺度的特征数据，在融合前将待融合的所有特征数据重新采样到相同的尺度。
[0078]
将第四合成雾图特征数据输入第五残差模块(resnet block5)中进行特征提取获得第五合成雾图特征数据。
[0079]
将第五合成雾图特征数据送入到第六卷积模块(conv block6)进行下采样操作获得第六合成雾图特征数据。
[0080]
将第一合成雾图特征数据、第四合成雾图特征数据和第六合成雾图特征数据输入到第七融合模块(feature block7)中进行特征融合操作获得第七合成雾图特征数据。
[0081]
将第七合成雾图特征数据输入第八残差模块(resnet block8)中获得第八合成雾图特征数据，将第八合成雾图特征数据输入第九残差模块(resnet block9)中获得第九合
成雾图特征数据。
[0082]
将提取到的第九合成雾图特征数据送入解码器中，步骤如下：
[0083]
将第九合成雾图特征数据输入第十向上卷积模块(dconv block10)中进行上采样获得第十合成雾图特征数据。
[0084]
将第九合成雾图特征数据和第十合成雾图特征数据输入到第十一融合模块(feature block11)中进行特征融合操作，并将特征融合后的数据与第五合成雾图特征数据进行合并获得第十一合成雾图特征数据，k＝d(concat(l,d(ρ(m)+n)))，其中k表示第十一合成雾图特征数据，l表示第五合成雾图特征数据，m表示第九合成雾图特征数据，n表示第十合成雾图特征数据，d表示向上卷积操作，concat表示特征合并操作。
[0085]
将第十一合成雾图特征数据输入第十二残差模块(resnet block12)中获得第十二合成雾图特征数据。
[0086]
将第十二合成雾图特征数据输入第十三向上卷积模块(dconv block13)中进行上采样获得第十三合成雾图特征数据。
[0087]
将第九合成雾图特征数据、第十一合成雾图特征数据和第十三合成雾图特征数据输入第十四融合模块(feature block14)进行特征融合操作，并将特征融合后的数据与第二合成雾图特征数据进行合并获得第十四合成雾图特征数据，o＝d(concat(u,d(ρq(v)+ρs(w)+x)))，其中o表示第十四合成雾图特征数据，u表示第二合成雾图特征数据，v表示第九合成雾图特征数据，w表示第十一合成雾图特征数据，x表示第十三合成雾图特征数据。第十四合成雾图特征数据即为第一图像特征数据。
[0088]
将归一化真实雾天图像输入到编码器以及解码器中，进行上述操作，得到第十四真实无雾特征数据。第十四真实无雾特征数据即为第二图像特征数据。
[0089]
步骤104：利用所述图像特征数据以及所述清晰图像对所述卷积网络模型进行优化，得到优化后的卷积网络模型。
[0090]
在一个具体实施方式中，所述步骤104，具体包括：
[0091]
利用所述第一图像特征数据和所述清晰图像对卷积网络模型的元学习单元进行优化，得到优化后的元学习单元。
[0092]
利用所述第二图像特征数据对卷积网络模型的辅助学习单元进行优化，得到优化后的辅助学习单元。
[0093]
根据所述优化后的元学习单元以及所述优化后的辅助学习单元，确定优化后的卷积网络。
[0094]
在一个具体实施方式中，所述利用所述第一图像特征数据对卷积网络模型的元学习单元进行优化，得到优化后的元学习单元，具体包括：
[0095]
将所述第一图像特征数据输入到卷积网络模型的元学习单元中，生成第一伪无雾图。
[0096]
根据所述清晰图像和所述第一伪无雾图，计算元学习单元的损失函数。
[0097]
根据所述元学习单元的损失函数利用反向传播算法优化所述元学习单元，得到优化后的元学习单元。
[0098]
在实际应用中，将解码器最后的输出的第十四合成雾图特征数据输入第十五残差模块(resnet block15)中进行特征提取获得第十五合成雾图特征数据。
[0099]
将第十五合成雾图特征数据送入第十六卷积模块(conv block16)中获得最后生成的第一伪无雾图。
[0100]
以第一伪无雾图与清晰图像为目标计算元学习单元的损失，loss1＝αl1(ia,c)+βl2(ia,c)+γl
perceptual
(∑ρi(ia,c))，,c))，其中loss1为元学习单元的损失函数，l1为第一伪无雾图与清晰图像的平均绝对值误差，l2为第一伪无雾图与清晰图像的均方误差，l
perceptual
为感知损失，c为清晰图像，ia为第一伪无雾图，ρi为计算c和ia在第i层特征的误差函数，α、β、γ为元学习单元的权重参数。
[0101]
根据元学习单元的损失函数利用反向传播算法优化元学习单元。
[0102]
在一个具体实施方式中，所述利用所述第二图像特征数据对卷积网络模型的辅助学习单元进行优化，得到优化后的辅助学习单元，具体包括：
[0103]
将所述第二图像特征数据输入到卷积网络模型的辅助学习单元中，得到第三图像特征数据。
[0104]
根据所述第三图像特征数据以及所述第一伪无雾图，得到第四图像特征数据。
[0105]
根据所述第四图像特征数据，确定第二伪无雾图。
[0106]
将所述第二伪无雾图输入到辅助学习单元的判别器网络中，计算辅助学习单元的损失函数。
[0107]
根据所述辅助学习单元的损失函数利用反向传播算法优化所述辅助学习单元，得到优化后的辅助学习单元。
[0108]
在实际应用中，在卷积网络模型中引入辅助学习单元，辅助学习单元和元学习单元共享编码器和解码器的参数，辅助学习单元的训练使用天然雾图数据集进行，通过自监督的形式使得卷积网络模型在天然雾图数据集上学到更多信息，具体实施步骤如下：
[0109]
将解码器最后输出的第十四真实雾天图像特征数据输入第十七残差模块(resnet block17)中进行特征提取获得第十七真实雾天图像特征数据。
[0110]
将第十七真实雾天图像特征数据输入第十八卷积模块(conv block18)获得第十八真实雾天图像特征数据。
[0111]
将元学习单元获得的第一伪无雾图ia和第十八真实雾天图像特征数据联合输入到第十九残差模块(resnet block19)中获得第十九真实雾天图像特征数据。
[0112]
将第十九真实雾天图像特征数据输入第二十卷积模块(conv block20)中获得第二伪无雾图ib，并将获得的第二伪无雾图ib输入到判别器网络中，计算辅助学习单元的损失函数，利用反向传播算法优化辅助学习单元的参数，函数，利用反向传播算法优化辅助学习单元的参数，loss2为辅助学习任务下的损失函数，l
t
为总变异损失，ld为暗通道损失，l
gan
为生成对抗损失，μ、σ、τ为辅助学习单元的权重参数；nu表示训练数据集中图像对的数量；表示在第二伪无雾图水平方向上的微分运算矩阵；表示在第二伪无雾图垂直方向上的微分运算矩阵；ii表示输入的第i张有雾图像；ib表示
第二伪无雾图；表示第二伪无雾图ib的暗通道矩阵。
[0113]
步骤105：利用所述优化后的卷积网络模型对待测雾图进行去雾处理。
[0114]
图4为本发明提供的一种基于元辅助学习的图像去雾系统的结构图，如图4所示，一种基于元辅助学习的图像去雾系统，包括：
[0115]
数据集构建模块401，用于构建数据集。所述数据集包括人工合成的雾图数据集以及天然雾图数据集；所述人工合成的雾图数据集包括一张清晰图像以及多张由该清晰图像人工合成的合成雾图；所述天然雾图数据集包括多张真实雾天图像。
[0116]
卷积网络模型构建模块402，用于构建卷积网络模型。所述卷积网络模型包括编码器、解码器、元学习单元以及辅助学习单元。
[0117]
特征提取模块403，用于利用卷积网络模型对所述合成雾图以及所述真实雾天图像进行特征提取，得到图像特征数据。所述图像特征数据包括第一图像特征数据以及第二图像特征数据。
[0118]
模型优化模块404，用于利用所述图像特征数据以及所述清晰图像对所述卷积网络模型进行优化，得到优化后的卷积网络模型。
[0119]
去雾模块405，用于利用所述优化后的卷积网络模型对待测雾图进行去雾处理。
[0120]
在一个具体实施方中，所述的基于元辅助学习的图像去雾系统，还包括：
[0121]
归一化处理模块，用于对所述合成雾图以及所述真实雾天图像进行归一化处理，得到归一化合成雾图以及归一化真实雾天图像。
[0122]
在一个具体实施方中，所述模型优化模块404，具体包括：
[0123]
元学习单元优化子模块，用于利用所述第一图像特征数据和所述清晰图像对卷积网络模型的元学习单元进行优化，得到优化后的元学习单元。
[0124]
辅助学习单元优化子模块，用于利用所述第二图像特征数据对卷积网络模型的辅助学习单元进行优化，得到优化后的辅助学习单元。
[0125]
模型确定子模块，用于根据所述优化后的元学习单元以及所述优化后的辅助学习单元，确定优化后的卷积网络模型。
[0126]
在一个具体实施方中，所述元学习单元优化子模块，具体包括：
[0127]
第一无雾图生成单元，用于将所述第一图像特征数据输入到卷积网络模型的元学习单元中，生成第一伪无雾图。
[0128]
第一损失函数计算单元，用于根据所述清晰图像和所述第一伪无雾图，计算元学习单元的损失函数。
[0129]
第一优化单元，用于根据所述元学习单元的损失函数利用反向传播算法优化所述元学习单元，得到优化后的元学习单元。
[0130]
在一个具体实施方中，所述辅助学习单元优化子模块，具体包括：
[0131]
第一特征提取单元，用于将所述第二图像特征数据输入到卷积网络模型的辅助学习单元中，得到第三图像特征数据。
[0132]
第二特征提取单元，用于根据所述第三图像特征数据以及所述第一伪无雾图，得到第四图像特征数据。
[0133]
第二无雾图生成单元，用于根据所述第四图像特征数据，确定第二伪无雾图。
[0134]
第二损失函数计算单元，用于将所述第二伪无雾图输入到辅助学习单元的判别器
网络中，计算辅助学习单元的损失函数。
[0135]
第二优化单元，用于根据所述辅助学习单元的损失函数利用反向传播算法优化所述辅助学习单元，得到优化后的辅助学习单元。
[0136]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0137]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。