基于双向GAN网络的去雾方法及双向GAN网络模型

基于双向gan网络的去雾方法及双向gan网络模型
技术领域
1.本技术涉及图片处理技术领域，尤其涉及基于双向gan网络的去雾方法及双向gan网络模型。


背景技术：

2.雾霾天气将降低摄像机采集到的图片清晰度，导致计算机难以识别图像中的物体特征。为了得到真实清晰的图片，对图片进行去雾处理是非常必要的。
3.目前常见的方法为基于机器学习进行图像去雾，主要是利用卷积神经网络，通过大量的训练数据，学习有雾图片和清晰图片的映射关系，进而对雾图实现去雾。常用的去雾卷积神经网络为生成式对抗网络(generative adversarial networks，gan)，该网络模型采用无监督式学习方法，通过两个模块：生成模块和判别模块的互相博弈学习产生准确率高的输出。其中生成模块包括编码器和解码器，如图1所示，编码器用于提取输入图片中的特征向量，解码器用于从特征向量中还原出低级特征。
4.但是，目前只是通过gan进行雾图到清晰图的单向转换，因此gan中仅包含雾域到清晰域的单向映射关系，雾图在经过编码器和解码器处理之后，输出的清晰图中通常会存在光环效应和人工瑕疵，原图片的信息保留不佳。


技术实现要素：

5.为了解决目前的gan中仅包含雾域到清晰域的单向映射关系，导致最终图片的输出会存在光环效应和人工瑕疵，使得最后的原图信息保留不佳的问题，本技术通过以下实施例公开了一种基于双向gan网络的去雾方法及双向gan网络模型。
6.本技术第一方面公开了一种基于双向gan网络的去雾方法，所述去雾方法包括：
7.提取待去雾图片中不同像素对应的深度信息；
8.根据所述深度信息，对所述待去雾图片进行深度处理；
9.将深度处理后的待去雾图片输入至预先构建的双向gan网络模型中，所述双向gan网络模型包括输入模块、生成模块及判别模块；所述输入模块包括清晰图输入端口及雾图输入端口，所述生成模块包括第一生成单元及第二生成单元，所述判别模块包括第一判别器及第二判别器；所述清晰图输入端口、所述第一生成单元及所述第一判别器依次连接，用于针对清晰图进行特征提取及重建，所述雾图输入端口、所述第二生成单元及所述第二判别器依次连接，用于针对雾图进行特征提取及重建；所述第一生成单元包括依次连接的第一编码器、共享潜在空间及第一解码器，所述第二生成单元包括依次连接的第二编码器、所述共享潜在空间及第二解码器；所述共享潜在空间用于存储高层特征，并将所述高层特征输出至所述第一解码器及所述第二解码器，所述高层特征包括所述第一编码器针对清晰图提取的高层特征以及所述第二编码器针对雾图提取的高层特征；所述双向gan网络模型的训练集及验证集中均包括成对的清晰图及雾图；
10.获取所述双向gan网络模型输出的去雾图片。
11.可选的，所述提取待去雾图片中不同像素对应的深度信息，包括：
12.对所述待去雾图片进行格式转换，提取出所述待去雾图片的亮度和饱和度；
13.根据所述亮度和饱和度，生成所述待去雾图片中不同像素对应的深度信息。
14.本技术第二方面公开了一种双向gan网络模型，所述双向gan网络模型包括输入模块、生成模块及判别模块；
15.所述输入模块包括清晰图输入端口及雾图输入端口，所述生成模块包括第一生成单元及第二生成单元，所述判别模块包括第一判别器及第二判别器；
16.所述清晰图输入端口、所述第一生成单元及所述第一判别器依次连接，用于针对清晰图进行特征提取及重建，所述雾图输入端口、所述第二生成单元及所述第二判别器依次连接，用于针对雾图进行特征提取及重建；
17.所述第一生成单元包括依次连接的第一编码器、共享潜在空间及第一解码器，所述第二生成单元包括依次连接的第二编码器、所述共享潜在空间及第二解码器；
18.所述共享潜在空间用于存储高层特征，并将所述高层特征输出至所述第一解码器及所述第二解码器，所述高层特征包括所述第一编码器针对清晰图提取的高层特征以及所述第二编码器针对雾图提取的高层特征；
19.所述双向gan网络模型的训练集及验证集中均包括成对的清晰图及雾图。
20.可选的，所述第一编码器及所述第二编码器分别包括依次连接的第一卷积块、第二卷积块及第一耦合残差块；
21.所述第一解码器及所述第二解码器分别包括依次连接的第二耦合残差块、第一步长卷积块及第二步长卷积块；
22.所述第一耦合残差块的输出端接至所述共享潜在空间的输入端，所述共享潜在空间的输出端接至所述第二耦合残差块的输入端；
23.所述第一卷积块的输出端跳变连接至所述第二步长卷积块的输入端；
24.所述第二卷积块的输出端跳变连接至所述第一步长卷积块的输入端。
25.可选的，所述第一耦合残差块及所述第二耦合残差块分别由多个子残差块级联组成；
26.任一级所述子残差块包括依次连接的第一卷积层、激活函数层及第二卷积层，用于处理上一级子残差块的输出结果以及上上一级子残差块的输出结果，并把处理结果输出至下一级子残差块以及下下一级子残差块。
27.可选的，所述第一判别器及所述第二判别器分别包括三层判别网络，任一层所述判别网络包含三个卷积层和一个激活函数层。
28.可选的，所述双向gan网络模型通过以下损失函数进行优化：生成对抗损失函数、mse损失函数及总变分损失函数。
29.本技术第三方面公开了一种计算机设备，包括：
30.存储器，用于存储计算机程序；
31.处理器，用于执行所述计算机程序时实现如本技术第一方面所述的基于双向gan网络的去雾方法的步骤。
32.本技术第四方面公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如本技术第一方面所述的基于双向
gan网络的去雾方法的步骤。
33.本技术公开了基于双向gan网络的去雾方法及双向gan网络模型，该方法包括利用提取得到的待去雾图片中不同像素对应的深度信息，对待去雾图片进行深度处理；将深度处理后的待去雾图片输入至预先构建的双向gan网络模型中，获取双向gan网络模型输出的去雾图片。双向gan网络模型中，清晰图输入端口、第一生成单元及第一判别器依次连接，用于针对清晰图进行特征提取及重建，雾图输入端口、第二生成单元及第二判别器依次连接，用于针对雾图进行特征提取及重建；共享潜在空间中存储有第一编码器针对清晰图提取的高层特征以及所述第二编码器针对雾图提取的高层特征；所述双向gan网络模型通过成对的清晰图及雾图完成训练及验证，包含雾域与清晰域的双向映射关系，能够对不同域下的图片进行处理，有效确保图片重建的真实性。
附图说明
34.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1为现有的去雾卷积神经网络的结构示意图；
36.图2为本技术实施例公开的一种基于双向gan网络的去雾方法的工作流程示意图；
37.图3为本技术实施例公开的一种双向gan网络模型的结构示意图；
38.图4为本技术实施例公开的又一种双向gan网络模型的结构示意图；
39.图5为本技术实施例公开的一种双向gan网络模型中，共享潜在空间的示意图；
40.图6为本技术实施例公开的一种双向gan网络模型中，第一生成单元和第二生成单元的结构示意图；
41.图7为本技术实施例公开的一种双向gan网络模型中，第一耦合残差块和第二耦合残差块的结构示意图；
42.图8为本技术实施例公开的一种双向gan网络模型中，第一判别器和第二判别器的结构示意图；
43.图9为本技术实施例公开的一种双向gan网络模型计算跨域转换一致性的示意图；
44.图10为本技术实施例公开的一种双向gan网络模型的应用示意图。
具体实施方式
45.为了解决目前的gan中仅包含雾域到清晰域的单向映射关系，导致最终图片的输出会存在光环效应和人工瑕疵，使得最后的原图信息保留不佳的问题，本技术通过以下实施例公开了一种基于双向gan网络的去雾方法及双向gan网络模型。
46.本技术第一实施例公开了一种基于双向gan网络的去雾方法，参加图2所示的工作流程示意图，所述去雾方法包括：
47.步骤s11，提取待去雾图片中不同像素对应的深度信息。
48.步骤s12，根据所述深度信息，对所述待去雾图片进行深度处理。
49.具体的，对所述待去雾图片进行格式转换，基于opencv，将待去雾图片从rgb格式转换到hsv格式，从而提取出所述待去雾图片的亮度v和饱和度s。其中，opencv是一个基于
bsd许可(开源)发行的跨平台计算机视觉和机器学习软件库。具体的，在阴影检测算法中经常将rgb格式的图像转化为hsv格式，对于阴影区域而言，它的色度和饱和度相对于原图像变化不大，主要是亮度信息变化较大，将rgb格式转化为hsv格式，就可以得到h、s、v分量，从而得到色度、饱和度、亮度的值。
50.根据所述亮度v和饱和度s，生成所述待去雾图片中不同像素对应的深度信息。
51.实际操作中，根据所述亮度v和饱和度s，通过现有的深度信息公式进行计算，对已知的参数θ0，θ1，θ2线性计算，得到待去雾图片中不同像素对应的深度信息d。
52.深度信息计算公式如下：
53.d(x)＝θ0+θ1v(x)+θ2s(x)+ε(x)；
54.其中，x表示待去雾图片，ε(x)是随机变量表示模型的随机错误，可以把ε当做随机图。
55.通过深度信息对输入的待去雾原图片进行深度处理，强化深区域的表现效果，比如针对远的地方提升亮度以及增强对比度，使得远景更加清楚等。
56.步骤s13，将深度处理后的待去雾图片输入至预先构建的双向gan网络模型中。
57.参加图3，所述双向gan网络模型包括输入模块、生成模块及判别模块。所述输入模块包括清晰图输入端口及雾图输入端口，所述生成模块包括第一生成单元及第二生成单元，所述判别模块包括第一判别器及第二判别器。所述清晰图输入端口、所述第一生成单元及所述第一判别器依次连接，用于针对清晰图进行特征提取及重建，所述雾图输入端口、所述第二生成单元及所述第二判别器依次连接，用于针对雾图进行特征提取及重建。
58.图3所示的双向gan网络模型，可以对雾图进行去雾，同样可以将清晰图片进行反向加雾，增强跨域之间变化的一致性，进而能更好地约束互相之间的转换效果，使得具体应用时去雾图片更加自然，增强真实雾图上的去雾效果。而目前现有的去雾技术中，仅使用gan做了雾图到清晰图的单向转换，仅能输出雾域到清晰域的映射关系，使得图片的输出存在光环效应和人工瑕疵，最后的原图信息保留不佳。
59.参加图4，本技术设计的双向gan网络模型中，所述第一生成单元包括依次连接的第一编码器、共享潜在空间及第一解码器，所述第二生成单元包括依次连接的第二编码器、所述共享潜在空间及第二解码器。所述共享潜在空间用于存储高层特征，并将所述高层特征输出至所述第一解码器及所述第二解码器，所述高层特征包括所述第一编码器针对清晰图提取的高层特征以及所述第二编码器针对雾图提取的高层特征。所述双向gan网络模型的训练集及验证集中均包括成对的清晰图及雾图。
60.本实施例中，假设认为雾图和清晰图之间共享一个潜在空间，那么通过潜在空间可以完成雾图到清晰图的特征连接。参见图5，清晰图片x和雾图y，它们之间能够通过一个共享潜在空间z连接，恢复两个域中的图像。基于这一理论基础，本技术公开的双向gan网络模型，能够很好的对真实雾图和合成雾图进行处理，通过先变编码后解码的方式，结合双向生成对抗网络对雾图进行恢复重建。
61.步骤s14，获取所述双向gan网络模型输出的去雾图片。
62.本技术公开的基于双向gan网络的去雾方法，包括利用提取得到的待去雾图片中不同像素对应的深度信息，对待去雾图片进行深度处理；将深度处理后的待去雾图片输入至预先构建的双向gan网络模型中，获取双向gan网络模型输出的去雾图片。双向gan网络模
型中，清晰图输入端口、第一生成单元及第一判别器依次连接，用于针对清晰图进行特征提取及重建，雾图输入端口、第二生成单元及第二判别器依次连接，用于针对雾图进行特征提取及重建；共享潜在空间中存储有第一编码器针对清晰图提取的高层特征以及所述第二编码器针对雾图提取的高层特征；所述双向gan网络模型通过成对的清晰图及雾图完成训练及验证，包含雾域与清晰域的双向映射关系，能够对不同域下的图片进行处理，有效确保图片重建的真实性。
63.本技术第二实施例公开了一种双向gan网络模型，结合图3-图4，所述双向gan网络模型包括输入模块、生成模块及判别模块。
64.所述输入模块包括清晰图输入端口及雾图输入端口，所述生成模块包括第一生成单元及第二生成单元，所述判别模块包括第一判别器及第二判别器。
65.所述清晰图输入端口、所述第一生成单元及所述第一判别器依次连接，用于针对清晰图进行特征提取及重建，所述雾图输入端口、所述第二生成单元及所述第二判别器依次连接，用于针对雾图进行特征提取及重建。
66.所述第一生成单元包括依次连接的第一编码器、共享潜在空间及第一解码器，所述第二生成单元包括依次连接的第二编码器、所述共享潜在空间及第二解码器。
67.所述共享潜在空间用于存储高层特征，并将所述高层特征输出至所述第一解码器及所述第二解码器，所述高层特征包括所述第一编码器针对清晰图提取的高层特征以及所述第二编码器针对雾图提取的高层特征。
68.所述双向gan网络模型的训练集及验证集中均包括成对的清晰图及雾图。
69.进一步的，参见图6所示，所述第一编码器及所述第二编码器分别包括依次连接的第一卷积块、第二卷积块及第一耦合残差块。
70.所述第一解码器及所述第二解码器分别包括依次连接的第二耦合残差块、第一步长卷积块及第二步长卷积块。
71.所述第一耦合残差块的输出端接至所述共享潜在空间的输入端，所述共享潜在空间的输出端接至所述第二耦合残差块的输入端。
72.所述第一卷积块的输出端跳变连接至所述第二步长卷积块的输入端。
73.所述第二卷积块的输出端跳变连接至所述第一步长卷积块的输入端。
74.其中，第一卷积块和第二卷积块用于提取输入图片的高层特征，第一耦合残差块和第二耦合残差块负责学习图片不同特征的细节信息，便于图片的恢复重建。第一步长卷积和第二步长卷积完成了图片由高层特征到输出图片(清晰图或雾图)的重建过程。编码器和解码器通过跳变连接紧密连接。在每一层卷积块之后，会有跳变链接链接到对应的步长卷积块前，跳变连接将编码器的卷积块的输出特征图，链接到对应解码器的输入中，并在维度层面进行拼接，使得解码器输出的特征图能够包括原图的特征信息。跳变连接使得图片的细节纹理能够被更好的习得，通过两层跳变连接在高维度和低维度上的连接，能够对图片不同的位置信息进行单独处理，更进一步确保了输出图片和输入图片的一致性，以及重建的真实性。
75.进一步的，参见图7，所述第一耦合残差块及所述第二耦合残差块分别由多个子残差块级联组成。
76.任一级所述子残差块包括依次连接的第一卷积层、激活函数层及第二卷积层，用
于处理上一级子残差块的输出结果以及上上一级子残差块的输出结果，并把处理结果输出至下一级子残差块以及下下一级子残差块。
77.耦合残差块能够增强网络处理信息的能力，更好的拟合深层网络潜在恒等映射，本实施例中，每个子残差块由两个卷积层和一个激活函数层构成，将多个(图7示出了三个)子残差块的输出和输入相互级联，每一级子残差块分别处理本级的输入和上一级的低维输入结果，以提取不同维度的特征信息，并将计算结果分别送入下一级子残差块和下下一级子残差块。通过多层子残差块的紧密连接，可习得不同维度雾特征的残差信息。
78.经过编码器和解码器的编码和解码，得到生成图片，将生成图片输入至判别模块进行判别。参见图8，所述第一判别器及所述第二判别器分别包括三层判别网络，任一层所述判别网络包含三个卷积层和一层激活函数，每一层判别网络对上一级输入进行降采样，将三层判别网络不同粒度输出结果和真实的特征图比较，判断网络输出是否符合预期，对不符合预期的训练结果施加惩罚项，计算判别损失，回传到网络中更新参数。采用多级判别网络，将双向gan网络模型产生的输出结果经过三层特征采样和比较，进行粗粒度和细粒度的比较，扩大了判别模块的判别准确率。
79.针对双向gan网络模型，本实施例采用损失函数，辅助模型能够得到更好的表达，优化的损失函数包括生成对抗损失函数、mse损失函数及总变分损失函数。
80.为了达到良好的训练效果，网络需要损失函数都包含生成对抗损失,生成对抗损失来源于图片是来自生成器g(i)还是真实的数据j。经典的生成对抗损失定义如下：
81.l
gav
(g,d)＝ei(logd(j))+ei(log(1-d(g(i)))；
82.结合图9，双向gan网络模型通过双向生成对抗损失，计算跨域转换一致性如下：
83.l
adv
＝l
gan
(gc(ic),dish)+l
gan
(gh(lh),disc)；
84.其中，lgan()表示经典对抗生成损失，ih表示输入的雾图x，ic表示输入的清晰图y，gc()清晰场景下对应的生成网络，gh()表示有雾场景下对应的生成网络，disc表示清晰场景下的判别模块，dish表示有雾场景下的判别模块。通过共享潜在空间理论，结合双向生成对抗损失，能保证重建图片的真实性以及跨域间图片转换的结果的相似性。
85.在合成雾图的训练中，采用mse损失函数，确保预测出来的图片g(i)和真实图片(ground truth)j相似。mse损失函数如下所示：
86.l
mse
＝||gc(ic)-jh||1+||gh(ih)-jc||1；
87.其中，jh和jc分别表示在真实场景下的雾图数据和清晰图数据，损失定为生成雾(清晰)图和真实雾(清晰)图的像素的差异||()||1表示图片上对应像素点的误差的平方和的均值(均方误差)。
88.雾图的训练中采用总变分损失函数来消除相关人工缺陷，使图片视觉效果更好，并且保存图片的纹理和细节。总变分损失函数如下：
[0089][0090]
其中，和表示水平和垂直的梯度差。
[0091]
通过上述的训练，在模型收敛到较好的精度时，便可以保存得到的训练权值，进而得到最终的双向gan去雾网络模型，此时的模型便可以通过端对端的方式对存在的雾图进行去雾。
[0092]
参见图10，将本实施例公开的双向gan网络模型部署到实际应用场景中时，去雾简要步骤如下：
[0093]
1、输入真实场景下的真实雾图。
[0094]
2、对图片进行预处理，从rgb空间转换到hsv空间，结合已知参数，输出图片的深度信息。
[0095]
3、结合深度信息，处理雾图，对雾图解码存入共享潜在空间，对共享潜在空间的图片进行编码，生成真实场景下的去雾清晰图片。
[0096]
为了增强跨域转换的一致性，得到更加真实的去雾图片，在现有的单向gan网络进行了改进，基于同一个共享潜在空间，将清晰图
→
潜在空间
→
雾图和雾图
→
潜在空间
→
清晰图两个单向的gan网络，通过两组编码器和解码器融合在一个模块中，形成了能够生成雾/清晰图的双向gan网络模型，通过对应的判别器计算雾图
→
清晰图
→
雾图以及清晰图
→
雾图
→
清晰图的跨域转化损失，能够更好习得雾和清晰图的分布情况。
[0097]
本技术公开的基于双向gan网络的去雾方法及双向gan网络模型，基于共享潜在空间假设，提出了先编码后解码的双向去雾网络，这个网络能够对不同域下的图片进行处理，对跨域之间的图片转换有很强的适应性，能够处理不同深度下的雾信息，并且在远端和浓雾处理有很强的优势。应用了跳变链接和耦合残差块以及多层判别结构，大大提高了网络的鲁棒性，能够更精确的拟合去雾清晰图的图像分布。可以使用真实雾信息，经过预处理能够提取深度信息，方便处理深层次浓度下的雾，并且在真实场景下有很好地表达。
[0098]
本技术第三实施例公开了一种计算机设备，包括：
[0099]
存储器，用于存储计算机程序。
[0100]
处理器，用于执行所述计算机程序时实现如本技术第一实施例所述的基于双向gan网络的去雾方法的步骤。
[0101]
本技术第四实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如本技术第一实施例所述的基于双向gan网络的去雾方法的步骤。
[0102]
以上结合具体实施方式和范例性实例对本技术进行了详细说明，不过这些说明并不能理解为对本技术的限制。本领域技术人员理解，在不偏离本技术精神和范围的情况下，可以对本技术技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本技术的范围内。本技术的保护范围以所附权利要求为准。