一种对抗学习型图像去雾、加雾方法与流程

本发明属于图像处理技术领域，具体涉及一种图像去雾、加雾方法。

背景技术：

水雾一直普遍的存在于人们的生活当中，并且影响着人们的日常生活。随着技术的发展和电子图像采集产品的趋于平民化，数字图像在人们的日常摄影、安防、行车记录仪等情境下被广泛地应用。然而，在有雾存在的天气之中，电子设备采集到的图像会由于雾的散射而严重的降低图像的质量，降低图像的可读性。由于大气中雾的散射，会使得图像的整体颜色偏向于白色，对比度严重降低；与此同时，雾使得图像模糊，从而使图像当中的物体难以辨认。因此，需要采用一定的方法对有雾图像进行增强或者修复，用以改善视觉效果，增强图像的效果。去雾技术特别的在行车记录、自动驾驶和安防等领域，有着广泛应用的前景和应用价值。

图像去雾的问题在数学领域属于不适定问题，在解决这种问题当中往往又存在较多的参数，难于求解。因此，图像去雾问题在图像处理领域属于公认的难题，也是图像处理领域的一个重要的分支。如今，在整个图像去雾的研究领域当中，主要存在于物理模型和非物理模型的方法。非物理模型方法主要是研究图像的亮度以及对比度等，直接对图像进行视觉恢复或者图像增强。而物理模型方法主要是基于大气散射模型，进一步研究图像退化损失的物理机制，从而通过解物理模型反向恢复出无雾图像。今年来也提出了一些基于深度神经网络的图像去雾方法，但是由于对于同一张场景有雾图像和无雾图像的成对图像获取十分困难，因此难以构建大规模的成对图像数据库对深度神经网络模型进行训练。纵然多种方法的提出，各种方法也各有优缺，图像去雾技术至今仍旧处于研究的热门方向。

与此同时，在计算机动画，游戏制作等领域当中，对于正常的无雾图像进行加雾处理又有需求。现有的加雾技术主要是利用雾的生成模型进行处理，使得原先的图片具有雾的效果，但是这种方法生成的雾模型参数需要人为设置，比较繁琐复杂并且难以形成十分自然的加雾图像。

技术实现要素：

针对于上述的状况，本发明提出了一种基于生成对抗网络的图像去雾、加雾方法。

本发明提供的基于生成对抗网络的图像去雾/加雾方法，是利用神经网络逼近雾成像的物理模型，通过生成对抗网络进行学习，自动的从大量的图像样本中学习出无雾图像到有雾图像之间的映射关系以及有雾图像到无雾图像之间的逆映射关系，进而利用此来实现图像的去雾和加雾处理。本发明从有雾图像和无雾图像当中学习出两者的映射关系，不用同一场景下有雾和无雾成对图像的要求。从而避免非物理模型中的机制难以解释，或者在物理模型中的参数估计中人为因素的影响，以及有雾无雾图像对数据库的构建难题，从而达到可解释性更强以及效果更可靠的目的。

本发明提出的基于生成对抗网络的图像去雾/加雾方法，分为三个步骤：

(1)收集大量有雾图像和无雾图像作为训练样本，建立无雾到有雾的图像映射数据库，并分为有雾图像与无雾图像；

(2)通过生成对抗神经网络，将大量的有雾图像和无雾图像作为学习样本，利用深度学习从样本当中学习出从有雾图像到无雾图像的映射关系，并且保存从有雾图像到无雾图像的映射模型；

(3)利用上述生成模型进行去雾或者加雾处理：对于一张有雾的图像，输入到有雾到无雾的映射模型当中，便可获取到无雾的图像；对于一张无雾图像，输入到无雾图像到有雾图像的映射模型中，便可以得到加雾后的图像。

本发明步骤(1)中，所述构建有雾-无雾图像数据库的流程为：

(1)通过网络爬虫技术抓取百度、谷歌等主流搜索网站中有雾的图像数据和无雾的图像数据，这些网站两类图片种类丰富，类别多样，并且数据量十分巨大。通过网络爬虫抓取的两类图像数据，组成训练生成对抗式深度神经网络的训练数据库；

(2)根据实际情况，通过人工的方式，对数据库中的图像进行删减，去除掉一些不符合要求的图片，最终使得整个数据库中有雾图像和无雾图像的数量大致相等。

本发明步骤(2)中，所述生成对抗式神经网络的流程为：

(1)采用卷积神经网络，搭建生成对抗式神经网络模型中的生成模型和判别模型。生成模型的任务是从有雾图像生成无雾图像或者从无雾图像生成有雾图像，是完成有雾到无雾的重要部分；而判别模型则是对当前生成器生成的图像做出有雾和无雾的进行判别；

(2)在前一步的基础上搭建循环型生成对抗网络，使得网络的结构形成闭环。在循环的生成对抗网络模型中，采用两个生成器，分别为有雾图像生成无雾图像的图像生成器，用gh-n表示；以及从无雾图像生成有雾图像的生成器，用gn-h表示。同时还需要搭建判别器dh，用于判别当前生成器gn-h生成的图像是否为有雾图像；搭建判别器dn，用于判别当前生成器gh-n，生成的图像是否为无雾图像；如图1所示；

(3)根据上述模型，建立损失函数，并用随机梯度下降方法对整个模型进行优化。其中，损失函数一共包含三个部分，第一部分为从有雾图像(x)到无雾图像(y)的判别器损失：

式(1)中，两项加和部分中带下标e，表示对应离散数据的抽样平均；

同理，从无雾图像(y)到有雾图像(x)的判别器损失：

两个生成器的损失之和为

将上述模型的所有损失函数相加，便得到整个模型的损失函数：

lcycgan(g,d)＝lcyc(gn-h,gh-n)+lgan(gn-h,dh,x,y)+lgan(gh-n,dn,x,y)(4)；

(4)采用随机梯度下降方法，用有雾图像数据和无雾图像数据库对模型进行训练，直至优化收敛。最终得到生成器gh-n，该生成器即为将有雾图像处理为无雾图像的映射关系；同时得到生成器gn-h，该生成器即为将无雾图像处理为有雾图像的映射关系。

本发明步骤(3)中，所述利用生成模型进行去雾或者加雾处理的具体流程为：

在上面的基础之上我们已经得到了优化后的模型，模型包含两个辨别器和两个生成器。两个生成器分别是，从有雾图像到无雾图像的生成器gh-n和从无雾图像到有雾图像的生成器gn-h。因此利用生成器gh-n，将有雾的图像作为输入，便可得到经修复的无雾图像；与此同时，利用生成器gn-h，将无雾图像作为输入，便可以得到经过加雾后的图像。

有益效果

在现有的去雾或者加雾方法当中，几乎所有的方法都是只能够得到加雾的模型或者说去雾的模型；在这些模型当中，由于物理机制的不清楚，往往引入较多的人为因素进入模型，导致模型的可解释性降低。

根据本发明的方法，通过深度学习技术，用生成对抗性网络从大量的实际数据样本中学习出有雾图像到无雾图像的映射关系以及从无雾图像到有雾图像的映射关系。在整个过程当中，没有人为因素的影响，使得模型的逼近更加合理，减去的参数设置的困难；并且在整个模型当中，可以同时得到去雾模型和加雾模型，较以往的技术更加科学，效果更好。

附图说明

图1为本发明提出的基于生成对抗网络的图像去雾和加雾方法模型图示。

图2为本发明实施例中形成的图像数据库图示。

图3为本发明实施例中生成器的网络结构图示。

图4为本发明实施例中鉴别器的网络结构图示。

具体实施方式

由于目前公开的与雾相关的数据集中并无大型的有无雾图像数据库可供直接利用，因此本发明方法从百度和谷歌浏览器中爬取大量的图片形成去雾图像数据库。图像的选区范围为，图像中的雾比较均匀，不存在很大的突变，以达到较好的效果。形成的图像数据库如图2所示。

对本发明中的对抗学习型图像去雾和加雾方法中的模型进行训练，直至最终的收敛。接下来以去雾中最常见的实验图片为例进行说明。

生成器的网络结构，如下图3所示。

生成器由三个部分组成：编码部分，转换部分和解码部分。编码部分采用卷积神经网络的结构，对于原图像进行四次卷积提取中图像的高层特征进行编码，得到图像的特征向量。转换部分采用深度残差网络，网络层数为50层，利用前一部分的图像特征进行转换。解码部分采用反卷积网络结构，前三层为反卷积，最后一层为卷积结构，实现解码功能。三部分联合在一起就能够实现去雾功能，而加雾功能则是另一个生成器当中将输入图片改成无雾图像。

鉴别器的网络结构，如图4所示。

鉴别器当中能够一张图作为输入，对当前输入的图像进行评分，预测其为生成器生成的图像还是原始图像库的图像。生成器尽量给原始图像更高的分数，给生成器生成的图像更低的分数。

综上，本发明提出了一种有效的基于生成对抗网络的图像去雾和加雾方法，即通过大量的有雾图像和无雾图像，用生成对抗的方式。本发明提出的方法，有效地跨越了物理模型建立的困难，以及成对图像数据库的构建难题，与传统的去雾和加雾方法比较，本发明具有更广泛的运用前景和更大的市场价值。