一种基于深度卷积神经网络的单幅图像去雾方法与流程

本发明属于数字图像处理技术领域，尤其涉及一种基于深度卷积神经网络的单幅图像去雾方法。

背景技术：

室外成像系统由于受到空气中的水蒸气和尘埃等的影响，其清晰度大大地降低，图像整体泛白，纹理特征、细节信息丢失。另外，随着工业化的进程加快，大气污染日益严重，雾霾天气频繁出现使得大气能见度急剧减小，伴随着的问题是使得室外成像更加困难，室外获得的图像清晰度远远达不到智能应用系统所需要的要求和人们日常室外拍照所需。降质退化的图像很大程度限制了图像本身的用途，例如图像分割、目标检测以及图像理解和分析等多方面的用途。因此，本发明的研究便是对雾霾天降质图像的复原和细节增强，基于深度卷积神经网络实现对输入图像的尽可能的清晰化处理，以尽可能地增强去雾效果。

目前的图像去雾主要可以分为两大类：基于传统图像增强技术的图像去雾和基于物理模型的去雾。其中基于非物理模型的图像增强方法，依赖于直方图均衡技术突显有雾图像中我们所关注的场景和有用信息。这一类去雾算法的经典方法包括单尺度和多尺度的retinex和clahe等。由于不考虑雾化图像的成因，不考虑图像的纹理特征，图像增强技术去雾后图像通常存在着去雾不彻底、颜色失真、细节信息丢失等问题。基于物理模型的去雾算法是对有雾图像成像进行建模并估算其中的相关参数进而求取清晰无雾的图像。该类方法在去雾上取得了很好地效果，在色彩还原、细节恢复等方面的处理比起基于非物理模型的图像增强方法取得了更好的效果。但是，该类方法也存在着一定的难点，由于物理模型是一个欠定方程，需要从输入图像中估算较为多的参数，参数估计的精确与否对图像去雾的效果有着很大的影响。

技术实现要素：

为了解决现有去雾技术所存在的计算量大、运算效率低、参数估计困难等一系列技术问题，本发明提出一种基于深度卷积神经网络的单幅图像去雾方法，其由深度卷积神经网络经过大量的训练学习而得，去雾更加真实自然；另外，本发明去雾算法主要耗时在深度卷积神经网络模型的训练，实际应用中，仅需要对已训练好的模型进行初始化，其算法处理效率远超过传统图像去雾算法。

本发明采用如下技术方案来实现：一种基于深度卷积神经网络的单幅图像去雾方法，包括如下步骤：

第一步、获得输入图像，并将其经由预先训练好的粗景深图像提取网络处理，得到粗景深图像；

第二步、构建以输入图像以及粗景深图像作为输入的景深图像细化网络；

第三步、将所述的粗景深图像和输入图像作为共同的输入送到景深图像细化网络中，得到精细化的景深图像d(x)；

第四步、对大气散射系数β进行估计，通过下列公式求解出相应的透射率图像t(x)：

t(x)＝e^-βd(x)

第五步、对大气光值a进行估计；

第六步、利用前述步骤所求得的景深图像d(x)、大气散射系数β、透射率图像t(x)以及大气光值a，将其代入下列大气散射模型的数学表达式中，对输入图像进行去雾清晰化处理：

式中i(x)表示有雾图像；j(x)表示无雾图像。

优选地，所述第五步估计大气光值a的步骤具体如下：

1)预设阈值θ，最佳阈值θ通过实验进行预估计；

2)将输入图像中大于阈值的像素点进行屏蔽，得到预处理后的图像；

3)在预处理后的图像中，统计图像中最亮的前1％像素值，并以这些像素点的均值作为大气光值的估计值。

本发明与传统去雾清晰化技术相比，具有以下优点和有益效果：

1、本发明单幅图像去雾方法，所采用的网络模型经过大量的数据训练所得，算法复杂度比较低，运算处理速度极快，能够满足实际应用的实时性要求。

2、本发明使用了深度卷积神经网络，能够较好地反映图像及其对应真实景深的图像之间的关系，并且对估计的大气光值进行了预处理使得其具有很强的适应性能，能在多种场景下实现较好地去雾清晰化，图像视觉还原效果极佳。

附图说明

图1是本发明实施例基于深度卷积神经网络的单幅图像去雾方法的处理流程图；

图2是深度卷积神经网络的结构图；

图3是本发明实施例所获得的降质图像清晰化效果对比图，其中a为输入图像，b为本发明去雾清晰化结果图，c为现有暗通道先验算法的处理结果图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细的说明，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例中基于深度卷积神经网络的单幅图像去雾方法，包括如下步骤：

第一步、从图像获取设备中获得退化的输入图像iinput，并将其作为输入图像经由预先训练好的粗景深图像提取网络处理，其中输入图像先经过第一个卷积层，并进行步长为2的最大化池化；得到的结果进行3次卷积操作；卷积操作之后使用sppnet对特征图像进行空间池化，实现对任意输入尺寸的图像映射成为固定输出格式；最后进行两次全接连，最终得到粗景深图像iraw。

上述预先训练好的粗景深图像提取网络，为针对从输入图像求取景深图像构建而成的基于深度卷积神经网络的模型，该模型可以较为真实的反映输入图像与其景深之间的关系。如图2所示，粗景深图像提取网络包括依次连接的11*11的卷积层、2*2的池化层、两个5*5的卷积层、sppnet以及两个全连接层。

所述输入图像iinput为rgb格式的雨雾天气条件下拍摄所得的降质图像，本实施例基于大气散射模型对rgb格式的降质图像进行去雾操作，其中大气散射模型的成像表示如式(1)、(2)所示：

i(x)＝j(x)t(x)+a(1-t(x))(1)

t(x)＝e^-βd(x)(2)

其中，i(x)表示有雾图像；j(x)表示无雾图像；t(x)为透射率图像；a为整体大气光值；d(x)表示景深；β表示大气散射系数。结合公式(1)、(2)可知，本发明去雾算法可以从图像的景深入手，一步一步地对模型中的相关参数进行估计，预估计大气散射系数β、大气光值a和图像景深d(x)，最终实现对有雾图像进行去雾清晰化处理。

第二步、粗景深图像非常不利于图像去雾的后续步骤，针对该问题，本发明构建了一个以输入图像iinput以及粗景深图像iraw作为输入的景深图像细化网络。如图2所示，景深图像细化网络包括依次连接的11*11的卷积层、sppnet、两个5*5的卷积层以及一个全连接层，由第一个5*5的卷积层对输入图像iinput和粗景深图像iraw进行拼接。

经过粗景深图像提取网络、景深图像细化网络这两个深度卷积神经网络，可以得到较为精细化的景深图像，其在后续的图像去雾中表现良好。

第三步、将所述的粗景深图像iraw和输入图像iinput作为共同的输入送到景深图像细化网络中。首先对输入图像iinput进行卷积和池化，使得图像尺寸与粗景深图像提取网络的粗景深图像iraw匹配；然后将其与粗景深图像iraw共同输入到后续的景深图像细化网络之中，景深图像细化网络首先拼接两个输入(即拼接粗景深图像iraw和输入图像iinput)，将拼接后的图像进行两次卷积之后输入sspnet进行空间池化，将输入图像iinput映射为固定的输出格式，最终得到精细化的景深图像irefine，即d(x)。

第四步、对大气散射系数β进行估计，通过公式(2)求解出相应的透射率图像t(x)。在本发明专利中，假设大气散射系数β为恒定的数值。为了获得比较合理的大气散射系数β，本发明中使用gridsearch的方法进行估计，即从[0.1，2]的区间中每隔0.1的步长进行一系列的实验，根据最终的实验结果进行选定，本发明中使用的β选定为0.9。

第五步、根据大气散射模型，要想恢复出无雾图像，前提仍需要知道大气光值a，本发明对大气光值a进行估计，从而对有雾图像进行恢复。

大气光值a在一定的条件下可视为恒定的量，而与图像的纹理特征不相关。直接在输入图像中选取最亮的像素点作为大气光值容易受到图像中白色场景的干扰点，由于在double类型图像中白色场景在r、g、b三个颜色通道的值都将非常接近于1；因此本专利预先设定一个阈值θ，将输入图像中白色场景进行屏蔽得到预处理后的图像，再统计预处理后的图像中最亮的前1％像素值，并以这些像素点的均值作为大气光值的估计值。求取大气光值的步骤具体如下：

1)预设阈值θ，最佳阈值θ通过实验进行预估计，其中θ值的确定是根据具体实验结果确定最优的数值，本发明通过在[0.8，0.95]之间进行一系列的对比试验，最终确定最优的θ值为0.83。

2)将输入图像中大于阈值的像素点进行屏蔽，得到预处理后的图像；

3)在预处理后的图像中，统计图像中最亮的前1％像素值，并以这些像素点的均值作为大气光值的估计值。

第六步、利用前述步骤所求得的景深图像d(x)、大气散射系数β、透射率图像t(x)以及大气光值a，将其代入大气散射模型的数学表达式(3)中，对输入的图像进行去雾清晰化处理。

本专利基于深度卷积神经网络的单幅图像去雾方法对所述获得的降质图像进行去雾清晰化的效果如图3所示，其中图3a为所述获取的降质图像；图3b为本专利单幅图像去雾方法对降质图像的去雾清晰化结果图；图3c是经典图像去雾算法暗通道先验算法的处理结果图。从图中对比可以知道，本发明在图像雾气分布不均匀的情况下，能够很好地调节各区域雾气去雾的程度，对有雾图像的细节还原起到很好地效果，能够很好地恢复图像的有效信息。