本发明涉及图像增强领域，尤其涉及一种基于多尺度稠密连接网络的图像去雾方法。
背景技术：
：雾是由于微小的尘埃和水汽颗粒在干燥的条件下聚集而形成的一种天气现象。雾，霾，烟等浑浊介质会吸收大气光和造成大气光的散射，这导致在此天气下采集的户外场景的图像退化。通常，退化的图像会失去对比度和色彩保真度。经过某种散射媒介的光线，在原方向上的光强会逐步减弱，同时由于能量守恒定律，减弱的光强会散射到其他方向上。此外，散射所损失的能量取决于其到摄像机的距离。基于这种物理现象，人们常用基于大气散射的物理模型来描述有雾的图像。有雾的图像能够表示为下面的一个线性模型：i(x)＝j(x)t(x)+a(1-t(x))其中，i(x)代表有雾的图像，j(x)是物体的原始辐射，a是全局大气光照，t(x)被称为介质透射率。然而，如果只提供单张图像的信息，同时求解t(x)和a的话，这是一种欠适定的问题。为了解决这个问题，大部分传统的去雾算法依赖于假设和先验条件来估计透射图，进而以此求出其他未知数。(1)基于对比度的方法：与有雾图像的对比度相比，tan等人发现无雾图像的对比度更低，同时其投射率的变化只跟物体的深度有关，所以利用马尔可夫随机场对投射图进行建模[1]；(2)基于颜色衰减先验的方法：zhu等人采用了一种基于先验的简单的线性回归模型来预测场景深度[2]，其方法是利用了在无雾区域的亮度和颜色饱和度会非常相似，但是在有雾区域的亮度和颜色饱和度会有非常大的区别的物理特性。(3)基于暗通道的方法：he等人利用暗通道的先验进行去雾。所谓暗通道就是在绝大多数非天空局部区中，光强最小的值。借助暗通道图，可以从有雾的图像中获得所有需要的参数值[3]。(4)基于全局像素的方法：berman等人基于一个先验知识：一张清晰干净的图像中图像像素点的数量远大于不同颜色的数量。通常，对于一张正常图像，在rgb空间上，图像的像素点的颜色可以聚合成几百个小的团簇。而这些属于同一个团簇的像素点会聚集在rgb空间的直线上，这些直线成为雾线。该方法正是利用雾线估计透射率，进而通过大气散射模型得到去雾后的图像[4]。从上述方法中可以看出，一般去雾算法极大地依赖于透射图估计的准确程度。而透射图的估计又需要基于各种各样的先验和假设。一旦实际图像不符合事先的假设，那么图像的去雾效果就会非常差。为了提高透射图估计的准确率，近年来，学术界开始利用深度学习来解决图像去雾问题。cai等人是第一个提出用深度学习来学习有雾图像到投射图的映射关系，在此基础上再利用大气散射模型重建出较为清晰的图像[5]。ling等人和ren等人改进了cai的估计透射图的方法，分别提出了基于深度cnn的透射图估计[6]和基于多尺度的透射图估计[7]。但是，这种将透射图和全局大气光照度分开估计的方法会导致次优解的问题。因为在两部分参数分别估计的时候产生的误差会不断累积，然后在两个参数并行优化的时候被放大。因此，li等人将图像去雾问题彻底转化为端对端的问题，通过神经网络直接学习有雾图像到无雾图像的映射关系[8]。虽然相关研究已经取得了较好的图像去雾效果，但是还是存在一些问题。当采用传统的方式来进行图像去雾时，如果有雾图像的生成与该算法的先验条件或假设不一致时，会导致其去雾性能降低。当采用基于深度学习的去雾算法时，由于其鲁棒性受限于数据集，处理有些图像时则会效果不佳。技术实现要素：本发明的目的在于克服现有技术的不足，提供一种基于多尺度稠密连接网络的图像去雾方法，能够将具有不同浓度的雾的图像重建出较为清晰的图像，显著的提高了图像质量与视觉效果。本发明采用的技术方案是：一种基于多尺度稠密连接网络的图像去雾方法，其包括如下步骤：步骤1，将单张有雾图像i(x)进行预处理后，并将预处理后得到的图像i(x4)作为模型的输入数据；所述步骤1具体包括以下步骤：步骤1.1，图像均衡化：将单张有雾图像i(x)通过基于对比度限制的自适应直方图均衡化方法[9]进行图像预处理，得到图像i(x1)；步骤1.2，图像归一化：将预处理后的有雾图像i(x1)的每个像素值除以255，使得每一个像素介于[0,1]之间，得到图像i(x2)；步骤1.3，图像负值化：将归一化处理后的有雾图像i(x2)的每个像素值都乘以-1，使得每个像素介于[-1,0]之间，得到图像i(x3)；步骤1.4，图像正值化：将负值化处理后的有雾图像i(x3)的每个像素都加上1，使得每个像素介于[0,1]之间，得到图像i(x4)；步骤2,将预处理后得到的图像i(x4)分别执行初始阶段、多尺度卷积层计算阶段、多尺度卷积特征混合计算阶段、变量带入公式计算阶段，获得一幅其对应的去雾处理后的图像；所述步骤2具体包括以下步骤：步骤2.1，初始阶段：输入的预处理后得到的图像i(x4)进行卷积运算和激活函数运算得到其对应的第1层输出结果f(i(x4))，其计算公式是：f(i(x4))＝max(w*i(x4)+b,0)(1)其中w和b分别是本发明的第一层网络的卷积权值参数和偏置参数；步骤2.2，多尺度卷积层计算阶段：为了提取不同尺度的雾的特征，本发明将把初始阶段提取的卷积特征输入三种大小的多个卷积核组成的三个卷积层组，其卷积核大小分别为3x3，5x5和7x7。将把初始阶段的结果f(i(x4))分别输入到多尺度卷积层的每个卷积层组，其后把结果又进行一次卷积，然后把前面两个结果堆叠的结果输入到下一个卷积层。其计算公式是：其中和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2个和第3个卷积层的卷积权值参数，和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2个和第3个卷积层的偏置参数。和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2个和第3个卷积层的输出结果；步骤2.3，多尺度卷积特征混合阶段：本发明的特征混合阶段由1次特征堆叠操作、2次激活函数运算和2次卷积运算组成，其计算公式是：f5(i(x))＝max(w5*4(i(x))+b5,0)(6)其中w4和w5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的卷积权值参数，b4和b5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的偏置参数，f5(i(x))是本发明卷积神经网络的输出，即卷积神经网络所学习的中间变量；步骤3，去雾区域计算阶段：本发明通过卷积神经网络所学习的中间变量，并利用此中间变量重建出较为清晰的图像。传统的去雾算法是基于大气散射物理模型，其公式如下：i(x)＝j(x)t(x)+a(1-t(x))(7)其中，i(x)为有雾的图像，j(x)是原始的无雾的图像，a为全局大气光照，t(x)为投射图。由于传统的去雾模型需要同时计算较多的参数，这导致图像去雾问题成为一个欠适定的问题。因此，在galdran等人理论的基础上[10]，本发明提出了一种从retinex角度解决去雾问题的公式。其中，galdran等人证明了retinex理论和图像去雾问题之间存在一种关系，其关系如下：dehazing(i(x))＝1-retinex(1-i(x))(8)其中dehazing表示去雾算法，retinex表示基于retinex理论进行图像去雾的算法。该公式证明了，这两种方法之间的关系。而retinex理论服从以下物理模型:logr(i(x))＝logi(x)-logl(i(x))(9)其中，l(i(x))表示有雾图像的反射图，r(i(x))表示经过retinex算法增强后的图像。根据以上式子，基于retinex求解去雾问题的公式推导出如下计算公式：其中，ε为调节因子，本发明通过实验选取ε＝0.0001，其调节因子可以避免对数值为零的情况。综上所述，本发明只需通过多尺度稠密连接卷积神经网络优化去雾公式中的f5(i(x))。步骤4，将去雾处理后的图像与y真实清晰的图像进行比较，计算两幅图像之间的欧式距离；步骤5，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；当重建的较为清晰图像与其对应的清晰的图像进行比较时没有获得预先设定的去雾效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2-5；当恢复的较为清晰图像与其对应的清晰的图像进行比较时已经获得预先设定的去雾效果时，则停止反向传播，并最终求得步骤2所获得的卷积权值参数和偏置参数。本发明采用以上技术方案，具有以下四个方面优点：第一，本发明的多尺度稠密连接卷积神经网络能够描述不同尺度雾的特征，并且有效的结合其特征，达到最有效的去雾效果；第二，本发明提出了基于retinex去雾问题的公式，使得端对端的深度学习去雾更加简洁有效；第三，和其他基于深度学习的去雾算法相比，本发明不但极大地减少了模型参数数量，而且可以在极少的训练数据的情况下，也达到理想的去雾效果；第四，本发明首次提出自适应直方图均衡化的方式提高图像的对比度的图像预处理，显著提高了去雾效果。附图说明以下结合附图和具体实施方式对本发明做进一步详细说明；图1是本发明基于多尺度稠密连接网络的图像去雾方法的整体原理示意图；图2是本发明是多尺度稠密连接网络的原理示意图；图3是原始的无雾图像；图4是由无雾图像形成的有雾图像；图5是aodnet去雾技术飞处理效果图；图6是暗通道去雾算法的处理效果图；图7是采用本发明无预处理步骤的处理效果图；图8是采用本发明完整步骤的的处理效果图。具体实施方式如图1-8之一所示，本发明公开了一种基于多尺度稠密连接网络的图像去雾方法，其分为以下几个步骤：步骤1，训练数据准备阶段。所述步骤1具体包括以下步骤：步骤1.1，选用训练数据集。本发明使用的是cvprntire2018outdoordehaze的比赛数据，其包含有雾图像和无雾图像对。其中，有雾图像为无雾图像经过某种算法形成的。步骤1.2，对图像数据库进行预处理，形成有雾子图像与高清无雾子图像的配对集。利用基于对比度限制的自适应直方图均衡化方法[9]对有雾图像i(x)进行预处理，得到对比度调整后的有雾图像i(x1)。从有雾图像i(x1)中按d*d(本发明中d＝256)截图子图像ic，并同时从无雾图像j(x)中截取相应大小的子图像jc，形成包含n个子图像的配对集步骤1.3，图像归一化：将预处理后的有雾子图像和无雾子图像的每个像素值除以255，使得每一个像素介于[0,1]之间；步骤1.4，图像负值化：将归一化处理后的有雾子图像的每个像素值都乘以-1，使得每个像素介于[-1,0]之间；步骤1.5，图像正值化：将负值化处理后的有雾子图像的每个像素都加上1，使得每个像素介于[0,1]之间；步骤2,利用深度卷积神经网络，将预处理后得到的有雾子图像作为模型的输入数据，分别执行初始阶段、多尺度卷积层计算阶段、多尺度卷积特征混合计算阶段、变量带入公式计算阶段，最终获得一幅其对应的去雾处理后的图像；所述步骤2具体包括以下步骤：步骤2.1，初始阶段：输入的预处理后得到的图像i(x4)进行卷积运算和激活函数运算得到其对应的第1层输出结果f(i(x4))，其计算公式是：f(i(x4))＝max(w*i(x4)+b,0)(1)其中w和b分别是本发明的第一层网络的卷积权值参数和偏置参数；步骤2.2，多尺度卷积层计算阶段：为了提取不同尺度的雾的特征，本发明将把初始阶段提取的卷积特征输入三种大小的多个卷积核组成的三个卷积层组，其卷积核大小分别为3x3，5x5和7x7。将把初始阶段的结果f(i(x4))分别输入到多尺度卷积层的每个卷积层组，其后把结果又进行一次卷积，然后把前面两个结果堆叠的结果输入到下一个卷积层。其计算公式是：其中和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2个和第3个卷积层的卷积权值参数，和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2个和第3个卷积层的偏置参数。和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2个和第3个卷积层的输出结果；步骤2.3，多尺度卷积特征混合阶段：本发明的特征混合阶段由1次特征堆叠操作、2次激活函数运算和2次卷积运算组成，其计算公式是：f5(i(x))＝max(w5*4(i(x))+b5,0)(6)其中w4和w5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的卷积权值参数，b4和b5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的偏置参数，f5(i(x))是本发明卷积神经网络的输出；步骤3，去雾区域计算阶段：本发明通过卷积神经网络学习中间变量，并利用此中间变量重建出较为清晰的图像。传统的去雾算法是基于大气散射物理模型，其公式如下：i(x)＝j(x)t(x)+a(1-t(x))(7)其中，i(x)为有雾的图像，j(x)是原始的无雾的图像，a为全局大气光照，t(x)为投射图。由于传统的去雾模型需要同时计算较多的参数，这导致图像去雾问题成为一个欠适定的问题。因此，在galdran等人理论的基础上[10]，本发明提出了一种从retinex角度解决去雾问题的公式。其中，galdran等人证明了retinex理论和图像去雾问题之间存在一种关系，其关系如下：dehazing(i(x))＝1-retinex(1-i(x))(8)其中dehazing表示去雾算法，retinex表示基于retinex理论进行图像去雾的算法。该公式证明了，这两种方法之间的关系。而retinex理论服从以下物理模型:logr(i(x))＝logi(x)-logl(i(x))(9)其中，l(i(x))表示有雾图像的反射图，r(i(x))表示经过retinex算法增强后的图像。根据以上式子，基于retinex求解去雾问题的公式推导出如下计算公式：其中，ε为调节因子，本发明通过实验选取ε＝0.0001，其调节因子可以避免对数值为零的情况。综上所述，本发明是通过多尺度稠密连接卷积神经网络只需优化去雾公式中的f5(i(x))。步骤4，将去雾处理后的图像与y真实清晰的图像进行比较，计算两幅图像之间的欧式距离；步骤5，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；当重建的较为清晰图像与其对应的清晰的图像进行比较时没有获得预先设定的去雾效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2-5；当恢复的较为清晰图像与其对应的清晰的图像进行比较时已经获得预先设定的去雾效果时，则停止反向传播，并最终求得步骤2所获得的卷积权值参数和偏置参数。为了验证本发明的有效性，采用ntire2018outdoordehaze的比赛数据集进行实验。该数据集包含45张超大分辨率的图像对。本发明把训练数据集分为35张，验证集分为5张，测试集分为5张。如图3-8所示，本发明得到的去雾效果与一些现有的aodnet[8]和暗通道去雾算法[3]进行比较。本发明采用峰值信噪比(psnr:peaksignaltonoiseratio)来衡量图像去雾性能。去雾算法aodnet暗通道去雾本发明(无预处理)本发明psnr14.93415.28420.40122.224表1本发明与现有技术在ntire2018outdoordehaze数据集的psnr平均值从表1中可以看出，本发明比现有技术中经典的单张图像去雾算法的psnr值分别提高了7.29db、6.94db。另外，从表1也可以看出，在采用基于对比度限制的直方图均衡化方法作为预处理后，本发明的psnr平均值上升了1.832db，从而证明了该方法经过预处理后得到更好的去雾效果。去雾算法c2msnetcandy本发明模型参数个数3584209902254表2本发明与现有技术的模型参数个数比较从表2中可以看出，本发明极大地减少了模型参数。与c2msnet相比，本发明的模型参数数量减少了1330个，而与candy相比，本发明的参数仅为其十分之一。由此可见，本发明能够在使用较少参数的情况下，也能达到理想的去雾效果。本发明提出的基于多尺度稠密连接卷积神经网络的图像去雾方法的创新性主要体现在四个方面：第一，本发明的多尺度稠密连接卷积神经网络能够描述不同尺度雾的特征，并且有效的结合其特征，达到最有效的去雾效果；第二，本发明提出了基于retinex去雾问题的公式，使得端对端的深度学习去雾更加简洁有效；第三，和其他基于深度学习的去雾算法相比，本发明不但极大地减少了模型参数数量，而且可以在极少的训练数据的情况下，也达到理想的去雾效果；第四，本发明首次提出自适应直方图均衡化的方式提高图像的对比度的图像预处理，显著提高了去雾效果。本发明涉及的参考文献如下：[1]tanrt.visibilityinbadweatherfromasingleimage[c]//computervisionandpatternrecognition,2008.cvpr2008.ieeeconferenceon.ieee,2008:1-8.[2]zhuq,maij,shaol.afastsingleimagehazeremovalalgorithmusingcolorattenuationprior[j].ieeetransimageprocess,2015,24(11):3522-3533.[3]hek,sunj,tangx.singleimagehazeremovalusingdarkchannelprior.[j].ieeetranspatternanalmachintell,2011,33(12):2341-2353.[4]bermand,treibitzt,avidans.non-localimagedehazing[c]//computervisionandpatternrecognition.ieee,2016:1674-1682.[5]caib,xux,jiak,etal.dehazenet:anend-to-endsystemforsingleimagehazeremoval[j].ieeetransactionsonimageprocessing,2016,25(11):5187-5198.[6]lingz,fang,wangy,etal.learningdeeptransmissionnetworkforsingleimagedehazing[c]//ieeeinternationalconferenceonimageprocessing.ieee,2016:2296-2300.[7]renw,lius,zhangh,etal.singleimagedehazingviamulti-scaleconvolutionalneuralnetworks[m]//computervision–eccv2016.springerinternationalpublishing,2016:154-169.[8]lib,pengx,wangz,etal.aod-net:all-in-onedehazingnetwork[c]//ieeeinternationalconferenceoncomputervision.ieeecomputersociety,2017:4780-4788.[9]zuiderveldk.contrastlimitedadaptivehistogramequalization[m]//graphicsgemsiv.academicpressprofessional,inc.1994:474-485.[10]galdrana,alvarezgilaa,briaa,etal.onthedualitybetweenretinexandimagedehazing[j].2017。当前第1页12