基于多尺度卷积的轻量级神经网络单图像去雾方法与流程

本发明涉及图像处理技术领域，具体涉及一种基于多尺度卷积的轻量级神经网络单图像去雾方法。

背景技术：

雾作为一种自然现象长久以来不仅影响人们的视觉体验，同时捕获的雾图不利于图像的进一步处理，严重影响了图像处理领域其他应用的进一步发展，例如：图像分类、目标跟踪等；在雾环境下捕获的图片通常会遭受低对比度、晕面以及颜色偏移等问题，正是这些现象限制了图片的能见度。此外，在计算机视觉领域，很多计算机视觉和图像处理算法对含雾图像并不鲁棒，雾的存在阻碍了对图片的进一步处理。不管是出于改善人们的视觉体验，还是推动计算机视觉领域相关应用的发展，去雾都非常重要并且必要，有非常重要的科学意义和应用前景。

去雾的研究由来已久，雾图的成像模型早在1924年已经提出，

i＝jt+a(1-t)

t(x)＝e^βd(x)

其中，i为观察到的雾图，j为待恢复的清晰图像，t和a分别是空气透射率和全球大气光，d是成像的深度。

但该模型是一个严重不适定问题，为了获得足够的信息以求解这个模型，在08年以前去雾方法都集中在多张图片去雾，直到在08年fattal和tan分别提出了两种不同的单张图片的去雾方法。在这一里程碑的工作之后单张图片去雾一直都占据主流。在09年，何凯明博士提出了基于暗通道先验(dcp，darkchannelprior)的去雾方法，该先验通过统计结果得出，在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。这一开创性的工作被证明非常有效，并且触发了基于dcp的一系列改进方法，例如引入中值滤波，双边滤波以及导向滤波对透射率t加以改进。且此后不断有新的先验被提出，如颜色衰减先验(cap,colorattenuationprior，在有雾图片中，雾浓度和图片亮度与饱和度之差呈正相关)，色差差异先验，color-line(颜色线),haze-line(雾线)先验等，haze-line(雾线)先验是第一个采用全局先验去雾的方法。也有学者提出将多个先验组合起来用随机森林回归来确定个先验特征的关系。在12年，马尔可夫随机域也被引入来获得更精确的清晰图像。最近，有学者提出了一种基于感知雾密度的去雾方法，该方法在最小化感知雾密度的导引下建立模型进行去雾。

以上的方法有的已经取得了一定的结果，但他们在不同程度上存在过增强、过饱和或者边缘效应，块效应等缺点，所以仍需要更好更高效的方法对去雾方法加以补充。

在16年之后，基于深度学习的方法不断涌现。最早的采用神经网络结构进行去雾的方法是多尺度卷积神经网络，这个新提出来的卷及网络层首先通过coarse-scale的模块获得初步的空气透射率t,之后再输入fine-scale模块进一步得到更精细的空气透射率。最后用得到的t通过雾图的成像模型获得去雾后的图片。紧接着有学者提出了dehaze-net,该网络将传统的先验模型融入了不同形态的卷积层获得了比较好的实验效果。后来端对端的aod-net(all-in-onedehazenet)被提出。aod-net第一次提出将空气透射率t和全球大气光结合为一个参数，最后利用雾图成像模型的变体直接获得去雾结果。该方法不再同时估计两个参数，这样避免了多参数估计叠加造成最后的误差偏大的情况。在此之后，gatedcontextaggregationnetwork被学者提出，它采用最新的平滑膨胀技术来消除使用膨胀卷积所造成的网络伪影。同时它利用一个门控子网络融合不同层次的特征。这样网络就可以在产生较少的伪影同时提取丰富的特征。通过结合基于模型和局域融合的去模糊方法，多波段融合去雾方法被提出。该方法利用多波段融合方法提取laplace模块的基础和细节。此外自适应非线性映射函数用于调整每个残差层的细节。最近，有学者在工作里面将去雾问题归结为为了图像到图像的风格迁移问题，并提出了一种嵌入了生成对抗网络的增强版的像素到像素的去雾网络。这些深度学习方法在去雾任务上都取得了很好的效果。

以上的各种去雾方法它们大多要攻克的难点都在于准确估计透射率t和全球大气光a；少部分图像到图像的网络随着去雾效果的提升，他们的模型大小也在不断增加，给模型的训练和应用造成了计算上的困难。此外，尽管模型大小以及增长到非常高了，但仍然存在着遗漏一些尺度的细节信息。

技术实现要素：

针对现有技术存在的不足，本发明的目的在于提供一种基于多尺度卷积的轻量级神经网络单图像去雾方法，该方法能实现峰值信噪比更高的去雾效果，同时不用估计透射率和全球大气光，实现单张图片的去雾方法。

为实现上述目的，本发明提供了如下技术方案：一种基于多尺度卷积的轻量级神经网络单图像去雾方法，包括以下步骤：

(1)将数据集划分为训练集、验证集和测试集；

(2)利用训练集和验证集训练提出的网络模型；

(3)利用测试集测试训练好的模型；

(4)采用度量标准对模型进行评估。

作为优选的，步骤(1)，将数据集reside-beta的part1选出作为训练过程中用到的数据集；其中，将part1的90％作为训练集，10％作为验证集，将reside数据集标准版的hsts选出作为仿真数据测试集；并将提出的真实场景图片构成的数据集作为定性比价的测试集。

作为优选的，步骤(2)，将训练集中的图片逐一输入待训练的网络模型，首先通过多尺度块的第一个子块得到四组特征图的叠加组合；然后将得到的四个第一子块分支的特征图重叠到一起，并作为多尺度块第二个子块的输入；第二个子块输出的特征图先后经过三个卷积层得到三通道的特征；设置一个用于保留原图片信息的全局跳跃连接；最后经过激活函数得到与雾图对应的清晰图片。

作为优选的，第一个子块包括四个第一子块分支，四个第一子块分支的设置为：

第一子块分支一：输入图片通过一个1×1的卷积；

第一子块分支二：输入图片首先通过一个3×3的平均池化，再通过一个1×1卷积；

第一子块分支三：输入图片先后通过1×1卷积和3×3卷积；

第一子块分支四:输入图片先后通过1×1，3×3，3×3卷积。

作为优选的，第二子块包含四个第二子块分支，四个第二子块分支的设置为：

第二分支一：是一个1×1卷积；

第二分支二：首先经过平均池化再经过一个1×1卷积；

第三分支三：包含一个1×1卷积和一个1×7，7×1的卷积对；

第四分支四：包含一个1×1卷积和两个1×7，7×1的卷积对。

作为优选的，所有卷积层都紧跟着正则化操作和激活函数；通过损失函数在训练过程中利用adam算法进行反向传播更新卷积层的参数；其中，损失函数为清晰图像和经过该网络的输出图像的欧几里得距离，同时监测验证集上的损失函数变化情况。

作为优选的，步骤(3)，将待测试的测试集图片逐一输入到训练好的网络模型，直接得到对应的去雾图片。

作为优选的，步骤(4)，将获得的去雾图片，与用于合成雾图的清晰图片分别在多个数据集上求它们的峰值信噪比和结构自相似性以评估它们的去雾效果。

本发明的优点是：与现有技术相比，本发明多尺度设计是为了提高去雾的性能，另一方面，该方法充分考虑了模型大小所带来的效率问题，尽可能的压缩了模型的大小。此外，通过本发明的网络模型，可以直接将雾图映射为对应的清晰图像。为了充分保留原始图片的信息，设计了一个专门的多尺度块，该多尺度块可以保留图片在各尺度下的轮廓及细节信息。由于多尺度的设计需要引入较多的卷积层，为了减少模型参数，降低模型大小，用多个小的卷积层替代一个大的卷积层，这一操作对降低模型参数有显著的效果。此外，为了进一步保留原始图片的在多尺度块可能丢失的信息，在模型的首尾加入了全局跳跃连接。这一调节有效的促进了模型训练的效果。该发明提出了一种新的轻量级多尺度卷积神经网络，它在降低模型大小的情况下，能够直接恢复雾图对应的清晰图片，得到了峰值信噪比和结构自相似性都高于当下流行方法的去雾结果。而且不用估计透射率和全球大气光，实现单张图片的去雾。

下面结合说明书附图和具体实施例对本发明作进一步说明。

附图说明

图1为本发明实施例去雾系统的整体框架；

图2为本发明实施例网络模型构成示意图；

图3为本发明实施例网络模型多尺度块的第一个子块的具体设置示意图；

图4为本发明实施例网络模型多尺度块的第二个子块的具体设置示意图；

图5为本发明实施例在第一个epoch中添加全局跳跃连接和不添加全局跳跃连接两种情况下损失函数的变化示意图；

图6为本发明实施例在第20个epoch中添加全局跳跃连接和不添加全局跳跃连接两种情况下在每个epoch下的平均损失函数的变化示意图。

具体实施方式

本发明实施过程中需要一台有intelxeonsilver4114cpu,32gbram和invidiateslap100gpu的计算机。为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1至图6，本发明公开的一种基于多尺度卷积的轻量级神经网络单图像去雾方法，包括以下步骤：

(1)将数据集划分为训练集、验证集和测试集；

(2)利用训练集和验证集训练提出的网络模型；

(3)利用测试集测试训练好的模型；

(4)采用度量标准对模型进行评估。

其中，步骤(1)具体包括：

将数据集reside-beta的part1选出作为训练过程中用到的数据集。其中，将part1的90％作为训练集，10％作为验证集。将reside数据集标准版的hsts(hybridsubjectivetestingset)选出作为仿真数据测试集。此外，采用去雾领域常用的fattal提出的真实场景图片构成的数据集作为定性比价的测试集。

所述步骤(2)具体包括：

将训练集中的图片逐一输入待训练的网络模型，首先通过多尺度块的第一个子块得到四组特征图的叠加组合。第一个子块包括四个第一子块分支，四个第一子块分支的设置为：

第一子块分支一：输入图片通过一个1×1的卷积；

第一子块分支二：输入图片首先通过一个3×3的平均池化，再通过一个1×1卷积；

第一子块分支三：输入图片先后通过1×1卷积和3×3卷积；

第一子块分支四:输入图片先后通过1×1，3×3，3×3卷积。

然后将得到的四个第一子块分支的特征图重叠到一起，并作为多尺度块第二个子块的输入。

第二子块包含四个第二子块分支，四个第二子块分支的设置为：

第二分支一：是一个1×1卷积；

第二分支二：首先经过平均池化再经过一个1×1卷积；

第三分支三：包含一个1×1卷积和一个1×7，7×1的卷积对；

第四分支四：包含一个1×1卷积和两个1×7，7×1的卷积对。

将第二个子块四个子路的输出特征图在干路叠加汇合。

为了降低特征图的通道数，第二个子块输出的特征图先后经过三个卷积层得到三通道的特征。

为了进一步保留原图片的信息，设置了一个全局跳跃连接。

最后经过激活函数，即可得到与雾图对应的清晰图片。

以上提到的所有卷积层都紧跟着正则化操作和激活函数。

通过meansquareerror(mse)损失函数在训练过程中利用adam算法进行反向传播更新卷积层的参数。其中，损失函数mse为清晰图像和经过该网络的输出图像的欧几里得距离。与此同时监测验证集上的损失函数变化情况。

重复这一训练过程，直到损失函数趋于稳定。

此时，模型的训练结束。

所述步骤(3)具体包括：

将待测试的测试集图片逐一输入到训练好的网络模型，即可直接得到对应的去雾图片。

所述步骤(4)具体包括：

将获得的去雾图片，与用于合成雾图的清晰图片分别在多个数据集上求它们的峰值信噪比和结构自相似性以评估它们的去雾效果。

本发明多尺度设计是为了提高去雾的性能，另一方面，该方法充分考虑了模型大小所带来的效率问题，尽可能的压缩了模型的大小。此外，通过本发明的网络模型，可以直接将雾图映射为对应的清晰图像。为了充分保留原始图片的信息，我们设计了一个专门的多尺度块，该多尺度块可以保留图片在各尺度下的轮廓及细节信息。由于多尺度的设计需要引入较多的卷积层，为了减少模型参数，降低模型大小，我们引入了googlenet的部分设计，用多个小的卷积层替代一个大的卷积层，这一操作对降低模型参数有显著的效果。此外，为了进一步保留原始图片的在多尺度块可能丢失的信息，在模型的首尾加入了全局跳跃连接。实验证明，这一调节有效的促进了模型训练的效果。该发明提出了一种新的轻量级多尺度卷积神经网络，它在降低模型大小的情况下，能够直接恢复雾图对应的清晰图片，得到了峰值信噪比和结构自相似性都高于当下流行方法的去雾结果。

上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。