一种多尺度卷积神经网络的暗通道先验去雾算法

本发明涉及图像处理技术领域，尤其涉及一种多尺度卷积神经网络的暗通道先验去雾算法。

背景技术：

在雾、霆等恶劣天气情况下，空气中的悬浮微粒将会影响光学成像设备在户外的拍摄情况，混浊的媒介对反射光的吸收、散射以及折射致使摄像头获取景物图像的入射光线发生衰减，导致成像画质浑浊不清，严重影响了摄像头对周围环境中有价值信息的提取。

基于传统图像增强技术去雾的方法，通常没有考虑雾天情况下由于入射光线的衰减而导致图像退化的问题，而是直接采用图像增强技术对雾天图像的对比度、亮度或饱和度进行适当的增强以突出退化图像中有价值的信息；基于偏振特性的去雾方法，一般需要两个以上的特定摄像头方能实现，其核心思想就是利用从不同偏振角度拍摄的若干幅图像进行去雾。基于融合策略特性去雾的方法，对输入的有雾图像进行特征提取，然后利用金字塔多尺度技术对其进行融合，从而实现有雾图像的视觉效果提升，根据所提取的特征来源于单幅图像或多幅图像的不同将其分类为单尺度融合策略(ssr)和多尺度融合策略(msr)。以上提及到的方法均是通过某种方法单纯地提高有雾图像的视觉主观性，并没有真正意义上的实现物理去雾。

技术实现要素：

本发明的目的在于提供一种多尺度卷积神经网络的暗通道先验去雾算法，旨在解决现有技术中的去雾方法去雾效果不佳且去雾时间长的技术问题。

为实现上述目的，本发明采用的一种多尺度卷积神经网络的暗通道先验去雾算法，包括下列步骤：

获取原始雾图，进行预处理，计算所述原始雾图的暗通道值；

计算暗通道图像并记录所述暗通道图像的每个像素点的参数；

比较像素点的亮度参数并排序，获取全局大气光值；

选取多尺度卷积神经网络，输入所述原始雾图进行训练，获取精细化透射率；

恢复出无雾图像。

其中，在计算所述原始雾图的暗通道值的过程中，对所述原始雾图进行最小滤波操作，扩大原矩阵半径，多出的像素点用255值填充，再使用二重循环遍历取得最小值。

其中，在计算暗通道图像并记录所述暗通道图像的每个像素点的参数的过程中，对所述原始雾图进行最小滤波处理之后获得所述暗通道图像，然后记录所述暗通道图像的每个像素点的亮度大小和坐标。

其中，在比较像素点的亮度参数并排序的具体步骤为，按照亮度的大小对所述暗通道图像的像素点进行降序排序，找到亮度大小在前0.1％的像素点位置的光照值强度，并记录下这些像素值的坐标。

其中，所述全局大气光值为亮度大小在前0.1％的像素点的光照强度均值。

其中，所述多尺度卷积神经网络由粗尺度卷积神经网络和细尺度卷积神经网络组成，所述原始雾图先输入所述粗尺度卷积神经网络训练，再与训练结果一同馈入所述细尺度卷积神经网络训练。

其中，在恢复出无雾图像的过程中，将所述全局大气光值和所述精细化透射率代入到大气散射模型中可恢复出无雾图像。

本发明的一种多尺度卷积神经网络的暗通道先验去雾算法，通过使用暗通道先验理论对所述原始雾图进行最小滤波处理，并且取暗颜色图像中亮度在前0.1％的像素点位置的光照强度均值作为全局大气光值；再使用多尺度卷积神经网络估计精细透射率，所提出的算法由对整个图像进行全局透射图估计的粗尺度网络和局部细化透射率的细尺度网络组成，最后将所述全局大气光值和所述精细化透射率代入到大气散射模型中可恢复出无雾图像，此算法不仅能够有效的去除图像中的雾霾，提高图像的视觉效果，也有效的降低算法的复杂度、缩短计算时间，使去雾后的图像更加接近于真实图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种多尺度卷积神经网络的暗通道先验去雾算法的流程示意图。

图2是本发明的多尺度卷积神经网络结构流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1，本发明提供了一种多尺度卷积神经网络的暗通道先验去雾算法，包括下列步骤：

s1：获取原始雾图，进行预处理，计算所述原始雾图的暗通道值；

s2：计算暗通道图像并记录所述暗通道图像的每个像素点的参数；

s3：比较像素点的亮度参数并排序，获取全局大气光值；

s4：选取多尺度卷积神经网络，输入所述原始雾图进行训练，获取精细化透射率；

s5：恢复出无雾图像。

可选的，在计算所述原始雾图的暗通道值的过程中，对所述原始雾图进行最小滤波操作，扩大原矩阵半径，多出的像素点用255值填充，再使用二重循环遍历取得最小值。

可选的，在计算暗通道图像并记录所述暗通道图像的每个像素点的参数的过程中，对所述原始雾图进行最小滤波处理之后获得所述暗通道图像，然后记录所述暗通道图像的每个像素点的亮度大小和坐标。

进一步可选的，在比较像素点的亮度参数并排序的具体步骤为，按照亮度的大小对所述暗通道图像的像素点进行降序排序，找到亮度大小在前0.1％的像素点位置的光照值强度，并记录下这些像素值的坐标。

可选的，所述全局大气光值为亮度大小在前0.1％的像素点的光照强度均值。

根据大气散射模型可知，在雾天环境下高清摄像头捕获到的图像中有雾霾遮挡，是因为空气中的悬浮颗粒对反射光的吸收、散射以及折射导致获取景物图像的入射光线发生衰减。故雾天情况下降质图像的大气散射模型由如下公式(1)表示：

i(x)＝j(x)t(x)+a(1-t(x))(1)

其中，i(x)为拍摄的有雾图像；j(x)为去雾后的清晰图像；a为全局大气光值；t(x)为介质透射率，在雾浓度均匀的情况下，还可以将其进一步表示为t(x)＝e^-βd(x)(β是大气散射系数，d(x)为场景深度)；j(x)t(x)是直接衰减项，反映了物体在介质中的衰减程度；a(1-t(x))是场景发生色移的大气散射光。

香港中文大学何凯明等人对大量户外图像进行统计，总结出一个基本规律：在绝大多数清晰的户外图像中，大部分局部区域都包含像素强度值大小趋于0的物体阴影，进一步假设所有局部区域内，存在一个或多个像素强度值在某个颜色通道上接近于0的点，对于一幅图像j，可以通过最小滤波操作得到暗原色图像的过程，由如下公式描述：

其中j^c表示彩色图像的每个通道，c∈{r,g,b}表示为图像的颜色标签，ω(x,y)表示以像素(x,y)为中心的领域。

对于全局大气光值a，将输入雾图进行最小滤波操作之后得到暗原色图像，计算暗原色图像中亮度值大小为前0.1％对应像素点位置的光照强度均值，作为恢复无雾图像所需的全局大气光值a。

对于透射率t(x)我们采用多尺度卷积神经网络对其进行估算，整体工作流程如图一所示。运用粗尺度卷积神经网络获得雾化图像的粗略透射率，该网络主要由四个部分组成，分别是卷积层、最大池化层、上采样层和线性组合层。

其中，卷积层由与输入特征图卷积的滤波器所组成，每个卷积层的响应由给出，其中和是第l层和第l+1层的特征映射；

最大池化层，由于对相关图像进行卷积操作之后特征图像的数量较多，如果直接进行计算会导致计算量很大处理时间较长，因此在每个卷积层之后使用一个大小为2*2的滤波器进行下采样，降低图像维度减小复杂性；

上采样层，因为原始户外透射率尺寸与输入雾图透射率尺寸应是相同的，输入图像经过卷积核特征映射的方式传送到最大池化层，透射率尺寸将会减少一半，所以需要添加一个上采样层以确保最终输出的透射率与原始输入透射率的尺寸大小相同。上采样层紧跟着池化层具有子采样特征尺寸恢复的功能，同时保持了网络的非线性。对应的每个上采样层被定义为：

上式将(x,y)位置处经过最大池化后的特征像素值，复制到后续上采样层的2×2块内；

线性组合层，由于需要将上采样层中的多特征通道输出，进行线性组合以获得最终输出结果(粗尺度网络获得的透射率)，线性组合表达式如下所示：

请参阅图2，由于粗尺度度卷积神经网络采用较大尺寸的网络模型，有时会因为过度关注场景信息的特征提取，会无意识的忽略图像的浅层特征信息，因此通过粗尺度卷积神经网络得到的透射率t(x)不能直接用于图像去雾处理。需要在粗尺度网络模型的后面紧跟着一个细尺度卷积神经网络，将粗尺度网络模型的得到得粗略透射率进行精细化处理，以获得更接近于真实场景的透射率信息。

将大气散射模型进行变形得到以下公式：

利用上述求出的大气光值和精细化透射率，将其带入公式(5)中就可以去除图像中的雾霾恢复出清晰的图像。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。