基于亮度融合网络的图像去雾算法的制作方法

本发明涉及计算机视觉、图像处理领域的恢复图像清晰度的方法，特别是涉及采用融合的方法进行图像去雾的算法

背景技术：

图像去雾算法是一种重要的恢复图像清晰度的方法，其主要目的是去除图像中存在的雾，从而恢复出原始的没有雾气影响下的真实图像，可广泛应用于交通运输、视频监控、卫星遥感等对清晰图像要求较高的领域。

在众多的去雾方法中，基于图像融合的方法是一类较为典型的方法。该类方法主要是从原始的有雾图像中提取不同的层，每一层都代表原始图像的不同信息；或者是在原始有雾图像的基础上，输入反映原始图像信息的其它层。之后，赋予每一层的每一个点不同意义的权重，最终采用一定的融合算法将加权后的每一层进行融合，最终得到去雾以后的图像。当前该类方法的研究主要集中在三个方面:首先，如何从原始图像中提取更能够表征雾的大小程度的信息；其次，如何设计权重使得每一层中有用的信息在最终结果中得到更好的体现；最后，如何设计更好的融合方法使得最终结果更加的清晰、自然，不会出现人工融合的痕迹。2006年，zhang[1]在原始图像的基础上，输入了原始图像的红外图像。利用红外光与蓝光亮度差值能够反映雾的集中程度这一现象，并与暗通道先验知识相结合，提出了一种雾的分布模型。利用该分布模型，根据有雾图像及红外图像在雾的大小不同的区域所反映出来的信息的差异性，提出了有雾图像及红外图像的融合权重，并利用这一权重将有雾及红外图像进行线性融合。该方法虽然能够使得有雾区域的物体得到一定程度的恢复，但由于红外图像并不能提供关于原始图像更为丰富的信息，且其线性融合的方式远远不能反映实际有雾图像的复杂成因，因而效果并不理想。2013年，ancuti和ancuti[2]通过白平衡的方法得到去除颜色偏移的图像，同时通过减去亮度均值的方法得到细节增强的图像，并将这两幅图像作为输入图像。分别从这两幅输入图像中提取颜色、亮度及显著性三幅权重图来从不同的角度反映雾的大小程度，并将这三幅权重图相结合得到最终的权重图。为了防止最终加权融合的结果存在人工痕迹，分别将输入图像和权重图分解为拉普拉斯金字塔及高斯金字塔，最终通过逐层融合得到最终的图像。2014年，fu[3]使用gamma矫正算法将原始图像变为两幅输入图像。针对输入图像存在的模糊及低可视度的问题，分别从输入图像中提取锐度权重、颜色权重及显著性权重。为了使得融合后的结果具有一致性，对求得的三幅权重图相加并归一化，得到每幅输入图像的权重。最终，对两幅输入图像进行加权求和得到最终结果。该方法虽然能够较为明显地去除沙尘对图像质量的影响，但加权求和的融合方法导致结果存在融合不完全的痕迹。2015年，jisha[4]在[2]原有的三幅权重图的基础上，又增加了曝光度权重图及雾浓度权重图。然而，由于从每幅输入图像中提取的权重图并不能很好地反映不同区域雾的大小，因此导致融合后的图像存在细节不清楚的问题。类似地，ali[5]将[2]的方法应用于有雾视频的处理，同样存在着方法[2]、[4]中存在的问题。2016年，ma[6]发现白平衡方法提取的图像信息清晰度较低。为保证最终的融合效果，改用线性变换的方法得到输入图像。此外，为了使得输入图像具有较好的清晰度及细节特性，采用了改进的高频提升滤波方法得到第二幅输入图像。最后，为了使得最终结果对比度得到增强的同时不含有噪声，采用一个常数作为权重将两副输入图像进行融合。但是，由于权重为常数，无法自适应地根据每个像素点的情况进行融合，因而最终的结果并不理想。综上，现有方法能在一定程度上能够去除图像中的雾。然而，现实环境中雾的形成原因较为复杂，现有方法所设计的权重及融合方法并不能有效地模拟雾的形成过程，因而并不能够清晰地回复无雾图像，且并不能自适应地根据不同区域中雾的大小来调整去雾的程度。

参考文献

[1]j.zhang,y.ding,y.yang,j.sun,"real-timedefogmodelbasedonvisiblemodelandnear-infraredinformation,"inproc.ieeeint.conf.multimediaexpo,2006.

[2]c.o.ancuti,c.ancuti,"singleimagedehazingbymulti-scalefusion,"inieeetrans.imageprocess.,vol.22,no.8,pp.3271-3282,2013.

[3]x.fu,y.huang,d.deng,x.p.zhang,x.ding,"afusion-basedenhancingapproachforsinglesandstormimage,"inproc.ieeeint.workshop.multimediasignalprocess.,2014.

[4]m.jisha,k.manju,"fusionstrategyforsingleimagedehazing,"inproc.ieeeglobalconf.commun.technol.,2015.

[5]a.ali,"anovelmethodforvideodehazingbymulti-scalefusion,"int.j.sci.eng.technol.res.,vol.3,no.24,pp.4808-4813,2014.

[6]z.ma,j.wen,c.zhang,q.liu,d.yan,"aneffectivefusiondefoggingapproachforsingleseafogimage,"neurocomputing,vol.173,pp.1257-1267,2016.

技术实现要素：

本发明的目的是提供一种可以更好地模拟现实环境中输入图像与无雾图像之间的关系的图像去雾算法。技术方案如下：

一种基于亮度融合的图像去雾算法，该算法首先训练卷积神经网络w,w采用nin网络结构，步骤如下:

(1)选取m个大小为n×n的无雾图像块计算图像块的亮度

(2)对每一个图像块选取透射率值对进行加雾，得到加雾后的图像块

(3)将从rgb颜色空间转换至hls颜色空间，并且提取亮度

(4)利用k个不同的映射函数分别对进行映射，得到映射后的图像块

(5)将输入到卷积神经网络w中，采用批量梯度下降算法，通过最小化与w的估计值的差的平方和，对w进行训练，迭代次数为nw；

算法包括下列步骤：

步骤1：将有雾图像ih划分成n个大小为n×n的不重叠的图像块p1,p2,......,pn，设ih去雾后的结果为j^f；

步骤2:对于每个图像块pi，将其从rgb颜色空间转到hls颜色空间，并从中提取出色度hi、饱和度si、亮度li；

步骤3：利用上述(4)步的k个不同的映射函数对li进行映射，映射后的图像块记为

步骤4：将输入到卷积神经网络w，得到输出后的亮度loi；

步骤5：用loi与li计算增强系数矩阵αi；

步骤6：用αi对pi的色度hi、si进行增强，结果为hoi、soi；

步骤7：将hoi、loi、soi转换回rgb颜色空间，得到pi对应的无雾图像块ji；

步骤8：将ji赋值给j^f中与pi位置对应的图像块

本发明采用了一种基于亮度融合网络的图像去雾算法，通过卷积神经网络来对提取的信息进行融合，同时通过对卷积神经网络的训练最优化融合的权重。和以往的基于融合的图像去雾算法相比，本方法能够更好地模拟现实环境中各种复杂因素对图像成像的影响，克服了传统方法中存在的细节回复不清晰、在权重变化大的区域存在人工痕迹的问题，能够取得比以往方法更好地视觉效果。

附图说明

图1本方法的流程框图

具体实施方式

本专利的主要思想是通过训练一个卷积神经网络，使得从有雾图像中提取的众多信息能够以最优的方式进行融合，从而保证去雾后的结果能够最接近于原始无雾图像。具体地，通过训练，使得得到的卷积神经网络能够模拟从有雾图像提取的信息与其原始无雾图像之间的映射关系。测试过程中，将从有雾图像中通过映射函数提取的信息作为输入，通过输出图像的亮度与输入的有雾图像的亮度计算增强系数。利用得到的增强系数，对原始有雾图像的色度和饱和度进行增强，并与卷积神经网络输出的亮度进行结合，得到最终结果。具体步骤如下：

该算法首先训练卷积神经网络w，w采用nin网络结构，步骤如下:

(1)选取m个大小为n×n的无雾图像块计算图像块的亮度

(2)对每一个图像块选取透射率值对进行加雾，得到加雾后的图像块公式如下：

其中，y为内任一像素点，表示在y点r、g、b颜色通道的像素值，表示在y点r、g、b颜色通道的像素值，a＝(255,255,255)^t。

(3)将从rgb颜色空间转换至hls颜色空间，并且提取亮度

(4)利用k个不同的映射函数分别对进行映射，得到映射后的图像块公式如下：

其中，βkz为常数，表示第k个映射函数第z+1项的系数，其中k∈{1,2,......,k}；表示被第k个映射函数映射后的结果。

(5)将输入到卷积神经网络w中，采用批量梯度下降算法对w进行训练，迭代次数为nw，目标函数如下：

其中，d表示迭代的次数，d∈{1,2,......,nw}，表示网络w在第d次迭代对的估计值，ed表示第d次迭代的估计误差的总和。

算法的步骤如下：

步骤1：将有雾图像ih划分成n个大小为n×n的不重叠的图像块p1,p2,......,pn，设ih去雾后的结果为j^f；

步骤2：初始化i＝1；

步骤3：将pi从rgb颜色空间转到hls颜色空间，并从中提取出色度hi、饱和度si、亮度li；

步骤4：利用k个不同的映射函数对li进行映射，映射函数的形式如下：

其中，k为映射函数的序号(k∈{1,2,......,k})，y为li内任一像素点；βkz为常数，表示第k个映射函数第z+1项的系数，映射后的图像块记为

步骤5：将输入到卷积神经网络w，得到输出后的亮度loi。

步骤6：用loi与li计算增强系数矩阵αi，公式如下：

步骤7：用αi对pi的色度hi、si进行增强，公式如下：

hoi(y)＝hi(y)×αi(y)

soi(y)＝si(y)×αi(y)

步骤8：将hoi、loi、soi转换回rgb颜色空间，得到pi对应的无雾图像块ji；

步骤9：将ji赋值给j^f中与pi位置对应的图像块公式如下：

其中，表示在y点r、g、b颜色通道的像素值，表示ji在y点r、g、b颜色通道的像素值；

步骤10：判断i的值是否小于n，如果小于n，执行步骤11；否则，结束循环；

步骤11：将i加1，返回步骤3。