一种基于梯度域导向滤波和多尺度Retinex理论的图像去雾增强算法的制作方法

本发明涉及图像处理技术领域，特别涉及一种基于梯度域导向滤波和多尺度retinex理论的图像去雾增强算法。

背景技术：

近年来，大气污染日益严重，在一些城市经常会出现长时间的雾霾、雨雪天气。这对于一些城市的交通监控系统的图像采集造成了不少的影响，针对于此实际情况，有必要采取相应的去雾算法来达到增强图像的目的。

针对于图像去雾算法来说，常见的算法主要分为两类。一是基于图像增强的方法，如直方图均衡化，滤波去噪，小波分析，retinex理论，灰度变换等。王园园等人使用改进的多尺度retinex算法对含雾霾的彩色图像进行增强处理，该算法是在传统的多尺度retinex算法的基础上使用增益(偏移)方法来修正图像的像素，通过在hsi颜色空间中对亮度分量i做增强，得到增强后图像像素值的最大值和最小值，通过校正修改得到最终的增强后的图像。郭瑞等人通过改进单尺度retinex算法对含雾图像做增强处理，该算法是将图像转换到hsi颜色空间，对亮度分量i做增强的同时对饱和度s进行自适应线性拉伸，同时在改进的单尺度retinex算法中加入了可以自适应调节的s函数代替了传统到高斯函数核。王永胜等人通过在lab颜色空间内使用改进的多尺度retinex算法对火车车轮对踏面的图像增强，通过对亮度分量l的增强的同时自适应调整颜色分量a和b，同时将运算的高斯核改为fmf算法。李巅在传统的retinex算法的基础上进行了改进，引入了离散余弦变换,这种改进使得到的去雾图像避免光晕现象,同时通过改变亮度模型的参数进而对亮度进行改变,提高图像的亮度。汪秦峰提出了将同态滤波与直方图均衡化算法相结合的改进算法,对同态滤波算法中低通滤波得到的图像进行直方图均衡化操作,再将其与高通滤波得到的图像进行线性组合,改进了图像细节丢失的问题,得到了较好的去雾效果。二是基于图像复原的方法，最典型的如暗原色先验理论。he等人首先提出了暗原色先验理论，通过大气散射模型，估算出大气光照值，通过软抠图方法来细化透射率，从而达到增强图像的目的，但是这种算法对于图像中包含大量天空部分的情况时，处理的效果不太好，同时算法处理的速度很慢，最终的结果图像整体偏暗。为了能够很好的对图像进行去雾处理，he等人分析利用导向滤波代替软抠图来细化透射率，该算法加快了运行速度，同时也提高了图像亮度和清晰度。随后，乔寅等人在此基础上提出了增加一种盒子滤波来提高导向滤波的运行速度。刘健等人针对景深突变处出现的“白边”与“黑化”现象,提出结合最小值滤波与中值滤波的粗估计透射率优化方法，并提出自适应限定透射率下限值的方法改善天空区域的颜色失真问题。陆欢提出基于mccartnet的理论建立大气散射模型,根据暗通道理论粗略估计透射率,之后引入容差参数并设置阈值,重新计算明亮区域的透射率,从而实现对明亮区域透射率的自校正，各种去雾方法在一定程度上都对图像去雾改善图像的视觉质量起到不同程度的作用。

而融合基于梯度域导向滤波和多尺度retinex理论的图像去雾方法，尚未有公开，因此，提供一种基于梯度域导向滤波和多尺度retinex理论的图像去雾增强算法，进而改善图像的视觉质量，提升图像的对比度，是一个值得研究的问题。

技术实现要素：

本发明要解决的技术问题是提供一种基于梯度域导向滤波和多尺度retinex理论的图像去雾增强算法，旨在解决使用暗原色先验理论后，图像整体偏暗的问题，能够改善图像的视觉质量，提升图像的对比度。

为了实现上述目的，本发明通过以下技术方案实现：

一种基于梯度域导向滤波和多尺度retinex理论的图像去雾增强算法，包括如下步骤：

步骤s1：求出有雾图像j的暗原色图j^dark；

其中，j^c(x,y)为图像j的某通道图像，ω(x,y)是以(x,y)为中心像素点的方形区域；

步骤s2：由暗原色图求出图像的粗透射率t(x,y)，其公式为：

其中，w为保雾参数，a是大气光照值，

步骤s3：通过以下公式得到细化透射率t1(x,y)：

t1(x,y)＝ap'j+bp'；

bp'＝μx,ζ1(p')-ap'μg,ζ1(p')；

其中，☉表示两个像素矩阵g，x的像素积，μg⊙x,ζ1(p')，μg,ζ1(p')，μx,ζ1(p')分别表示g☉x，像素矩阵g，x在半径为ζ1滤波窗口ωζ1(p')的平均值；

步骤s4：将通过暗原色处理后的图像从rgb颜色空间转换到lab颜色空间；

步骤s5：在lab颜色空间内对亮度分量l使用多尺度retinex理论增强；

步骤s6：将增强后的亮度分量l与两个颜色分量a,b融合，再次通过颜色空间转换从lab转换到rgb；

步骤s7：使用直方图均衡化，得到最终增强的去雾图像。

进一步的，所述步骤2中，图像的粗透射率的计算方法包括如下步骤：

步骤s2.1：用大气散射模型来描述雾天图像的成像过程，即：

i(x,y)＝j(x,y)t(x,y)+a(1-t(x,y))

其中，j(x,y)是无雾状态下的图像，i(x,y)是设备采集到的图像，a是大气光照值，t(x,y)是透射率；

步骤s2.2：引入暗原色先验，即在无雾清晰图像中绝大部分非天空局部区域，至少有一个颜色通道的亮度值很低并趋近于0，即对于图像j，有

其中，j^c(x,y)表示图像j三个通道r、g、b中的一个颜色通道，ω(x,y)表示以(x,y)为中心的方形区域，j^dark称为图像j的暗原色；

步骤s2.3：w的取值范围在(0,1]之间；

步骤s2.4：在估算大气光照值a时，通过降序排列暗通道图中的像素值亮度，选出其中前0.1％的像素，这些像素对应图中雾最厚的区域，然后将这一组像素映射到原图像中，找到原图中对应部分亮度最亮像素的灰度值作为大气光照值a；n表示为通过降序排列暗通道图中亮度为前0.1％的像素点个数；

进一步的，所述步骤s4包括以下具体步骤：

步骤s4.1：rgb颜色空间与lab颜色空间互相转换的公式，由于rgb不能直接转换到lab，首先得将rgb转换到xyz，再从xyz转换到lab，

l^*＝116f(y/yn)-16

a^*＝500[f(x/xn)-f(y/yn)]

b^*＝200[f(y/yn)-f(z/zn)]

其中，xn,yn,zn三者值为1；r,g,b和x,y,z分别表示分别rgb颜色空间和xyz颜色空间内各个颜色通道的灰度值；x,y,z,以及变量t的取值范围都在[0,1]之间；函数f(t)类似于gamma函数，作用是将计算出x,y,z的灰度值范围扩大，从xyz颜色空间转换到lab颜色空间，分别得到l^*、a^*、b^*的灰度值范围是，l^*的范围[0,100],a^*的范围[-128,127],b^*的范围是[-128,127]；

步骤s4.2：由步骤s2.1得到雾天图像成像过程，则求得暗原色先验理论后复原图像为

把求得的细化透射率t1(x,y)以及大气光照值a代入上式即求得复原图像。

进一步的，所述步骤s5中多尺度retinex理论的公式如下：

其中，rmi(x,y)代表多尺度retinex算法中第i个尺度运算的输出结果；n代表算法包含的尺度总数；wn为各个尺度对应的权值，且各尺度的权值之和为1，si(x,y)为对应第i个色彩空间的图像分布，gn(x,y)为对应权值的高斯卷积函数；

其中，σn为高斯函数的尺度，分别为小尺度σ1，中尺度σ2，大尺度σ3。

进一步的，所述步骤s6中，由于lab不能直接转换到rgb，首先得将lab转换到xyz，再从xyz转换到rgb；lab颜色空间与rgb颜色空间互相转换的具体公式如下：

其中，xn,yn,zn三者取值为1；函数f^-1(t)是把灰度值范围归一化至[0,1]，变量t的取值为[0,1]；l^*,a^*,b^*分别表示lab颜色空间中3个颜色通道的灰度值；r,g,b和x,y,z分别是rgb颜色空间和xyz颜色空间内各个颜色通道的灰度值；最终通过变换将rgb颜色空间中，r,g,b的灰度值范围均变为[0,255]。

6.根据权利要求1所述的基于梯度域导向滤波和多尺度retinex理论的图像去雾增强算法，其特征在于：所述步骤s2.3中w选取0.95。

与现有技术相比，本发明具有以下有益效果：

本发明提出了一种基于梯度域导向滤波和多尺度retinex理论的图像去雾增强算法，能够有效解决使用暗原色先验理论后，图像整体偏暗的问题，并且能够改善图像的视觉质量，提升图像的对比度。首先，将传统的暗原色先验理论中细化透射率使用的导向滤波替换为基于梯度域的导向滤波，并且以图像自身作为引导图像，同时在传统细化透射率中，通常选用含雾图像的灰度图作为引导图像，本发明选择将导向滤波中的引导图像与输入图像保持一致，将其变成一个基于梯度域的边缘保持滤波，对比于传统的导向滤波，本发明算法选择的滤波在边缘纹理信息的保持上具有很好的效果。其次，为了解决含雾图像在暗原色先验理论处理之后整体偏暗的问题，本发明通过颜色空间的转换，将图像转换到lab颜色空间内，对亮度分量l使用多尺度的retinex理论进行增强，随后融合增强后的亮度分量l与颜色分量a和b。最后，为了提高图像的对比度，再次通过颜色空间的转换，在rgb颜色空间内使用直方图均衡化。本发明能够在提高图像信息熵，方差的同时较好的保持图像色调的平衡，提高了图像整体的视觉效果。

附图说明

图1是本发明的算法流程图；

图2是基于梯度域导向滤波优化透射率算法流程图；

图3是多尺度retinex理论增强及直方图均衡化流程图；

图4是三组不同的含雾照片原图，其中，(a)是黄山图，(b)是鸭子图，(c)是座椅图；

图5是黄山图的去雾增强效果图，其中，(a)是黄山图原图，(b)是采用he等人的暗原先验理论算法的去雾增强效果图，(c)是采用融合算法的去雾增强效果图；(d)是采用本发明算法的去雾增强效果图；

图6是座椅图的去雾增强效果图，其中，(a)是座椅图原图，(b)是采用he等人的暗原先验理论算法的去雾增强效果图，(c)是采用融合算法的去雾增强效果图；(d)是采用本发明算法的去雾增强效果图；

图7是鸭子图的去雾增强效果图，其中，(a)是鸭子图原图，(b)是采用he等人的暗原先验理论算法的去雾增强效果图，(c)是采用融合算法的去雾增强效果图；(d)是采用本发明算法的去雾增强效果图；

图8是三种算法的直方图，其中，(a)是采用本发明算法的直方图，(b)是采用he等人的暗原先验理论算法的直方图，(c)是采用融合算法的直方图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。需要说明的是，本发明的具体实施例只是为了能更清楚的描述技术方案，而不能作为本发明保护范围的一种限制。

一种基于梯度域导向滤波和多尺度retinex理论的图像去雾增强算法，包括如下步骤：

步骤s1：求出有雾图像j的暗原色图j^dark；

其中，j^c(x,y)为图像j的某通道图像，ω(x,y)是以(x,y)为中心像素点的方形区域；根据暗原色先验原理，可以用上述公式来计算原始雾天图像的暗原色图。

步骤s2：由暗原色图求出图像的粗透射率t(x,y)，其公式为：

其中，w为保雾参数，a是大气光照值；一般来说保留去雾系数能够使得图像看起来更为自然，当w＝1时则是完全去雾。

进一步的，所述步骤2中，图像的粗透射率的计算方法包括如下步骤：

本发明的一个实施例中，步骤s2的具体过程如下：

步骤s2.1：用大气散射模型来描述雾天图像的成像过程，即：

i(x,y)＝j(x,y)t(x,y)+a(1-t(x,y))

其中，j(x,y)是无雾状态下的图像，i(x,y)是设备采集到的图像，a是大气光照值，t(x,y)是透射率；

步骤s2.2：引入暗原色先验，即在无雾清晰图像中绝大部分非天空局部区域，至少有一个颜色通道的亮度值很低并趋近于0，即对于图像j，有

其中，j^c(x,y)表示图像j三个通道r、g、b中的一个颜色通道，ω(x,y)表示以(x,y)为中心的方形区域，本发明中取ω(x,y)局部方形块的大小3×3，j^dark称为图像j的暗原色；

步骤s2.3：w的取值范围在(0,1]之间，为了使得图像在去雾之后保持质感，这里选择w为0.95；

步骤s2.4：在估算大气光照值a时，通过降序排列暗通道图中的像素值亮度，选出其中前0.1％的像素，这些像素对应图中雾最厚的区域，然后将这一组像素映射到原图像中，找到原图中对应部分亮度最亮像素的灰度值作为大气光照值a；n表示为通过降序排列暗通道图中亮度为前0.1％的像素点个数；

步骤s3：通过以下公式得到细化透射率t1(x,y)：

t1(x,y)＝ap'j+bp'；

bp'＝μx,ζ1(p')-ap'μg,ζ1(p')；

其中，☉表示两个像素矩阵g，x的像素积，μg⊙x,ζ1(p')，μg,ζ1(p')，μx,ζ1(p')分别表示g☉x，像素矩阵g，x在半径为ζ1滤波窗口ωζ1(p')的平均值；

步骤s4：将通过暗原色处理后的图像从rgb颜色空间转换到lab颜色空间；

步骤s4.1：rgb颜色空间与lab颜色空间互相转换的公式，由于rgb不能直接转换到lab，首先得将rgb转换到xyz，再从xyz转换到lab，

l^*＝116f(y/yn)-16

a^*＝500[f(x/xn)-f(y/yn)]

b^*＝200[f(y/yn)-f(z/zn)]

其中，转换公式及参数的选择均是参考matlab中文论坛数字图像处理部分,usefulcolorequations(www.brucelindbloom.com)及基于matlab的数字图像处理等书籍得来的。xn,yn,zn三者值为1；r,g,b和x,y,z分别表示分别rgb颜色空间和xyz颜色空间内各个颜色通道的灰度值；x,y,z,以及变量t的取值范围都在[0,1]之间；函数f(t)类似于gamma函数，作用是将计算出x,y,z的灰度值范围扩大，从xyz颜色空间转换到lab颜色空间，分别得到l^*,a^*,b^*的灰度值范围是，l^*的范围[0,100],a^*的范围[-128,127],b^*的范围[-128,127]。

步骤s4.2：由步骤s2.1得到雾天图像成像过程，则求得暗原色先验理论后复原图像为

把求得的细化透射率t1(x,y)以及大气光照值a代入上式即求得复原图像。

步骤s5：在lab颜色空间内对亮度分量l使用多尺度retinex理论增强；

其中，所述步骤s5中多尺度retinex理论的公式如下：

其中，rmi(x,y)代表多尺度retinex算法中第i个尺度运算的输出结果；n代表算法包含的尺度总数；wn为各个尺度对应的权值，且各尺度的权值之和为1，si(x,y)为对应第i个色彩空间的图像分布，gn(x,y)为对应权值的高斯卷积函数；

其中，σn为高斯函数的尺度，分别为小尺度σ1，中尺度σ2，大尺度σ3。

步骤s6：将增强后的亮度分量l与两个颜色分量a,b融合，再次通过颜色空间转换从lab转换到rgb；

所述步骤s6中，由于lab不能直接转换到rgb，首先得将lab转换到xyz，再从xyz转换到rgb；lab颜色空间与rgb颜色空间互相转换的具体公式如下：

其中，转换公式及参数选择均是参考matlab中文论坛数字图像处理部分，usefulcolorequations(www.brucelindbloom.com)及基于matlab的数字图像处理等书籍得来的。xn,yn,zn的取值为1；函数f^-1(t)是把灰度值范围归一化至[0,1]，变量t的取值为[0,1]；l^*,a^*,b^*分别表示lab颜色空间中3个颜色通道的灰度值；r,g,b和x,y,z分别是rgb颜色空间和xyz颜色空间内各个颜色通道的灰度值；最终通过变换将rgb颜色空间中，r,g,b的灰度值范围均变为[0,255]

步骤s7：使用直方图均衡化，得到最终增强的去雾图像。

本发明在暗原色先验理论的基础上，提出了一种融合梯度域导向滤波和多尺度retinex理论的图像去雾增强算法。用基于梯度域的导向滤波代替传统的细化透射率的导向滤波，形成新的暗原色先验理论。先将通过新的暗原色先验理论处理方法处理后图像转换到lab颜色空间内，对图像亮度分量l做多尺度retinex理论的增强。将增强后的亮度分量l与两个颜色分量a和b融合后再通过颜色空间转换到rgb颜色空间，在rgb颜色空间内使用直方图均衡化得到最终的增强图像。

下面通过实验举例说明：

在matlab2019a实验平台上，选择三组不同的含雾照片分别采用本发明算法、he等人的暗原先验理论算法、融合算法进行对比实验，其中，he等人的暗原先验理论算法是通过大气散射模型，估算出大气光照值，通过软抠图方法来细化透射率，从而达到增强图像的目的的算法。融合算法是在he等人的暗原先验理论算法基础上再添加了retinex理论增强及直方图均衡化的算法。其中三组不同的含雾照片如图4所示，图像去雾增强的效果图分别如图5、图6和图7所示。

为了定性分析图像的去雾增强效果，本发明在图4的基础上，分别提取了三种算法去雾增强效果图的直方图，如图8所示。

从图8可以很明显地看出，利用本发明提出算法得到的去雾增强图像不仅仅拉伸了图像的灰度范围，还能够很好地平衡每个灰度值的像素点个数，使得直方图看起来更均匀。

为了更好客观评价地处理结果，本实验选用方差、信息熵以及峰值信噪比的值进行比较。图像的方差是反映图像的高频部分的大小，一个图像的方差越大，说明图像的对比度越好；信息熵是反映图像的平均信息量的指标，信息熵越大，说明图像中含有丰富的信息量；峰值信噪比是根据原图与增强后的图像进行比较的，峰值信噪比越大，说明图像的失真越少。客观评价指标如表1，表2，表3所示。

表1黄山图的增强指标

从表1可以看出，本发明算法相对于原图和he等人的暗原先验理论算法来说，三个客观评价指标都有很大的提高，对比于融合算法来说，性能的提高就不是很明显了，甚至于很接近于本发明算法的效果，但是从图5的视觉角度来看，本发明算法的视觉效果还是最好的。分析原因很可能是人的主观视觉分析与客观评价不一致造成的，人们在观察和理解图像时会不自觉地对其中某些区域产生兴趣，而客观评价着重于整体效果。

表2鸭子图的增强指标

从表2可以看出，本发明算法相对于原图和文he等人的暗原先验理论算法来说，三个客观指标都有很明显的提高，但是跟融合算法相比，本发明算法的效果稍显逊色，方差和信息熵都没有融合算法的高。分析原因很可能也是人的主观视觉分析与客观评价不一致造成的。

表3座椅图的增强指标

从表3可以看出，本发明算法相对于原图和he等人的暗原先验理论算法来说，三个客观指标都有很明显的提高，相对比与融合算法来说，本发明算法的峰值信噪比这一指标不太好，分析原因可能是在rgb颜色空间里面直接使用直方图均衡化会导致图像某些部分的颜色失真。

由实验效果图，实验图增强指标表和三种算法直方图，可以得出：(1)在使用传统的he等人的暗原先验理论算法去雾增强时，最终的结果图往往会偏暗，对比图5、图6和图7，本发明算法能够很好地解决这个问题。(2)本发明算法去雾增强的图像视觉效果较好，颜色和亮度增强适中，通过对比峰值信噪比、信息熵和方差三个客观指标，本发明算法的去雾增强效果相较于he等人的暗原先验理论算法来说，效果更好，图像边缘细节信息以及对比度等都有所提高，整体来说，本发明算法的视觉效果能够更好一些。(3)本发明采用的直方图均衡化是有效的，不仅仅能够扩大了图像灰度值范围，提高了图像视觉效果，同时也增强了图像的细节纹理信息。

上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。