基于边缘细节保持的夜间图像去雾方法与流程

本发明属计算机图像处理领域，涉及一种夜间图像去雾方法。

背景技术：

夜晚有雾条件下拍摄图像时，由于点光源的存在，夜间光照分布不均，采集到的图像细节信息丢失，难以得到感兴趣的信息，去雾难度较大。此外，夜间场景通常伴随着较多噪声，导致图像质量进一步下降，给视频监控、室外目标识别与追踪等带来很大困难。因此，夜间图像去雾问题在计算机视觉应用领域和数字图像处理领域亟待解决。

现有的夜间图像去雾算法主要有zhang等^[1]提出的基于retinex理论的去雾算法，以及li等^[2]提出的光源层去除的去雾算法。上述两种算法没有考虑到噪声的影响，在对图像直接去雾的过程中导致噪声被进一步放大。此外，如果简单的把图像去噪作为一种后处理手段，去噪的同时会去除复原图像中大量的细节信息。针对去雾问题，tarel等^[3]提出通过求解环境光散射函数对图像快速去雾的新思路，基于环境光散射函数在局部区域内变化相对平滑的假设，利用中值滤波求解环境光散射函数，时间复杂度低，但是该算法使用的中值滤波器不具备较好的保边性，导致边缘细节丢失，在景深变化剧烈的地方存在光晕效应。此外，对于去雾过程中的重要参数环境光，上述去雾算法在求解过程中局部块尺寸的选择较为单一。

相关文献：

[1]zhangj,caoy,wangzf.nighttimehazeremovalbasedonanewimagingmodel[c].ieeeinternationalconferenceonimageprocessing,2014:4557-4561.

[2]liy,tanrt,brownms.nighttimehazeremovalwithglowandmultiplelightcolors[c].ieeeinternationalconferenceoncomputervision,2015:226-232.

[3]tareljp,hautièren.fastvisibilityrestorationfromasinglecolororgraylevelimage[c].ieeeinternationalconferenceoncomputervision,2010:2201-2208.

[4]menggf,wangy,duanjy,etal.efficientimagedehazingwithboundaryconstraintandcontextualregularization[c].ieeeinternationalconferenceoncomputervision,2013:617-624.

[5]achantar,hemamis,estradaf.frequency-tunedsalientregiondetection[c]computervisionandpatternrecognition,2009:1597-1604.

[6]liuh,yangj,wuz.fastsingleimagedehazingbasedonimagefusion[j].journalofelectronicimaging,2015,24(1):013020.

[7]dabovk,foia,katkovnikv.imagedenoisingbysparse3-dtransform-domaincollaborativefiltering[j].ieeetransactionsonimageprocessing,2007,16(8):2080.

技术实现要素：

本发明提出一种基于边缘细节保持的夜间图像去雾算法，在去雾的同时去除噪声。本发明首先利用全变分模型将图像分成结构层和纹理层两部分，仅对受雾气影响的结构层图像去雾。针对结构层图像，首先提出多尺度融合方法估计环境光，解决块尺寸的选择问题；然后构建基于多方向滤波器的加权l0正则化模型来求解环境光散射函数实现去雾，来更好地保持图像边缘细节。针对细节层图像，利用bm3d算法分离噪声层，同时利用robert算子设计权重系数来提取噪声层中的纹理信息，最后将增强后的纹理层和去雾后的结构层进行融合。该方案不仅能够有效去除夜间图像的雾气，恢复更多边缘细节信息，同时还能有效降低噪声的影响。技术方案如下：

一种基于边缘细节保持的夜间图像去雾方法，包括下列步骤：

(1)输入夜间有雾图像，通过对下面公式的最小化，对夜间有雾图像进行分层，求解出结构层图像：

式中：α取值为0.6，▽为梯度算子，||||2为2-范数，i(x)为输入的夜间有雾图像，is(x)为分层后得到的结构层图像；

(2)求解结构层图像的局部对比度函数c(x)，局部饱和度函数w(x)和局部显著度函数s(x)：

s(x)＝d(iμ(x)-ig(x))

式中：为结构层图像的平均值，β取值为0.5；p(x)是结构层图像的饱和度，pmax是结构层图像饱和度的最大值，σ取值为0.3；iμ(x)是结构层图像的特征均值，ig(x)是高斯滤波后的结构层图像，d(iμ(x)-ig(x))表示iμ(x)和ig(x)两幅图像之间欧式距离的平方；

(3)选取大小为10*10的小尺寸局部块，在该局部块内对结构层图像进行最小值滤波得到第1个最小值滤波后结构层图像，然后在15*15的局部块内对第1个最小值滤波后结构层图像进行最大值滤波得到第1个局部环境光再选取大小为25*25的大尺寸局部块，在该局部块内对结构层图像进行最小值滤波得到第2个最小值滤波后结构层图像，然后在40*40的局部块内对第2个最小值滤波后结构层图像进行最大值滤波得到第2个局部环境光

(4)将步骤(2)得到的局部对比度函数，局部饱和度函数和局部显著度函数进行归一化运算，得到归一化权重图q(x)；然后将步骤(3)得到的第1个局部环境光和第2个局部环境光与归一化权重图利用多尺度融合方法进行运算，得到环境光a(x)，求解过程如下：

式中：g{q(x)}表示对归一化权重图进行高斯金字塔操作，表示对第k个局部环境光进行拉普拉斯金字塔操作；

(5)构建如下加权l0正则化模型估计环境光散射函数v(x)：

式中：v0(x)为环境光散射函数的初始值，且v0(x)＝is(x)，dj为第j个方向的滤波器，β取值为0.5，λ取值为0.3，为卷积操作，||||0表示0-范数，w＝exp(-∑|is(x)-is(y)|²/2σ²)为调节系数，is(x)和is(y)分别为像素点x和y处的结构层图像，σ取值为0.4；

(6)利用分离变量法，对上述加权l0正则化模型进行转化：

式中：β取值为0.5，μj为第j个方向的辅助变量；

(7)对转化后的加权l0正则化模型进行求解，得到环境光散射函数v(x)：

式中：f是二维傅里叶变换，f^-1是二维傅里叶变换的逆变换，是f的共轭；

(8)得到环境光散射函数v(x)和环境光a(x)后，即可求解出结构层复原图像js(x)：

(9)将输入的夜间有雾图像i(x)与结构层图像is(x)相减，得到纹理层图像it(x)，对纹理层图像利用bm3d算法进行去噪操作，即可得到去噪后纹理层图像idt(x)，和噪声图像in(x)，且in(x)＝it(x)-idt(x)；

(10)分别对去噪后纹理层图像和纹理层图像利用robert算子进行运算，设计权重系数w(x)，来调节从噪声图像中恢复的纹理细节量：

式中：g(idt(x))表示对去噪后纹理层进行robert算子操作，g(it(x))表示对纹理层进行robert算子操作；

(11)将通过权重系数恢复的纹理信息量叠到去噪后纹理层图像中，得到最终纹理层图像it'(x)；

(12)将最终纹理层图像it'(x)和结构层复原图像js(x)相加，得到最终结果j(x)。

本发明基于图像分层的思想对夜间有雾图像进行处理，仅对结构层图像去雾，考虑到不同局部块的影响，采用多尺度融合算法来估计融合后局部环境光，同时基于多方向梯度算子构建加权l0正则化模型来估计环境光散射函数，更好的检测和保持边缘细节信息，实现更彻底的去雾效果。此外，对于纹理层图像，利用bm3d算法去除高频噪声，同时基于robert算子设计权重系数来提取噪声层中错误滤除的细节信息。最后，将去雾后的结构层图像和增强后的纹理层图像融合。

附图说明

图1(a)为夜间有雾图像pavillion；

图1(b)为夜间有雾图像对应的zhang的结果；

图1(c)为夜间有雾图像对应的li的结果；

图1(d)为夜间有雾图像对应的本发明的结果；

图2(a)为夜间有雾图像train；

图2(b)为夜间有雾图像对应的zhang的结果；

图2(c)为夜间有雾图像对应的li的结果；

图2(d)为夜间有雾图像对应的本发明的结果。

具体实施方式

1、算法基本原理

根据文献[3]，基于环境光散射函数的有雾图像成像模型如下式所示：

i(x)＝j(x)×t(x)+a(x)(1-t(x))＝j(x)×t(x)+v(x)

其中，x为图像中像素点所处位置，i(x)为输入的夜间有雾图像，j(x)为去雾后的复原图像，t(x)为透射率，a(x)为夜间图像环境光，v(x)为环境光散射函数。

2、本发明算法

夜间图像存在较多噪声，直接对图像去雾，导致噪声放大，细节信息模糊，因此需要对夜间有雾图像同时进行去雾去噪处理。此外，针对tarel等^[3]提出的中值滤波方法存在的边缘细节丢失现象，本算法设计构建基于多方向滤波器的加权l0正则化模型进行改进，更准确的检测和保持图像边缘，来估计环境光散射函数。基于此，本算法基于图像分层的思路，利用全变分模型^[4]将图像分成结构层和纹理层两部分；对受到雾气影响的结构层实行去雾操作：首先利用多尺度融合算法，取对比度，饱和度，显著度函数^[5,6]作权重图来估计局部环境光，然后通过构建加权l0正则化模型来求解环境光散射函数，最后代入去雾模型求解出复原图像；对于含有细节信息和噪声的纹理层图像，利用bm3d算法^[7]从中分离噪声，然后通过robert算子设计权重系数来提取噪声层中错误滤除的纹理信息，最后将增强后的纹理层和结构层融合。

本发明提出的基于边缘细节保持的夜间去雾算法具体步骤如下：

步骤1、输入夜间有雾图像，通过对下面公式的最小化，对夜间有雾图像进行分层，求解出结构层图像：

式中：α取值为0.6，▽为梯度算子，||||2为2-范数，i(x)为输入的夜间有雾图像，is(x)为分层后得到的结构层图像。

步骤2、得到结构层图像后，首先求解结构层图像的局部对比度函数c(x)，局部饱和度函数w(x)和局部显著度函数s(x)：

s(x)＝d(iμ(x)-ig(x))

式中：为结构层图像的平均值，β取值为0.5；p(x)是结构层图像的饱和度，pmax是结构层图像饱和度的最大值，σ取值为0.3；iμ(x)是结构层图像的特征均值，ig(x)是高斯滤波后的结构层图像，d(iμ(x)-ig(x))表示iμ(x)和ig(x)两幅图像之间欧式距离的平方。

步骤3、选取大小为10*10的小尺寸局部块，在该局部块内对结构层图像进行最小值滤波得到第1个最小值滤波后结构层图像，然后在15*15的局部块内对第1个最小值滤波后结构层图像进行最大值滤波得到第1个局部环境光再选取大小为25*25的大尺寸局部块，在该局部块内对结构层图像进行最小值滤波得到第2个最小值滤波后结构层图像，然后在40*40的局部块内对第2个最小值滤波后结构层图像进行最大值滤波得到第2个局部环境光

步骤4、将步骤(2)得到的局部对比度函数，局部饱和度函数和局部显著度函数进行归一化运算，得到归一化权重图q(x)；然后将步骤(3)得到的第1个局部环境光和第2个局部环境光与归一化权重图利用多尺度融合方法进行运算，可有效融合多个不同尺寸块得到的局部环境光的优点，得到环境光a(x)，求解过程如下：

式中：g{q(x)}表示对归一化权重图进行高斯金字塔操作，表示对第k个局部环境光进行拉普拉斯金字塔操作。

步骤5、构建如下加权l0正则化模型估计环境光散射函数v(x)：

式中：v0(x)为环境光散射函数的初始值，且v0(x)＝is(x)，dj为第j个方向的滤波器，β取值为0.5，λ取值为0.3，为卷积操作，||||0表示0-范数，w＝exp(-∑|is(x)-is(y)|²/2σ²)为调节系数，is(x)和is(y)分别为像素点x和y处的结构层图像，σ取值为0.4。

步骤6、利用分离变量法，对上述加权l0正则化模型进行转化：

式中：β取值为0.5，μj为第j个方向的辅助变量。

步骤7、对转化后的加权l0正则化模型进行求解，得到环境光散射函数v(x)：

式中：f是二维傅里叶变换，f^-1是二维傅里叶变换的逆变换，是f的共轭。

步骤8、得到环境光散射函数v(x)和环境光a(x)后，即可求解出结构层复原图像js(x)：

步骤9、将输入的夜间有雾图像i(x)与结构层图像is(x)相减，得到纹理层图像it(x)，对纹理层图像利用bm3d算法进行去噪操作，即可得到去噪后纹理层图像idt(x)，和噪声图像in(x)，且in(x)＝it(x)-idt(x)；；

步骤10、分别对去噪后纹理层图像和纹理层图像利用robert算子进行运算，设计权重系数w(x)，来调节从噪声图像中恢复的纹理细节量：

式中：g(idt(x))表示对去噪后纹理层进行robert算子操作，g(it(x))表示对纹理层进行robert算子操作。

步骤11、将基于权重函数恢复的纹理信息量叠到去噪后纹理层图像中，得到最终纹理层图像it'(x)，求解过程如下：

式中：<,>表示內积操作。

步骤12、将最终纹理层图像it'(x)和结构层复原图像js(x)相加，得到最终结果j(x)。

为了验证本发明提出的夜间图像去雾算法的有效性，对夜间有雾图像进行实验，并与相关算法进行对比。图1和图2分别为夜间有雾图像‘pavillion’和‘train’的去雾效果，可以看出，zhang方法^[1]去雾后，图像的亮度和对比度提高，有一定的去雾效果，但是亮区过曝光导致周围细节信息丢失，且天空区域噪声严重；li方法^[2]能较好的去除夜间光源光晕的影响，但是过度抑制光晕的同时导致出现晕轮伪影，并且远景区域噪声在去雾过程中明显增强，块效应显著；相比之下，本发明考虑到不同块尺寸对局部环境光的影响，利用多尺度融合方法选取多个不同尺度的环境光进行融合，同时，基于多方向加权l0正则化模型估计环境光散射函数，去雾较为彻底。此外，针对去雾过程中导致噪声放大的问题，本发明算法仅对结构层图像去雾，同时对高频纹理层去噪来减小噪声的影响，天空区域复原效果更加自然。

为客观评价本发明算法，计算增强后图像的灰度平均梯度值和峰值信噪比。如表1所示。由表1灰度平均梯度值数据显示，本发明方法在去雾过程中可有效保持图像的边缘细节，提恢复更多的细节信息；由峰值信噪比结果可看出，本发明方法能有效去除夜间图像的噪声。

实验结果表明，本发明提出的算法对于夜间有雾图像去雾效果较为彻底，可恢复更多的细节信息，同时能有效降低夜间图像的高频噪声，视觉效果更佳。

表1客观指标比较结果