单幅夜间弱照度雾霾图像的复原算法的制作方法

这里涉及的是单幅夜间弱照度雾霾图像的方法。首先将原图像分为纹理层和结构层，对结构层的照射光初步估计之后再优化，然后根据retinex理论将结构层与优化后的照射光的比值作为反射层，对其高亮区域的过增强及暗区域的噪声进行抑制，再去雾处理。将已优化的照射光取反作为透射率的估计值、对夜间环境光用求取局部均一的方式进行估计之后，再根据大气散射模型求出复原的结构层。最后，将复原的结构层与优化后的纹理层叠加为最终的复原图像。

背景技术

近年来，持续的雾霾天气已经严重影响了户外视觉系统的许多环节，例如视频监控、目标识别、智能交通分析及自动/半自动驾驶等。这是由于雾霾天气下采集到的图像模糊，色彩饱和度不足，图像对比度下降，图像中的信息量减少，细节丢失严重，而夜间弱照度雾霾图像的复原，更是研究中的难点。

白天去雾算法目前研究得较多，其中基于大气散射模型效果最好最常用，主要估计大气光及透射率，构建模型复原无雾图像。虽然白天去雾算法不适用于夜间去雾，必须重建模型复原夜间图像，但是对于大气光和透射率的估计方法，在很大程度上也启发了夜间去雾中对二者的估计。目前夜间去雾的文献总体的复原效果均存在着色彩饱和度差、纹理细节模糊以及噪声大等问题。如zhang等人针对夜间光照不均问题提出先照明补偿，再颜色校正的去雾算法。虽然颜色看起来比pei好，但是由于补偿时光照估计的不准确，对图中闪耀区域处理得不够好，导致复原后图像光晕明显，噪声大；鲁，方等人也提出用光照补偿实现去雾，去雾后再颜色校正，但未能合理估计出透射，导致最终复原的图像颜色失真，去雾效果较差；liyu等认为夜间人造光源存在着闪耀、光照不均等现象，于是把闪耀层加入标准的白天去雾模型中，去掉闪耀层获得层分离结果，然后重新分块估计夜间大气光，通过暗通道理论估计透射率，进而得到复原图。虽去雾效果较好，但由于没有光照补偿、亮度增强等处理，复原后的图像整体偏暗，纹理细节不够清楚。杨等提出结合retinex理论和暗通道先验的去雾算法，先将有雾图分为有雾入射图和有雾反射图，再通过暗通道理论和摄像机成像原理把两个图分别处理，最终合成无雾图像。因为对有雾入射图及有雾反射图的估计不准确，导致处理结果颜色不真实，有大面积的暗区域。另外，liyu等在2014年提出，为了去除在jpeg图像对比度增强或去雾过程中会被放大的压缩过程产生的噪声，先把图像分成结构层和纹理层。然后在结构层增强对比度或去雾，纹理层去块效应，最后将处理后的结构层和纹理层重新组合为最终图像。但此方法仅适用于jpeg格式的图像，无法处理存在于低质量图像中的其它噪声。

技术实现要素：

由上述不同的方法可以看出，对夜间弱照度图像的复原是图像复原算法研究的难点。本专利根据图像分层、光照补偿以及纹理优化的思想提出了一个新的夜间弱照度情况下有雾图像复原模型，如图1所示，主要内容有：模型构建，结构层复原，纹理层优化。

1、模型构建

大气散射物理模型广泛用于计算机视觉及计算机图形学领域，用于表示有雾图像的退化过程，如式(1)。

i(x)＝t(x)j(x)+(1-t(x))a(x)(1)

其中i(x)是当前退化图像，j(x)是复原的无雾图，a(x)是全局大气光值，t(x)是透射率，表示场景的反射光穿透介质的能力，如式(2)。

t(x)＝e^-βd(x)(2)

β为大气中的介质消光系数，在均匀的介质中通常为常量，d(x)为场景深度。

针对现有算法复原图像纹理不清楚、噪声大的问题，将原弱照度雾霾图像i(x)分为结构层s(x)和纹理层t(x)，如式(3)，再分别进行增强去雾和去噪。其中s(x)含有图像的主要场景，雾及亮度等均体现在该层中，而t(x)则含有纹理细节和噪声。

i(x)＝s(x)+t(x)(3)

根据retinex理论，结构层s(x)又可以分为照射光分量和反射光分量如式(4)。

即增强后的结构层，接下来就是对该层去雾。整合(1)-(4)式可以得到我们最终的图像重建模型，如式(5)。

其中，j(x)是要复原的结构层，a(x)是夜间环境光，t(x)是夜间透射率。最后根据式(6)将复原后的结构层和优化后的纹理层叠加求得最终的复原图像f(x)。

2、结构层复原

a.图像分层

把图像分为结构层和纹理层后，根据图像重建的总变差模型，求解目标函数(7)即可得到结构层s(x)。

其中，x代表像素，是梯度算子，λ是规则化参数。上述模型中，λ取值很重要，因为结构层与梯度较大的场景有关，而纹理层与梯度较小的细节等有关，随着λ的增大纹理会更丰富。图2列出了不同λ对应的纹理层及结构层。

b.结构层增强

现有算法对图像照射光估计不准确，导致图像复原结果色彩漂移严重。为了提高对照射光估计的准确性，本方法先初步估计结构层s(x)的照射光l(x)，再对l(x)优化。取rgb三通道中的最大值作为l(x)的初估计。

照射光应是局部平滑的，故需要采取滤波等操作来优化l(x)。为了保留照射光的结构且使其局部细节足够平滑，对(8)式中的l(x)应用目标函数(9)优化。

其中，第一项为保真项，是优化后的照射光，α是正则化参数，也称权重，是梯度算子，d分别表示水平、垂直方向，ε取值为避免分母为0。式(9)中w(x)对平滑效果起到至关重要的作用，同时决定了最终图像的增强效果，直接影响到图像增强后的色彩、亮度等。最终对wd(x)的选择如式(10)。

其中，*为卷积，q表示像素，x表示像素坐标，gσ为标准差为σ的高斯核函数。

得到优化后的照射光l(x)，据式(11)可以估计出场景反照光即增强后的结构层。

c.强光抑制

对于某些图片，尤其是夜间车载视频图像，它们的特征是暗区域非常暗，如图3(a)方框区域，亮区域如车灯、路灯等则非常亮，如图3(a)椭圆区域。从图3(a)(b)的方框区域可以看到，图像亮度增强后，暗区域噪声也被放大。通常是在增强图像之前先去噪，这多少会使图像失真，且增加时间开销。而且对图像这样的暗区域的增强并不能提供多少有用的信息，却会带来大量噪声。所以，当某个区域的亮度值几乎为0时，要减弱对这个区域的增强程度。

针对这一问题，本专利引入了权值w1(x)来抑制暗区域的增强，如式(12)。

其中，取值在0-1之间，在图像亮度几乎为0的区域，m的取值应使w1(x)接近0；对于其它需要增强的区域，m取值应使w1(x)接近于1。另外，从图3(a)(b)的椭圆区域可以看到，图像中车灯亮度很高，增强后会出现过增强现象。为此本专利设计权值w2(x)来保留原有的高亮区域，如式(13)。

同样，在图像亮度值几乎为1的区域，n的取值应使得权值w2(x)接近0；对于其它需要增强的区域，n的取值应使得权值w2(x)接近1。实验发现，当m取值15-25之间，n取值0.3～0.7之间，对暗区域噪声及亮区域过增强的抑制较为理想。将w1(x)和w2(x)相乘合为总权值w(x)，如式(14)。

w(x)＝w1(x)·w2(x)(14)

通过式(15)将增强前的结构层s(x)和增强后的结构层合成为强光抑制后的结构层本专利中m取值15，n取值0.6。

d.结构层去雾

根据大气散射模型对新结构层进行去雾处理，如式(16)。

环境光的估计是把增强后的结构层分为15×15小块，取每个小块最亮的部分作为这一块的环境光a(x)，为了减轻块效应，用导向滤波器进行了后处理。

针对暗通道理论不适用夜间去雾的问题，本专利提出一种新的透射率估计方法。回看对照射光的估计，之所以能够将结构层有效的增强且保留色彩，是因为合理的估计了照射光，既能保留原图的结构又能对某些区域进行平滑。保留图像结构、反应场景变化趋势是透射率应具备的特征，故本专利将已经估计好的照射光取反作为对透射率t(x)的估计，如式(17)。

与暗通道理论和导向滤波后处理得到的透射率相比，本专利所估计的透射率能够更好的反映场景的变化趋势，比较结果如图4。

把式(15)和(17)，代入式(16)得(18)，可得复原的结构层j(x)。

3、纹理层优化

图像亮度值越低的区域隐藏的噪声越多，暗区域隐藏的噪声在对图像分层之后出现在纹理层，而目前的夜间去雾算法都没有对纹理层t(x)单独处理。为此，本专利提出用式(19)来对纹理层优化，目的是突出主要纹理、抑制噪声。

这里k＝0.05，为优化后的纹理层。式中乘以优化后照射光的作用是让原图中亮度高的区域纹理增强，亮度暗的区域纹理减弱，亮度值几乎为0的区域纹理也降为0，可以有效抑制噪声。

附图说明

图1复原算法结构图

图2不同λ值对应的纹理层及结构层

图3过增强及暗区域抑制处理前后结果对比

图4本专利所提方法与暗通道理论和导向滤波后处理得到的透射率的比较

图5纹理层处理结果

图6各种算法对弱照度雾霾图像复原结果的比较1

图7各种算法对弱照度雾霾图像复原结果的比较2

图8各种算法对弱照度无雾图像增强结果的比较

图9各种算法对逆光图像增强结果的比较

图10与guo方法的细节及噪声抑制效果对比

具体实施方式

为了验证本专利所提方法的有效性，本专利选取了多幅具有代表性的图像，从视觉评价和定量分析两个角度对复原效果进行分析，并与多种主流方法的处理结果进行比较和评价。

本专利复原结果与zhang、鲁、liyu、杨的处理结果对比如图6所示。其中图6(c)、(e)分别是文献鲁、杨的截图，图6(b)，(d)是作者主页程序运行的结果。从图6中可以看出，liyu去掉了闪耀层，减少了人造光源的影响，对光源及其附近场景复原效果较好，但由于未进行光照补偿或增强处理，导致图像整体亮度较低。zhang、鲁进行了光照补偿，杨采取了增强处理，使得结果图整体亮度、对比度均有所提升。zhang、鲁虽加入了颜色校正后处理，但色彩漂移依然严重，且纹理细节模糊，存在着大量的噪声。杨的处理结果有大面积暗区域，纹理模糊。本专利复原图像整体亮度高，纹理细节清晰，色彩漂移较小，对噪声抑制也较好。本专利所提方法与zhang、liyu关于其他图片的处理结果对比如图7所示。值得一提的是在图7最后一行中，本专利复原图像可以清楚的看到行人，可视度高，而其它算法复原结果中却无该信息，如图中方框区域所示。

本专利所提方法也可以直接对弱照度无雾图像、逆光图像增强。将公式(11)得到的增强结果与公式(19)优化后的纹理通过式(20)合成得到最终的增强图像，而且不需任何去噪等后处理。

弱照度无雾图像、逆光图像增强的结果与fu、guo的处理结果比较如图8及图9所示。fu、guo的增强效果均较好，关键是对照射光的估计比较合理。但是二者处理结果均噪声较大，细节增强不足。另外，guo和本专利结果的细节比较如图10所示。明显看到图10第一行本专利处理结果对细节的捕捉更好，而guo去噪之前的像素关联性缺失，图像不够平滑，加入平滑处理后，细节就会严重模糊。图10第二行b图放大的区域中可见有明显的噪声，c图中由于平滑连接了明显的噪声而产生了少许的光晕，细节仍被模糊。而本专利处理结果对噪声有较好的抑制的同时，保留了细节信息。

由于需处理的夜间弱照度雾霾图像无法获取相应的真实图像，故本专利采用a.mittal等提出的基于自然场景统计的无参考图像质量评价算法(niqe)，该算法通过计算失真图像与无失真图像的多元高斯模型距离来衡量图像质量。niqe值越低，图像质量越高，越接近自然图像。

表1列出了niqe算法对弱照度雾霾图像复原结果的评价。由于无法获取鲁、杨的源程序，得不到图7的复原结果，表1中对应的niqe值用“-”代替。本专利复原结果的niqe平均值比zhang的方法低了1.996，比liyu的方法低了0.5515，表明本专利所提方法的复原结果大多数情况下具有更好的效果。

表2给出了niqe算法对弱照度无雾图像、逆光图像增强的客观统计结果。本专利增强结果的niqe平均值比fu的方法低了0.4267，比guo的方法低了0.3564，表明本专利所提方法的增强结果大多数情况下具有更好的效果。

表1.弱照度雾霾图像复原结果的质量对比(niqe)

表2.弱照度无雾、逆光图像增强结果质量对比(niqe)