本发明属于恶劣天气下视觉观测技术领域，尤其涉及一种全天时雾霾图像清晰化恢复方法。
背景技术：
随着空气质量的不断恶化，雾霾天气出现的频率大幅增长。户外高分辨率观测设备受天气条件影响较大，雾霾天气使观测能见度显著降低，造成相机或传感器采集到的图像出现质量严重退化，限制了观测活动的时间和空间范围。雾霾天气的出现也造成车辆、行人出行不便，易导致交通事故的发生。
与此同时，随着交通运输、室外监控、侦查等领域的快速发展，对夜晚观测的需求与日俱增。由于夜晚能见度低而导致观测所摄图像不清晰，反映在图像数据上，图像中原本较高灰度值像素被削弱。此外，景物的颜色、对比度等相较于白昼时变化明显，其所蕴含的特征信息被弱化，造成场景目标的可辨识度大大降低。若同时伴随雾霾等恶劣天气，大气透明度进一步降低，对观测活动的影响将更加明显。因而夜晚雾霾条件下图像的清晰化恢复具有重要的现实意义。
当前国内外在图像去雾方面已取得了长足进展，但当前研究很少涉足霾图像的恢复，因为“雾”与“霾”是有本质区别的，雾滴浓度分布不均匀，且雾滴平均直径大于可见光波长，其对光的散射与光波长本身关系不大，因接近均匀散射而呈乳白色或青白色。霾粒子的分布比较均匀，且其平均直径小于可见光波长，这时粒子对光的散射强度严重依赖于光的波长，所以对可见光中短波段部分散射严重。此外，现有图像去雾技术的方法仍存在一定的局限性，即其主要针对白昼图像，在夜晚弱光背景且伴随复杂人造光源干扰的情况下，现有方法不能对该退化图像进行有效恢复。
本发明基于三种经典的理论方法——引导滤波理论、L0范数平滑滤波理论、带彩色恢复的多尺度Retinex理论，结合对雾图像、霾图像、夜晚雾霾图像各自成像特征的研究，提出了一种全天时雾霾图像清晰化恢复方法。
引导滤波理论是由Kaiming He等人提出的，参见：Kaiming He et al.,Guided Image Filtering,IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35:1-4，引导滤波是在双边滤波的基础上发展起来的，是一种新颖的边缘保持滤波器。而L0范数平滑滤波理论是由Li Xu等人提出的，参见：Li Xu et al.,Image Smoothing via L0Gradient Minimization,ACM Transactions on Graphics,2011,30(6):1-11。其通过抑制滤波输出图像中梯度不为0像素的数量，实现对图像纹理轮廓进行平滑滤波的目的。但单纯控制梯度不为0像素的数量，易造成图像重要的边缘轮廓信息的损失，因此还需附加滤波输出图像与原始输入图像具有最大结构相似性的条件。从而使L0范数平滑滤波在平滑图像细节结构的同时，仍能保留原始图像的主干边缘轮廓。
Retinex理论是由E.Land提出的一种颜色恒常的计算理论，Retinex理论认为物体的颜色是由物体对入射光线的反射成分决定的,而不是由反射光的强度决定的。该理论随后进一步发展，从单尺度Retinex算法到多尺度加权平均的Retinex算法，随后Rahman等人将色彩恢复的概念引入，提出了带彩色恢复的多尺度Retinex算法，参见：Rahman Z et al.,Retinex processing for automatic image enhancement,Journal of Electronic Imaging,2004,13(1):100-110；Rahman Z et al.,Investigating the relationship between image enhancement and image compression in the context of the multi-scale retinex,J Vis Commun.Image R,2011,22(3):237-250；Jobson D J,Rahman Z et al.,A multi-scale retinex for bridging the gap between color images and the human observation of scenes,IEEE Transactions on Image Processing,1997,6(7):965-976。
同时，本发明还用到了McCartney提出的大气物理退化模型，Kaiming He等人提出的暗通道运算，参见：Kaiming He et al.,Single Image Haze Removal Using Dark Channel Prior,IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353，以及本申请人在之前文章中提出的天空分割算法，参见：Bo Jiang et al.,Method for Sky Region Segmentation,Electronics Letters,2015,51(25):2104-2106。
在图像去雾领域，McCartney大气物理退化模型I(x)＝J(x)t(x)+A(1-t(x))被广泛使用：其中，I(x)为带雾图像，J(x)为原始无雾图像，A为大气光值，t(x)为大气透射率图，x为对应的像素点。一般地，对于单幅图像I(x)，其暗通道图Idark(x)被定义为：其中Ic(x)为图像I(x)的一个颜色通道，Ω(x)是以像素x为中心的滤波模板。本申请人之前提出的天空分割算法以暗通道运算得到的全局大气光值A为基准，在待分割图像中寻找像素值与A值较接近的像素位置(这里以像素均值为准)，将其作为以A值为基准的天空区域，实现天空的快速有效分割。同时，为防止近处场景像素点的均值也与A值接近而误将其标识为天空区域，故同时在图像暗通道图中也进行比较，即在暗通道图Idark(x)中将各个像素的暗通道值与A点的暗通道值也进行相似度比较。当两种比较都达到一定的相似度水平时才将其标识为天空区域，从而实现图像天空与非天空区域的有效分割。
技术实现要素：
本发明提出了一种全天时雾霾图像清晰化恢复方法，基于非天空区域分割提取输入雾霾图像的边缘轮廓信息，通过L0范数平滑滤波滤除掉图像非主干边缘轮廓以更加准确地估计图像的复杂度，根据不同结构特征的图像自适应确定关键的去雾霾权重系数，根据此权重系数结合优良的引导滤波算法实现原始雾霾图像的增强型恢复处理。对于霾图像而言，依据其自身天空区域保留的自然光经霾粒子散射后的颜色偏移信息，对增强恢复后的霾图像进行额外的颜色校正。此外，对于夜晚所摄图像背景光照弱且伴随复杂人造光源干扰，通过带颜色恢复的多尺度Retinex理论去除掉该图像中的照度层，依据图像反射层而更有效地利用上述的去雾霾恢复方法。最终实现全天时雾霾图像的清晰化恢复处理。具体包括以下步骤：
步骤一，对白昼、夜晚雾霾图像的自动识别：计算所输入雾霾图像的统计直方图，据此来判断输入图像的成像条件。当直方图分布整体位于该直方图的中高像素值区域时，则判断该图像为白昼雾霾图像。反之，若直方图的分布体整体位于低像素值区时，则判断为夜晚雾霾图像；
步骤二，白昼雾或霾图像的识别及夜晚图像去照度：根据步骤一若判断输入图像为白昼雾霾图像，则通过图像暗通道运算搜寻该图像的空间最远像素点，即大气物理退化模型中所述的全局大气光值点A，自动分析其R、G、B三个颜色通道值的比例关系。若R、G、B三通道值分布均衡则判断该图像为雾图像，而R、G、B值比例失衡且明显偏向长波长则判断为霾图像。若为夜晚雾霾图像，通过带颜色恢复的多尺度Retinex理论，将夜晚杂散光干扰下的雾霾图像的照度成分去除，保留反映图像本质属性的反射成分从而实现夜晚雾霾图像的去照度处理；
步骤三，白昼雾霾图像的天空与非天空区域分割：由于一副图像中最主要的边缘轮廓信息都包含在图像的非天空区域中，为了更加准确有效地确定雾霾图像的真实复杂程度，若输入图像为白昼雾霾图像，则根据图像天空区域分割算法，实现白昼图像的天空区域与非天空区域的有效分离，从而为雾霾图像的后续恢复步骤做好前期预处理；
步骤四，图像主干边缘的提取及去雾霾权重系数的确定：对于分割出的白昼图像非天空区域或者夜晚去照度图像，运用L0范数平滑滤波方法对其进行平滑滤波，以滤除掉大量非主干细节结构，保留图像场景的主干轮廓边缘。通过计算该主干结构的像素数量占整体部分的比例，可快速准确地确定待恢复图像关键的去雾霾权重系数τ；
步骤五，基于引导滤波的增强型去雾霾恢复：通过引导滤波这种优良的边缘保持滤波器对原始雾霾图像进行滤波处理，初步将其雾霾成分去除。再将原始雾霾图像与滤波后图像作差，将该差值线性增大τ倍后叠加在滤波后图像之上，从而实现简单高效的去雾霾恢复处理；
步骤六，霾图像的颜色偏移校正：对于霾图像而言，由于其存在较严重的颜色畸变，所以需要进行额外的颜色偏移校正。本发明所用的校正信息全部来自于待处理图像本身，因而对各种不同图像具有更好的适用性。在提取出的原始霾图像的天空区域中，利用暗通道运算寻找图像的全局大气光值点A，在去霾后图像的R、G、B三个颜色通道上，分别按一定比例剔除掉A点对应R、G、B值，因为全局大气光值点A代表了图像最原始颜色偏差信息，再对校正后的霾图像给予简单的亮度增强，最终实现霾图像的清晰化恢复。
进一步，步骤二中判断图像属性的方法为：
基于所确定的白昼雾霾图像的全局大气光值点A，通过对雾和霾图像A点的R、G、B三通道信息进行大量的统计比较，得出以下结论；对于普通霾图像而言，其R、G、B三通道值中R>G>B且R:B接近于2:1；而对普通雾图像而言，R、G、B三通道的比值接近于1:1:1。因为一幅图像中全局大气光值点为图像在最大景深点，因而其理应位于图像的天空区域中。基于所定位的天空区域中全局大气光值带点，根据以上结论对其R、G、B三通道值进行分析判断，便可自动判断出输入的降质白昼图像是雾图像还是霾图像。
进一步，所述步骤四中自适应计算去雾霾权重系数的方法为：
对白昼图像非天空区域或夜晚去照度图像进行L0范数平滑滤波，从而得到图像的主干轮廓边缘图，若用P表示主干轮廓边缘像素占白昼图像非天空区域或整个夜晚去照度图像的比例，则自适应去雾霾权重系数τ可以通过τ＝K*(1-P)计算得到，其中K为常数。根据工程经验对于霾图像K值一般取4或5，而对于雾图像K值需适当增大。若比例系数P较大说明图像的轮廓结构较复杂，若采用较大尺度的去雾霾权重系数易产生增强过度现象；而当该比例系数P较小时说明图像本身结构特征简单，进行较大尺度的增强易得到较好的恢复效果。为避免一些特殊图像所确定的去雾霾权重系数过大或过小，一般可将参数τ的取值限定在一定范围内。
进一步，步骤五通过引导滤波实现雾霾图像的清晰化恢复的方法为：
基于引导滤波的增强型去雾霾恢复，通过引导滤波这种优良的边缘保持滤波器对原始雾霾图像I进行滤波处理，初步将其雾霾成分去除。同时为了补偿滤波引起的图像中边缘等区域的弱化，将原始雾霾图像I与滤波后图像q作差(I-q)，该差值即是图像轮廓边缘的代表，将该差值线性增大τ倍后叠加在滤波后图像q之上，从而实现简单高效的图像去雾霾处理，这里τ为步骤四所确定的去雾霾权重系数。
本发明对于白昼雾霾图像而言，待滤波图像I为输入的原始图像；而对于夜晚雾霾图像而言，将其经过带颜色恢复的多尺度Retinex算法后得到相应的去照度图像，基于该去照度图像来计算去雾霾权重系数τ，而待滤波图像I为原始夜晚雾霾图像，从而保证清晰化恢复后的图像和原始图像具有相似的背景光照条件。
附图说明
图1是本发明实施例提供的全天时雾霾图像清晰化恢复方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明的应用原理作详细描述。
如图1所示，本发明实施例提供的全天时雾霾图像清晰化恢复方法包括如下步骤：
步骤1，计算输入雾霾图像的统计直方图，当统计直方图分布整体位于图像中高像素值区域时，则判断为白昼雾霾图像。反之，若直方图的分布体整体位于低像素值区时，则判断为夜晚雾霾图像；
步骤2，根据步骤一对白昼和夜晚雾霾图像的判断，若为白昼雾霾图像，通过图像暗通道运算搜寻该图像中大气物理退化模型中所述全局大气光值点A，自动分析其R、G、B三个颜色通道值的比例关系。若R、G、B三通道值分布均衡则判断该图像为雾图像，而R、G、B值比例失衡且明显偏向长波长则判断为霾图像。
若为夜晚雾霾图像，通过带颜色恢复的多尺度Retinex理论，去除夜晚杂散光干扰下的雾霾图像的照度成分，保留反映图像本质属性的反射成分从而实现夜晚雾霾图像的去照度处理。因为夜晚环境中的主要背景光照主要为非自然光，如路灯、霓虹灯等，所以雾和霾的散射特性较白昼时差异较小，所以对于夜晚图像不再进行雾图像和霾图像的区分处理；
步骤3，普通自然图像最重要的边缘轮廓信息都包含在其非天空区域中，为了更加准确地确定雾霾图像的真实复杂程度，以及进一步降低算法的复杂度以求能够实用化，若输入图像为白昼雾霾图像，则根据申请人之前所发表文章中提及的图像天空区域分割算法，实现白昼图像的天空区域与非天空区域的有效分离，为后续清晰化步骤做好前期准备；
步骤4，对于分割出的白昼图像非天空区域或夜晚去照度图像，运用L0范数平滑滤波算法对其进行处理，以滤除掉大量非主干细节结构，保留图像场景的主干轮廓边缘。在此基础上，通过计算该主干结构的像素数量占整体部分的比例，可更准确地确定待恢复图像的真实复杂度，进而计算关键的去雾霾权重系数τ；
步骤5，通过引导滤波这种优良的边缘保持滤波器对原始雾霾图像进行滤波处理，初步将其雾霾成分去除。再将原始雾霾图像与滤波后图像作差，将该差值线性增大τ倍后叠加在滤波后图像之上，从而实现简单高效的去雾霾恢复处理。不论是之前确定的雾图像、霾图像、夜晚图像，通过引导滤波L0范数平滑滤波这两种优良的滤波器的结合，可实现对人眼辨识场景起关键作用的图像主干轮廓边缘信息的提取，在保证较好图像去霾效果的同时，自适应地兼顾细节恢复过度或不足的问题；
步骤6，对于霾图像而言，还需要进行额外的颜色偏移校正。本发明用以进行颜色偏移校正的信息全部来自于待处理图像本身，因而对各种不同图像具有更好的适用性。在提取出的原始霾图像的天空区域中，利用暗通道运算寻找图像的全局大气光值点A，在去霾后图像的R、G、B三个颜色通道上，分别按一定比例剔除掉A点对应R、G、B值，这是因为全局大气光值点A代表了图像最原始颜色偏差信息。但这种基于霾图像的颜色校正方法，易导致霾图像整体亮度的衰减，因此需进行适当的亮度补偿，最终可恢复出高质的无霾清晰图像。
进一步，所述步骤2中判断图像属性的方法为：
基于所确定的白昼雾霾图像的全局大气光值点A，通过对雾和霾图像A点的R、G、B三通道信息进行大量的统计比较，得出以下结论；对于普通霾图像而言，其R、G、B三通道值中R>G>B且R:B接近于2:1；而对普通雾图像而言，R、G、B三通道的比值接近于1:1:1。通过确定输入图像的全局大气光值点A，根据以上结论对其R、G、B三通道值进行分析判断，便可自动判断出输入的降质白昼图像是雾图像还是霾图像；
进一步，所述步骤4中自适应计算去雾霾权重系数的方法为：
利用L0范数平滑滤波对白昼图像非天空区域或夜晚去照度图像进行预处理，得到滤除掉图像细小纹理结构后的图像，该图像包含了大部分图像的主干轮廓边缘。若用P表示主干边缘像素占白昼图像非天空区域或整个夜晚去照度图像的比例，则去雾霾权重系数τ可以通过τ＝K*(1-P)计算得到，其中K为常数且τ∈[2,6]。对于霾图像K值一般取4或5，而对于雾图像K值可适当增大。若该比例系数P较大说明图像的轮廓结构较复杂，图像清晰化恢复需采用较小尺度的去雾霾权重系数；而当该比例系数P较小时说明图像本身结构特征简单，进行较大尺度的增强易得到较好的恢复效果。为避免一些特殊图像所确定的去雾霾权重系数过大或过小，一般可将参数τ的取值限定在[2,6]；
进一步，所述步骤5通过引导滤波实现雾霾图像的清晰化恢复的方法为：
通过引导滤波这种优良的边缘保持滤波器对原始雾霾图像I进行滤波处理，初步将其雾霾成分去除。同时为了补偿滤波引起的图像中边缘等区域的弱化，将原始雾霾图像I与滤波后图像q作差(I-q)，该差值近似代表图像中轮廓边缘，将该差值线性增大τ倍后叠加在滤波后图像q之上，从而实现简单高效的增强型图像去雾霾处理，其中τ为步骤4所确定的去雾霾权重系数。
本发明对于白昼雾霾图像而言，待滤波图像I即为输入的原始图像；而对于夜晚雾霾图像而言，其经过带颜色恢复的多尺度Retinex算法后得到相应的去照度图像，用以更加准确地计算去雾霾权重系数τ，而待滤波图像I仍选择原始夜晚雾霾图像，这样可保证恢复后的图像和原始图像具有相似的背景光照条件，从而在视觉效果上更加自然。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。