结合HE和引导滤波的MSRCR交通图像去雾霾方法与流程
本发明涉及图像处理技术领域，具体涉及一种结合HE和引导滤波的MSRCR交通图像去雾霾方法。
背景技术：
近年来，环境污染日益严重，导致雾霾天气经常出现，这严重影响人们的日常生活。雾霾是由于大气中悬浮的大量微小水滴、气溶胶的散射作用，致使大气能见度严重下降的现象[1]。在实际应用中，比如军事技术，交通，法庭取证，甚至气象学，天文学，经常需要从户外视频序列中提出图像特征。因此，图像去雾已经成为了一个紧迫而实用的研究课题。而去雾后的图像因看上去更令人满意，包含更多的信息，所以能被广泛地用在许多领域。例如，去雾后图像在计算机视觉中是一个有效的数据源。在图像处理中，图像去雾被当作一个预处理方法。例如，Gibson等[2]调查了去雾对监测系统图像和视频编码的影响；王等[3]用去雾后图像提高了图像相关排序和图像、视频注释的准确性；而且，高等[4]用去雾图像进行了三维目标检索和识别。因此，从被雾损坏的图像中恢复真实图像有重要的学术和应用意义。雾霾使交通监控设备采集到的图像发生退化，这给交通的监控管理带来困难，严重影响道路交通行车安全。因此，对雾霾天气引起的交通监控图像退化进行恢复研究具有重大意义。
图像去雾就是指用特定的方法和手段，使空气中悬浮微粒对图像的不良影响降低甚至消除[5]。目前的雾霾图像清晰化处理有很多方法，主要可以分为两大类:第一类是基于物理模型的方法，这种方法通过研究大气悬浮微粒对光的散射作用，建立大气散射模型,解读图像退化的物理机理，然后反演复原出未降质前的图像[6]。这是一类专门针对雾天图像的图像复原方法，复原出来的图像图像真实，接近降质前的图像，图像信息得到较完整的保存。第二类是基于图像增强的方法，这类方法是使用图像增强的方法对被降质的图像进行增强,改善图像的质量。这类方法能有效地提高雾霾图像的对比度，突出图像中的某些细节。
基于图像增强的方法主要有两种：一种是直方图均衡化方法，一种是Retinex方法[7]。直方图均衡化是一种较成熟的算法，实现也比较简单，常用于增强对比度,而雾霾图像具有较窄的集中式单峰直方图，对比度低，因此可以用直方图均衡化方法使其成为直方图分布均匀的形式,扩大图像动态范围，从而增强对比度，但这会损失部分细节。Retinex算法对图像进行增强，可以显著提高暗区域的细节，但是会产生泛白、颜色失真和对比度低的现象。
技术实现要素：
针对现有技术的不足，本发明旨在提供一种结合HE和引导滤波的MSRCR交通图像去雾霾方法，首先将图像分别进行HE和MSRCR增强，其中MSRCR增强用具有平滑保边功能的引导滤波替换高斯函数估计光照分量，然后对增强后的两幅图像按照一定的图像融合规则进行加权融合。
为了实现上述目的，本发明采用如下技术方案：
一种结合HE和引导滤波的MSRCR交通图像去雾霾方法，包括如下步骤：
S1采用基于引导滤波的MSRCR算法对原始图像进行处理，即：
其中，I(x,y)为原始图像，(x,y)为原始图像的像素坐标；N为引导滤波的滤波半径的尺度总数，fn[I(x,y)]为原始图像第n个尺度下的引导滤波函数；ωn为第n个尺度的结果的权数，满足归一化条件其中：
fn[I(x,y)]＝akI(x,y)+bk；
bk＝μ(1-ak)；
wk为滤波窗口，k为滤波窗口wk的中心像素，ak和bk为滤波窗口wk中的线性因数，在一个窗口中为固定值；μk分别为滤波窗口wk中I(x,y)的方差与均值，ε为平滑因子；原始图像I(x,y)作为引导图像；
S2采用直方图均衡化的方法对原始图像I(x,y)进行处理；
S3将步骤S1处理得到的图像和步骤S2处理得到的图像进行融合，得到最终的处理图像。
需要说明的是，步骤S2中，具体以图像各灰度级概率的累积分布函数作为变换函数，累积分布函数表示为：
其中，0，1，2，...，L-1表示灰度级范围，rm为变换前的灰度级，T(rm)为变换函数，sm为变换后的灰度级，nj为原始图像中第j级灰度级的像素个数，n为原始图像中像素的总数，pr(rj)为原始图像取第j级灰度值的概率；
步骤S2的输出图像通过所述变换函数将原始图像中灰度级为rm的各像素映射到输出图像中灰度级为Sm的对应像素得到。
需要说明的是，步骤S3中，设A(x,y)表示步骤S2处理得到的图像，R(x,y)表示步骤S1处理得到的图像，则采用下式对步骤S1和步骤S2的图像进行融合：
C(x,y)＝λA(x,y)+(1-λ)R(x,y)；
其中，λ为加权系数，且0≤λ≤1。
进一步需要说明的是，加权系数λ取0.6～0.8。
需要说明的是，步骤S1中，对引导滤波的滤波半径c取大、中、小三个尺度。
进一步需要说明的是，c＜50为小尺度，50≤c<100为中尺度，c≥100为大尺度。
需要说明的是，步骤S1中，ωn＝1/3。
本发明的有益效果在于：
1、为了解决传统Retinex图像增强算法在高对比度边缘区域存在光晕伪影的问题，本发明采用具有平滑保边功能的引导滤波代替传统Retinex算法中的高斯滤波对光照强度进行估计，以消除光晕伪影现象，更好地突出图像细节，提高运算效率，且相比于采用具有边缘保持功能的双边滤波代替Retinex中的高斯滤波作为环绕函数来估计光照分量，效率更高。
2、本发明先用直方图均衡化算法和基于引导滤波的彩色恢复多尺度Retinex算法(MSRCR)分别对图像进行处理，然后把处理后的图像按照一定的比例加权平均之后，融合成新的图像，在一定比例范围之内得到了很好的去雾图像。
附图说明
图1为本发明的原理示意图；
图2为雾霾天气下铁路路口指示灯的原始图像，图3为图2经过直方图均衡化去雾后的图像，图4为图2经过MSRCR算法去雾后的图像，图5和图6分别为图2经过基于双边滤波的单尺度Retinex算法和基于引导滤波的单尺度Retinex算法去雾后的图像，图7为图2经过本发明方法去雾后的图像；
图8为雾霾天气下交警道路指挥的原始图像，图9为图8经过直方图均衡化去雾后的图像，图10为图8经过MSRCR算法去雾后的图像，图11为图8经过基于双边滤波的单尺度Retinex算法去雾后的图像，图12为图8经过基于引导滤波的单尺度Retinex算法去雾后的图像，图13为图8经过本发明方法去雾后的图像；
图14为雾霾天气下车辆行驶的原始图像，图15为图14经过直方图均衡化去雾后的图像，图16为图14经过MSRCR算法去雾后的图像，图17和图18分别为图14经过基于双边滤波的单尺度Retinex算法和基于引导滤波的单尺度Retinex算法去雾后的图像，图19为图14经过本发明方法去雾后的图像。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
如图1所示，一种结合HE和引导滤波的MSRCR交通图像去雾霾方法，包括如下步骤：
S1采用基于引导滤波的MSRCR算法对原始图像进行处理，即：
其中，I(x,y)为原始图像，(x,y)为原始图像的像素坐标；N为引导滤波的滤波半径的尺度总数，fn[I(x,y)]为原始图像第n个尺度下的引导滤波函数；ωn为第n个尺度的结果的权数，满足归一化条件其中：
fn[I(x,y)]＝akI(x,y)+bk；
bk＝μ(1-ak)；
wk为滤波窗口，k为滤波窗口wk的中心像素，ak和bk为滤波窗口wk中的线性因数，在一个窗口中为固定值；μk分别为滤波窗口wk中I(x,y)的方差与均值，ε为平滑因子；原始图像I(x,y)作为引导图像；
S2采用直方图均衡化的方法对原始图像I(x,y)进行处理；
S3将步骤S1处理得到的图像和步骤S2处理得到的图像进行融合，得到最终的处理图像。
需要说明的是，步骤S2中，具体以图像各灰度级概率的累积分布函数作为变换函数，累积分布函数表示为：
其中，0，1，2，...，L-1表示灰度级范围，rm为变换前的灰度级，T(rm)为变换函数，sm为变换后的灰度级，nj为原始图像中第j级灰度级的像素个数，n为原始图像中像素的总数，pr(rj)为原始图像取第j级灰度值的概率；
步骤S2的输出图像通过所述变换函数将原始图像中灰度级为rm的各像素映射到输出图像中灰度级为Sm的对应像素得到。
需要说明的是，步骤S3中，设A(x,y)表示步骤S2处理得到的图像，R(x,y)表示步骤S1处理得到的图像，则采用下式对步骤S1和步骤S2的图像进行融合：
C(x,y)＝λA(x,y)+(1-λ)R(x,y)；
其中，λ为加权系数，且0≤λ≤1。
进一步需要说明的是，加权系数λ取0.6～0.8。
需要说明的是，步骤S1中，对引导滤波的滤波半径c取大、中、小三个尺度。
进一步需要说明的是，c＜50为小尺度，50≤c<100为中尺度，c≥100为大尺度。
需要说明的是，步骤S1中，ωn＝1/3。
以下将对本发明作进一步的详细描述。
Reninex理论是由Edwin Land根据人类视觉系统的颜色恒常性提出来的，色彩恒常的含义是人眼对物体色彩的感知与物体表面的光反射特性有关,而与实际到达人眼的光谱关系不大,这使人眼能够获得对物体色彩稳定的视觉而不受环境光的光谱成分变化所影响。Reninex理论认为一幅图像可由照度分量和反射分量表示，表示关系为
I(x,y)＝L(x,y)R(x,y)；
其中，I(x,y)为原图像，L(x,y)为照度分量，R(x,y)为反射分量。其中，反射分量代表频域中的高频成分，取决于物体表面的特性，不同物体表面材质的反射率差异很大。照度分量代表频域中的低频成分，因为照度分量强度一般变化缓慢。
Retinex算法是一种用于消除由光照变化给图像带来的负面影响的图像增强算法。雾霾天气下,大气散射粒子对图像的影响可以近似等效为照度分量L(x,y)的变化,而景物的原貌则是反射分量R(x,y)。因此,Retinex图像增强算法可用于把有雾霾图像中的照射分量L(x,y)和反射分量R(x,y)分离,消除以雾气为主的照度分量对图像的影响,复原景物的原貌。
Jobson等在Land提出的中心/环绕Retinex的基础上,确定了高斯函数,提出了单尺度Retinex算法(Single scale Retinex,SSR)，该算法可表示为
R(x,y)＝logI(x,y)-log[F(x,y)*I(x,y)]；
其中，I(x,y)和R(x,y)分别为Retinex算法处理前后的图像；F(x，y)是高斯环绕函数，c为滤波半径,K为常数,由归一化条件∫∫F(x,y)dxdy＝1来确定。
为了解决SSR中确定的尺度无法同时做到细节增强和得到较好的颜色保真度的问题,Rahman等又把此算法扩展到多尺度,提出了多尺度Retinex(Multiple scale Retinex,MSR)算法。MSR算法可表示为
其中,N为尺度总数,ωn为第n个尺度的结果的权数,满足归一化条件
仅利用单尺度Retinex算法对图像进行增强不能实现细节增强和较好颜色保真度之间的平衡，多尺度Retinex算法能够改善这一问题[9]。故应利用多尺度Retinex模型对大、中、小尺度下SSR结果进行综合，从而充分地融合不同尺度下的优点，使多尺度反射结果获得细节保持和较好保真度相平衡的视觉图像。
MSR处理后颜色有失真,主要是处理后图像去饱和,色彩偏灰色调。为此,Rahman等和Jobson等又提出了色彩恢复多尺度Retinex(Multiple scale Retinex with color restoration,MSRCR)算法，引入彩色恢复因子来补偿颜色失真。算法表达式为
RMSRCR(x,y)＝Ci(x,y)RMSR(x,y)；
其中，RMSR(x,y)为MSR算法的结果，Ci(x,y)为彩色恢复因子，其表达式为
其中：α与β为调节参数，Ii(x,y)为原始图像在i颜色通道的分布。
本发明基于色彩恢复多尺度Retinex算法(MSRCR)对交通雾霾图像进行处理。
为了解决传统Retinex图像增强算法在高对比度边缘区域存在光晕伪影的问题，本发明采用具有平滑保边功能的引导滤波代替传统Retinex算法中的高斯滤波对光照强度进行估计，以消除光晕伪影现象，更好地突出图像细节，提高运算效率。
针对传统Retinex图像增强算法在高对比度边缘区域存在光晕伪影的现象的问题，目前常见的方法是采用具有边缘保持功能的双边滤波代替Retinex中的高斯滤波作为环绕函数来估计光照分量[10]，虽然双边滤波在平滑的同时可以有效地保留图像细节信息，但其时间复杂度较高，当滤波窗口半径较大或处理大分辨率图像时计算时间会很长。本发明采用同样具有平滑与保边功能的线性引导滤波代替Retinex中的高斯滤波估计照度分量，相比采用双边滤波估计照度分量效率较高。
引导滤波是一种边缘保持平滑滤波器，它可以实现图像细节增强以及图像融合去噪等功能，是一种功能强大的滤波器。它的原理是通过一幅引导图像I对输入图像p进行滤波，输出的图像q在保留输入图像整体特征的同时，能充分获取引导图像的变化细节。引导滤波可以表示为局部线性模型：
式中wk为滤波窗口；I为引导图像；qi为图像I窗口wk中i像素处的线性变换灰度值；k为窗口wk的中心像素；ak和bk为窗口中的线性因数，在窗口中为固定值。局部线性系数ak和bk采用以下方式求解：
式中N为窗口wk中的像素数，μk分别为窗口wk中I的方差与均值；为窗口中p的均值。
本发明中令引导图像I和输入图像p相同，则上式写为：
bk＝μ(1-ak)；
本发明根据彩色恢复多尺度Retinex模型对引导滤波的滤波半径取低、中、高三个尺度，基于引导滤波的MSRCR算法的求解公式可表示为
其中,N为尺度总数,fn为第n个尺度下的引导滤波函数。ωn为第n个尺度的结果的权数,满足归一化条件
于Retinex的算法对光照变化引起质量问题的图像具有非常好的处理效果，但会降低图像的对比度，而直方图均衡可以有效地增强图像的对比度，如果找到一种最佳的融合算法，把经过直方图均衡增强后的去雾图像与经过改进的Retinex算法增强后的去雾图像进行融合，就会获得非常好的图像。
图像融合的目的是综合同一个场景的多个算法结果图像的信息，使合成后的图像具有更多的信息，更易于人类视觉系统或计算机视觉系统的理解，以便更好地进行后续处理。根据处理图像的表征层不同，图像融合技术一般可分为像素级融合、特征级融合和决策级融合[11]。一般像素级图像融合比较直观,处理后可使观察者更加容易地识别出潜在的目标。常用的像素级图像融合方法有平均和加权平均，平均是直接将两幅图像在空域内进行算术平均处理，这种平均可以提高图像的信噪比，但降低了图像的对比度；加权平均则是依据不同图像的质量，给出一组最佳的加权系数，然后对它们进行加权平均处理，加权平均是一种简单的多幅图像融合方法，也就是对多幅原图像的对应像素点进行加权平均。
本发明先用直方图均衡化算法和基于引导滤波的彩色恢复多尺度Retinex算法分别对图像进行处理，然后把处理后的图像按照一定的比例加权平均之后，融合成新的图像，在一定比例范围之内得到了很好的去雾图像。
设A(x,y)表示经过HE算法处理后的图像，B(x,y)表示经过基于引导滤波的彩色恢复多尺度Retinex算法处理后的图像，则加权平均图像融合算法可表示为
C(x,y)＝λA(x,y)+(1-λ)B(x,y)；
其中，λ为加权系数，且0≤λ≤1。通过对大量图像进行测试实验，得出加权系数λ最佳取值范围为0.6～0.8。
以下将通过实验对本发明的性能作进一步的分析。
在操作系统为Windows7，处理器主频为2.5GHz，内存为4G的PC上，采用Matlab 2014a软件平台实现本发明方法。
分别从主观视觉图像和客观质量评价两方面对其进行验证。
本发明将与具有增强对比度功能的直方图均衡化、具有颜色保真功能的MSRCR算法、基于双边滤波的单尺度Retinex算法(B-SSR)和基于引导滤波的单尺度Retinex算法(G-SSR)进行比较。
本发明把有雾交通图像归类为道路车辆交通图像、交通指示灯图像和交警指挥图像，并分别对其进行对比分析。相关参数的设置如下：(1)MSRCR的尺度参数设置为50，120，200。(2)B-SSR算法的双边滤波参数设置为w＝15，σS＝100，σR＝0.3。(3)G-SSR算法的滤波半径为120，参数ε设置为0.01。
(4)本发明方法多尺度的尺度参数设置为50,120,200。
3.1定性分析
实验1为交通指示灯图像的去雾效果。图2为雾霾天气下铁路路口指示灯图像，该图像大小为341×512。图3为经过直方图均衡化去雾后的图像，可以明显看到火车头前照灯曝光严重，图像前景部分偏暗。图4为经过MSRCR算法去雾后的图像，火车头前照灯及火车前方周围草木颜色有失真。图5、图6分别为基于双边滤波的单尺度Retinex算法和基于引导滤波的单尺度Retinex算法去雾后的图像，两种算法相比其他算法去雾量不足。图7为经过本发明方法去雾后的图像，道路指示灯以及火车前方很大范围内都清晰可见。
实验2为交警指挥图像的去雾效果。图8为雾霾天气下交警道路指挥的图像，该图像大小为384×512。图9为经过直方图均衡化去雾后的图像，可明显看出交警眼部上方偏暗，脸部颜色失真。图10为经过MSRCR算法去雾后的图像，交警脸部颜色以及汽车颜色过饱和，图像整体对比度较原图提高幅度较小。图11为基于双边滤波的单尺度Retinex算法去雾后的图像，图像去雾量不足，而且在交警下半身周围出现明显的光晕现象。图12为基于引导滤波的单尺度Retinex算法去雾后的图像，相比于基于双边滤波的单尺度Retinex算法在交警下半身周围出现明显的光晕现象减少很多，说明引导滤波相比双边滤波有更好的边缘保持功能，但仍有些许光晕伪影。而本发明方法去雾后的图像(图13)，较好的去除了雾霾对图像的影响，交警脸部颜色清晰自然，并且消除了光晕伪影。
实验3为道路车辆交通图像的去雾图像。图14为雾霾天气下车辆行驶的图像，该图像大小为400×600。图15为经过直方图均衡化去雾后的图像，道路左边标志牌和草地颜色过饱和。图16为经过MSRCR算法去雾后的图像，道路标志牌、草木以及天空区域颜色严重失真。图17、18分别为基于双边滤波的单尺度Retinex算法和基于引导滤波的单尺度Retinex算法去雾后的图像，图像颜色有些失真。但G-SSR图像的细节要多于B-SSR图像。图19为经过本发明方法去雾后的图像，较好去除雾霾影响的同时保持图像颜色和原图基本一致。
从3个实验中可以看出，相对于其他算法本发明方法对雾霾交通图像能获得很好的去雾效果，去雾后图像清晰自然，具有颜色保真性好，去雾后图像细节突出等特性。
3.2定量分析
为了进一步验证本发明方法的有效性，采用平均梯度、灰度熵、彩色熵以及对比度对本发明方法与直方图均衡化、MSRCR、B-SSR和G-SSR进行对比。而且对本发明方法与MSRCR、B-SSR进行时间复杂度的对比。
平均梯度用于衡量图像的清晰度。灰度熵用于评价图像的细节表现能力，其值越大代表图像中信息越丰富。彩色熵用于评价算法的颜色增强程度。表1、表2、表3分别是对上述实验1、实验2和实验3的客观评价参量的统计。
表1
表2
表3
从表中可以看出，本发明方法有效提高了原始图像的平均梯度、对比度、灰度熵和彩色熵。B-SSR和G-SSR算法处理后的图像对比度过低，甚至低于原始图像对比度。直方图均衡化相对均匀分布像素值，使其有较大的对比度，但其他指标均低于本发明方法，而且彩色熵低于其他算法，甚至低于原图。MSRCR各项指标皆低于本发明方法。表中数据表明本发明方法可以有效提高交通雾霾图像的清晰度和对比度，有更好的细节表现能力和更好的复原颜色能力。证实了本发明方法的有效性和优越性。
为了验证本发明方法的实时性，对实验2的384×512大小的图像用不同算法进行处理，比较时间复杂度的大小，表4为统计结果。
表4
不难发现，本发明方法的运行时间明显优于B-SSR算法，实时性很好。同时也验证了本发明方法选择的引导滤波要比双边滤波的效率高很多。
本发明通过对直方图均衡化和Retinex理论处理效果的特点以及交通雾霾图像特征的分析，提出了一种结合直方图均衡化和多尺度Retinex彩色恢复的交通图像去雾霾算法。为了解决传统Retinex算法处理后图像在高对比度边缘区域会出现光晕伪影现象，提高运算速度，本发明采用引导滤波作为环绕函数估计照度分量。实验结果表明，本算法处理后的交通图像对比度高，图像颜色清晰自然，图像细节突出。
参考文献：
[1]LI Y,MIAO Q,SONG J,et al.Single image haze removal based on haze physical characteristics and adaptive sky region detection[J].Neurocomputing,2016,182(221-234).
[2]K.B.Gibson,D.T.Vo,T.Q.Nguyen,An investigation of dehazing effects on
image and video coding,IEEE Trans.Image Process.21(2)(2012)662–673.
[3]M.Wang,Y.Gao,K.Lu,Y.Rui.View-based discriminative probabilistic
modeling for 3d object retrieval and recognition,IEEE Trans.Image Process.
22(4)(2013)1395–1407.
[4]Y.Gao,M.Wang,Z.J.Zha,J.Shen,X.Li,X.Wu.Visual–textual joint relevance
learning for tag-based social image search,IEEE Trans.Image Process.22(1)
(2013)363–376.
[5]吴迪，朱青松。图像去雾的最新研究进展。2015,41(2)：221-239.
[6]Jin-Bao Wang,Ning He,Lu-Lu Zhang,et al.Single image dehazing with a physical model and dark channel prior.Neurocomputing,2015,149(718-728).
[7]Yifan Wang,Hongyu Wang,Chuanli Yin,et al.Biologically inspired image enhancement based on Retinex.Neurocomputing,2016,177(373-384).
[8]Ning Liu，Dongxue Zhao.Detail enhancement for high-dynamic-range infrared images based on guided image filter.Infrared Physics & Technology,2014,67(138-147).
[9]Haoning Lin,Zhenwei Shi.Multi-scale retinex improvement for nighttime image enhancement.Optik-International Journal for Light and Electron Optics，2014,125(7143-7148).
[10]Yuecheng Li,Hong Zhang,Wenyan Jia,et al.Saliency guided naturalness enhancement in color images.Optik,2016,127(1326-1334).
[11]Shutao Li,Xudong Kan,Leyuan Fang,et al.Pixel-level image fusion:A survey of the state of the art.Information Fusion,2017,33(100-112).
对于本领域的技术人员来说，可以根据以上的技术方案和构思，作出各种相应的改变和变形，而所有的这些改变和变形都应该包括在本发明权利要求的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！