彩色雾霾图像去雾与光照补偿的复原方法
【专利摘要】本发明公开一种彩色雾霾图像去雾与光照补偿的复原方法，主要解决现有技术存在复原结果颜色失真、光晕伪影和偏暗的问题。其实现步骤是：用雾霾图像I(x,y)的暗通道图像D(x,y)初步估计大气幕图像；对暗通道图像作灰度开运算，得到大气幕图像粗估计图像D′(x,y)；以暗通道图像为引导图像，对大气幕图像粗估计图像进行引导滤波，得到大气幕图像V(x,y)；将雾霾图像与大气幕图像做差，得到残差图像E(x,y)；对残差图像的亮通道图像B(x,y)进行灰度闭运算，得到光照分量图像粗估计图像B′(x,y)；以亮通道图像为引导图像，对光照分量图像粗估计图像进行引导滤波，得到光照分量图像L(x,y)；将光照分量图像代入光照-反射成像模型中，求解得到复原结果。本发明无需计算环境光、透射率，可稳定复原出清晰图像。
【专利说明】彩色雾霾图像去雾与光照补偿的复原方法
【技术领域】
[0001]本发明属于图像处理领域，特别涉及图像的复原方法，可广泛用于图像目标检测、识别、跟踪的预处理。
【背景技术】
[0002]在雾霾天气条件下，大气中气溶胶等微粒的散射作用，导致采集到的图像对比度降低，颜色失真；同时，在雾霾条件下，光源变化、物体阴影覆盖、曝光不足等因素会使场景光照不足，进一步导致采集到的图像整体或局部偏暗，视见度下降，细节模糊。总之，严重降质的雾霾图像干扰了图像信息的辨识及后续的图像分析。近年来，雾霾图像的复原问题受到学术界的广泛关注。
[0003]在雾疆图像复原方法研究方面，Tan(Tan K, Oakley P J.Physics-based approachto color image enhancement in poor visibility conditions[J].0ptical Societyof America, 2001, 18(10):2460-2467.)对雾霾图像的局部对比度进行最大化，但其复原结果存在颜色失真与光晕伪影。Fattal (Fattal R.Single image dehazing [J].ACM Transactions on Graphics, 2008, 27 (3): 1-9.)采用 ICA 方法和 MRF 模型来复原图像，该方法无法处理灰度图像与雾霾严重的图像。何恺明(He KaiMing, Sun Jian, TangXiaoou.Single image haze removal using dark channel prior[C].In:Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition Miam1.USA:1EEE, 2009.1956-1963.)通过暗影通道估计场景物体的深度信息，但在场景存在大面积白色区域或没有颜色鲜艳物体的情况下，该方法就会失效。Tarel (Tarel JP, Hautiere N.Fast visibility restoration from a single color or gray levelimage[C].In:Proceedings of thel2th IEEE International Conference on ComputerVision Kyot0.Japan:1EEE, 2009.2201-2208.)方法将最小值滤波与中值滤波相结合，对颜色鲜艳的图像有较好复原效果，但不恰当的参数易引起光晕伪影，同时伴有颜色的失真° Jobson 等人(Jobson, Daniel J.，Zia-ur Rahman, and Glenn A.Woodel1.multiscale retinex for bridging the gap between color images and the humanobservation of scenes.^Image Processing, IEEE Transactions on6.7 (1997):965-976.Rahman, Zia-ur, Daniel J.Jobson, and Glenn A.Woodell."Retinex processing forautomatic image enhancement.^Journal of Electronic Imagingl3.1(2004):100-110.)提出单尺度、多尺度和多尺度颜色恢复三种基于Retinex理论的方法。单尺度Retinex (SSR, Single Scale Retinex)方法的效果易受尺度常数大小影响,颜色易失真；多尺度Retinex (MSR, Mult1-Scale Retinex)方法可能会导致光晕伪影且运算量大；多尺度Retinex颜色恢复方法(MSRCR, Multi Scale Retinex with Color Rendetion)方法对违反灰度世界假设的 图像进行了颜色恢复，但颜色修正效果并不明显。Kimmel (Kimmel, Ron, etal.〃A variational framework for retinex."International Journal of ComputerVision52.1 (2003):7-23.)将已有的多种Retinex方法规范成统一的变分形式，虽然运算复杂度减小，但易使阴影边界模糊，产生光晕伪影。
[0004]以上雾霾图像复原方法虽然对雾霾降质图像有一定的复原效果，但普遍存在颜色失真、光晕伪影、图像偏暗等缺点，导致后续的目标检测、识别、跟踪等处理无法正常进行。
【发明内容】
[0005]本发明的目的在于针对上述已有技术的不足，对雾霾图像的复原原理深入剖析，并严格推导出光学模型中各个参量的求解方法，提出一种彩色雾霾图像去雾与光照补偿的复原方法，以减小颜色失真，避免光晕伪影，提高雾霾图像的清晰度。
[0006]实现本发明目的的技术思路是:基于大气散射物理模型和光照-反射成像模型等光学模型，无需求解环境光与透射率，通过简单的方法有效地获取大气幕、光照分量等信息，进一步求解场景物体的反射分量，去除雾霾和光照对成像过程的影响。其具体步骤包括如下:
[0007](I)从雾霾图像库或通过数字成像设备拍摄获得由大气散射所形成的单幅雾霾图像 I(x，y):1(x，y)=IQ(x，y)t(x，y)+A(l-t(x，y)),其中(x, y)是雾霾图像中任一像素的坐标，10 (x, Y)是无雾霾的图像，t(x, y)是透射率图像，A是环境光，10 (x, y)t(x, y)为残差图像，用E(x，y)表示，它代表场景中物体被动成像的特性，A(l-t(x, y))为大气幕图像，用V(x, y)表示，它代表环境光对场景物体被动成像的影响；
[0008](2)求取雾霾图像I (X，y)每个像素在红绿蓝RGB颜色空间下的RGB三通道灰度最小值，获得暗通道图像D (x, y)，并将暗通道图像作为大气幕图像的初步估计图像；
[0009](3)对暗通道图像D(x，y)进行灰度开运算，得到大气幕图像的粗估计图像Di (x, y)；
[0010](4)用暗通道图像D(x，y)作为引导滤波器的引导图像，通过引导滤波器对大气幕图像的粗估计图像D' (x, y)进行保边平滑滤波，得到大气幕图像V(X，y)；
[0011](5)将雾霾图像I(x，y)与大气幕图像v(x，y)相减,去除环境光对场景中物体被动成像的干扰，得到残差图像E(x，y)；
[0012](6)根据残差图像E(x，y)表示场景中物体被动成像的特性，将其用光照_反射成像模型表示:E(x, y)=L(x, y)R(x, y),其中L(x, y)是光照分量图像，R(x，y)是反射分量图像；
[0013](7)求取残差图像E(x，y)每个像素在红绿蓝RGB颜色空间下的RGB三通道灰度最大值，获得亮通道图像B (X，y)，并将亮通道图像作为光照分量图像L(x，y)的初步估计图像；
[0014](8)对亮通道图像B(x，y)进行灰度闭运算，得到光照分量图像L(x，y)的粗估计图像 B' (X，y)；
[0015](9)用亮通道图像B(x，y)作为引导滤波器的引导图像，通过引导滤波器对光照分量图像的粗估计图像B' (x, y)进行保边平滑滤波，得到光照分量图像L(x，y)；
[0016](10)将光照分量图像L(x，y)代入光照-反射成像模型，求解残差图像E(x，y)在红绿蓝RGB颜色空间中RGB各通道的反射分量图像Re (X，y)，将反射分量图像Re(x，y)中每一个像素的灰度值扩展至区间[0，255]，得到的彩色图像即最终复原结果，其中c G {R, G, B} ο[0017]本发明具有如下优点:
[0018]1.由于本发明将光照-反射成像模型与大气散射模型相结合，将雾霾去除与光照补偿统一至一个框架内，所以更加全面地描述了雾霾图像的物理成因；
[0019]2.由于本发明不需要求解环境光，避免了不准确的环境光对复原结果的影响，能够稳定地再现雾霾图像的色彩与细节；
[0020]3.由于本发明利用引导滤波器准确地对大气幕图像与光照分量图像等模型参量进行求解，故有效避免现有方法中的光晕伪影；
[0021]4.由于本发明求解的残差图像去除了环境光对场景物体被动成像的干扰，并且通过计算残差图像的反射分量来获得清晰的场景图像，即在去雾的同时也对场景光照进行了补偿，所以复原结果的颜色自然真实。
【专利附图】
【附图说明】
[0022]图1是本发明的实现流程图；
[0023]图2是现有大气散射模型示意图；
[0024]图3是现有光照-反射成像模型示意图；
[0025]图4是用本发明对train图像进行复原过程中的相关结果图像；
[0026]图5是用本发明和现有的Jobson、何丨岂明、Fattal方法对grass和fireworks雾霾图像的复原结果对比图；
[0027]图6是用本发明和现有的Fattal、Tan、Koef、Tarel、何恺明、A.K方法对yl6雾霾图像的复原结果对比图；
[0028]图7是用本发明和现有的Fattal、Tan、Koef、Tarel、何恺明、A.K方法对y01雾霾图像的复原结果对比图；
[0029]图8是用本发明和现有的Fattal、Tan、Koef, Tarel、何恺明、A.K方法对nyl7雾霾图像的复原结果对比图。
【具体实施方式】
[0030]以下参照附图对本发明做进一步地详细描述。
[0031]参照图1，本发明的实现步骤如下:
[0032]步骤一,获得单幅雾霾图像I (X，y)。
[0033]从雾霾图像库或通过数字成像设备拍摄获得一幅如图4(a)所示的雾霾图像I (X，y)，利用大气散射模型将该雾霾图像I (X，y)表示为:
[0034]I (x, y) =10 (x, y) t (x, y) +A (l~t (x, y)) 〈I〉
[0035]其中(x，y)是雾霾图像I(x，y)中任一像素的坐标；I。(x，y)是无雾霾的图像；t (x, y)是透射率图像，且0〈t (x, y)〈I ；A是环境光，其包括阳光、地面反射光和天空漫反射光；10(1，7)1(1，7)为残差图像，用E(x，y)表示，它代表场景中物体被动成像的特性；A(l-t(x, y))为大气幕图像，用V (x，y)表示，它代表环境光对场景物体被动成像的影响；大气散射模型的示意图，
[0036]如图2所示。
[0037]雾霾图像I (X，y)具有对比度低、颜色失真、细节模糊不清、光照不足等特点。[0038]步骤二，求取雾霾图像I (X，y)每个像素在红绿蓝RGB颜色空间下的RGB三通道灰度最小值，获得暗通道图像D (X，y)，并将其作为大气幕图像V(X，y)的初步估计图像。
[0039]2.1)遍历雾霾图像I (X，y)的每一个像素，对其在红绿蓝RGB颜色空间下的RGB
三通道灰度值做最小值运算，最终结果用
【权利要求】
1.一种彩色雾霾图像去雾与光照补偿的复原方法，包括如下步骤: (1)从雾霾图像库或通过数字成像设备拍摄获得由大气散射所形成的单幅雾霾图像I (x, y):1 (X，y)=IQ(x, y)t(x, y)+A(l-t(x, y)),其中(x, y)是雾霾图像中任一像素的坐标，10 (χ> y)是无雾霾的图像，t (x, y)是透射率图像，A是环境光，10 (x, y) t (x, y)为残差图像，用E(x，y)表示，它代表场景中物体被动成像的特性，A(l_t(x，y))为大气幕图像，用V(x，y)表示，它代表环境光对场景物体被动成像的影响； (2)求取雾霾图像I(X，y)每个像素在红绿蓝RGB颜色空间下的RGB三通道灰度最小值，获得暗通道图像D (x, y)，并将暗通道图像作为大气幕图像的初步估计图像； (3)对暗通道图像D(x，y)进行灰度开运算，得到大气幕图像的粗估计图像D'(x, y)； (4)用暗通道图像D(x，y)作为引导滤波器的引导图像，通过引导滤波器对大气幕图像的粗估计图像D' (x，y)进行保边平滑滤波，得到大气幕图像V(x，y)； (5)将雾霾图像I(x，y)与大气幕图像V(x，y)相减，去除环境光对场景中物体被动成像的干扰，得到残差图像E(x，y)； (6)根据残差图像E(x，y)表示场景中物体被动成像的特性，将其用光照-反射成像模型表示:E(x, y)=L(x, y)R(x, y),其中L(x, y)是光照分量图像，R(x, y)是反射分量图像； (7)求取残差图像E(x，y)每个像素在红绿蓝RGB颜色空间下的RGB三通道灰度最大值，获得亮通道图像B (x，y)，并将亮通道图像作为光照分量图像L(x，y)的初步估计图像； (8)对亮通道图像B(x，y)进行灰度闭运算，得到光照分量图像L(x，y)的粗估计图像B' (x, y)； (9)用亮通道图像B(x，y)作为引导滤波器的引导图像，通过引导滤波器对光照分量图像的粗估计图像B' (x，y)进行保边平滑滤波，得到光照分量图像L(x，y)； (10)将光照分量图像L(x，y)代入光照-反射成像模型，求解残差图像E(x，y)在红绿蓝RGB颜色空间中RGB各通道的反射分量图像Re(X，y)，将反射分量图像Re(x，y)中每一个像素的灰度值扩展至区间[0，255]，得到的彩色图像即最终复原结果，其中c e {R，G，B}。
2.根据权利要求1所述的彩色雾霾图像去雾与光照补偿的复原方法，其中步骤(4)所述的将暗通道图像D(x，y)作为引导滤波器的引导图像，通过引导滤波器对大气幕的粗估计图像D' (x, y)进行保边平滑滤波，得到大气幕图像V(x，y)，按如下步骤进行: 2a)选取半径固定的方形掩膜，使该掩膜的中心分别在暗通道图像D (x，y)与大气幕粗估计图像D' (x, y)内逐像素滑动，每滑动一次掩膜，分别计算暗通道图像D(x，y)与掩膜重合的局部区域的平均值mk和方差vk，大气幕粗估计图像D' (x, y)与掩膜重合的局部区域的平均值m' k，以及暗通道图像D(x，y)与大气幕粗估计图像D' (x，y)序号相同的局部区域的协方差ck，其中，k是局部区域的序号，方形掩膜半径选20个像素； 2b)依次将暗通道图像B(x，y)的每个局部区域的平均值mk、方差vk与大气幕图像V(x，y)的粗估计图像B' (x，y)中有相同序号的局部区域的平均值m' k、协方差ck代入如下公式，求解大气幕图像的粗估计图像中每个局部区域的两个线性系数，即第一线性系数ak和第二线性系数bk:
ak=ck/ (vk+ ε )
bk=m' k-akmk 式中，ε是调节参数，取值为0.01 ;2c)遍历大气幕图像的粗估计图像D' (x，y)的每一个像素，分别计算D' (x，y)中所有包含该像素的局部区域的所述两个线性系数ak和bk的平均值J(.v,.r)和，其中(X，y)是像素坐标； 2d)将所述的两个线性系数平均值.V)与[(.V..V)作为引导滤波器的线性系数，对暗通道图像D(x，y)中的每个像素的灰度值进行如下线性变换:
V (.Y, ?.) = ?/(.y, v)D(.v, v) + ?)(χ, ν) 式中的V(x，y)就是引导滤波器的输出结果，即保边平滑后的大气幕图像。
3.根据权利要求1所述的彩色雾霾图像去雾与光照补偿的复原方法，其特征在于:步骤(8)所述的将亮通道图像B(x，y)作为引导滤波器的引导图像，通过引导滤波器对光照分量图像的粗估计图像B' (x, y)进行保边平滑滤波，得到光照分量图像L(x，y)，按如下步骤进行: 3a)选取半径固定的方形掩膜，使该掩膜的中心分别在亮通道图像B (X，y)与光照分量粗估计图像B' (x, y)内逐像素滑动，每滑动一次掩膜，分别计算亮通道图像B(x，y)与掩膜重合的局部区域平均值局部区域方差ok，光照分量粗估计图像B' (x, y)与掩膜重合的局部区域平均值μ / k，以及亮通道图像B(x，y)与光照分量粗估计图像B' (x, y)在相同局部区域内的协方差nk，其中，k是局部区域的序号，方形掩膜半径取20个像素； 3b)依次将亮通道图像的每个局部区域的平均值Uk、方差。，与光照分量图像!^^》的粗估计图像B' (x，y)中有相同序号的局部区域的平均值μ ' k、协方差Hk等代入如下公式，求解光照分量图像的粗估计图像中每个局部区域的两个线性系数，即第I线性系数Cik和第2线性系数 ak=nk/(ok+5)
' k-akuk 式中，S是调节参数，取值为0.01有良好效果； 3c)遍历光照分量图像的粗估计图像B' (x，y)的每一个像素，分别计算B' (x，y)中所有包含该像素的局部区域的所述两个线性系数a k和β k的平均值忑(λ.，.ν.)和万(τ,.ν)，其中(X，Y)是像素坐标； 3d)将所述的两个线性系数平均值G(.v.>0与万(.r..V)作为引导滤波器的线性系数，对亮通道图像B(x，y)中的每个像素的灰度值进行如下线性变换:
L(x,.ν) = a(x,ν) + β(χ, ν) 式中的L(x，y)就是引导滤波器的输出结果，即保边平滑后的光照分量图像。
4.根据权利要求1所述的彩色雾霾图像去雾与光照补偿的复原方法，其中所述步骤(10)中求解残差图像E(x，y)在红绿蓝RGB颜色空间中各通道的反射分量图像r(X，y)，通过以下公式计算:
5. 根据权利要求1所述的彩色雾霾图像去雾与光照补偿的复原方法，其中所述步骤(10)中将ReUy)中每一个像素的灰度值扩展至区间[0，255]，得到最终复原结果，是将红绿蓝RGB颜色空间中各通道的反射分量图像Re(X，y)中每个像素的灰度值乘以255，取整并截断至区间[0，255]，得到的彩色图像即为最终复原结果。
【文档编号】G06T5/50GK103914813SQ201410142950
【公开日】2014年7月9日 申请日期:2014年4月10日 优先权日:2014年4月10日
【发明者】孙伟, 韩龙, 郭宝龙, 陈龙 申请人:西安电子科技大学