基于图像融合的快速去雾算法
【专利摘要】针对图像去雾这个特定问题，为了提高去雾算法精确度和还原度，使其满足实时性需求，本发明提出一种基于图像融合的快速去雾算法。首先基于物理模型对天空光强度进行估计；然后根据雾天成像的物理特性粗略估计雾气浓度，通过计算图像的局部方差来分配权重，利用加权融合的思想获得较准确的大气耗散函数，计算出较为精确的场景透射率；最后在大气散射模型的框架下，利用求得的大气耗散函数和天空光强度对图像进行去雾，得到清晰的无雾图像。本发明所述算法通过计算局部方差来分配权重，再利用加权融合的方法来计算准确的大气耗散函数，最后准确计算出精确的大气耗散函数，从而极大地提高了图像去雾的效果。
【专利说明】
基于图像融合的快速去雾算法
技术领域
[0001] 本发明设及计算机视觉领域，特指基于图像融合的快速去雾算法。
【背景技术】
[0002] 大多数室外视觉系统，如视频监控、目标识别和卫星遥感监测等，都需要获取清晰 的图像特征。但是在有雾天气条件下，由于场景的能见度较低，导致图像对比度下降，目标 模糊不清，使成像系统无法正常工作。因此，研究如何对雾天图像进行有效处理，降低天气 条件对成像系统的影响具有重要研究价值。
[0003] 近年来，单幅图像去雾由于具有不需要景深和大气条件等辅助信息，应用场合广 泛等优点，使其成为计算机视觉领域研究热点。许多学者利用图像本身构造约束场景反照 率或场景深度的假设条件，提出多种单幅图像去雾算法。Fattal假设光线传输透射率与表 面投影具有局部统计不相关性，采用独立成分分析来估计场景反照率，该方法基于颜色统 计，无法处理灰度图像，且对浓雾图像的处理效果不佳。He等人通过对大量户外自然无雾图 像的统计观察得出，除天空区域外的绝大多数图像块中都存在一些在某个颜色通道内亮度 值很小的像素。基于该实验结论，He等人提出了暗通道先验估计光线传输透射率，实现雾天 图像复原。引导滤波器的提出解决了透射率修复慢的问题，然而由于滤波参数的不恰当设 置易引起光晕效应。Tarel利用中值滤波的变换形式对大气耗散函数进行估计，最后经过色 调映射获得复原图像。该方法本质上使用了大气散射模型，但是没有准确估计大气光强度 值，最终整体效果偏暗，而且中值滤波的引入易引起边缘残雾现象。化等人对大气光照进行 白平衡，利用快速双边滤波估计大气耗散函数，求解简化的大气散射模型实现图像去雾，然 而该方法对白色物体的恢复效果不够理想。
【发明内容】
[0004] 针对图像去雾运个特定问题，为了提高去雾算法精确度和还原度，使其满足实时 性需求，本发明提出一种基于图像融合的快速去雾算法。
[0005] 本发明的技术方案是：
[0006] -种基于图像融合的快速去雾算法，其特征在于，包括W下步骤：
[0007] Sl.基于物理模型天空光强度值A的估计；
[0008] S2.基于图像加权融合的大气耗散函数Wx)估计；
[0009] S3.结合雾化图像的光学模型，根据估计的天空光强度值A、大气耗散函数V(X) W 及有雾的图像，计算出无雾的图像。
[0010] 本发明中，步骤Sl的估计过程如下：
[0011] SI. 1对彩色图像的最小颜色分量进行最小值滤波，可表示为：
[0012]
[001引式中，(3居化6,8}分另懐示1?、6、8颜色通道；0^)表示从像素义为中屯、的邻域，1。1。 (X)为彩色图像的最小颜色分量的最小值，I(y)为彩色图像的最小颜色分量；
[0014] SI. 2采用化nny算子对彩色图像的灰度分量进行边缘检测，对边缘图像进行分块 统计，计算各图像块中边缘像素数所占的比例，记为化dge(x)，同时满足Imin(X)XTv且化dge UKTp的像素集合S(X)指定为候选天空区域，其中Tv为亮度阔值，Tp为平坦阔值；
[0015] SI.3将候选天空区域S(X)中的最大像素值确定为大气光强度值A的估计值，即A = max S(x)。为了保证天空复原图像不失真，需要对大气光强度值A的估计值进一步修正，即A = amax S(X)，a为设定系数。本发明的实施例中a设定为0.85。
[0016] 本发明中，步骤S2的方法为：
[0017] S2.1利用有雾图像形成的物理特性进行粗估计；
[0018] 根据有雾图像形成的物理特性，可用有雾图像中=通道的最小颜色分量对大气耗 散函数V(X)讲斤辄张化计，良口；
[0019]
[0020] A'T，Vm、X;户J入飞巧:目义函数的初步估计值，L^(X)为有雾图像中的；通道的颜色分 量；
[0021] S2.2基于图像融合对大气耗散函数V(X)进行准确估算；
[0022] 设图像Vm(X)的局部方差为D(X),局部均值为EU),则两者之间的关系为：
[0023] D(x)=E(x^)-E^(x)
[0024] 利用上述公式对大气耗散函数V(X)的初步估计求取方差，并采用对数曲线的逼近 方法，将D(X)截断至[0，1]区间;此时，大气耗散函数八^)为Vm(X)与Vm(X)的加权之和，即：
[00 巧]V(x)=D(x)Vm(x) + (l-D(x)V〇p(x)) (1)。
[0026] 最后，为了使融合图像在边缘处与平坦区域之间的衔接更自然，使用边缘保护滤 波器对式(1)得到的结果进行简单平滑。
[0027] 本发明中，步骤S3中，根据光在雾天传输的物理特性，在计算机视觉和图形学领域 中，雾化图像的光学模型可描述如下：
[00%] I(x)=J(x)t(x)+A(l-t(x))， (2)
[0029] 式中：I(X)为含雾图像即输入图像;J(X)为场景福射率即恢复出的无雾图像;t(x) 场景透射率;A为天空光强度值;上式中等式右边第1项为直接衰减，表示物体表面反射的光 线在空气中传播衰减后的福射强度;第2项为大气耗散函数
[0030] V(x)=A(l-t(x)) (3)
[0031] 在求得大气耗散函数V(X)和大气光强度值A的基础上，可依据式(2)和（3)直接恢 复出场景在理想条件下的无雾图像：
[0032]
(斗)。
[0033] 进一步地，本发明还包括步骤S4,基于人眼视觉特性调整色调，得到调整后的无雾 图像。步骤S4中，根据韦伯?费希纳定律，主观亮度Ld和客观亮度Lo呈对数线性关系，目化d = eigL〇+e〇,式中0、阶均为常数；
[0034] 刑田简苗巧擲对丰观亮度Ld和客观亮度Lo的关系曲线进行拟合，得到函数：
[0035]
(5)
[0036] 式巧）中，k为调整系数，k根据大气耗散函数的平均值来自动获取，即自适应地取k =1.5mean(V(x))，mean()为求平均；
[0037] 将步骤S3中最终得到的无雾的图像，代入式(5)，即可得到调整后的无雾图像。
[0038] 本发明的有益技术效果：
[0039] 针对现行算法普遍存在的不足，基于大气散射模型，本发明提出了一种基于图像 融合和分割的快速去雾算法。本发明总结了雾天图像复原算法中的3个关键因素并给出了 实施方法：1)大气耗散函数的准确估计，根据雾天成像的物理特性粗略估计雾气浓度，通过 计算图像的局部方差来分配权重，利用加权融合的思想获得较准确的大气耗散函数;2)大 气光强度值的计算，分析天空区域或雾最浓区域的基本特征，设定分割阔值，准确定位大气 光值所在的候选区域;3)复原图像的色调调整，对复原后图像偏暗的问题进行修正，获得更 佳的视觉效果。通过W上3个方面，可W快速恢复出高质量的无雾图像。该计算极大的提高 了去雾精确度和算法速度。
【附图说明】
[0040] 图1是实施例所述估算大气耗散函数组图；
[0041] 图2是实施例所述色调调整曲线组图；
[0042] 图3是实施例所述恢复出的无雾图像；
[0043] 图4是实施例所述恢复出的无雾图像；
[0044] 图5是实施例所述各算法对比去雾效果图像；
[0045] 图6是实施例所述算法整体流程图。
【具体实施方式】
[0046] 实施例1: W单幅图像去雾为例，结合附图对本发明做进一步详细说明。
[0047] 根据光在雾天传输的物理特性，在计算机视觉和图形学领域中，雾化图像的光学 模型可描述如下：
[004引 I(x)=J(x)t(x)+A(l-t(x))， (1)
[0049] 式（1)中：I(x)为含雾图像（即输入图像）；J(X)为场景福射率（即恢复出的无雾图 像）；t(x)为光路传播图，描述场景透射率;A为天空光强度值。式（1)等式右边第1项为直接 衰减，表示物体表面反射的光线在空气中传播衰减后的福射强度;第2项为大气耗散函数
[0050] V(X)=A(I-U)), (2)
[0051] 去雾的目的在于从I(X)中恢复出t(x)、A，进而恢复出无雾图像J(X)D
[0052] 而根据雾天成像的物理特性粗略估计雾气浓度，通过计算图像的局部方差来分配 权重，利用加权融合的思想获得较准确的大气耗散函数是本发明的核屯、部分，只要正确估 计八义)和A即可求得无雾图像J(X)D
[0053] 本发明算法主要利用了图像加权融合对V(X)进行估计，物理模型的图像分割对天 空光强度值A进行估计。
[0054] 第一步:基于物理模型天空光强度值的估计
[0055] 直接用最亮像素值估计天空光强度值A易受到高亮噪声或白色物体的影响。先分 别对各颜色分量进行灰度腐蚀操作，再取颜色分量之间的最小值，从中选取0.1%最亮的像 素，用对应原图像中的最大像素值估计天空光强度值A。为了滤除图像中白色物体对估计天 空光强度值的影响，结构元素的尺寸应大于图像中白色物体的尺寸。但是，若图像中的天空 区域也小于结构元素的尺寸，则将错误地滤除天空区域。如图1所示的两幅自然场景图像， 仅可从树枝之间看到天空，图像中天空区域的面积较小，因此，较大的尺寸容易将天空区域 完全腐蚀。
[0056] 显而易见，天空区域具有3个特性：1)亮度较高；2)灰度平坦;3)位置偏上。本发明 将满足W上3个特性的像素集合确定为天空区域。
[0057] 首先，对彩色图像的最小颜色分量进行最小值滤波，也称为灰度腐蚀操作，可表示 为：
[0化引
[0059] 式中，CG {R，G，B}分别表示R、G、B颜色通道；Q (X)表示W像素 X为中屯、的邻域，其 尺寸自适应地与图像宽和高中的最小值成比例，Imin(X)为彩色图像的最小颜色分量的最小 值，I(y)为彩色图像的最小颜色分量。
[0060] 然后，采用化nny算子对彩色图像的灰度分量进行边缘检测，对边缘图像进行分块 统计，计算各图像块中边缘像素数所占的比例，记为化dge(x)。同时满足Imin(X)XTv且化dge (x)<Tp的像素集合S(X)指定为候选天空区域，其中Tv为亮度阔值，Tp为平坦阔值（低频阔 值），二者都根据不同情况自适应调整，为已知参数。
[0061] 最后，将候选的天空区域S(X)中的最大像素值确定为天空光强度值A的估计值，即 A=HiaxS(X),但是为了保证任何条件下天空复原图像不失真，通常需要进一步修正，即A = Q maxS(x)，a的值根据不同场景的需要来设定，为已知，本实施例设定为0.85。
[0062] 第二步:基于图像加权融合的Wx)估计
[0063] S2.1利用雾图形成的物理特性进行粗估计：由于大气光强度值对成像的作用随着 场景到观测点的距离增大而增加，从视觉效果来看，图像中的雾气浓度逐渐增大，图像的亮 度逐渐增加。假设在雾天环境下的成像过程中，色彩是由物体对光的3个颜色分量不同吸收 和反射特性生成，对于颜色鲜艳的彩色物体或者颜色单一的灰度物体，其中至少一个颜色 分量的反射系数较小，亮度较低。定义大气耗散函数为V(X),因此，根据雾图形成的物理特 性，可用有雾图像中=通道的最小颜色分量对八^)进行初步估计，即：
[0064]
[0065] 其中，Vm(X)为大气耗散函数的初步估计值，L^(X)为有雾图像中的=通道的颜色分 量。大气耗散函数的初步估计如图1(a)所示，该结果包含了丰富的边缘细节信息W及建筑 物楼顶等白色物体，其亮度值并不能准确表示雾气浓度，因此需要进一步消除Vm(X)中不必 要的纹理细节信息W及白色目标的影响。
[0066] S2.2基于图像融合对大气耗散函数V(X)进行准确估算。
[0067] 对Vm(X)采用形态学灰度开运算操作，保持大面积明亮区域和整体的灰度级不变， 得到的结果表示为Vdp(X),如图1(b)所示。Vdp(X)的亮度近似体现了原有雾图像的雾气浓度 信息，但是边缘模糊并且块效应严重。根据化rel的理论，在估计V(X)时，应该保护其沿梯度 方向的跳变，即有雾图像的高频区域应该保留边缘，因此采用Vm(X)的边缘轮廓信息；而在 有雾图像的低频部分，图像的亮度变化比较平缓，无需体现细节，故应该保持Vdp(X)的亮度。 基于图像本身的性质，图像的高低频率可W通过空间邻域内的灰度值方差来表示，所W本 发明根据图像的方差信息来分配权重，进行选择性融合。
[0068] 设图像Vm(X)的局部方差为D(X),局部均值为EU),则两者之间的关系为：
[0069] D(x)=E(x^)-E^(x)
[0070] 利用W上公式对大气耗散函数V(X)的初步估计求取方差，并采用对数曲线的逼近 方法，将D(X)截断至[0，1]区间，得到结果如图I(C)所示。图像中的亮区和暗区分别表示高 频和低频。此时，大气耗散函数八X)为Vm( X)与Vm(X )的加权之和，即：
[0071] V(x)=D(x)Vm(x) + (l-D(x)V〇p(x)) (3)
[0072] 最后，为了使融合图像在边缘处与平坦区域之间的衔接更自然，使用边缘保护滤 波器对式(3)得到的结果进行简单平滑。同时本实施例采用域变换递归滤波器(reeursive filter),该滤波方法能够保护沿各个方向的梯度跳变，同时进行良好的平滑操作。最终得 到融合后的大气耗散函数如图1(d)所示。从图1(d)中可W看出，V(X)保留了 Vm(X)的区域边 缘特性，局部平缓的亮度信息则与Vdp(X)相似，并且在边缘区域与平缓区域之间自然过渡， 整体符合雾气浓度的分布特性。
[0073] 第=步：结合雾化图像的光学模型，根据估计的大气光强度值A、大气耗散函数V (X) W及有雾的图像，计算出无雾的图像；
[0074] 在求得大气耗散函数V(X)和大气光强度值A的基础上，可依据式（1)(2)直接恢复 出场景在理想条件下的无雾图像：
[0075]
(4)
[0076] 由于雾天图像的像素值一般小于大气光强度值，经上式复原后的图像整体亮度和 色调在视觉上偏暗，所W有必要进行调整W提高图像质量。
[0077] 第四步:基于人眼视觉特性调整色调，计算出无雾的图像；
[0078] 最后为了更加有利于观察者进行图像观测和分析，需要根据人眼视觉特性来调整 图像亮度。人眼的主观亮度是人体视觉系统感觉到的亮度，是物体反射的光线照射到人眼 的视网膜上视神经受到刺激而获取的。根据韦伯?费希纳定律(Weber.Fechner law),主观 亮度感觉Ld和客观亮度Lo呈对数线性关系，目化d=化gL〇+e〇,式中e、e〇均为常数。主观亮度与 客观亮度的关系如图2(a)所示，利用该曲线进行复原图像的色调调整。利用简单函数对图2 (a)关系曲线进行拟合，得到函数：
[0079]
(5)
[0080] 式中，k为调整系数，取值越小则调整程度越大，调整曲线如图2(b)所示。
[0081] 由于雾天成像受环境和光照的不同影响，部分图像本身亮度值偏低，经复原后整 体视觉效果更暗，需要调整的程度相对高一些。在实施例中，k根据大气耗散函数的平均值 来自动获取，即自适应地取k=l .Smean(Wx))，mean〇为求平均。
[0082] 根据式(4)的复原结果，代入式(5)，即可得到最终调整后的复原图像。
[0083] 如图3、4所示，分别为本实施例恢复出的无雾图像，图5为各种现行先进算法的比 对图像，可W发现本实施例获得的去雾效果可W优于化Kaiming,Meng等人现行的算法。图 6是实施例所述算法整体流程图。
[0084] 同时本发明算法由于大多W数学运算为主，所W具有快速，运算效率高等特点。
[0085] 本发明中提出的方法实际上可嵌入FPGA实现，开发具有实时去雾功能的相机或摄 像机。W上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限 于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算 法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明 的保护范围。
【主权项】
1. 一种基于图像融合的快速去雾算法，其特征在于，包括以下步骤：51. 基于物理模型天空光强度值A的估计；52. 基于图像加权融合的大气耗散函数V(x)估计；53. 结合雾化图像的光学模型，根据估计的天空光强度值A、大气耗散函数V(x)以及有 雾的图像，计算出无雾的图像。2. 根据权利要求1所述的基于图像融合的快速去雾算法，其特征在于，步骤S1的估计过 程如下： S1.1对彩色图像的最小颜色分量进行最小值滤波，可表示为：式中，ce{R，G，B}分别表示R、G、B颜色通道；Ω(χ)表示以像素 X为中心的邻域，Imin(x) 为彩色图像的最小颜色分量的最小值，I(y)为彩色图像的最小颜色分量； S1.2采用Canny算子对彩色图像的灰度分量进行边缘检测，对边缘图像进行分块统计， 计算各图像块中边缘像素数所占的比例，记为NedgeU)，同时满足I_(x)>Tv且Nedge(X)〈T P 的像素集合S(x)指定为候选天空区域，其中TV为亮度阈值，TP为平坦阈值； S1.3将候选天空区域S(x)中的最大像素值确定为大气光强度值Α的估计值，即A = max S(x) 〇3. 根据权利要求2所述的基于图像融合的快速去雾算法，其特征在于，步骤SI. 3中，为 了保证天空复原图像不失真，对大气光强度值A的估计值进行修正即令A = amax S(x)，a为 设定系数。4. 根据权利要求3所述的基于图像融合的快速去雾算法，其特征在于，步骤S1.3中，α设 定为0.85。5. 根据权利要求1所述的基于图像融合的快速去雾算法，其特征在于，步骤S2的方法 为： S2.1利用有雾图像形成的物理特性进行粗估计； 根据有雾图像形成的物理特性，可用有雾图像中三通道的最小颜色分量对大气耗散函 数V(x)进行初步估计，gp :其中，vm(x)为大气耗散函数的初步估计值，Le(x)为有雾图像中的三通道的颜色分量； S2.2基于图像融合对大气耗散函数V(x)进行准确估算； 设图像Vm(x)的局部方差为D(x)，局部均值为E(x)，则两者之间的关系为： D(x)=E(x2)-E2(x) 利用上述公式对大气耗散函数V(x)的初步估计求取方差，并采用对数曲线的逼近方 法，将D(x)截断至[0，1]区间;此时，大气耗散函数￥(4为￥"(1)与1(1)的加权之和，即： V(x) =D(x)Vm(x) + (l-D(x)V〇P(x)) (1) 〇6. 根据权利要求5所述的基于图像融合的快速去雾算法，其特征在于，步骤S2.2中，最 后使用边缘保护滤波器对式(1)得到的结果进行平滑。7. 根据权利要求6所述的基于图像融合的快速去雾算法，其特征在于，步骤S2.2中，最 后使用域变换递归滤波器对式(1)得到的结果进行平滑。8. 根据权利要求1所述的基于图像融合的快速去雾算法，其特征在于，步骤S3中，根据 光在雾天传输的物理特性，在计算机视觉和图形学领域中，雾化图像的光学模型可描述如 下： I(x)=J(x)t(x)+A(l-t(x))，（2) 式中：I(x)为含雾图像即输入图像;J(x)为场景辐射率即恢复出的无雾图像;t(x)场景 透射率;A为天空光强度值;上式中等式右边第1项为直接衰减，表示物体表面反射的光线在 空气中传播衰减后的辐射强度;第2项为大气耗散函数V(x)即 V(x)=A(l-t(x)) (3) 在求得大气耗散函数V(x)和大气光强度值A的基础上，可依据式(2)和（3)直接恢复出 场景在理想条件下的无雾图像：:(4)&9. 根据权利要求1至8中任一权利要求所述的基于图像融合的快速去雾算法，其特征在 于，还包括步骤S4,基于人眼视觉特性调整色调，得到调整后的无雾图像。10. 根据权利要求9所述的基于图像融合的快速去雾算法，其特征在于，步骤S4中，根据 韦伯?费希纳定律，主观亮度Ld和客观亮度Lo呈对数线性关系，即Ld = mgLo+i3()，式中β、β〇均 为常数； 利用简单函数对主观亮度Ld和客观亮度Lo的关系曲线进行拟合，得到函数：式（5)中，k为调整系数，k根据大气耗散函数的平均值来自动获取，即自适应地取k = 1 · 5mean(V(x))，mean()为求平均； 将步骤S3中最终得到的无雾的图像，代入式(5)，即可得到调整后的无雾图像。
【文档编号】G06T5/00GK105957040SQ201610333536
【公开日】2016年9月21日
【申请日】2016年5月19日
【发明人】谭树人, 张斯尧, 马昊辰
【申请人】湖南源信光电科技有限公司