一种基于暗原色先验改进的自适应图像去雾方法与流程

本发明涉及一种基于暗原色先验改进的自适应图像去雾方法，属于图像去雾处理方法技术领域。

背景技术：

随着社会的不断进步和科技的飞速发展，计算机视觉系统已经被广泛应用到了城市交通、视频监控、智能导航、遥感成像、军事侦察等诸多领域；然而，近年来，雾霾天气的频繁出现，严重影响了计算机视觉系统的成像质量，造成获取的图像对比度下降、颜色失真、模糊不清，对人们生产与生活造成极大影响；因此，研究图像去雾技术，降低雾霾对图像质量的影响，对于提升计算机视觉性能具有重要的实用价值和现实意义。

根据图像去雾机理的不同，现有图像去雾方法主要分为基于图像处理的图像增强方法和基于物理模型的图像复原方法；第一类方法不依赖于物理模型，直接利用图像处理算法提升图像对比度，典型方法有：直方图均衡化法、retinex法等，此类方法未考虑雾霾图像降质原因，难以从机理上改善雾霾图像质量；第二类方法通过构建雾霾图像生成模型，反演雾霾图像降质过程，最终复原出无雾图像，典型方法有：偏微分方程法、深度去雾法和基于先验信息的图像复原法；相比而言，偏微分方程法和图像深度去雾法通常假设雾霾服从均匀分布模型，采用整体统一的方法复原雾霾图像，而实际雾霾分布并不均匀，致使图像的清晰化处理效果不佳，丢失了一些细节信息；基于先验信息的图像复原法建立在对实际雾霾图像进行统计分析的基础上，可获取更好的雾霾图像复原效果。

通过对无雾图像和有雾图像开展了大量统计实验，发现无雾图像对比度明显高于有雾图像，以此为依据，提出了最大化局部对比度的去雾方法，该方法通过局部对比度最大化处理来达到去雾的目的，但是处理后图像的颜色存在炮和失真现象；另外，利用光的传播与场景的局部表面反光部分不相关的先验知识，估计场景反射率，获取无雾图像，但该方法以获取鲜艳的图像色彩为前提，对薄雾处理效果较好，难以用于浓雾天气的图像复原；针对上述的问题，现有技术中提出了一种基于暗通道先验理论的图像去雾方法，采用导向滤波代替软抠图来进行透过率优化，提高了去雾处理速度，但处理后图像的亮区域色彩不自然、块效应明显；之后采用亮、暗通道相结合的方法来估计大气光值和透射率，在一定程度上解决了亮区域去雾的颜色失真问题，但尚未考虑不同浓度雾霾图像的自适应去雾问题；此外，在现有原色先验及其改进去雾算法中，用于调整去雾效果的去雾系数ω大都采用固定值，较少根据实际情况做自适应调整；因此，为了解决现有算法难以普适于浓度不一、亮暗不明的多场景雾霾图像去雾等问题，本发明在暗原色先验理论基础上，提出一种自适应去雾算法，该算法去雾参数完全依据雾霾图像自身特征获取，无需人为设参数，并且在多浓度、多场景雾霾图像去雾方面具有较高的鲁棒性。

技术实现要素：

为解决上述问题，本发明提出了一种基于暗原色先验改进的自适应图像去雾方法，无需人为设定去雾参数，获取的图像清晰、色彩自然，在多浓度、多场景雾霾图像去雾方面具有更好的鲁棒性。

本发明的基于暗原色先验改进的自适应图像去雾方法，包括基于雾霾图像退化模型和暗原色先验模型的自适应图像去雾方法；所述自适应图像去雾方法由采用自适应方式实现参数获取或数据处理的暗原色值自适应获取方法、大气光强自适应估计方法、去雾系数自适应计算方法和图像色阶自适应调整方法组成；

所述暗原色值自适应获取方法为利用快速ostu算法对雾霾图像亮暗区域进行自适应分割，并分区域获取亮暗区域的暗原色值；

所述大气光强自适应估计方法为根据亮区域分布情况，对亮暗区域大气光强进行自适应估计；

所述去雾系数自适应计算方法为通过统计雾霾图像直方图特征，提出采用灰度集中度法自适应计算去雾系数；

所述图像色阶自适应调整方法为运用色阶自适应调整方法进行输出图像的色彩调整。

进一步地，所述基于雾霾图像退化模型为

i(x)＝j(x)t(x)+a[1-t(x)],(1)

式中：i(x)为成像设备观测到的雾霾图像强度；j(x)为无雾图像强度，即待复原图像；t(x)为透过率，反映光线穿透雾霾的能力；a为无穷远处的大气光强；j(x)t(x)对应目标反射光经大气散射衰减后进入成像设备的部分，该部分随着场景深度增加呈指数衰减；a[1-t(x)]对应大气光散射后进入成像设备的部分，该部分随着场景深度增加而增大，会造成场景模糊和颜色偏移失真；

将公式(1)移项并整理，无雾图像强度表示为

以上各式中，只有i(x)为已知项，图像去雾的实质就是根据上述模型，通过对透过率t(x)和大气光强a进行估计，复原出清晰图像j(x)。

进一步地，所述暗原色先验模型为根据he暗原色先验复原去雾方法统计的暗原色先验规律，表现在图像上就是在无雾图像的每个位置都有暗像素点的存在，这些暗像素点就是暗原色j^dark，这些暗原色点灰度值趋于0，满足

式中：上标c表示图像的rgb通道；y∈ω(x)表示以像素x为中心的一个窗口；

假定已知大气光强a，窗口ω(x)中透过率t(x)为常数，对公式(1)整理并做两次最小运算，可得：

联立公式(3)和(4)，可得透过率的估计值为

考虑实际生活中人们观察远处景物的视觉朦胧感，引入去雾系数ω(0＜ω≤1)，则上式修正为

式中：ω值越小，复原图像中雾成分越多，去雾能力越弱，但值太小，趋近于0有违去雾的目的；ω值越接近1，去雾的能力越强，但会使图像颜色过饱和，缺乏真实感；

大气光强a的估计方法是：先取得图像暗原色中0.1％亮度最大的像素，然后这些像素对应于原图像中像素的最大值作为a的估计值；

将估计的透过率t(x)和公式(2)中的大气光强a便可得到无雾图像，实际计算中，为了避免透过率过小造成图像失真，通常设置透过率下限t0，则无雾图像为

进一步地，所述暗原色值自适应获取方法其具体操作步骤如下：对图像像素进行类别划分，通过使划分得到的各类之间的距离最大，确定最佳分割阈值；

第一步，假设图像i有l个灰度级，第i级像素个数为ni，总的像素数为则第i级像素出现的概率为pi＝ni/n；

第二步，对于设定的阈值k，将图像分为a和b两类，其中a类灰度区间为[0,k]，b类灰度区间为[k+1,l-1]，则整个图像灰度均值μ、a类区间灰度均值μa(k)、b类区间灰度均值μb(k)分别为：

两类灰度区间的概率分布满足：

定义阈值k为时的类间方差为：

σ²(k)＝pa[μ-μa(k)]²+pb[μ-μb(k)]²,(10)

依据最大类间方差准则，从0到改变l-1阈值k，找出使上式中方差最大的k值，即为最佳分割阈值t；由于每改变一次阈值k，上述各式都将被重新计算，为降低运算耗时，先根据雾霾图像直方图低谷灰度特征，筛选出几个阈值点，然后代入以上各式，实现快速ostu阈值分割；

第三步，根据灰度级i与其像素数ni建立l个关系对[i,ni]，假定曲线[i,ni]上某一位置处灰度级为tj，当其像素数nj同时满足如下关系时，将该灰度级tj筛选为阈值点：

式中：δ为筛选窗口大小，取δ＝3pixels；α为最小值限定比，取α＝0.1％；

第四步，利用改进的快速ostu阈值法对雾霾图像进行阈值分割，根据其阈值点筛选和亮暗区域分割结果可以看出：筛选后阈值点仅剩49个，参与计算的阈值点数减少了80％以上；同时，亮暗区域被有效分割开来，有助于分区域去雾处理；

第五步，根据公式(3)，各像素点的rgb三通道最小值便是暗原色值，即：

如果不同浓度的雾霾图像均采用上式求解暗原色值，则可能会导致亮区域色彩失真；这是由于亮区域的最小灰度值相对暗区域较高，若直接采用上式最小值法求暗原色值，则会使透过率计算不准，而选用三通道灰度均值作为亮区域的暗原色值则更能反映实际情况；为此，对暗原色最小值修正，利用下式求解暗原色值：

式中：t^c为c通道分割阈值，c∈{r,g,b}。

进一步地，所述大气光强自适应估计方法其具体操作步骤如下：采用亮暗分区域均值法来进行大气光强自适应估计，当亮区域像素数占比pb^c＜10％时，说明亮区域较少，此时先取暗原色图像前0.1％亮点，然后找出这些亮点在原图中对应像素点的灰度均值作为大气光强估计值；当亮区域像素数占比pb^c≥10％时，说明亮区域较多，此时以所有亮区域像素点的灰度均值作为大气光强估计值，计算公式如下：

式中：nb为亮区域像素点数目。

进一步地，所述去雾系数自适应计算方法其具体操作步骤如下：采用色阶自适应调整方法对复原图像j0进行增强处理，通过对不同浓度雾霾图像进行直方图统计，发现雾霾浓度越大，直方图分布越集中，绝大多数灰度值集中在大小为[m^c,m^c]的灰度区间内，利用该性质，提出一种基于灰度集中度的去雾系数计算方法，满足：

式中：ωc为最小值调整系数，取值ωc＝0.15；上下限m^c和m^c满足：

式中：α为上下限调整系数，取值α＝1％；

将以上各式相应代入透过率公式(6)，便可得到雾霾图像亮暗区域的透过率；再结合公式(7)，就能够初步获取复原后的图像j0。

进一步地，所述图像色阶自适应调整方法其具体操作步骤如下：根据公式(16)，求取雾霾图像rgb三通道的集中度区间[m^c,m^c]，利用下式计算映射表：

利用公式(17)生成的映射表，对初步复原图像j0进行色阶调整，如下：

j(x)＝map(j0(x)+1)。(18)

进一步地，还包括对自适应图像去雾方法的有效性验证方法，其具体包括以下步骤：首先，选取森林、河边、交通、含大面积天空亮区域的城区和城郊等浓度不一、亮区域面积不一的6幅雾霾图像为实验对象，分别利用多尺度retinex增强去雾方法、he暗原色先验复原去雾方法和自适应图像去雾方法对进行去雾处理，并对实验结果进行主客观分析。

本发明与现有技术相比较，本发明的基于暗原色先验改进的自适应图像去雾方法，通过快速ostu法对雾霾图像亮暗区域进行分割，分区域获取亮暗区域暗原色值，并对不同区域大气光强值进行自适应估计；根据雾霾图像直方图特征，提出采用灰度集中度法来计算去雾系数；采用色阶自适应调整方法对初步复原后图像做增强处理，以尽可能恢复雾霾图像的原有色彩；本发明的自适应图像去雾方法去雾参数完全依据雾霾图像自身特征获取，无需人为设参数，并且在多浓度、多场景雾霾图像去雾方面具有较高的鲁棒性，其获取的去雾图像信息量大，对比度高，图像清晰，色彩自然，无光晕现象，明显优于多尺度retinex增强去雾方法和he暗原色先验复原去雾方法。

附图说明

图1是mccartney提出的大气散射模型结构示意图。

图2是本发明的自适应图像去雾方法的流程图。

图3是本发明的校园实拍雾霾图像。

图4是本发明的阈值点筛选和亮暗区域分割结果示意图；

其中，图(a)是本发明的阈值点筛选示意图，图(b)是本发明的亮暗区域分割结果示意图。

图5是不同方法的去雾效果示意图。

图6是去雾效果客观指标评价情况示意图。

具体实施方式

如图2所示的基于暗原色先验改进的自适应图像去雾方法，包括基于雾霾图像退化模型和暗原色先验模型的自适应图像去雾方法；所述自适应图像去雾方法由采用自适应方式实现参数获取或数据处理的暗原色值自适应获取(obtaindarkchannelimageadaptively)方法、大气光强自适应估计(estimateairlightadaptively)方法、去雾系数自适应计算(calculatedehazingcoefficientadaptively)方法和图像色阶自适应调整(adjustimagecolorleveladaptively)方法组成；

所述暗原色值自适应获取方法为利用快速ostu算法对雾霾图像亮暗区域进行自适应分割，并分区域获取亮暗区域的暗原色值；

所述大气光强自适应估计方法为根据亮区域分布情况，对亮暗区域大气光强进行自适应估计；

所述去雾系数自适应计算方法为通过统计雾霾图像直方图特征，提出采用灰度集中度法自适应计算去雾系数；

所述图像色阶自适应调整方法为运用色阶自适应调整方法进行输出图像的色彩调整。

其中，雾霾图像退化模型能够较好地揭示了雾霾图像的退化机理，依据该模型，成像设备获取的目标图像主要由来自目标反射光的衰减分量和环境散射光分量两部分构成，如图1所示，

对mccartney进行简化，得到了霾图像退化的简化模型为

i(x)＝j(x)t(x)+a[1-t(x)],(1)

式中：i(x)为成像设备观测到的雾霾图像强度；j(x)为无雾图像强度，即待复原图像；t(x)为透过率，反映光线穿透雾霾的能力；a为无穷远处的大气光强；如图1所示，j(x)t(x)对应图1中的目标反射光经大气散射衰减后进入成像设备的部分，该部分随着场景深度增加呈指数衰减；a[1-t(x)]对应图1中的大气光散射后进入成像设备的部分，该部分随着场景深度增加而增大，会造成场景模糊和颜色偏移失真；

将公式(1)移项并整理，无雾图像强度可表示为

以上各式中，只有i(x)为已知项，图像去雾的实质就是根据上述模型，通过对透过率t(x)和大气光强a进行估计，复原出清晰图像j(x)；

根据he暗原色先验复原去雾方法统计的暗原色先验规律，自然景物中阴影处处可见，表现在图像上就是在无雾图像的每个位置都有暗像素点的存在，这些暗像素点就是暗原色j^dark，这些暗原色点灰度值趋于0，满足

式中：上标c表示图像的rgb通道；y∈ω(x)表示以像素x为中心的一个窗口；

假定已知大气光强a，窗口ω(x)中透过率t(x)为常数，对公式(1)整理并做两次最小运算，可得：

联立公式(3)和(4)，可得透过率的估计值为

考虑实际生活中人们观察远处景物的视觉朦胧感，引入去雾系数ω(0＜ω≤1)，则上式修正为

式中：ω值越小，复原图像中雾成分越多，去雾能力越弱，但值太小(趋近于0)有违去雾的目的；ω值越接近1，去雾的能力越强，但会使图像颜色过饱和，缺乏真实感；

大气光强a的估计方法是：先取得图像暗原色中0.1％亮度最大的像素，然后这些像素对应于原图像中像素的最大值作为a的估计值；

将估计的透过率t(x)和大气光强a公式(2)便可得到无雾图像，实际计算中，为了避免透过率过小造成图像失真，通常设置透过率下限t0，则无雾图像为

所述暗原色值自适应获取方法其具体操作步骤如下：对图像像素进行类别划分，通过使划分得到的各类之间的距离最大，确定最佳分割阈值；

第一步，假设图像i有l个灰度级，第i级像素个数为ni，总的像素数为则第i级像素出现的概率为pi＝ni/n；

第二步，对于设定的阈值k，将图像分为a和b两类，其中a类灰度区间为[0,k]，b类灰度区间为[k+1,l-1]，则整个图像灰度均值μ、a类区间灰度均值μa(k)、b类区间灰度均值μb(k)分别为：

两类灰度区间的概率分布满足：

定义阈值k为时的类间方差为：

σ²(k)＝pa[μ-μa(k)]²+pb[μ-μb(k)]²,(10)

依据最大类间方差准则，从0到改变l-1阈值k，找出使上式中方差最大的k值，即为最佳分割阈值t；由于每改变一次阈值k，上述各式都将被重新计算，为降低运算耗时，先根据雾霾图像直方图低谷灰度特征，筛选出几个阈值点，然后代入以上各式，实现快速ostu阈值分割；

第三步，根据灰度级i与其像素数ni建立l个关系对[i,ni]，假定曲线[i,ni]上某一位置处灰度级为tj，当其像素数nj同时满足如下关系时，将该灰度级tj筛选为阈值点：

式中：δ为筛选窗口大小，取δ＝3pixels；α为最小值限定比，取α＝0.1％；

第四步，利用改进的快速ostu阈值法对如图3所示的雾霾图像进行阈值分割，根据其阈值点筛选和亮暗区域分割结果如图4所示，可以看出：筛选后阈值点仅剩49个，参与计算的阈值点数减少了80％以上；同时，亮暗区域被有效分割开来，有助于分区域去雾处理；

第五步，根据公式(3)，各像素点的rgb三通道最小值便是暗原色值，即：

如果不同浓度的雾霾图像均采用上式求解暗原色值，则可能会导致亮区域色彩失真；这是由于亮区域的最小灰度值相对暗区域较高，若直接采用上式最小值法求暗原色值，则会使透过率计算不准，而选用三通道灰度均值作为亮区域的暗原色值则更能反映实际情况；为此，对暗原色最小值修正，利用下式求解暗原色值：

式中：t^c为c通道分割阈值，c∈{r,g,b}。

所述大气光强自适应估计方法其具体操作步骤如下：采用亮暗分区域均值法来进行大气光强自适应估计，当亮区域像素数占比pb^c＜10％时，说明亮区域较少，此时先取暗原色图像前0.1％亮点，然后找出这些亮点在原图中对应像素点的灰度均值作为大气光强估计值；当亮区域像素数占比pb^c≥10％时，说明亮区域较多，此时以所有亮区域像素点的灰度均值作为大气光强估计值，计算公式如下：

式中：nb为亮区域像素点数目。

所述去雾系数自适应计算方法其具体操作步骤如下：采用色阶自适应调整方法对复原图像j0进行增强处理，通过对不同浓度雾霾图像进行直方图统计，发现雾霾浓度越大，直方图分布越集中，绝大多数灰度值集中在大小为[m^c,m^c]的灰度区间内，利用该性质，提出一种基于灰度集中度的去雾系数计算方法，满足：

式中：ωc为最小值调整系数，取值ωc＝0.15；上下限m^c和m^c满足：

式中：α为上下限调整系数，取值α＝1％；

将以上各式相应代入透过率公式(6)，便可得到雾霾图像亮暗区域的透过率；再结合公式(7)，就能够初步获取复原后的图像j0。

所述图像色阶自适应调整方法其具体操作步骤如下：根据公式(16)，求取雾霾图像rgb三通道的集中度区间[m^c,m^c]，利用下式计算映射表：

利用公式(17)生成的映射表，对初步复原图像j0进行色阶调整，如下：

j(x)＝map(j0(x)+1)。(18)

还包括对自适应图像去雾方法的有效性验证方法，其具体包括以下步骤：首先，选取森林、河边、交通、含大面积天空亮区域的城区和城郊等浓度不一、亮区域面积不一的6幅雾霾图像为实验对象，分别利用多尺度retinex增强去雾方法、he暗原色先验复原去雾方法和自适应图像去雾方法对进行去雾处理，并对实验结果进行主客观分析，实验结果如图5所示，从去雾后图像的主观视觉效果来分析：

(1)总体来看，在不考虑图像中天空亮区域时，三种算法都能够有效去雾，提升了图像质量；但在亮区域、亮暗交界区域，多尺度retinex增强去雾方法和he暗原色先验复原去雾方法存在色彩失真和光晕现象，而且雾霾越严重，这种现象越明显；

(2)对比本发明的自适应图像去雾方法与多尺度retinex增强去雾方法效果，由于retinex算法属于图像增强算法，对图像对比度有较大提升，图像整体看起来不自然，存在较大的颜色偏差，而且随着雾霾浓度的增加，其去雾效果越差。

(3)对比本发明的自适应图像去雾方法与he暗原色先验复原去雾方法效果，在图像中天空亮区域不多、雾霾较小时，两种算法效果相当，甚至he暗原色先验复原去雾方法要稍优于本发明的自适应图像去雾方法，如图5中的第一幅森林薄雾场景的去雾效果；但随着图像中亮区域的增多和雾霾浓度的增大，本发明的自适应图像去雾方法优势逐渐明显，he暗原色先验复原去雾方法在天空亮区域有较大的纹理和分块现象，如图5中的第五幅和第六幅重度雾霾下城区和城郊场景的去雾效果；

为客观分析去雾效果，本发明采用信息熵(informationentropy)、均方差(mse)、拉普拉斯算子(laplacian)作为指标，对去雾结果进行定量分析；其中，信息熵h是对图像信息量的度量，其值越大，说明信息量越多，定义式为：

均方差σ反映了图像对比度，其值越大，说明黑白反差越明显，定义式为：

式中：n1和n2分别为图像行数和列数，n＝n1×n2；μ为图像灰度均值；

拉普拉斯算子ls是反映了像素邻域灰度变化，其值越大，图像越清晰，图像轮廓越鲜明，定义式为：

去雾效果客观评价情况如图6所示，分析如下：

总体来看，本发明的自适应图像去雾方法的信息熵、均方差、拉普拉斯算子大部分都比多尺度retinex增强去雾方法和he暗原色先验复原去雾方法要高，说明本发明的自适应图像去雾方法获取的去雾图像具有更多的信息量，图像更加清晰；

对比本发明的自适应图像去雾方法与多尺度retinex增强去雾方法效果，在6幅被评价图像中，本发明的自适应图像去雾方法与多尺度retinex增强去雾方法效果相当，其中有5个信息熵值、5个均方差值和3个拉普拉斯算子值要略高于多尺度retinex增强去雾方法，说明本发明的自适应图像去雾方法要优于多尺度retinex增强去雾方法；

对比本发明的自适应图像去雾方法与he暗原色先验复原去雾方法效果，除针对森林薄雾图像二者拉普拉斯算子值相当外，本发明的自适应图像去雾方法的其它指标均高于he暗原色先验复原去雾方法，说明本发明自适应算法的有效性；

综合主客观评价效果，多尺度retinex增强去雾方法和he暗原色先验复原去雾方法各种去雾参数均需主观确定，而本发明的自适应图像去雾方法中多种参数均采用自适应方式获取，受图像亮暗区域面积和雾霾浓度大小的影响，因此本发明的自适应图像去雾方法在多浓度、多场景雾霾图像去雾方面具有更好的鲁棒性。

本发明的基于暗原色先验改进的自适应图像去雾方法，通过快速ostu法对雾霾图像亮暗区域进行分割，分区域获取亮暗区域暗原色值，并对不同区域大气光强值进行自适应估计；根据雾霾图像直方图特征，提出采用灰度集中度法来计算去雾系数；采用色阶自适应调整方法对初步复原后图像做增强处理，以尽可能恢复雾霾图像的原有色彩；主客观评价结果表明：本发明的自适应图像去雾方法获取的去雾图像信息量大，对比度高，图像清晰，色彩自然，无光晕现象，明显优于多尺度retinex增强去雾方法和he暗原色先验复原去雾方法。

上述实施例，仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。