基于物理模型的改进暗通道先验单幅雾化图像复原方法与流程

本发明涉及，尤其涉及一种基于物理模型的改进暗通道先验单幅雾化图像复原方法。

背景技术：

雾是一种常见的自然天气现象，由于雾的存在，空气中含有大量的气溶胶颗粒，对光的吸收、散射和辐射产生了较大影响，同时减弱了透射光线的强度，对大量的户外计算机视觉系统而言，使得场景到达计算机视觉系统的光强发生了变化，造成部分场景信息被“雾”掩盖，图像可辨识度、色彩饱和度大幅度下降，色彩也发生了偏移和失真。针对雾天形成的模糊图像，采取有效的方法进行图像去雾处理，提高户外计算机视觉系统的工作质量，是目前图像处理相关邻域亟待解决的热门问题。

图像去雾方法可以分为基于非物理模型和基于物理模型两类，即图像增强和图像复原。图像增强主要通过提高图像对比度的方式突出图像部分细节特征，减弱“无用”信息，不考虑图像降质的本质因素；而图像复原则是在研究光与大气发生散射作用的基础上建立数学模型，通过估计模型参数，反演推导获得清晰无雾的图像，实现真正意义上的“去雾”。相较于图像增强使得部分真实信息被覆盖、单方面增强、“治标不治本”、部分信息损坏等不足，图像复原方法这种从本质上去雾，具有内在优越性的方法更加得到了国内外学者的青睐，已成为当前图像处理邻域的研究热点课题。

目前为止，暗通道先验的去雾方法是最有效和最实用的方法。但其也具有一定的局限性，如使用暗通道先验理论复原的图像普遍具有光晕现象(haloartifact)，即在复原后的图像边缘位置存在白色雾块，直观上造成了较差的图像视觉效果。除此之外对于透射率的优化问题，虽然可采用软抠图和引导图像滤波的方法，但其仍需要额外的细化过程和时间开销，为此想要实现运行效率与去雾效果的兼顾，就急需一种改进的暗通道先验方法，不仅能快速优化透射率，还能在一定程度上减少运算时间，实现高效的图像去雾。

技术实现要素：

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于物理模型的改进暗通道先验单幅雾化图像复原方法。

本发明解决其技术问题所采用的技术方案是：

一种基于物理模型的改进暗通道先验单幅雾化图像复原方法，包括以下步骤：

1)对待复原的雾化图像采用多尺度灰度腐蚀方法得到大气光强度a的估计值；

2)对待复原的雾化图像采用多尺度加权平均法求取暗通道图；

3)在暗通道图下采用邻域分割法并结合大气光强度a的估计值得到优化后的透射率t(x)；

4)将雾化图像、大气光强度a和优化后的透射率t(x)代入雾化图像降质物理模型，实现单幅雾化图像的复原。

按上述方案，所述步骤1)中对待复原的雾化图像采用多尺度灰度腐蚀方法得到大气光强度a的估计值包括以下步骤：

1.1)确定腐蚀操作半径：腐蚀操作半径为待复原雾化图像长度和宽度较小值的0.1倍，为实现三尺度，在此，以该腐蚀操作半径为中心选取了另外两个尺度半径分别为和

其中：ρ表示腐蚀操作半径；lwidth表示待复原雾化图像的长度；lheight表示待复原雾化图像的宽度；

1.2)选取三尺度实现大气光强度a的估计：

1.2.1)单尺度大气光强度的估计值，通过以下公式表示：

其中：aρ表示单尺度大气光强度的估计值；ρ表示腐蚀操作半径；x表示待复原雾化图像中像素点的坐标位置；ω为待复原雾化图像区域；ic为彩色待复原雾化图像的每个通道；

1.2.2)使用以下公式实现三尺度大气光强度估计值的计算：

其中：表示大气光强度的估计值；μn为尺度为ρn时的权重，权重取值分别为0.1、0.3和0.6；aρn为腐蚀操作半径为ρn的单尺度大气光强度估计值。

按上述方案，所述步骤2)具体包括：

2.1)将待复原雾化图像长、宽较小值的0.1倍作为滤波半径的初始值，使用以下公式表示滤波半径：

r＝0.1*min(pixellength,pixelwidth)

其中：r表示滤波半径；pixellength表示待复原雾化图像的长度；pixelwidth表示待复原雾化图像的宽度；

2.2)使用以下公式表示单尺度雾化图像的暗通道值：

其中：dr(x)表示雾化图像的暗通道值；r表示滤波半径；ω(x)为以x为中心的非天空局部区域，也称为局部窗口；i^c为彩色雾化图像的每个通道；

2.3)采用四尺度求取暗通道，通过以下公式表示：

d^k＝[dr-2,dr-1,dr+1,dr+2],r＞2

其中：d^k表示使用四尺度求取的暗通道值；r表示滤波半径；dr-2、dr-1、dr+1、dr+2对应的加权系数分别为[ωr-2,ωr-1,ωr+1,ωr+2]＝[0.15,0.35,0.35,0.15]。

按上述方案，步骤3)具体包括：

3.1)邻域分割：针对透射率不匹配问题，使用以下约束条件扫描暗通道图像区块中的所有像素点，保证选取点和中心点在同一个前景或背景区域：

其中：ω^f(x,y)和ω^b(x,y)分别是前景像素点和背景像素点构成的集合；ω(x,y)表示前景区域ω^f(x,y)与背景区域ω^b(x,y)所有像素点构成的总集合；

采用邻域分割时，分割的区域ω^s(x,y)需满足以下关系：

其中：ω^s(x,y)表示分割的区域；ω^f(x,y)表示前景区域；ω^b(x,y)表示后景区域；

3.2)采用以下邻域分割判断依据，对分割后的邻域进行判断：

其中：ε为区域分割的阈值取0.025；(u,v)为对应于像素中心点(x,y)的临近像素点位置；ω^s(x,y)表示分割的区域；im表示使用本发明改进的图像区块；

3.3)采用基于邻域分割的透射率估计公式估计透射率：

其中：tr为待求的透射率；(x,y)表示待求透射率像素点的位置坐标；μ为去雾因子取0.95；ω^s(x,y)表示分割的区域；(u,v)为对应于像素中心点(x,y)的临近像素点位置；im表示使用本发明改进的图像区块。

按上述方案，步骤4)具体包括：

采用以下单幅雾化图像的复原公式，实现雾化图像的去雾处理：

其中：x表示图像中像素点的坐标位置；i(x)表示光线经过大气散射作用后汇入像素点的光强总和，即雾化图像；j(x)表示无雾情况下得到的原始图像，即晴天无雾情况下拍摄得到的正常图像；t(x)表示光的透射率，即在大气介质中光线通过传播媒介到达相机中被散射部分的比率；常数a表示无穷远处大气光强的大小，与变量x无关，是一个常量。

按上述方案，所述方法还包括以下步骤：

5)判断复原效果是否满足要求，若满足要求，则可得到无雾图像j(x)结束单幅雾化图像的去雾操作。

6)对于复原效果不满足需求的图像，可通过调整邻域分割法中区域分割的阈值ε(ε∈[0.01,0.05]，增长步长为0.005)或去雾因子μ(μ的取值范围为[0.50,1]，增长步长为0.005)，或同时调整区域分割的阈值ε和去雾因子μ，重复上述1)至4)的步骤，直到满足需求为止。

本发明产生的有益效果是：本发明方法采用多尺度灰度腐蚀方法对大气光强度进行估计，降低了腐蚀操作半径对大气光强度估计精度的影响；改进了暗通道先验图像去雾方法，通过多尺度加权平均取代已有的单尺度值求取暗通道图，提高了暗通道先验理论对未知参数的估计精度；采用邻域分割法细化了透射率，实现了图像透射率的快速估计。此外，本发明采用全局性的方法，计算工作量较小，易于应用。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的结构示意图；

图2是本发明实施例的操作流程图；

图3是本发明实施例的第一图像处理对比示意图；其中：

图3a是本发明实施例采用的第一图像未处理雾化图像；

图3b是采用原始最小值滤波(dcp)方法处理第一图像后的透射率图像；

图3c是采用原始最小值滤波(dcp)方法处理第一图像后的图像；

图3d是采用中值滤波(mdcp)方法处理第一图像后的透射率图像；

图3e是采用中值滤波(mdcp)方法处理第一图像后的图像；

图3f是采用引导滤波(gif)方法处理第一图像后的透射率图像；

图3g是采用引导滤波(gif)方法处理第一图像后的图像；

图3h是采用本发明方法处理第一图像后的透射率图像；

图3i是采用本发明方法处理第一图像后的图像；

图4是本发明实施例的第二图像处理对比示意图；其中：

图4a是本发明实施例采用的第二图像未处理雾化图像；

图4b是采用本发明方法处理第二图像后的图像；

图5是本发明实施例的第三图像处理对比示意图；其中：

图5a是本发明实施例采用的第三图像未处理雾化图像；

图5b是采用本发明方法处理第三图像后的图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，基于物理模型的改进暗通道先验单幅雾化图像复原方法包括以下步骤：

步骤s100、基于雾化图像降质物理模型的大气光强度a这一未知参数，采用多尺度灰度腐蚀方法对其进行估计，以降低腐蚀半径对其估计精度的影响。

本实施例中首先需要确定腐蚀操作半径，即选取实际输入待复原雾化图像长度和宽度较小值的0.1倍作为腐蚀操作半径，为实现三尺度，在此，以该腐蚀操作半径为中心选取另外两个尺度半径分别为和

其中：ρ表示腐蚀操作半径；lwidth表示待复原雾化图像的长度；lheight表示待复原雾化图像的宽度；

其次，在如下单尺度大气光强度估计公式的基础上，估计大气光强度：

其中：aρ表示单尺度大气光强度的估计值；ρ表示腐蚀操作半径；x表示待复原雾化图像中像素点的坐标位置；ω为待复原雾化图像区域；i^c为彩色待复原雾化图像的每个通道；

最后，基于上述公式，采用三尺度实现大气光强度的估计：

其中：表示大气光强度的估计值；μn为尺度为ρn时的权重，权重取值分别为0.1、0.3和0.6；aρn为腐蚀操作半径为ρn的单尺度大气光强度估计值。

步骤s200、对待复原的雾化图像采用多尺度加权平均取代已有单尺度值求取暗通道图，提高暗通道先验理论对雾化图像降质物理模型未知参数的估计精度。

本实施例中的雾化图像降质物理模型是基于mccarney的大气散射模型建立的，其是根据计算机视觉理论和图形图像处理相关预备知识，构建雾化图像生成过程中的大气散射过程和图像退化过程。其模型状态方程描述为：

i(x)＝j(x)t(x)+a(1-t(x))

其中：x表示图像中像素点的坐标位置；i(x)表示光线经过大气散射作用后汇入像素点的光强总和，即雾化图像；j(x)表示无雾情况下得到的原始图像，即晴天无雾情况下拍摄得到的正常图像；t(x)表示光的透射率，即在大气介质中光线通过传播媒介到达相机中被散射部分的比率；常数a表示无穷远处大气光强的大小，与变量x无关，是一个常量。

由物理模型知，模型中含有3个未知参数，分别为待求的无雾图像j，大气光强度a和透射率t(x)，为了提高暗通道先验理论对未知参数的估计精度，在此对每个暗通道采用多个尺度进行最小值滤波，并对每个暗通道值进行加权平均，得到具有更高精确度的暗通道值。图像暗通道的单尺度使用以下公式表示：

其中：dr(x)表示雾化图像的暗通道值；r表示滤波半径；ω(x)为以x为中心的非天空局部区域，也称为局部窗口；i^c为彩色雾化图像的每个通道。

步骤s300、在所述暗通道图下采用邻域分割法并结合大气光强度a的估计值得到优化后的透射率t(x)，解决透射率不匹配问题。

本实施例中首先需要按照以下约束条件扫描暗通道图像区块中的所有像素点，保证选取点和中心点在同一个前景或背景区域：

其中：ω^f(x,y)和ω^b(x,y)分别是前景像素点和背景像素点构成的集合；ω(x,y)表示前景区域ω^f(x,y)与背景区域ω^b(x,y)所有像素点构成的总集合。

其次，在采用邻域分割时，分割的区域ω^s(x,y)需满足以下关系：

其中：ω^s(x,y)表示分割的区域；ω^f(x,y)表示前景区域；ω^b(x,y)表示后景区域；

并采用以下判断依据对邻域分割进行判断：

其中：ε为区域分割的阈值取0.025；(u,v)为对应于像素中心点(x,y)的临近像素点位置；ω^s(x,y)表示分割的区域；im表示使用本发明改进的图像区块。

最后，通过以下基于邻域分割的透射率估计公式快速求得透射率t(x)：

其中：tr为待求的透射率；(x,y)表示待求透射率像素点的位置坐标；μ为去雾因子取0.95；ω^s(x,y)表示分割的区域；(u,v)为对应于像素中心点(x,y)的临近像素点位置；im表示使用本发明改进的图像区块。

步骤s400、将雾化图像、大气光强度a和优化后的透射率t(x)代入雾化图像降质物理模型，实现单幅雾化图像的复原。

本实施例中将雾化图像、步骤s100和s300分别求得的大气光强度a和透射率t(x)，代入以下雾化图像降质物理模型中，实现雾化图像的复原：

其中：x表示图像中像素点的坐标位置；i(x)表示光线经过大气散射作用后汇入像素点的光强总和，即雾化图像；j(x)表示无雾情况下得到的原始图像，即晴天无雾情况下拍摄得到的正常图像；t(x)表示光的透射率，即在大气介质中光线通过传播媒介到达相机中被散射部分的比率；常数a表示无穷远处大气光强的大小，与变量x无关，是一个常量。

如图2所示，一种基于物理模型的改进暗通道先验单幅雾化图像复原方法，其具体操作步骤如下：

(1)输入雾化图像i；

(2)对输入的雾化图像i，在确定腐蚀操作半径的基础上，采用三尺度实现大气光强度a的估计；

(3)通过暗通道先验规律对输入雾化图像i的每个暗通道采用多个尺度进行最小值滤波，并对每个暗通道值进行加权平均，得到具有更高精确度的暗通道；

(4)结合步骤(2)获得的大气光强度a，采用邻域分割方法，实现透射率t(x)的快速估计：

(5)将(2)、(4)操作中得到的大气光强度a和透射率t(x)代入雾天图像降质物理模型，实现雾化图像的去雾处理：

(6)判断复原效果是否满足要求，若满足要求，则可得到无雾图像j(x)，结束单幅雾化图像的去雾操作。

(7)对于复原效果不满足需求的图像，可通过调整邻域分割法中区域分割的阈值ε(ε∈[0.01,0.05]，增长步长为0.005)或去雾因子μ(μ的取之范围为[0.50,1]，增长步长为0.005)，或同时调整区域分割的阈值ε和去雾因子μ，重复上述(1)至(5)的步骤，直到满足需求为止。

通过实验结果可以看出，图3a是未处理的雾化图像。图3b是采用原始最小值滤波(dcp)方法得到的透射率图。图3c是由图3b复原得到的去雾图像，因原始dcp方法对雾天图像的整体透射率只进行了粗略估计，所以得到的透射率图比较粗糙，图像中树叶边缘区域不明显，复原得到的去雾效果图存在光晕现象，树叶附近白色晕块较多，去雾效果比较一般。图3d是采用中值滤波(mdcp)方法得到的透射率图。图3e是由图3d复原得到的去雾图像，因mdcp选取中位数作为中心像素的亮度，相较dcp而言虽然较好的保持了图像边缘特征，透射率估计相对精确，但是依旧达不到理想效果，还原后的图像仍存在一定的光晕效应。图3f是采用引导滤波(gif)方法得到的透射率图。图3g是由图3f复原得到的去雾图像，引导滤波方法很好的细化了图像的透射率，图像边缘细节得以突显，光晕效应基本消除，但相较于本发明方法，其仍然存在一定的局限性。图3h是采用本发明方法得到的透射率图。图3i是由图3h复原得到的去雾图像，本发明方法针对已有方法存在参数估计精度不足、透射率优化程度不够和运行效率不理想等问题，采用多尺度加权平均取代已有单尺度值求取暗通道图，提高了暗通道先验理论对未知参数的估计精度，采用邻域分割法细化了透射率，实现了图像透射率的快速估计。

图4a和5a是未经过任何处理的雾化图像，图4b和5b是采用本发明方法处理得到的雾化复原图像。通过对比实验，并采用对比度、信息熵、平均梯度、均值、方差和细节强度等一系列评价指标进行定量分析，可知本发明方法在数据指标方面取得了一定的成效，较好的保留了图像的信息，提高了图像的色彩丰富度和清晰度。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。