一种基于天空区域识别的单幅图像去雾方法与流程

本发明属于数字图像去雾处理技术领域，具体涉及一种基于天空区域识别的单幅图像去雾方法，用于对彩色图像的无色偏去雾。

背景技术：

使用现有的图像去雾方法处理包含有天空区域的有雾彩色图像时，均会存在如下缺陷：1) 天空区域本身就是由浓密的“雾气”所构成的，因此对有雾彩色图像中的天空区域进行去雾处理，本质上是不合理的，也不可能通过消除天空区域的“雾气”而揭示出隐藏在其后的场景细节；2)现有的图像去雾方法的目标都是消除像素中所包含的过量的大气光(近似白色) 分量，从而通过提高饱和度、对比度等方式实现信息增益，而考虑到天空区域应当具备光滑、缺乏纹理的特征，因此对天空区域引入不适度的信息增益则势必会引起过增强、色偏等负面效应。

技术实现要素：

为解决上述问题，本发明提出一种基于天空区域识别的单幅图像去雾方法，能够在有效消除图像中雾气的同时避免天空区域出现色偏、过增强或光晕等效应。

本发明的具体技术方案如下：一种基于天空区域识别的单幅图像去雾方法，包括以下步骤：

步骤1，识别出有雾彩色图像中的天空区域和非天空区域；

步骤2，在天空区域中估算全局大气光值；

步骤3，求取非天空区域的透射图，根据全局大气光值，利用大气散射模型获得非天空区域的去雾图；

步骤4，结合有雾彩色图像中的天空区域与非天空区域的去雾图获得总去雾图像。

进一步，步骤1中，识别出有雾彩色图像中的天空区域和非天空区域的具体步骤如下：

步骤1.1，利用下式提取有雾彩色图像中每个像素的天空特征值：

其中，F(x,y)表示像素(x,y)的天空特征值，表示像素(x,y)的梯度，V(x,y)表示像素(x,y)的亮度，S(x,y)表示像素(x,y)的饱和度，表示全图亮度均值，λ1表示梯度特征阈值，λ2表示饱和度特征阈值，e表示自然常数；

步骤1.2，利用下式对有雾彩色图像中每个像素的天空特征值进行优化：

F^refined(x,y)←dilate(erode(F(x,y)))

其中，F^refined(x,y)表示像素(x,y)的天空特征优化值，dilate(·)表示膨胀算子，erode(·)表示腐蚀算子；

步骤1.3，依次判别有雾彩色图像中的每个像素，若该像素的天空特征优化值大于全图的天空特征优化均值的1.2倍，则判定该像素属于天空区域，否则属于非天空区域。

进一步，步骤2中根据天空区域计算全局大气光值，具体包括：求取天空区域中每个像素的邻域的饱和度均值，将饱和度均值前1％对应的像素组成候选大气光像素集，计算候选大气光像素集中的强度均值，将该值作为全局大气光值。

进一步，步骤3中，求取非天空区域的透射图，根据全局大气光值，利用大气散射模型获得非天空区域的去雾图的具体步骤如下：

步骤3.1，利用下式求取非天空区域中像素的粗略透射率，构建非天空区域的粗略透射图：

其中，trough'(x,y)表示非天空区域的粗略透射图中像素(x,y)的粗略透射率，Ω(x,y)表示非天空区域的粗略透射图中像素(x,y)的邻域，Ic(x',y')表示邻域Ω(x,y)中任意一个像素(x',y')对应的有雾彩色图像中像素(x',y')的R、G、B三个通道的任意一个通道的强度值，L∞表示全局大气光值；

步骤3.2，采用导向全变分模型对非天空区域中像素的粗略透射率进行优化，得到非天空区域的优化透射图，其中导向全变分模型的表达式如下：

其中，t'(x,y)表示非天空区域的优化透射图中像素(x,y)的优化透射率，表示非天空区域的优化透射图中像素(x,y)的梯度，表示非天空区域的优化透射图中像素(x,y) 对应的有雾彩色图像的灰度图中像素(x,y)的梯度，表示求二范数的平方；

步骤3.3，根据全局大气光值和非天空区域的优化透射图，采用大气散射模型获得非天空区域的去雾图。

进一步，步骤4中结合有雾彩色图像中的天空区域与非天空区域的去雾图获得总去雾图像，具体包括：将天空区域的像素的粗略透射率均设为1，构建天空区域的粗略透射图；采用导向全变分模型对天空区域的像素的粗略透射率进行优化，得到天空区域的优化透射图；根据全局大气光值和天空区域的优化透射图，采用大气散射模型获得天空区域的去雾图；结合天空区域的去雾图和非天空区域的去雾图获得总去雾图像。

进一步，还包括步骤5，利用下式对总去雾图像进行亮度一致性修正，获得去雾修正图像：

其中，R(x,y)表示去雾修正图像中像素(x,y)的强度值，J(x,y)表示去雾修正图像中像素 (x,y)对应的总去雾图像中像素(x,y)的强度值，Ω(x,y)表示去雾修正图像中像素(x,y)对应的总去雾图像中像素(x,y)的邻域，J^c(x',y')表示邻域Ω(x,y)中任意一个像素(x',y')对应的总去雾图像中像素(x',y')的R、G、B三个通道的任意一个通道的强度值。

本发明的有益效果：本发明方法通过识别出有雾彩色图像中的天空区域和非天空区域，在天空区域中估算全局大气光值，根据全局大气光值对非天空区域进行去雾处理，获得非天空区域的去雾图，最后结合有雾彩色图像中的天空区域，获得总去雾图像；本发明方法在识别出的天空区域中估计全局大气光值，可以有效提高大气光估计的准确率，从而改善去雾处理后图像的视觉效果；本发明方法仅对非天空区域进行去雾处理，避免天空区域出现色偏、过增强或光晕等负面效应。

附图说明

图1是本发明方法的流程图。

图2是本发明实施例对具体图像进行去雾获得的中间效果流程图。

图3是本发明实施例中识别天空区域的效果图。

图4是本发明实施例和现有图像去雾方法对第一有雾图像进行去雾处理的效果对比图。

图5是本发明实施例和现有图像去雾方法对第二有雾图像进行去雾处理的效果对比图。

具体实施方式

下面结合附图和具体实施例对本发明方法做进一步的解释说明。

如图1所示，本发明实施例提供的一种基于天空区域识别的单幅图像去雾方法，包括以下步骤：

步骤1，识别出有雾彩色图像中的天空区域和非天空区域，具体为：

步骤1.1，利用下式提取有雾彩色图像中每个像素的天空特征值，获得天空特征图，如图 2(b)所示：

其中，F(x,y)表示像素(x,y)的天空特征值，表示像素(x,y)的梯度，V(x,y)表示像素(x,y)的亮度，S(x,y)表示像素(x,y)的饱和度，表示全图亮度均值，λ1表示梯度特征阈值，λ2表示饱和度特征阈值，e表示自然常数。

本实施例中λ1＝0.005，λ2＝0.04。

步骤1.2，为了消除天空特征图中的噪点，将上述天空特征图先进行膨胀运算，再进行腐蚀运算获得优化天空特征图，如图2(c)所示。具体利用下式对有雾彩色图像中每个像素的天空特征值进行优化：

F^refined(x,y)←dilate(erode(F(x,y)))

其中，F^refined(x,y)表示像素(x,y)的天空特征优化值，dilate(·)表示膨胀算子，erode(·)表示腐蚀算子。

步骤1.3，求取全图的天空特征优化均值依次判别有雾彩色图像中的每个像素，若像素(x,y)的天空特征优化值F^refined(x,y)大于全图的天空特征优化均值的1.2倍，则判定像素(x,y)属于天空区域Isky，否则属于非天空区域Inon-sky。

本发明实施例的步骤1可有效识别出天空区域和非天空区域，效果如图3所示，图3(a)、 (b)、(c)和(d)为包含天空区域的有雾彩色图像，图3(e)、(f)、(g)和(h)分别对应为图3(a)、(b)、 (c)和(d)的天空区域识别效果图。

步骤2，求取天空区域Isky中每个像素的邻域的饱和度均值，本实施例中邻域大小选择 15×15，将饱和度均值从大到小进行排序，选择排在前1％的饱和度均值对应的像素构成候选大气光像素集，计算候选大气光像素集中的强度均值，将该值作为全局大气光值L∞。

步骤3，求取非天空区域的透射图，根据全局大气光值，利用大气散射模型获得非天空区域的去雾图。

步骤3.1，结合暗通道先验方法[1]，利用下式求取非天空区域中像素的粗略透射率，构建非天空区域的粗略透射图：

其中，trough'(x,y)表示非天空区域的粗略透射图中像素(x,y)的粗略透射率，Ω(x,y)表示非天空区域的粗略透射图中像素(x,y)的邻域，Ic(x',y')表示邻域Ω(x,y)中任意一个像素(x',y')对应的有雾彩色图像中像素(x',y')的R、G、B三个通道的任意一个通道的强度值，L∞表示全局大气光值。

步骤3.2，采用文献[2]所提出的导向全变分模型对非天空区域中像素的粗略透射率进行优化，得到非天空区域的优化透射图，其中导向全变分模型的表达式如下：

其中，t'(x,y)表示非天空区域的优化透射图中像素(x,y)的优化透射率，表示非天空区域的优化透射图中像素(x,y)的梯度，表示非天空区域的优化透射图中像素(x,y) 对应的有雾彩色图像的灰度图中像素(x,y)的梯度，表示求二范数的平方。

步骤3.3，根据全局大气光值L∞和非天空区域的优化透射图，利用下式获得非天空区域的去雾图：

其中，J'(x,y)表示非天空区域的去雾图中像素(x,y)的强度值，I'(x,y)表示非天空区域的去雾图中像素(x,y)对应的有雾彩色图像中像素(x,y)的强度值。

步骤4，结合有雾彩色图像的天空区域和非天空区域的去雾图获得总去雾图像。

考虑到防止去雾总图像中天空区域与非天空区域的交界处边缘突兀，跳变太大导致光晕效应显著，本发明实施例中步骤4还增加了对识别出的天空区域做去雾处理，具体为：

步骤4.1，设置天空区域中像素(x,y)的粗略透射率trough^*(x,y)＝1，构建天空区域的粗略透射图。

步骤4.2，采用导向全变分模型对天空区域中像素的粗略透射率进行优化，得到天空区域的优化透射图，其中导向全变分模型的表达式如下：

其中，t^*(x,y)表示天空区域的优化透射图中像素(x,y)的优化透射率，表示天空区域的优化透射图中像素(x,y)的优化透射率的梯度，表示天空区域的优化透射图中像素 (x,y)对应的有雾彩色图像的灰度图中像素(x,y)的梯度，表示求二范数的平方。

步骤4.3，根据全局大气光值L∞和天空区域的优化透射图，利用下式获得天空区域的去雾图：

其中，J^*(x,y)表示天空区域的去雾图中像素(x,y)的强度值，I^*(x,y)表示天空区域的去雾图中像素(x,y)对应的有雾彩色图像中像素(x,y)的强度值。

步骤4.4，结合天空区域的去雾图和非天空区域的去雾图获得总去雾图像。

需要说明的是，上述步骤3和步骤4可合并为同一步骤处理，具体包括：

利用下式求取有雾彩色图像中像素的粗略透射率，构建有雾彩色图像的粗略透射图，如图2(e)所示：

其中，trough(x,y)表示粗略透射图中像素(x,y)的粗略透射率，Ω(x,y)表示粗略透射图中像素(x,y)的邻域，Ic(x',y')表示邻域Ω(x,y)中任意一个像素(x',y')对应的有雾彩色图像中像素 (x',y')的R、G、B三个通道的任意一个通道的强度值，L∞表示全局大气光值。

采用导向全变分模型对粗略透射图中像素的粗略透射率进行优化，得到优化透射图，如图2(f)所示，其中导向全变分模型的表达式如下：

其中，t(x,y)表示优化透射图中像素(x,y)的优化透射率，表示优化透射图中像素 (x,y)的优化透射率的梯度，表示优化透射图中像素(x,y)对应的有雾彩色图像的灰度图中像素(x,y)的梯度，表示求二范数的平方。

根据全局大气光值L∞和优化透射图，利用下式获得总去雾图像，如图2(g)所示：

其中，J(x,y)表示总去雾图像中像素(x,y)的强度值，I'(x,y)表示总去雾图像中像素(x,y) 对应的有雾彩色图像中像素(x,y)的强度值。

该步骤中，利用暗通道先验对非天空区域进行透射率估计，并将天空区域中像素的粗略透射率均设为1，从而获得全图的粗略透射率。然后，采用导向全变分模型对全图的粗略透射率进行优化处理，从而获得优化透射率。最后，根据全局大气光值和优化透射率获得去雾处理后的图像。其中，导向全变分模型对全图的粗略透射率进行优化处理的主要目的是对全图的粗略透射率进行保边平滑处理，使得景深突变区域的透射率不产生跳变效应，特别是天空区域和非天空区域交界的边缘区域。导向全变分模型使用有雾彩色图像的灰度图做导向，而有雾彩色图像的天空区域是近似没有纹理的，因此并不会对的天空区域内部(粗略透射率为1)的粗略透射率带来较大变化，因此获得的天空区域的去雾图不会发生过增强、色偏的效应。

本发明实施例中还包括步骤5，利用下式对总去雾图像进行亮度一致性修正，获得去雾修正图像：

其中，R(x,y)表示去雾修正图像中像素(x,y)的强度值，J(x,y)表示去雾修正图像中像素 (x,y)对应的总去雾图像中像素(x,y)的强度值，Ω(x,y)表示去雾修正图像中像素(x,y)对应的总去雾图像中像素(x,y)的邻域，J^c(x',y')表示邻域Ω(x,y)中任意一个像素(x',y')对应的总去雾图像中像素(x',y')的R、G、B三个通道的任意一个通道的强度值。

该步骤简单有效，且具有较高的效率。该步骤的核心思想是自适应的削减图像过亮区域中的像素强度、提高过暗区域的像素强度，从而达到修正图像亮度一致性的目的。

图4和图5为利用本发明实施例方法和现有的四种方法对相同的两个有雾彩色图像进行处理的效果图，其中，图4(a)和5(a)为包含天空区域的雾天降质图像，图4(b)和5(b)为He方法[1]处理后的去雾图像，图4(c)和5(c)为Gu方法[6]处理后的去雾图像，图4(d)和5(d)为Tarel 方法[4]处理后的去雾图像，图4(e)和5(e)为Meng方法[5]处理后的去雾图像，图4(f)和5(f) 为本发明方法处理后的去雾图像。从图4和图5中可以看出，本发明方法可以取得更好的视觉效果，在有效消除图像中雾气的同时天空区域不会出现色偏、过增强或光晕等负面效应。

参考文献：

[1]He K,Sun J,Tang X.Single Image Haze Removal Using Dark Channel Prior[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2011,33(12):2341-2353.

[2]Ju M,Zhang D,Wang X.Single image dehazing via an improved atmospheric scattering model[J].Visual Computer,2017,33(12):1613-1625.

[3]Gu Zhen-fei,Ju M,Zhang D.A novel Retinex image enhancement approach via brightness channel prior and change of detail prior[J].Pattern Recognition&Image Analysis,2017, 27(2):234-242.

[4]Tarel J P,Hautière N.Fast visibility restoration from a single color or gray level image[C]//IEEE 12th International Conference on Computer Vision,2009:2201-2208.

[5]Meng G,Wang Y,Duan J,et al.Efficient Image Dehazing with Boundary Constraint and Contextual Regularization[C]//IEEE International Conference on Computer Vision.IEEE, 2014:617-624.

[6]Gu Zhen-fei,Ju Ming-ye,Zhang Deng-yin.A single image dehazing method using average saturation prior[J].Mathematical Problems in Engineering,2017,2017:1-17. 。