一种基于天空识别与分割的暗通道先验去雾方法
【专利摘要】一种基于天空识别与分割的暗通道先验去雾方法，首先根据天空区域亮度较亮、梯度较小的特点，并结合均值漂移算法分割出天空区域；然后再分别计算出天空区域和非天空区域的透射率并通过改进的引导滤波对透射率图像进行优化；最后根据去雾模型进行图像去雾。该方法以天空区域的特征点结合均值漂移算法进行天空分割，提高了天空区域识别的准确性；依据天空区域和非天空区域的特点，分别计算透射率，提高了透射率的准确度；基于边缘保持的暗通道及大气光强以及基于边缘保持的透射率图像引导滤波，消除了去雾后景物边缘的光晕现象，同时也提高了处理效率。恢复的图像天空区域更自然，并且可以大大减少消耗，提升计算速度。
【专利说明】
一种基于天空识别与分割的暗通道先验去雾方法
技术领域
[0001] 本发明涉及一种图像去雾方法，属于图像处理技术领域。
【背景技术】
[0002] 受悬浮的大气粒子(烟、雾或粉尘)而影响，在室外场景拍摄的图像质量往往会下 降，而使人难以区分图像中的景物。在航空摄影、驾驶援助和视觉监视方面，恶劣天气下的 图像去雾是一项非常关键的技术问题。图像去雾是为了消除引起空气浑浊的介质，改善模 糊图像的对比度并恢复场景的可见性。
[0003] 近几年来，单幅图像的去雾方法得到广泛的研究，汤晓鸥等人发现无雾图像相对 于雾化图像具有较高的对比度，通过最大化恢复图像的对比度来实现图像去雾，但由于该 方法没有从物理模型上恢复真实的场景反射率，图像去雾后有可能出现颜色过饱和失真。 Kaiming He提出了一种基于暗通道先验的方法，即在有雾图像的特定窗口中至少有一个颜 色分量的值是零，该算法利用最小值滤波估算出介质传播函数，然后利用软抠图原理对估 算的介质传播函数进行优化估计，达到了较好的去雾效果。由于软抠图算法需要较高的运 算量，很难得到实际应用。所以后来Kaiming He又提出了引导滤波法，来精细化透射率，其 方法的流程如图1所示。
[0004] 通过对比实验发现，场景中如果存在较大的天空区域的话，Kaiming He提出的暗 通道先验的理论在天空区域将不再成立，图像去雾后天空区域存在严重的失真，特别是在 天空区域不明显的浓雾环境下。
【发明内容】
[0005] 针对现有图像去雾技术存在的不足，本发明提出一种能够提升浓雾环境下天空区 域的去雾效果、图像更加精确的基于天空识别与分割的暗通道先验去雾方法。
[0006] 本发明的基于天空识别与分割的暗通道先验去雾方法，包括天空区域识别、基于 边缘保持的暗通道及大气光强估算、基于天空区域识别的透射率估算以及基于边缘保持的 透射率引导滤波，最后利用估算的大气光强和透射率对图像去雾;具体包括以下步骤：
[0007] (1)天空区域识别：
[0008] ①首先将输入的有雾图像J均匀划分成四个区域，由于天空区域始终在图像的上 方，所以对图像上方的左右两个区域（即左上和右上两个区域)分别再划分成四个区域，标 记为A left, 1、A left, 2、A left, 3、A left, 4、A right, 1、A right, 2、A right, 3矛卩 A right，4 ;
[0009] ②分别计算每个区域的平均亮度Jllght;
[0010]以 Aleft>1 为例：
[0011]
[0012] 式中c表示色度分量，取值范围是{r，g，b}，即红色分量、绿色分量和蓝色分量，N表 示区域Awm中的像素数量，Jly)表示该区域中，色度分量c上的第y个像素的亮度值。
[0013]③分别计算每个区域的平均梯度J-;
[0014]以 Aleft>1 为例：
[0015]
[0016] 式中c表示色度分量，取值范围是{r，g，b}，即红色分量、绿色分量和蓝色分量，N表 示区域中的像素数量，Jly)表示图像J在色度分量c上的第y个像素的亮度值。
[0017] ④在Δ left>1、Δ left,2、Δ left,dP Δ left,4中选取亮度最大且梯度小于门限值 4 的区域，标记为Αοι; ?=0
[0018] ⑤在Aright>1、Aright,2、A right,3和Aright,4中选取亮度最大且梯度小于门限值 :Σ (d )的区域，标记为A〇2 ; 7=0
[0019] ⑥将区域Α(Π 和别再划分成4个区域，重复上述步骤②至⑤，选出区域如和心2;
[0020] ⑦分别取An和A12区域中的中心点a(i，j)和b(i，j)作为天空区域的识别点；
[0021] ⑧以a(i，j)和b(i，j)作为特征点，采用均值漂移算法进行天空区域分割；
[0022] (2)暗通道及大气光强估算：
[0023]①对输入的有雾图像J进行边缘检测；
[0024]②依据有雾图像的各个色度分量及边缘检测结果，求出有雾图像的暗通道图像； [0025] 如下式所示，
[0026]
[0027] 式中min表示取最小值操作;Jdal:k(X)表示有雾图像J的暗通道；Ω (X)表示以像素 X 为中心的一个W X W的窗口区域;若像素 X为图像的边缘像素，W取值为3，若像素 X不是图像的 边缘像素，W取值为15;r(y)表示图像J在色度分量c上的第y个像素的亮度值；
[0028] ③选择暗通道中最亮的0.1%个像素点，其对应有雾图像J的最亮点值为作为大气 光强A;
[0029] (3)透射率及无雾图像估算：
[0030] ①依据分割出的天空区域像素集合S、有雾图像的大气光强A，采用下式估算有雾 图像中每个像素的初始透射率，
[0031]
[0032] 式中，Jr表示有雾图像中的红色色度分量;31表示自然场景下，无雾图像天空区域 的红色色度分量与有雾图像天空区域的红色色度分量之比，的取值范围是[0~1]，ω是 一个可调节的参数，其值设置为〇. 95;
[0033] ②对于步骤①中求出的透射率图像，采用引导滤波进行优化，对透射率图像边缘 区域的像素，采用12X12的窗口进行引导滤波，对透射率图像非边缘区域的像素采用60Χ 60的窗口进行引导滤波，计算出每个像素的最终的透射率t '（ X);
[0034] ③依据优化后的透射率，估算无雾图像的像素值，如下式所示：
[0035]
[0036] 式中，表示估算出的无雾图像中色度分量c，像素 x的像素值，to表示场景 的最低透射率，设置为0.1。
[0037] 本发明主要提高单幅图像暗通道先验去雾的效果，首先进行天空识别与分割，确 定天空与非天空区域的不同的透射率;然后通过改进的引导滤波方法对透射率进行优化， 进而消除去雾图像边缘处的光晕现象，并提高处理效率。与现有技术相比具有以下优点：
[0038] 1.本发明提出了一种天空区域四分区的识别方法来标记天空区域的特征点，再结 合均值漂移算法进行天空分割，提高天空区域识别的准确性；
[0039] 2.本发明依据天空区域和非天空区域的特点，分别计算透射率，提高了透射率的 准确度；
[0040] 3.本发明提出了基于边缘保持的暗通道及大气光强计算方法以及基于边缘保持 的透射率图像引导滤波方法，消除了去雾后景物边缘的光晕现象，同时也提高了处理效率。
【附图说明】
[0041 ]图1是现有Kaiming He的去雾方法流程图。
[0042]图2是本发明的去雾方法流程图。
[0043]图3是基于四叉树的天空识别特征点提取示意图。
[0044]图4是本发明与Kaiming He的图像去雾效果比较图。
【具体实施方式】
[0045] 如图2所示，本发明的基于天空识别与分割的暗通道先验去雾方法，首先是提出了 一种天空区域识别方法;其次，提出了基于边缘保持的暗通道及大气光强估算方法，然后提 出了基于天空区域识别的透射率估算方法以及基于边缘保持的透射率引导滤波方法，最后 利用估算的大气光强和透射率对图像去雾。采用本发明进行图像去雾后，恢复出的图像天 空区域更自然，计算速度也更快。
[0046] 本发明的基于天空识别与分割的暗通道先验去雾方法，具体包括以下步骤：
[0047](一)天空区域识别，如图3所示
[0048] (1)首先将输入图像均匀划分成四个区域，由于天空区域始终在图像的上方，所以 对图像上方的左、右两个区域分别再分别划分成四个区域，标记为Δ left>1、Δ left,2、Δ left,3、 A left, 4、A right, 1、A right, 2、A right, 3矛卩 A right,4 ；
[0049] (2)分别计算每个区域的平均亮度jllght;
[0050] 以 Aleft>1 为例：
[0051 ]
Cl)
[0052] 式中c表示色度分量，取值范围是{r，g，b}，即红色分量、绿色分量，蓝色分量，N表 示区域中的像素数量，r(y)表示图像J在色度分量C上的第y个像素的亮度值；
[0053] (3)分别计算每个区域的平均梯度Jgrad;
[0054] 以 Aleft>1 为例：
[0055]
α>
[0056] (4)在Δ left>1、Δ left,2、Δ left,3、Δ left,4中选取亮度最大且梯度小于门限值 J Σ (巧丨)的区域，标记为Α〇ι; r-0
[0057] (5)在Aright>1、Aright, 2、Aright,3、Aright,4中选取亮度最大且梯度小于门限值 ,,)的区域，标记为A〇2 ; 7=--0
[0058] (6)将区域AQ1、AQ2分别再划分成4个区域，重复上述步骤（2)至（5)，选出区域An、 Al2 ；
[0059] (7)分别取An和A12区域中的中心点a(i，j)和b(i，j)作为天空区域的识别点；
[0060] (8)以a(i，j)和b(i，j)作为特征点，采用均值漂移算法进行天空区域分割。
[0061](二)暗通道及大气光强估算
[0062] (1)对输入的有雾图像J进行边缘检测；
[0063] (2)依据有雾图像的各个色度分量及边缘检测结果，求出有雾图像的暗通道图像； 如下式
[0064] (.3:).
[0065] 式中min表示取最小值操作;Jdal:k(X)表示有雾图像J的暗通道；Ω (X)表示以像素 X 为中心的一个W X W的窗口区域;若像素 X为图像的边缘像素，W取值为3，若像素 X不是图像的 边缘像素，W取值为15;r(y)表示图像J在色度分量c上的第y个像素的亮度值。
[0066] (3)选择暗通道中最亮的0.1 %个像素点，其对应有雾图像J的最亮点值为作为大 气光强A。
[0067](三)透射率及无雾图像估算
[0068] (1)依据分割出的天空区域像素集合S、有雾图像的大气光强A，采用下式估算有雾 图像中每个像素的初始透射率：
[0069]
(4)
[0070] 式中，Jr表示有雾图像中的红色色度分量，31表示自然场景下，无雾图像天空区域 的红色色度分量与有雾图像天空区域的红色色度分量之比，通过实验统计可知取值范 围是[0~1]，本发明的实施实例中将心设置为0.9, ω是一个可调节的参数，其值通常被设 置为0.95。
[0071] (2)对于步骤（1)中求出的透射率图像，采用引导滤波进行优化，对透射率图像边 缘区域的像素，采用12X12的窗口进行引导滤波，对透射率图像非边缘区域的像素采用60 X 60的窗口进行引导滤波，计算出每个像素的最终的透射率t '（ X);
[0072] (3)依据优化后的透射率，估算无雾图像的像素值，如下式所示：
[0073]
[0074] 式中，《4,,表示估算出的无雾图像中色度分量c，像素 x的像素值，to表示场景 的最低透射率，通常被设置为〇. 1。
[0075]本发明的效果可以通过实验进一步说明。图4比较了本发明与Kaiming He的方法 去雾结果，其中左侧一列自上至下为四个原始图像，中间一列自上至下为四个利用Kaiming He去雾方法获得的图像，右侧一列自上至下为四个利用本发明方法获得的图像。图中可见， 本发明在天空区域去雾的效果更自然，景物的边缘也更清晰。下表比较了采用本发明和 Kaiming He的计算效率，可见本发明的方法比Kaiming He的方法计算速度更快。
[0076]本发明与Kaiming He的方法的计算复杂度比较 [0077]
【主权项】
1. 一种基于天空识别与分割的暗通道先验去雾方法，其特征是，包括天空区域识别、基 于边缘保持的暗通道及大气光强估算、基于天空区域识别的透射率估算W及基于边缘保持 的透射率引导滤波，最后利用估算的大气光强和透射率对图像去雾;具体包括W下步骤： (1) 天空区域识别： ① 首先将输入的有雾图像J均匀划分成四个区域，由于天空区域始终在图像的上方，所 W对图像上方的左右两个区域分别再划分成四个区域，标记为Δ Δ left,2、Δ left,3、 A left,4、A right，1、A right，2、A right, 3孝口 A right，4; ② 分别计算每个区域的平均亮度Jlight; ③ 分别计算每个区域的平均梯度Jgtad; ④ 在A Δ left,2、A left,3和A left,4中选取亮度最大且梯度小于口限值的区域，标记为Aoi; ⑤ 在A right, 1、A right, 2、Δ right, 3和Δ right, 4中选取亮度最大且梯度小于口限值向区域，标记为A02; ⑥ 将区域Aoi和A02分别再划分成4个区域，重复上述步骤②至⑤，选出区域An和Ai2 ; ⑦ 分别取All和Ai2区域中的中屯、点a(i，j)和b(i，j)作为天空区域的识别点； ⑧ Wa(i，j)和b(i，j)作为特征点，采用均值漂移算法进行天空区域分割； (2) 暗通道及大气光强估算： ① 对输入的有雾图像J进行边缘检测； ② 依据有雾图像的各个色度分量及边缘检测结果，求出有雾图像的暗通道图像； ③ 选择暗通道中最亮的0.1%个像素点，其对应有雾图像J的最亮点值为作为大气光强 A； (3) 透射率及无雾图像估算： ① 依据分割出的天空区域像素集合S、有雾图像的大气光强A，采用下式估算有雾图像 中每个像素的初始透射率，式中，Jr表示有雾图像中的红色色度分量;δτ表示自然场景下，无雾图像天空区域的红 色色度分量与有雾图像天空区域的红色色度分量之比，Sr的取值范围是[0~1]，ω是一个 可调节的参数，其值设置为0.95; ② 对于步骤①中求出的透射率图像，采用引导滤波进行优化，对透射率图像边缘区域 的像素，采用12X12的窗口进行引导滤波，对透射率图像非边缘区域的像素采用60X60的 窗口进行引导滤波，计算出每个像素的最终的透射率t'（x); ③ 依据优化后的透射率，估算无雾图像的像素值，如下式所示：式中，先村表示估算出的无雾图像中色度分量c，像素 X的像素值，t质示场景的最 低透射率，设置为0.1。2. 根据权利要求1所述的基于天空识别与分割的暗通道先验去雾方法，其特征是，所述 步骤(1 )的②中的计算每个区域的平均亮度Jlight的公式为，W Δ left, 1为例：式中C表示色度分量，取值范围是{r，g，b}，即红色分量、绿色分量和蓝色分量，N表示区 域Δ left,1中的像素数量，r(y)表示图像J在色度分量C上的第y个像素的亮度值。3. 根据权利要求1所述的基于天空识别与分割的暗通道先验去雾方法，其特征是，所述 步骤(1 )的③中的计算每个区域的平均梯度Jgtad的公式为，W Δ left, 1为例：式中C表示色度分量，取值范围是{r，g，b}，即红色分量、绿色分量和蓝色分量，N表示区 域Δ left,1中的像素数量，r(y)表示图像J在色度分量C上的第y个像素的亮度值。4. 根据权利要求1所述的基于天空识别与分割的暗通道先验去雾方法，其特征是，所述 步骤(2)的②中的求出有雾图像的暗通道图像的公式为：式中min表示取最小值操作;Jdatk(x)表示有雾图像J的暗通道；Ω (X)表示W像素 X为中 屯、的一个WXW的窗口区域;若像素 X为图像的边缘像素，W取值为3,若像素 X不是图像的边缘 像素，W取值为15;r(y)表示图像J在色度分量C上的第y个像素的亮度值。
【文档编号】G06T5/00GK105976338SQ201610312450
【公开日】2016年9月28日
【申请日】2016年5月12日
【发明人】元辉, 刘长春
【申请人】山东大学