基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
【专利摘要】本发明涉及基于暗通道先验与最小图像熵的交通雾霾能见度检测方法。在图像特征提取模块，对待检测图像I经过暗通道先验处理，得到大气透射率的粗估计值,采用导向滤波边缘平滑算子对透射率粗估计值进行平滑细化处理,获得每个像素点的深度信息；在道路区域提取模块，采用区域增长方法提取I中的道路区域，所述区域增长包括设置初始种子点、设置目标增长区域、计算相邻灰度差的最小值、判断目标像素是否为道路区域、更新种子点等步骤；在能见度估计模块，计算该区域的最小图像熵，得到消光系数最优值，有效估计出雾霾能见度大小。本发明的优势是在求图像熵过程中加入目标兴趣区域提取步骤，减少了算法的计算量,提高了运算速度和鲁棒性。
【专利说明】
基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
技术领域
[0001] 本发明涉及图像的增强与复原技术，具体涉及一种基于暗通道先验与最小图像熵 的交通雾霾能见度检测方法以及检测系统。
【背景技术】
[0002] 大气能见度反映了一个地区的空气污染程度，也会影响人类健康和交通安全。特 别是雾霾的出现会使能见度变得很差，并会导致很多问题:人们日常出行将会变得非常不 方便，驾驶员需要更高注意力和更快反应能力，以免造成交通事故。总而言之，能见度检测 变得及其必要且很有意义。
[0003] 求图像拐点方法是基于视频图像的雾霾能见度检测的经典技术，根据人眼视觉特 性，能见度对应的位置刚好是人眼观察某物体看得见与看不见的分界点，故我们可以通过 寻找图像亮度特征的拐点的位置来求得能见度值。对于求图像拐点方法的经典雾霾能见度 检测技术，其对采集图像的摄像机进行精确的标定，需要知道摄像机的焦距、倾斜角和垂直 高度等参数，故适用不同场景受到限制;且能见度检测的结果受到是否精确标定的影响，标 定过程对噪声比较敏感。
[0004] 相对于求图像拐点方法，暗通道先验理论是一项新的基于视频图像的雾霾能见度 检测技术。由于大部分图像特征基本符合这一特征:在图像的绝大多数非天空的局部区域 里，某一些像素总会有至少一个颜色通道具有很低的值;所以暗通道先验理论可以适用于 任何场景的道路，仅对天空区域失效。由于道路区域为目标区域，故该理论不受场景条件限 制，适用范围广，目前已经广泛运用于智能交通、图像去雾、图像增强等领域，并且展示出很 好的应用前景。但无数实践证明仅依赖该技术在去雾等图像处理领域存在诸多缺陷。如公 开号为CN104063853A、名称为〃一种基于暗通道技术的提高交通视频图像清晰度方法〃的发 明专利是利用暗通道先验理论对交通视频图像进行去雾处理，它是一种图像增强方法，但 存在的问题是通过暗通道先验理论得到的图像透射率图存在明显的光晕效应和方块效应， 透射率图还不够精确，只能作为一个粗值，与期待的精度仍有较大的距离。
【发明内容】
[0005] 本发明要解决的技术问题是提供一种道路视频图像交通雾霾能见度检测方法，准 确估计大气消光系数，有效解决白天雾霾条件下精确估计大气能见度的困难。
[0006] 为解决上述技术问题，本发明提出一种基于暗通道先验与最小图像熵的交通雾霾 能见度检测方法，技术方案包括以下步骤：
[0007] 1)在白天雾霾条件下，采集道路监控的视频序列，选择其中一帧将其作为待检测 图像I(x);
[0008] 2)计算大气透射率
[0009] J(x)是由上述待检测图像I(x)得到的恢复图像，A是天空亮度，t(x)是图像透射 率，则有雾图像形成模型为：
[0010] I(x)=J(x)t(x)+A(l-t(x))
[0011] 然后对上式求两次最小值运算，得到下式：
[0012] min ( min (/'(v)) I = /(.v) min ( min (J( (v)) j+(I-/(.v))^1 ce(r.g.b) \ * / ce(r.g.fe) * J
[0013] 其中JlPF表示图像的每个通道，《 (X)表示以像素 X为中心的一个窗口，
[0014] 对于任意的输入图像J(x)，图像中至少一个颜色通道具有很低的值，即：
[0015] (.V) = min \ min J'(.v)U 0
[0016] 大气透射率估计如下：
[0017] inin ( min (/f( v))) = (1-/(.v))/Jr V vety(x) * /
[0019]其中，天空亮度A是暗通道图中0.1%最亮像素点的均值大小；
[0020] 3)透射率优化调整
[0021] 对于像数k为中心的矩形窗概，设t(x)经导向滤波后为/'(X),导向图像采用待检测 图像I(x)，滤波输出图像f(x)与导向图像I(x)满足以下关系式：
[0022] / (/) ^ a, / (/) + b,, V/ e wk
[0023]其中，（ak，bk)是矩形窗wk恒定不变的线性系数，
[0024] 采用如下费用函数来衡量t(x)与f(x)的差异，即： E{a, ,h.) = Y ((/(/) -/'(/)): + ca；)
[0025] '二4 =Z ((/(-〇 - ?/, /(0 - h，f + ca：)
[0026] 其中，e是正则化参数，也是一个控制平滑程度的参数，然后利用线性回归求出像 数k为中心的矩形窗wk对应的线性系数(ak，bk)，BP :
[0029] 其中，of和yk分别表示图像I中矩形窗wk的方差和均值，$表示t在矩形窗概中的均 值，c 〇Vk(I，t)表示导向图像I与透射率图t在矩形窗wk中的互相关函数，
[0030] 由于像素 i会被多个矩形窗包含在内，不同的矩形窗会得到不同的^0),然后取其 所有可能值的均值：
[0032]其中，| w |表示矩形窗里像素的个数：
[0033] 4)计算深度信息
[0034] 针对道路图像，对于待检测图像I(x)中任意一车道线R(i)(i = l，2……n)，可以得 到对应的消光系数0(i):
[0036]其中，L为车道线的国家标准长度大小，t、t2分别为车道线两端在待检测图像对应 位置优化后的透射率，设N表示待检测图像中车道线的个数，然后对消光系数取均值：
[0038]对于待检测图像中的任意一个像数X，其对应位置的深度信息由以下公式计算得 到，即：
[0040] 5)道路区域提取
[0041]采用区域增长方法提取待检测图像I(x)中的道路区域，取I(x)中道路区域最底端 一行像素为增长的初始种子点，设种子的上一行像素点为目标区域，逐行处理像数点，用区 域增长方法提取道路区域的步骤如下：
[0042] (5.1)设置初始种子点为ps，当前种子点p = ps;
[0043] (5.2)在目标区域选择与像素种子点上方相邻的三个像素，计算种子点与此三个 像素的灰度差C^a\(a取-1，〇，1分别表示与种子点相邻左上方、正上方和右上方像素）；
[0044] (5.3)计算相邻3个像素灰度差的最小值1^11^；二{;
[0045] (5.4)判断目标区域像数点口(11^)与种子点均值!116&11化)是否满足如下关系，即 ：
[0046] p(Mi￥) - meanip) < pnr min G!^m
[0047] 其中，p< 1，nr是目标区域像数点p(u，v)与初始种子点ps相隔的行数，若满足，则将 该像数点加入道路区域，遍历目标区域所有像素;若该行所有的像素均不满足该条件，区域 增长终止；
[0048] (5.5)更新当前种子点和目标区域，将新加入道路区域的像数点作为新的种子点， 将新加入道路区域像数的上一行像素作为新的目标区域，更新结束后返回步骤5.2;
[0049] 6)能见度估计
[0050] 基于步骤5获得的道路区域和步骤4获得的深度信息，根据科希米德定律 (Koschmieder's Law)可以计算出恢复图像J(x)，艮口 ：
[0052] 其中，0的取值范围为[//-r，//十r]，t的取值在〇 . 〇 1~〇 . 〇 2之间，对 V/k [/-r r]，汁算恢复图像J(x)中提取到的道路区域的局部图像熵H为：
[0053] H = -E[l0g p(y)]=-Xp(y)l〇g p(y)
[0054] 其中，随机变量y表示灰度值，p(y)是关于y的概率密度函数，然后找到局部图像熵 最小时对应的值即为消光系数最优值矿，最后根据能见度检测理论计算出能见度大小：
[0056]进一步，作为优选，步骤2中的窗口《 (x)的大小为15X15。
[0057]进一步，本发明还提供了基于上述暗通道先验与最小图像熵的交通雾霾能见度检 测方法的检测系统，其包括图像采集模块、图像特征提取模块、道路区域提取模块和能见度 估计模块，上述模块各自的功能及其相互关系为：
[0058] 1)图像采集模块:在白天雾霾条件下，原始输入图像经监控摄像电子设备采集所 得，称为待检测图像I;
[0059] 2)图像特征提取模块:对待检测图像I经过暗通道先验处理，得到大气透射率的粗 估计值;采用导向滤波边缘平滑算子对透射率粗估计值进行平滑细化处理，得到更精细的 透射率;结合优化后的透射率和原始道路图像的车道线信息，获得图像中场景的每个像素 点的深度信息；
[0060] 3)道路区域提取模块:采用区域增长方法提取待检测图像I中的道路区域，所述区 域增长包括设置初始种子点、设置目标增长区域、计算相邻灰度差的最小值、判断目标像素 是否为道路区域、更新种子点等步骤；
[0061] 4)能见度估计模块:在提取到道路区域后，计算该区域的最小图像熵，得到消光系 数最优值，继而有效估计出雾霾能见度大小。
[0062]相较于传统的暗通道先验理论，本发明的技术方案采用暗通道先验理论与导向滤 波相结合，估计待检测图像的大气透射率;又基于暗通道先验理论与车道线检测基础，提出 全新的图像深度信息计算方法;采用区域增长算法，提取目标兴趣区域，并基于最小图像熵 理论，提出新的计算大气消光系数的方法。有益效果在于本发明在得到透射率图后，对透射 率图进行导向滤波处理，进一步精细优化透射率图，可以有效降低后续能见度估计步骤的 检测误差。而且，在精细大气透射率时采用导向滤波为边缘平滑算子，以及在求图像熵过程 中加入目标兴趣区域提取步骤，减少了算法的计算量，提高了运算速度。本发明方法可以使 得能见度检测的误差满足中国气象行业标准，鲁棒性好。
【附图说明】
[0063] 图1为本发明的系统不意图。
[0064] 图2为本发明的能见度检测结果与实际参考值的相对误差示意图。
【具体实施方式】
[0065]下面结合附图对本发明的【具体实施方式】做详细的说明。
[0066]基于暗通道先验与最小图像熵的交通雾霾能见度检测方法，包括图像采集模块、 图像特征提取模块、道路区域提取模块和能见度检测模块。如图1所示，所述图像采集模块， 在白天雾霾条件下，原始输入图像经监控摄像电子设备采集所得，选取其中的一帧作为待 检测图像。
[0067]所述图像特征提取模块，对待检测图像I经过暗通道先验处理，得到大气透射率的 粗估计值;采用导向滤波边缘平滑算子对透射率粗估计值进行平滑细化处理，得到更精细 的透射率;结合优化后的透射率和原始道路图像的车道线信息，获得图像中场景的每个像 素点的深度信息。详细步骤，阐述如下。
[0068]所涉及的相关参数，为本发明验证所用，发明的保护范围包括但不限于此。
[0069] 1.计算大气透射率
[0070] 设I(x)为待检测图像，J(x)是由I(x)得到的恢复图像，A是天空亮度，t(x)是图像 透射率，由科希米德定律定义的数学模型，下述方程为有雾图像形成模型：
[0071] I(x)=J(x)t(x)+A(l-t(x)) (1)
[0072] 然后对式(1)求两次最小值运算，得到下式：
[0073] min j min (/'(v)) 1 =/(.v) min j min (J1 ( r)) )+(l-/(.v))^' (2) c.e{r.gM\ \ ve?(x) ? / ce(r.g.b) " /
[0074] 其中『和示图像的每个通道，《(x)表示以像素 x为中心的一个窗口，本发明中 窗口的大小取15X15。
[0075] 根据暗通道的数学定义，对于任意的输入图像J(x)，图像中至少一个颜色通道具 有很低的值，BP:
[0076] min | min ,/' (>) U 0 (3) vei〇{.\) * J
[0077] 大气透射率估计如下：
⑷ (5)
[0080]其中，天空亮度A是暗通道图中0.1%最亮像素点的均值大小。
[0081 ] 2.透射率优化调整
[0082]导向滤波是一个边缘保存的平滑算子，对于像数k为中心的矩形窗概内，设t(x)经 导向滤波后为导向图像采用待检测图像I(X)，滤波输出图像f(为是关于导向图像I(X) 滤波线性模型，满足以下关系式：
[0083] / (/) = a, I(i) + b,,'V/ e w, (6)
[0084] 其中，（ak，bk)是矩形窗概恒定不变的线性系数。为了寻找与t(x)差异最小的导向 滤波后的/(X)，采用如下费用函数来衡量t(x)与f(x)的差异，即： A ) = -KO)2 + ca;)
[0085] = (7) =L (^ } _ ai~ }^)-hk'y + ) !'e?i
[0086] 其中，e是正则化参数，也是一个控制平滑程度的参数。然后利用线性回归求出像 数k为中心的矩形窗wk对应的线性系数(ak，bk)，BP :
(8) m
[0089] 其中，of和yk分别表示图像I中矩形窗wk的方差和均值，I表示t在矩形窗概中的均 值，c 〇Vk(I，t)表示导向图像I与透射率图t在矩形窗wk中的互相关函数。
[0090] 由于像素 i会被多个矩形窗包含在内，不同的矩形窗会得到不同的f(/)，然后取其 所有可能值的均值：
(10)
[0092]其中，| w |表示矩形窗里像素的个数，
[0093] 3.计算深度信息
[0094]本发明针对的是道路图像，高速公路的中间车道线长度和间隔均有国家标准，利 用该已知信息求出消光系数初值。对于待检测图像I(x)中任意一车道线R(i)(i = l，2…… n)，可以得到对应的消光系数P(i):
(11)
[0096]其中，L为车道线的国家标准长度大小，t、t2分别为车道线两端在待检测图像对应 位置优化后的透射率。设N表示待检测图像中车道线的个数，然后对消光系数取均值：
(12)
[0098]对于待检测图像中的任意一个像数X，其对应位置的深度信息由以下公式计算得 到，即：
[0100]所述道路区域提取模块，采用区域增长方法提取待检测图像I中的道路区域，取I 中道路区域最底端一行像素为增长的初始种子点。设种子的上一行像素点为目标区域，逐 行处理像数点，用区域增长提取道路区域的步骤如下：
[01 01 ] (1)设置初始种子点为ps，当前种子点P = ps;
[0102] (2)在目标区域选择与像素种子点上方相邻的三个像素，计算种子点与此三个像 素的灰度差(a取-1，〇，1分别表示与种子点相邻左上方、正上方和右上方像素）；
[0103] (3)计算相邻3个像素灰度差的最小值minCax;
[0104] (4)判断目标区域像数点p(u，v)与种子点均值mean(p)是否满足如下关系，即：
[0105] p{u, r) - mean(p) < pnt min G[L,S (14)
[0106]其中，p<l，nr是目标区域像数点p(u，v)与初始种子点p s相隔的行数。若满足，则将 该像数点加入道路区域，遍历目标区域所有像素;若该行所有的像素均不满足该条件，区域 增长终止；
[0107] (5)更新当前种子点和目标区域。将新加入道路区域的像数点作为新的种子点，将 新加入道路区域像数的上一行像素作为新的目标区域，更新完返回步骤(2);
[0108]本发明中所述能见度估计模块，在提取到道路区域后，计算该区域的最小图像熵， 得到消光系数最优值，继而有效估计出雾霾能见度大小。具体阐述如下:在已经提取到道路 兴趣区域以及获得深度信息后，根据科希米德定律可以计算出恢复图像J(x)，BP:
05)
[0110] 其中，0的取值范围为[及-r,罗+r] , t的取值在0 ? 0 1~0 ? 0 2之间。对 V/i e丨/7-r，/7+r]，计算恢复图像J(x)中提取到道路兴趣区域的局部图像熵H:
[0111] H=-E[log p(y)]=-Ep(y)log p(y) (16)
[0112] 其中，随机变量y表示像素灰度值，p(y)是关于y的概率密度函数。然后找到图像熵 最小时对应的值即为消光系数最优值矿，最后根据能见度检测理论计算出能见度V:
07)
[0114] 图2是本发明的能见度检测结果与实际参考值的相对误差示意图。其中，子图(a)、 (b)、（c)分别为能见度小于100m(参考值83m)，能见度介于100~150m(参考值143m)，能见度 介于150~200m(参考值200m)，3幅子图使用本发明方法测得值与参考值的相对误差分别 为:7.83%、6.78%、6.84%。根据中国气象局发布的行业标准，能见度小于2000m时，允许检 测误差为10%。由此可以看出，本发明方法可以使得能见度检测的误差满足中国气象行业 标准，鲁棒性好。
[0115] 本发明基于暗通道先验理论，辅以区域增长和最小图像熵等图像处理技术，提出 一种新的雾霾能见度检测方法，以估算出待检测图像的透射率与深度信息，继而有效估计 出待检测图像的的大气能见度。本发明在图像特征提取模块，对待检测图像I经过暗通道先 验处理，得到大气透射率的粗估计值;采用导向滤波边缘平滑算子对透射率粗估计值进行 平滑细化处理，得到更精细的透射率;结合优化后的透射率和原始道路图像的车道线信息， 获得图像中场景的每个像素点的深度信息；在道路区域提取模块，采用区域增长方法提取 待检测图像I中的道路区域，所述区域增长包括设置初始种子点、设置目标增长区域、计算 相邻灰度差的最小值、判断目标像素是否为道路区域、更新种子点等步骤;在能见度估计模 块，在提取到道路区域后，计算该区域的最小图像熵，得到消光系数最优值，继而有效估计 出雾霾能见度大小。
[0116] 本发明的优势在于本发明中的暗通道先验理论可以适用于任何场景的道路，仅对 天空区域失效，由于道路区域为目标区域，故该理论不受场景条件限制，适用范围广；同时， 在精细大气透射率时采用导向滤波为边缘平滑算子，以及在求图像熵过程中加入目标兴趣 区域提取步骤，减少了算法的计算量，提高了运算速度。本发明方法可以使得能见度检测的 误差满足中国气象行业标准，因此鲁棒性好。
【主权项】
1.基于暗通道先验与最小图像熵的交通雾霾能见度检测方法，其特征在于包括以下步 骤： 1) 在白天雾霾条件下，采集道路监控的视频序列，选择其中一帧将其作为待检测图像I (X); 2) 计算大气透射率 JU)是由上述待检测图像IU)得到的恢复图像，A是天空亮度，t(x)是图像透射率，则 有雾图像形成模型为： I(x)=J(x)t(x)+A(l-t(x)) 然后对上式求两次最小值运算，得到下式：其中Γ和Γ表示图像的每个通道，ω (X)表示以像素 X为中心的一个窗口， 对于任意的输入图像JU)，图像中至少一个颜色通道具有很低的值，即：大气透射率估计如下：其中，天空亮度A是暗通道图中0.1%最亮像素点的均值大小； 3) 透射率优化调整 对于像数k为中心的矩形窗wk，设t(x)经导向滤波后为/\χ),:导向图像采用待检测图像I (X)，滤波输出图像?(功与导向图像Kx)满足以下关系式： / (/) = Uli /{/) + hh, V/ G 其中，（ak，bk)是矩形窗條恒定不变的线性系数， 采用如下费用函数来衡量t(x)与f(x)的差异，即：其中，ε是正则化参数，也是一个控制平滑程度的参数，然后利用线性回归求出像数k为 中心的矩形窗Wk对应的线性系数(ak，bk)，即：其中，g和Pk分别表示图像I中矩形窗Wk的方差和均值，ξ表示t在矩形窗抑中的均值， covk(I，t)表示导向图像I与透射率图t在矩形窗Wk中的互相关函数， 由于像素 i会被多个矩形窗包含在内，不同的矩形窗会得到不同的心），然后取其所有可 能值的均值：其中，I w I表示矩形窗里像素的个数： 4) 计算深度信息 针对道路图像，对于待检测图像Kx)中任意一车道线R(i)(i = l，2……η)，可以得到对 应的消光系数iKi):其中，L为车道线的国家标准长度大小，t、t2分别为车道线两端在待检测图像对应位置 优化后的透射率，设N表示待检测图像中车道线的个数，然后对消光系数取均值：对于待检测图像中的任意一个像数X，其对应位置的深度信息由以下公式计算得到， 即： 5) 道路区域提取采用区域增长方法提取待检测图像I(X)中的道路区域，取Kx)中道路区域最底端一行 像素为增长的初始种子点，设种子的上一行像素点为目标区域，逐行处理像数点，用区域增 长方法提取道路区域的步骤如下： (5.1) 设置初始种子点为ps，当前种子点p=ps; (5.2) 在目标区域选择与像素种子点上方相邻的三个像素，计算种子点与此三个像素 的灰度差<^?(〇取_1，0，1分别表示与种子点相邻左上方、正上方和右上方像素）； (5.3) 计算相邻3个像素灰度差的最小值mine:: (5.4) 判断目标区域像数点？(11^)与种子点均值111-11(?)是否满足如下关系，艮口 ： p(u, v) - mean{p) < />/?, min 其中，P < I，nr是目标区域像数点p (u，V)与初始种子点p s相隔的行数，若满足，则将该像 数点加入道路区域，遍历目标区域所有像素;若该行所有的像素均不满足该条件，区域增长 终止； (5.5) 更新当前种子点和目标区域，将新加入道路区域的像数点作为新的种子点，将新 加入道路区域像数的上一行像素作为新的目标区域，更新结束后返回步骤5.2; 6) 能见度估计 基于步骤5获得的道路区域和步骤4获得的深度信息，根据科希米德定律可以计算出恢 复图像J(X)，即：其中，β的取值范围为[歹-Γ,歹+ Γ] , τ的取值在〇 · 〇 1~〇 · 〇2之间，对V芦€ [#-r,歹+ r]，计 算恢复图像JU)中提取到的道路区域的局部图像熵H为： H=-E[l〇g p(y)]=-Ep(y)l〇g p(y) 其中，随机变量y表示灰度值，P(y)是关于y的概率密度函数，然后找到局部图像熵最小 时对应的值即为消光系数最优值矿，最后根据能见度检测理论计算出能见度大小：2. 根据权利要求1所述的基于暗通道先验与最小图像熵的交通雾霾能见度检测方法， 其特征在于步骤2中的窗口 ω (X)的大小为15 X 15。3. -种实现权利要求1所述的基于暗通道先验与最小图像熵的交通雾霾能见度检测方 法的检测系统，其特征在于包括图像采集模块、图像特征提取模块、道路区域提取模块和能 见度估计模块，上述模块各自的功能及其相互关系为： 1) 图像采集模块:在白天雾霾条件下，原始输入图像经监控摄像电子设备采集所得，称 为待检测图像I; 2) 图像特征提取模块:对待检测图像I经过暗通道先验处理，得到大气透射率的粗估计 值;采用导向滤波边缘平滑算子对透射率粗估计值进行平滑细化处理，得到更精细的透射 率;结合优化后的透射率和原始道路图像的车道线信息，获得图像中场景的每个像素点的 深度信息； 3) 道路区域提取模块:采用区域增长方法提取待检测图像I中的道路区域，所述区域增 长包括设置初始种子点、设置目标增长区域、计算相邻灰度差的最小值、判断目标像素是否 为道路区域、更新种子点等步骤； 4) 能见度估计模块:在提取到道路区域后，计算该区域的最小图像熵，得到消光系数最 优值，继而有效估计出雾霾能见度大小。
【文档编号】G06K9/46GK105931220SQ201610227754
【公开日】2016年9月7日
【申请日】2016年4月13日
【发明人】周凯, 成孝刚, 李海波, 谢世朋, 熊健, 谈苗苗
【申请人】南京邮电大学