最小的区域，获取其中最亮的像素值作为大气光强； 图像去雾方法的实现以求解雾天成像模型（1)为基础 I(P) = J(P) t (P)+A (ι-t (P)) (1) 其中，P表示图像中的某个像素点(P)表示全部反射光线经过衰减后最终达到成像 设备时的光线强度，即生成的带雾图像；t (p)表示达到成像设备且没有被散射的那部分光 线的传播率，即光线穿透雾霾的能力参数，可称为透射率且t(p) e [〇，l] ;J(P)表示景物目 标直接反射的光强，即需要恢复的真实无雾图像;A描述的是观测者视线方向无穷远处的 光照强度，可表示为全局的大气光强；因此，要求解模型（1)获取真实图像J(P)，需要首先 获得大气光强A及透射率分布t (p); 本步骤进行大气光强估计，具体操作如下： Step31 :将图像均匀分成四个区域； Step32 :每个区域赋予一个权值S ;权值S为该区域的像素均值与像素值标准差的差 值； Step33 :选择权值最大的区域作为下一个待处理的子图像；Step4 :重复操作Stepl~ Step3,直至子图像的大小小于一个预先设定的阈值，可以设定为子图像长*宽小于200像 素； 在最后获取的区域中，找到像素 I(P)，使I I (Ir(p)，Ig(p)，Ib(P)) - (255, 255, 255) I 最小，其中Ir (p)、Ig (p)、Ib (P)分别是像素 I (p)的R、G、B分量，令该像素值为大气光强 值； 步骤4、根据交通监控摄像头的空间分布情况，划分空间范围，每一个空间范围都设定 一个标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率 校正值，应用到该区域的其他摄像头； 随着交通网络布局的日益复杂，交通监控系统设置的数量也逐渐增加，很多时候同一 路段有多个监控摄像头，甚至同一路段的不同车道也有专门的监控装置；这些摄像头拍摄 的交通视频在物理上处于同一个场景空间，而且同一地区的摄像头其硬件指标通常情况下 都是相同的；而天气情况也是一种具有空间区域特征的指标，比如在一定区域空间范围内 的雾霾浓度都是类似的；对于完整的交通视频处理系统，系统内会接入多路摄像头数据， 很多分布于同一空间区域的摄像头拍摄出的视频图像质量相近，因此，可以利用摄像头的 空间区域分布特性加速多路摄像头的去雾处理速度，实现整个交通视频处理系统的性能优 化； 将空间距离相近的摄像头划分为统一区域，取其中的一个摄像头为标定摄像头，用该 摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域 的其他摄像头；因此，如果判定该摄像头不是标定摄像头，则可根据系统中已近获取该区域 标定摄像头的相关参数，直接进行该摄像头透射率分布估算及优化； 步骤5、采用自适应透射率估计方法，在获取雾霾影响标志值T及恒定的初始透射率 校正值X后计算初始透射率；然后在图像对比度评价值及图像信息丢失情况之间寻找平衡 点，在以初始透射率为起始值的固定范围内使代价函数E最小，从而获得每个图像块的最 优透射率值的透射率分布；最后，采用导向滤波对块状的透射率分布进行优化； (a)获取雾霾影响标志值 本发明引入图像雾霾影响标志值T和初始透射率校正值X，通过原图像的性质估算出 初始透射率值，从而在不同雾霾干扰程度下的图像能估算出适合的透射率值；最终，透射率 初始值为T*X ; 图像雾霾影响标志值T基于暗通道先验假设，即对于清晰的户外无雾图像，在没有天 空的大多数区域中，总是存在这样一些像素，它们至少一个颜色通道具有很低的像素值，也 就是说，这些像素的最小值趋近于零；对于任意的输入图像J，其暗通道的表达式为：上式中Jdalrk(P)表示像素 P的暗通道值，Jjy)表示输入图像中y像素的值，下标C表 示彩色图像的R/G/B三个通道，Ω (p)表示以像素 p为中心的一个窗口，y表示以p为中心 的窗口内的像素；而暗通道先验假设用数学公式的形式可以表示为J daA- O ; 雾天成像模型（1)可变形为：其中下标C表示彩色图像的R/G/B三个通道，I。(p)表示带雾图像R/G/B通道中像素 p 的值，表示无雾图像R/G/B通道中像素 p的值；t(p)为像素 p的透射率值；Ac^RAV B通道中的大气光强估计值； 设每一个窗口内透射率t(x)为常数值为t~（X)，并且大气光强A。值已经给定，对式 (3)两边求两次最小值运算：这就是透射率t~（p)的预估值；该值是一个暗通道图像块中的透射率值，最后计算所 有图像块透射率的均值就可以得到整幅图像的透射率分布均值T ; (b) 获取恒定的初始透射率校正值X 初始透射率校正值X综合考虑原图像中的对比度C和雾霾影响标志值T，根据T*C的取 值范围可以分阶段确定一个恒定的X，如表1所示； 表1分阶段初始透射率校正值的计算初始透射率值为T*X，在后续步骤，进行透射率估计时，以T*X作为固定范围的起始值； (c) 同时考虑信息丢失和图像对比度增强的的透射率估计 自适应透射率估计方法根据透射率局部一致的假设，以32*32大小的子块为单位，设 定同一子块内的透射率值一致；一般情况下，被雾霾影响的图像子块的对比度会降低，为了 更好地达到去雾效果，需要增加图像子块的对比度，因此可以通过使还原后的图像块具备 最大的对比度来获得最优的透射率估计值；图像对比度评估采用均方误差（Mean squared error，MSE)对比度Cmse，其数学表达式如下：(8)其中J。表示每一个色 彩通道的图像块，c e {r，g，b} ; 7；是图像块像素的均值，N是图像块的像素总数； 将公式（8)代入公式（1)，并变形可得：在上式中，就是输入的原图像块的像素均值； 均方误差对比度Cmse随着t值的增加而递减，即还原后的图像对比度会随着透射率 估计值的减小而增强；因此，为了使还原后的图像块具有更高的对比度，透射率t要取尽 量小的值；但是，t的取值会影响到计算出的还原图像的像素值，如果还原后的像素值在 [0, 255]的区间范围外，则会产生信息丢失，影响图像的还原质量；根据公式（1)的属性，为 了避免图像信息丢失，使更大范围内的输入像素值可以被有效还原，需要取较大的t值；因 此，本发明引入了对比度评价值E_ trast和信息丢失评价值E 1()SS，并将以上两个评价值整合 成一个代价值E，使E值最小的^就是每一个图像块最优的透射率值；(12) 上式中，和7；分别是还原图像和原图像中对应块B的像素值均值，队是图像块B的 像素数量；min IOJc(P)}和max IOJc(P)-255}分别表示超过区间[0, 255]的像素值之和； λ Jg来调节对比度评价值和信息丢失评价值的重要度，即平衡对比度和信息丢失的情况； 根据以上的公式，以初始透射率值为起始值在一个区间范围内寻找最优的透射率值 使E最小化，该值就是每一个图像块最优的透射率值； (d)基于导向滤波的透射率分布优化 由于之前的算法中假设图像块内的透射率局部一致，所以透射率估计都是以图像块的 形式进行操作，所获得的透射率分布图也存在明显的块状结构，从而导致还原后的图像存 在块状的锯齿边缘；因此，本发明采用基于导向滤波的方法优化存在块状结构的透射率分 布图； 导向滤波的基本公式如下：(13) 其中，如）是滤波后的透射率，I (q)是导向图，我们用待去雾的图像作为导向图；St = (Sr, Sg, Sb) τ是缩放向量，Φ是偏移量； 计算透射率时设定一个尺寸为41*41的窗口，对于一个窗口 W，通过最小二乘法，使块 状透射率值tip滤波后的透射率fo：/)之间的差别最小，这样就能获得一个最佳的缩放向量 s#和一个最佳的偏移量Φ #值；当透射率较小时，会增强还原后的图像的噪音，因此，实现算法时可以将透射率值的最 小下限定为〇. 1 ; 步骤6、利用上述步骤求得的大气光强和透射率分布值，对车道空间区域部分的原图像 像素值在模型（1)下求解，还原出车道部分的无雾图像； 已求出大气光强、透射率值后，通过求解模型（1)可以获得还原出去雾后的图像；并 采用伽马校正方法对还原后的图像进行灰度校正，避免还原后的图像出现比原图像更深的 值；在图像还原过程中，只需要对车道空间区域部分的像素进行还原计算；为了有很好的 视觉效果，可以完整还原时间片初始帧，将该帧的背景替换到后续帧中，从而避免有明显的 车道区域分界线。
【专利摘要】基于时空相关性的自适应交通视频实时去雾方法，包括：步骤1、估算时间片初始帧的车道空间区域、雾霾影响标志值T、初始透射率校正值X和透射率分布情况；步骤2、提取视频中的直线车道，确定一个有限的车道区域；步骤3、通过从原图像中找到雾霾干扰最小的区域，获取其中最亮的像素值作为大气光强；步骤4、划分空间范围，每一个空间范围都设定一个标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域的其他摄像头；步骤5、获得每个图像块的最优透射率值的透射率分布，采用导向滤波对块状的透射率分布进行优化；步骤6、对车道空间区域部分的原图像像素值求解，还原出车道部分的无雾图像。
【IPC分类】G06T5/00, G06T5/50
【公开号】CN104978719
【申请号】CN201510333199
【发明人】董天阳, 吴佳敏, 范菁, 曹斌
【申请人】浙江工业大学
【公开日】2015年10月14日
【申请日】2015年6月16日