一种实时视频去雾方法

一种实时视频去雾方法
【专利摘要】为实时有效的恢复雾霾天气图像/视频的对比度和颜色，本发明给出了一种颜色保持的实时视频去雾方法。该方法首先使用了优化的导向滤波方法，给出了参数自适应选取方式。其次，由于暗原色先验不适用于天空等大面积白色区域，提出一种简单有效的方法来修正这种情况。针对去雾后图像存在的偏暗问题，给出了一种保持物体颜色的自适应亮度调整方法，使得图像更加真实自然。最后，为实时处理更高分辨率的图像，改善透射率的部分采用了下采样的方法以提高速度。本发明算法的时间复杂度仅是图像像素数的线性函数，处理速度快，对分辨率为600×400的图像，耗时约80ms。本发明对于提升数码、监控产品的性能提供有力的竞争优势，为开展视频处理芯片和智能监控等领域产品的开发提供了核心竞争优势。
【专利说明】一种实时视频去雾方法

【技术领域】：
[0001] 本发明涉及图像/视频处理技术，具体来讲，涉及一种颜色保持的实时视频去雾 算法。 技术背景：
[0002] 近年来，雾霾天气出现频繁。雾霾天气情况下，能见度降低，严重影响了人们正常 生活以及视频系统的正常工作。实时地改善雾霾天气图像/视频的清晰度和能见度，有重 要的实际意义。可以广泛应用于交通安全、视频监控等众多领域。
[0003] 雾天图像清晰化技术发展至今，目前主要有两种方法：一是基于图像处理的增强 方法；二是基于物理模型的复原方法。
[0004] 图像增强的目的是使恢复之后的图像更加符合人类视觉习惯或有利于计算机系 统的识别。基于图像增强的去雾方法没有考虑图像降质的原因，仅从图像处理的角度根据 主观视觉效果进行对比度增强和颜色校正，这一类方法主要有直方图均衡化、小波变换、同 态滤波、Retinex算法等。这些算法可以有效地增强图像的对比度和细节信息，但不能针对 图像退化的原因进行有效补偿，不能彻底去除雾气。处理后的图像常常会有颜色上的偏差 和噪声放大的现象。针对图像增强存在的问题，国内外的一些研究者对恶劣天气条件下的 图像退化机理进行了分析，提出了一些基于物理模型的复原方法。
[0005] 基于物理模型的方法利用雾天图像退化模型，通过求解图像退化的逆过程来恢复 清晰图像，恢复的无雾图像相对而言比较清晰自然。这一类方法主要有：假设场景深度已知 的复原方法、利用辅助信息提取深度信息的复原方法以及基于先验信息的复原方法。
[0006] 场景深度已知的复原方法需要使用昂贵的传感器获取精确的雾天图像场景深度 信息，因此在很大程度上限制了这些方法的实际应用。利用辅助信息提取深度信息的复原 方法需要不同天气下2张或以上数量的图像估计深度图像，而实际中很难满足图像实时处 理的需求。众多学者将目光投入到单幅图像去雾。然而，仅仅通过单幅雾天图像来恢复无雾 图像，本身是一个病态问题。这就需要一些先验知识。从事这方面研究的学者主要有Tan、 Fattal、何凯明、Tarel 等。
[0007] Tan等基于无雾图像的对比度必定比有雾图像要高的事实，通过最大化局部对比 度的方法实现了单幅图像去雾，但复原后的图像容易产生色调偏移。Fattal基于透射率和 物体表面阴影局部不相关的假设，利用独立成分分析（ICA)方法和马尔科夫随机场（MRF) 模型实现去雾。该方法的性能很大程度上取决于输入数据的统计特性，对于浓雾图像的复 原结果存在较大失真。为了达到更彻底的去雾目的，何凯明等人提出基于暗原色先验的单 幅图像去雾技术，并借助软抠图技术改善透射率图，最后得到的复原图像清晰自然。但软抠 图技术的使用让整个算法有很高的时间复杂度和空间复杂度，对分辨率为600*400的图像 处理时间为10 -20s (3.0GHz Intel Pentium4processor)。为提高效率，许多加速算法被提 出。Tarel等人提出一种中值滤波的快速去雾方法，中值滤波的性质使得复原图像在景深发 生突变的边缘，会产生光晕（Halo)效应。2010年何凯明等人提出一种导向滤波方法来代 替先前的软抠图部分，极大降低了算法复杂度。Xie等人对图像亮度分量通过MSR算法求 取透射率，取得了一定效果，但其处理600*400的图像耗时为5-8s(3.0GHz Intel Pentium Dual-core)，速度也很慢。
[0008] 此外，在国内，孙抗等人利用双边滤波的方法较好的保持了图像的边缘。2013年甘 佳佳等人利用两次不同尺度的双边滤波结果的差值来衡量图像的局部对比度，对雾浓区域 和自身亮度值较高的物体进行了一定区分，以此得到了更加准确的大气散射图。恒宗圣等 人采用了局部区域分割的方法等等。总之，基于图像复原的图像清晰化算法目前已取得了 一定的成果，但存在复杂度较高的问题，处理速度仍然有待进一步提高。并且，目前使用的 大气散射模型相对简单，对于较复杂的情况，如天空区域有强烈太阳光或光照非常不均时， 去雾效果往往不理想。


【发明内容】
：
[0009] 本发明的目的在于解决现有的去雾算法对环境的适用性不强以及实时性较差、难 以应用于实际的问题，基于大气散射模型，提供一种保持物体颜色的实时视频去雾算法。通 过所述方法可很好的恢复雾天图像的颜色和对比度。
[0010] 为了实现上述目的，本发明提供一种基于颜色保持的实时视频去雾方法，该方法 主要包括以下步骤：
[0011] 步骤1，图像获取：通过成像设备获得一帧雾天图像I ;
[0012] 步骤2,求最小通道图Imin :将步骤1获取的图像在RGB颜色空间，对每个像素点求 取RGB分量的最小值，获得最小通道图Imin ;
[0013] 步骤3,估计当前帧大气光值A。：对步骤2获得的Imin的前height/3行（其中 height为图像高度）做半径为height/30的最小值滤波。目的在于去除明亮细节，减少非 大气光的白色明亮物体干扰。在滤波后前height/3行找出最亮像素点，将原图对应位置取 RGB三通道中的最大值作为当前帧估计的大气光值& ;
[0014] 步骤4,滑动平均求得大气光值A :在雾天视频处理过程中，A值的波动可能会造成 复原结果出现明暗跳变现象，影响视觉效果。为使A值变化平稳，采用滑动平均的方法，将 当前帧估计的大气光值&与前7帧图像估计的大气光值求平均得到当前帧的最终大气光 值A。
[0015] 步骤5,初步估计透射率图

【权利要求】
1. 一种实时视频去雾算法，包括以下步骤： 步骤1，图像获取：通过成像设备获得一帧雾天图像I; 步骤2,求最小通道图Imin :将步骤1获取的图像在RGB颜色空间，对每个像素点求取 RGB分量的最小值，获得最小通道图Imin ; 步骤3,估计当前巾贞大气光值A。：对步骤2获得的Imin的前height/3行（其中height 为图像高度）做半径为height/30的最小值滤波。目的在于去除明亮细节，减少非大气光 的白色明亮物体干扰。在滤波后前height/3行找出最亮像素点，将原图对应位置取RGB三 通道中的最大值作为当前帧估计的大气光值怂； 步骤4,滑动平均求得大气光值A :在雾天视频处理过程中，A值的波动可能会造成复原 结果出现明暗跳变现象，影响视觉效果。为使A值变化平稳，采用滑动平均的方法，将当前 帧估计的大气光值&与前7帧图像估计的大气光值求平均得到当前帧的最终大气光值A。 步骤5,初步估计透射率图?(X):由最小通道图Imin可得到初步估计的透射率图?(X); 步骤6，下采样透射率?:为减少处理时间，先将?下采样得到?,使得的宽 高分别为原图宽高的1/4; 步骤7,导向滤波优化下采样透射率?:用3X3的方形结构元素 b对做形态学 开运算，得到?*pen(X)，以？*pen(xM乍为导向滤波的输入图，匕00作为导向图，进行导向滤波 以平滑区域内部，同时达到保持边缘的目的，经导向滤波后，得到优化后的下采样透射率 td(x); 步骤8,上采样td(x)得到最终透射率图t(x):采用线性插值的方式，得到原来尺寸的 优化后透射率图t(x); 步骤9,白色区域的修正：由于天空等白色区域不满足暗原色先验规律，这些区域的透 射率被低估，需要进行修正，得到修正后的透射率图t' (X); 步骤10,初步复原无雾图像J :将估计出的最终大气光值A和透射率图t' (X)带入大 气散射模型，获得初步去雾图像； 步骤11，自适应亮度调整：对初步去雾后的图像J各像素点RGB三通道做同比例增强， 以保持物体颜色，得到最终的复原图像。
2. 根据权利要求1所述的实时视频去雾算法，其特征在于，步骤3和步骤4中大气光值 的估计简单有效，且视频处理考虑帧间连续性。通过与前若干帧估计的大气光值求取平均 得到当前参与运算的大气光值A，较好解决了因 A值波动造成的视频明暗跳变现象。
3. 根据权利要求1所述的实时视频去雾算法，其特征在于，步骤6为实时处理更高分辨 率的图像，改善透射率的部分采用了下采样的方法以提高速度，且去雾质量无明显下降。
4. 根据权利要求1所述的实时视频去雾算法，其特征在于，步骤9中由于暗原色先验不 适用于天空等大面积白色区域，提出一种简单有效的方法来修正这种情况。首先计算每个 像素点RGB三通道与大气光值A距离的最大值，记为Λ_(χ)。公式表示为：
若像素点三个通道强度值都靠近Α，即Λ_(χ) <D(D为常量），则认为该区域是天空 等亮区。并对该点的透射率t(x)进行如下修正：
若 Ux) >D，无需修正，t' (x) =t(x)。
5.根据权利要求1所述的实时视频去雾算法，其特征在于，步骤11针对去雾后图像存 在的偏暗问题，对初步去雾后的图像各像素点RGB三通道做同比例增强，以保持物体颜色， 采用公式如下：
其中，
Ravg，Gavg，Bavg分别为输入图像三通道R，G，B的均值。
为输入图像每个像素点取三通道最大值，并将该点增强的比例限制在270/Jmax(x)以 下，以保持颜色，这也在一定程度上减少了对亮区过增强而造成的细节丢失。这里分子取 270而不是255,相当于增加了一定裕量，目的是使原本就相似的像素在提升亮度后更趋近 于一致，减少噪声。
【文档编号】H04N5/21GK104253930SQ201410153491
【公开日】2014年12月31日 申请日期:2014年4月10日 优先权日:2014年4月10日
【发明者】张红英, 刁扬桀, 吴亚东, 陈萌 申请人:西南科技大学