一种视频雨滴去除方法
【技术领域】
[0001] 本发明属于视频雨滴去除技术领域，尤其涉及一种视频雨滴去除方法。
【背景技术】
[0002] 由于拥有包括自动性、智能性、高效性等诸多优点，户外计算机视觉系统被广泛使 用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其 完全失效。所以消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不 可少。在诸多恶劣天气情况中，雨由于拥有较大粒子（雨滴）半径及其他复杂物理特性，会 对视觉系统所摄取的图像质量造成较大程度的影响。视频雨滴去除技术通过使用雨的物 理、频率等特性，对视频帧中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利 于图像的进一步处理。因此，视频雨滴去除技术已经成为计算机视觉领域不可缺少的关键 性技术。
[0003] 近些年来关于视频及图像中雨滴检测与去除的研宄已然成为热点。Starik等在 2003年最早提出了时域均值的雨滴去除策略，作者认为在视频图像序列中，雨滴对像素的 影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到去除了雨的影响的原图 像。同时，他们认为雨会对背景产生亮度加强，且造成一定程度上的模糊，最终产生的视觉 效果是雨及被覆盖背景的空间混合。对于远处的雨，由于失焦效果，会呈现雾状特征。遗 憾的是，他们并没有对方法进行试验验证。Garg和Nayar最早使用了雨的动态及光度特性 (K. Garg and S. K. Nayar, "Detection and removal of rain from videos, " in Proc. IEEE Conf. Comput. Vis. Pattern Recognit.，Jun. 2004, vol. 1，pp. 528 - 535)，分别建立了 两种模型，并基于这两个模型提出了检测和去除雨的方法。对于雨的动态模型，其表明了 雨在其下落方向具有时域相关性；对于光度模型，其分为静态雨及动态雨模型。对于静态 雨滴，其亮度显著高于其覆盖的背景；对于动态雨滴（雨线），其亮度由静态雨滴亮度、背 景亮度及相机曝光时间决定。之后，作者提出了一种使用帧差法进行雨滴初检，使用两种 特性进行误检去除，并最终利用前后帧图像信息进行雨滴去除的方法。虽然此方法性能较 好，但其对于严重失焦（远处）的雨、明亮背景上的雨及雨势变化无法处理。2006年Zhang 等人（Zhang X P, Li H, Qi Y Y, Leow ff K, Ng T K. Rain removal in video by combining temporal and chromatic properties. In:Proceedings of the 2006International Conferenceon Multimedia and Expo. Toronto, Canada: IEEE,2006.461 丨464)使用了雨 的时域分布及色彩特性。由于雨的时域分布直方图显示两个峰（分别代表雨滴亮度及背 景亮度），且近似构成高斯混合模型，故非监督学习方法一一K-means聚类算法能够有效 地对之进行分离。之后，作者发现被雨滴影响像素的帧间RGB值的变化基本相同，故误检 能够进一步被去除。此方法实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背 景，计算效率不高，不能进行实时的处理。2007年Barnum等人（Barnum P C，Narasimhan S G,Kanade T.Analysis of rainand snow in frequency space. Internatio-nal Journal of Computer Vision, 2010，86(2丨3):256丨274)注意到之前的多数方法严重依赖于清晰雨 线的提取，而雨线由于会造成重复的模式，在频域中对雨进行分析是合理的。作者建立高斯 模型来近似雨的影响，并通过求在三维傅里叶变换中的模型所占比例进行雨滴检测，进而 通过迭代去雨，最后反变换至视频图像。实验结果表明此种方法拥有较好的处理性能，但此 方法由于算法较为简单，容易出现过多错误检测；同时，由于使用了混合高斯模型，具有较 高的时间复杂度，且在存在不显眼的雨（明亮背景下的雨）及雨势变化时，其处理性能会出 现显著下降。
[0004] 由于使用雨的频率特性能够在特定情况下显著提升算法去雨性能，且在仅处理单 幅图像（即无时域信息）时，频率特性能够发挥更大的作用。Yu-Hsiang Fu等（Fu Y H，Kang L W,Lin C W, et al. Single-frame-based rain removal via imagedecomposition. In:Proceeding of 2011IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Prague，Czech: IEEE Press，2011:1453-1456.)首先提 出了基于MCA(形态学成分分析）及图像分解的单幅图像去雨算法，作者首先使用双边 滤波将图像分为高频及低频部分，之后进行字典学习，并通过将雨部分字典系数设置为 0得到去雨图像。由于此方法存在字典选择非自动性的缺点，Li-Wei Kang等（Kang L W, Lin C W, Fu Y H. Automatic single-image-based rain streaks removalvia image decomposition. Image Processing,IEEE Transactions on，2012, 21 (4):1742-1755.)提 出了一种基于自学习的自动改进算法。之后，De-An Huang等（Huang D A, Kang L W, Yang M C，et al. Context-aware single image rain removal. In:Proceeding of 2012IEEE International Conference on Multimedia and Expo (ICME). Melbourne, Australia:IEE EPress, 2012:164-169.)提出了基于上下文感知的单幅图像去雨算法，此方法仅需要单幅 图像进行学习工作，故可以大幅减少算法所需时间。而Duan-Yu Chen等（Chen D Y, Chen C C, Kang L ff. Visual depth guided image rain streaks removal via sparse coding. In:Proceeding of2012International Symposium on Intelligent Signal Processing and Communications Systems. NewTaipei, Taiwan: IEEE, 2012:151-156.)弓|入了 DoD(深度 差异）的概念，深度差异能够衡量图像的局部相关性信息，故能够为单幅图像去雨提供帮 助，同时，他们使用引导滤波替代原先使用的双边滤波，因为其拥有更好的性能。
[0005] 现有技术在雨滴去除时大量使用值简单替换法，会对输出视频的质量造成降低； 而对于远处的失焦的雨，现有的去雨算法大多选择忽略或者进行额外的去雾操作，但此种 方法存在如缺乏图像整体特性考虑等缺点，对图像的质量提升不明显。
【发明内容】
[0006] 本发明提供了一种视频雨滴去除方法，旨在解决现有的基于雨光度特性的去雨算 法处理时间较长，计算效率不高，不利于实时应用的技术问题。
[0007] 本发明提供的视频雨滴去除方法还可以解决以下技术问题：
[0008] 现有的基于静态雨滴光度特性的去雨算法较为简单，容易出现过多错误检测点， 且时间复杂度较高；
[0009] 现有技术在雨滴去除时大量使用值简单替换法，会对输出视频的质量造成降低；
[0010] 现有技术大多忽略远处的失焦雨或对其进行额外的去雾操作，忽略远处的失焦雨 对图像的质量提升不明显，进行额外的去雾操作存在如缺乏图像整体特性考虑等缺点。
[0011] 本发明是这样实现的，一种视频雨滴去除方法，包括：
[0012] 步骤a :读取视频帧，并将视频帧进行色彩空间转换；
[0013] 步骤b :通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像 边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；
[0014] 步骤c :利用Canny边缘检测算法在上述候选雨滴的基础上得到初检雨滴，及利用 动态雨滴的光度学特性进行误检消除；
[0015] 步骤d:在误检消除的初检雨滴上利用a混合及图像亮度矫正技术得到最终去雨 结果图。
[0016] 本发明实施例采取的技术方案还包括：在所述步骤a中，所述将视频帧进行色彩 空间转换具体包括：
[0017] 步骤al:将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公 式为：
[0018]
[0019] 步骤a2 :将步骤al的公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分 量，步骤al的公式重写为：
[0020]
[0021] 其中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值， A R、A G与A B是雨滴引起的背景强度在R、G与B