一种视频雨滴去除方法及系统的制作方法
【技术领域】
[0001] 本发明属于视频雨滴去除技术领域，尤其涉及一种视频雨滴去除方法及系统。
【背景技术】
[0002] 由于拥有包括自动性、智能性、高效性等诸多优点，户外计算机视觉系统被广泛使 用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其 完全失效。所以消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不 可少。在诸多恶劣天气情况中，雨由于拥有较大粒子（雨滴）半径及其他复杂物理特性，会 对视觉系统所摄取的图像质量造成较大程度的影响。视频雨滴去除技术通过使用雨的物 理、频率等特性，对视频帧中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利 于图像的进一步处理。因此，视频雨滴去除技术已经成为计算机视觉领域不可缺少的关键 性技术。
[0003] 近些年来关于视频及图像中雨滴检测与去除的研究已然成为热点。Starik等在 2003年最早提出了时域均值的雨滴去除策略，作者认为在视频图像序列中，雨滴对像素的 影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到去除了雨的影响的原图 像。同时，他们认为雨会对背景产生亮度加强，且造成一定程度上的模糊，最终产生的视觉 效果是雨及被覆盖背景的空间混合。对于远处的雨，由于失焦效果，会呈现雾状特征。遗 憾的是，他们并没有对方法进行试验验证。Garg和Nayar最早使用了雨的动态及光度特性 (K. Garg and S. K. Nayar, "Detection and removal of rain from videos, '，in Proc. IEEE Conf. Comput. Vis. Pattern Recognit.，Jun. 2004, vol. 1，pp. 528 - 535)，分别建立了 两种模型，并基于这两个模型提出了检测和去除雨的方法。对于雨的动态模型，其表明了 雨在其下落方向具有时域相关性；对于光度模型，其分为静态雨及动态雨模型。对于静态 雨滴，其亮度显著高于其覆盖的背景；对于动态雨滴（雨线），其亮度由静态雨滴亮度、背 景亮度及相机曝光时间决定。之后，作者提出了一种使用帧差法进行雨滴初检，使用两种 特性进行误检去除，并最终利用前后帧图像信息进行雨滴去除的方法。虽然此方法性能较 好，但其对于严重失焦（远处）的雨、明亮背景上的雨及雨势变化无法处理。2006年Zhang 等人（Zhang X P, Li H, Qi Y Y, Leow ff K, Ng T Κ. Rain removal in video by combining temporal and chromatic properties.In:Proceedings of the 2006 International Conferenceon Multimedia and Expo. Toronto, Canada: IEEE, 2〇〇6·461].46:4)使用了雨 的时域分布及色彩特性。由于雨的时域分布直方图显示两个峰（分别代表雨滴亮度及背 景亮度），且近似构成高斯混合模型，故非监督学习方法一一K-means聚类算法能够有效 地对之进行分离。之后，作者发现被雨滴影响像素的帧间RGB值的变化基本相同，故误检 能够进一步被去除。此方法实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背 景，计算效率不高，不能进行实时的处理。2007年Barnum等人（Barnum P C, Narasimhan S G,Kanade T.Analysis of rainand snow in frequency space. Internatio-nal Journal of Computer Vision, 2010, 86^3)::256^74)注意到之前的多数方法严重依赖于清晰雨 线的提取，而雨线由于会造成重复的模式，在频域中对雨进行分析是合理的。作者建立高斯 模型来近似雨的影响，并通过求在三维傅里叶变换中的模型所占比例进行雨滴检测，进而 通过迭代去雨，最后反变换至视频图像。实验结果表明此种方法拥有较好的处理性能，但此 方法由于算法较为简单，容易出现过多错误检测；同时，由于使用了混合高斯模型，具有较 高的时间复杂度，且在存在不显眼的雨（明亮背景下的雨）及雨势变化时，其处理性能会出 现显著下降。
[0004] 由于使用雨的频率特性能够在特定情况下显著提升算法去雨性能，且在仅处理单 幅图像（即无时域信息）时，频率特性能够发挥更大的作用。Yu-Hsiang Fu等（Fu Y H, Kang L Wj Lin C Wj et al.Single-frame-based rain removal via imagedecomposition. IniProceeding of 2011IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) · Prague, Czech:IEEE Press，2011:1453-1456.)首先提 出了基于MCA(形态学成分分析）及图像分解的单幅图像去雨算法，作者首先使用双边 滤波将图像分为高频及低频部分，之后进行字典学习，并通过将雨部分字典系数设置为 0得到去雨图像。由于此方法存在字典选择非自动性的缺点，Li-Wei Kang等（Kang L Wj Lin C Wj Fu Y H. Automatic single-image-based rain streaks removalvia image decomposition. Image Processing,IEEE Transactions on，2012, 21 (4):1742-1755.)提 出了一种基于自学习的自动改进算法。之后，De-An Huang等（Huang D A, Kang L W, Yang M C，et al.Context-aware single image rain removal. In:Proceeding of 2012 IEEE International Conference on Multimedia and Expo (ICME). Melbourne, Australia:IEE EPress, 2012:164-169.)提出了基于上下文感知的单幅图像去雨算法，此方法仅需要单幅 图像进行学习工作，故可以大幅减少算法所需时间。而Duan-Yu Chen等（Chen D Y, Chen C C1Kang L ff. Visual depth guided image rain streaks removal via sparse coding. In!Proceeding of2012 International Symposium on Intelligent Signal Processing and Communications Systems. NewTaipei, Taiwan: IEEE, 2012:151-156.)引入了 DoD(深度 差异）的概念，深度差异能够衡量图像的局部相关性信息，故能够为单幅图像去雨提供帮 助，同时，他们使用引导滤波替代原先使用的双边滤波，因为其拥有更好的性能。
[0005] 现有技术在雨滴去除时大量使用值简单替换法，会对输出视频的质量造成降低； 而对于远处的失焦的雨，现有的去雨算法大多选择忽略或者进行额外的去雾操作，但此种 方法存在如缺乏图像整体特性考虑等缺点，对图像的质量提升不明显。
【发明内容】
[0006] 本发明提供了一种视频雨滴去除方法及系统，旨在解决现有的基于雨光度特性的 去雨算法处理时间较长，计算效率不高，不利于实时应用的技术问题。
[0007] 本发明提供的视频雨滴去除方法及系统还可以解决以下技术问题：
[0008] 现有的基于静态雨滴光度特性的去雨算法较为简单，容易出现过多错误检测点， 且时间复杂度较高；
[0009] 现有技术在雨滴去除时大量使用值简单替换法，会对输出视频的质量造成降低；
[0010] 现有技术大多忽略远处的失焦雨或对其进行额外的去雾操作，忽略远处的失焦雨 对图像的质量提升不明显，进行额外的去雾操作存在如缺乏图像整体特性考虑等缺点。
[0011] 本发明是这样实现的，一种视频雨滴去除方法，包括：
[0012] 步骤a :读取视频帧，并将视频帧进行色彩空间转换；
[0013] 步骤b:通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像 边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；
[0014] 步骤c :通过去噪算法及雨滴面积约束，得到最终检测雨滴，并通过去雾方程及动 态雨滴光度特性去除雨滴，得到最终去雨结果。
[0015] 本发明实施例采取的技术方案还包括：在所述步骤a中，所述将视频帧进行色彩 空间转换具体包括：
[0016] 步骤al :将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公 式为：
[0018] 步骤a2 :将步骤al的公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分 量，步骤al的公式重写为：
[0020] 其中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值， Δ R、△ G与△ B是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则 Δ R、Δ G及Δ B均为零；反之，均不为零；
[0021] 步骤a3 :雨滴引起的AR、AG及ΔΒ近似相等，步骤a2中的公式变换为：
[0022] Cb = 128-0. 1482Rbg-〇. 2910Gbg+0. 4392Bbg
[0023] Cr = 128+0. 4392Rbg-〇. 3678Gb