基于雨频率特性的单幅图像去除雨滴影响的方法和系统的制作方法
【技术领域】
[0001] 本发明设及图像处理技术领域，尤其设及一种基于雨频率特性的单幅图像去除雨 滴影响的方法和系统。
【背景技术】
[0002] 户外计算机视觉系统由于拥有包括自动性、智能性、高效性等诸多优点被广泛使 用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其 完全失效。所W消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不 可少。在诸多恶劣天气情况中，雨由于拥有较大粒子（雨滴）半径及其他复杂物理特性，会 对视觉系统所摄取的图像的质量造成较大程度的影响。图像雨滴去除技术通过使用雨的物 理、频率等特性，对图像中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于 图像的进一步处理。因此，图像雨滴去除技术已经成为计算机视觉领域不可缺少的关键性 技术。
[0003] 近些年来关于图像中雨滴检测与去除的研究已然成为热点。star化等在2003年 最早提出了时域均值的雨滴去除策略，作者认为在视频图像序列中，雨滴对像素的影响只 存在于少数几帖中，故可直接对视频帖进行平均就可W得到去除了雨的影响的原图像。遗 憾的是，他们并没有对方法进行试验验证。Garg和化yar最早使用了雨的动态及光度特性 (K.GargandS.K.Nayar,"Detectionandremovalofrainfromvideos, "inProc. IE邸Conf.Comput.Vis.PatternReco即it. ,Jun. 2004,vol. 1,pp. 528 - 535)，分别建立了 两种模型，并基于该两个模型提出了检测和去除雨的方法。对于雨的动态模型，其表明了 雨在其下落方向具有时域相关性；对于光度模型，其分为静态雨及动态雨模型。对于静态 雨滴，其亮度显著高于其覆盖的背景；对于动态雨滴（雨线），其亮度由静态雨滴亮度、背 景亮度及相机曝光时间决定。之后，作者提出了一种使用帖差法进行雨滴初检，使用两种 特性进行误检去除，并最终利用前后帖图像信息进行雨滴去除的方法。虽然此方法性能较 好，但其对于严重失焦（远处）的雨、明亮背景上的雨及雨势变化无法处理。2006年化ang 等人（ZhangXP,LiH,QiYY,LeowWK,NgTK.Rainremovalinvideobycombining temporalandchromaticproperties.In:Proceedingsofthe2006International ConferenceonMultimediaandExpo.Toronto,Canada:IE邸，2006. 461i'464)使用了雨 的时域分布及色彩特性。由于雨的时域分布直方图显示两个峰（分别代表雨滴亮度及背 景亮度），且近似构成高斯混合模型，故非监督学习方法一一K-means聚类能够有效地对 之进行分离。之后，作者发现被雨滴影响像素的帖间RGB值的变化基本相同，故误检能够 进一步被去除。此方法实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景， 计算效率不高，不能进行实时的处理。2007年Barnum等人炬arnumPC,NarasimhanS G,KanadeT.Analysisofrainandsnowinfrequencyspace.Internatio-nalJournal ofComputerVision, 2010, 86(2i3) : 256i274)注意到之前的多数方法严重依赖于清晰 雨线的提取，而雨线由于会造成重复的模式，在频域中对雨进行分析是合理的。作者建立高 斯模型来近似雨的影响，并通过求在=维傅里叶变换中的模型所占比例进行雨滴检测，进 而通过迭代去雨，最后反变换至视频图像。实验结果表明此种方法拥有较好的处理性能，但 此方法的时间复杂度过高，且对于不显眼的雨及雨势变化的处理，其会出现显著性能下降。
[0004] 由于使用雨的频率特性能够在特定情况下显著提升算法去雨性能，且在仅处理单 幅图像（即无时域信息）时，频率特性能够发挥更大的作用。化-Hsiang化等（化YH，Kang LW,LinCW,etal.Single-frame-basedrainremovalviaimagedecomposition. In:Proceedingof2011IEEEInternationalConferenceonAcoustics，Speechand SignalProcessing(ICASSFO.Prague,Czech:IE邸Press，2〇ll:l453-l456.)首先提 出了基于MCA(形态学成分分析）及图像分解的单幅图像去雨算法，作者首先使用双边 滤波将图像分为高频及低频部分，之后进行字典学习，并通过将雨部分字典系数设置为 0得到去雨图像，由于此方法存在字典选择非自动性的缺点；Li-WeiKang等化angL W,LinCW,FuYH.Automaticsingle-image-basedrainstreaksremovalviaimage decomposition.ImageProcessing,IEEETransactionson,2012, 21 (4):1742-1755.)提 出了一种基于自学习的自动改进算法。之后，De-An化ang等化uangDA,KangLW,Yang MC,etal.Context-awaresingleimagerainremoval.In:Proceedingof2012IEEE InternationalConferenceonMultimediaandExpo(ICME).Melbourne,Australia:lEE EPress，2012:164-169.)提出了基于上下文感知的单幅图像去雨算法，此方法仅需要单幅 图像进行学习工作，故可W大幅减少算法所需时间；而Duan-Yu化en等烟lenDY,化enC C,KangLW.Visualdepthguidedimagerainstreaksremovalviasparsecoding. In:Proceedingof2012InternationalSymposiumonIntelligentSignalProcessing andCommunicationsSystems.NewTaipei,Taiwan:IEEE, 2012:151-156.)弓|入了DoD(深度 差异）的概念，深度差异能够衡量图像的局部相关性信息，故能够为单幅图像去雨提供帮 助，同时，他们使用引导滤波替代原先使用的双边滤波因为其拥有更好的性能。
[0005] W上的基于单幅图像的去雨方法，多仅能处理灰度图像，且方法所需时间较长，处 理特定单幅图像的时间在100sW上），同时输出图像会出现一定程度上的模糊。
【发明内容】
[0006] 有鉴于此，有必要提供一种算法简单、图像雨滴去除效果好的基于雨频率特性的 单幅图像去除雨滴影响的方法。
[0007] 为实现上述目的，本发明采用下述技术方案：
[000引一种单幅图像中去除雨滴影响的方法，包括下述步骤：
[0009] 步骤S110 ;对待去除雨滴图像进行频域分析，W确定雨线方向；
[0010] 步骤S120 ;根据雨线方向，采用G油or滤波，获取雨线特征图；
[0011] 步骤S130 ;将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。
[0012] 在一些实施例中，步骤S110中，对待去除雨滴图像进行频域分析，W确定雨线方 向，包括下述步骤：
[0013] 步骤sill;根据观察待去除雨滴图像，其具有纹理的雨线，所述雨线的纹理线在 频域中表示为特定的高频信息；
[0014] 步骤S112 ;对所述待去除雨滴图像进行傅里叶变换再进行处理，w在频谱图中形 成特定方向的频率；
[0015] 步骤S113 ;根据特定方向的频率通过霍夫变换确定频域中的直线方向，所述频域 中的直线方向等价于空域中的直线方向。
[0016] 在一些实施例中，步骤S120中，根据雨线方向，采用G油or滤波，获取雨线特征图， 具体为；使用除pi/4方向上的窗口大小为6*6,尺度为6的G油or滤波，并对得到的图像进 行取交集操作，得到雨线特征图。
[0017] 在一些实施例中，步骤S120中，所述G油or为线性滤波器，所述线性滤波器为正弦 平面波调制的高斯核函数。
[0018] 在一些实施例中，在完成步骤S130后还包括下述步骤：
[0019] 步骤S140 ;将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加， 得到修复后的去除雨滴图像。
[0020] 另外，本发明还提供了一种单幅图像去除雨滴影响的系统，包括：
[0021] 频域分析模块，用于对待去除雨滴图像进行频域分析，W确定雨线方向；
[0022] G油or滤波模块，用于根据雨线方向，采用G油or滤波，获取雨线特征图；及
[0023] 图像处理模块，用于将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后 的图像。
[0024] 在一些实施例中，所述频域分析模块包括：
[0025] 雨线纹理获取单元，用于根据待去除雨滴图像获取具有纹理的雨线，所述雨线的 纹理线在频域中表示为特定的高频信息；
[0026] 处理单元，用于对待去除雨滴图像进行傅立叶变换再进行处理，W在频谱图中形 成特定方向的频率；及
[0027] 方向确定单元，用于根据特定方向的频率确定频域中的直线方向，所述频域中的 直线方向等价于空域中的直线方向。
[002引在一些实施例中，所述G油or滤波模块为线性滤波器，所述线性滤波器为正弦平 面波调制的高斯核函数。
[0029] 在一些实施例中，还包括图像修复模块，用于将得到的去除雨滴的图像与轮廓识 别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。
[0030] 上述基于雨频率特性的单幅图像去除雨滴影响的方法和系统，通过对待去除雨 滴图像进行频域分析，W确定雨线的方向，进而使用多尺度多方向的Gabor滤波进行图像 滤波处理，获取雨线特征图，再将待去除雨滴图像与雨线特征图相减，得到去除雨滴后的图 像，最终通过图像修复，实现了单幅彩色图像的去雨处理，提高了去雨算法的使用范围，有 效地改善了图像的质量。
【附图说明】
[0031] 图1为本发明提供的基于雨频率特性的单幅图像去除雨滴影响的方法的步骤流 程图。
[0032] 图2中（a)表示为被雨滴污染的原图，图2中化）为原图进行傅立叶变换处理后 的结果图。
[0033] 图3为本发明实施例提供的霍夫变换的原理示意图。
[0034] 图4为本发明实施例提供的经过霍夫变换的结果图。
[0035] 图5为本发明实施例提供的雨线特征图。
[0036] 图6为本发明实施例提供的原图和去除雨滴的结果图。<