基于单幅图像的去除图像雨线的方法和系统的制作方法
【技术领域】
[0001] 本发明涉及数字图像处理技术，特别是涉及一种基于单幅图像的去除图像雨线的 方法和系统。
【背景技术】
[0002] 由于拥有包括自动性、智能性、高效性等诸多优点，户外计算机视觉系统被广泛使 用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其 完全失效。所以消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不 可少。在诸多恶劣天气情况中，雨由于拥有较大粒子（雨滴）半径及其他复杂物理特性，会 对视觉系统所摄取的图像的质量造成较大程度的影响。图像雨滴去除技术通过使用雨的物 理、频率等特性，对图像中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于 图像的进一步处理。因此，图像雨滴去除技术已经成为计算机视觉领域不可缺少的关键性 技术。
[0003] 近些年来关于图像中雨滴检测与去除的研究已然成为热点。Starik等在2003年 最早提出了时域均值的雨滴去除策略，作者认为在视频图像序列中，雨滴对像素的影响只 存在于少数几帧中，故可直接对视频帧进行平均就可以得到去除了雨的影响的原图像。遗 憾的是，他们并没有对方法进行试验验证。Garg和Nayar最早使用了雨的动态及光度特性 (K. Garg and S. K. Nayar, "Detection and removal of rain from videos,，' in Proc. IEEE Conf. Comput. Vis. Pattern Recognit.，Jun. 2004, vol. 1，pp. 528 - 535)，分别建立了 两种模型，并基于这两个模型提出了检测和去除雨的方法。对于雨的动态模型，其表明了雨 在其下落方向具有时域相关性；对于光度模型，其分为静态雨及动态雨模型。对于静态雨 滴，其亮度显著高于其覆盖的背景；对于动态雨滴（雨线），其亮度由静态雨滴亮度、背景亮 度及相机曝光时间决定。之后，作者提出了一种使用帧差法进行雨滴初检，使用两种特性 进行误检去除，并最终利用前后帧图像信息进行雨滴去除的方法。虽然此方法性能较好， 但其对于严重失焦（远处）的雨、明亮背景上的雨及雨势变化无法处理。2006年Zhang等 人（Zhang X P, Li H, Qi Y Y, Leow W K, Ng T Κ. Rain removal in video by combining temporal and chromatic properties. In:Proceedings of the 2006International Conferenceon Multimedia and Expo. Toronto, Canada: IEEE, 2006. 461 ：464)使用了雨 的时域分布及色彩特性。由于雨的时域分布直方图显示两个峰（分别代表雨滴亮度及背 景亮度），且近似构成高斯混合模型，故非监督学习方法--K-means聚类能够有效地对 之进行分离。之后，作者发现被雨滴影响像素的帧间RGB值的变化基本相同，故误检能够 进一步被去除。此方法实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景， 计算效率不高，不能进行实时的处理。2007年Barnum等人（Barnum P C, Narasimhan S G,Kanade T.Analysis of rainand snow in frequency space. Internatio-nal Journal of Computer Vision, 2010, 86 (2 :3) :256 :274)注意到之前的多数方法严重依赖于清晰雨 线的提取，而雨线由于会造成重复的模式，在频域中对雨进行分析是合理的。作者建立高斯 模型来近似雨的影响，并通过求在三维傅里叶变换中的模型所占比例进行雨滴检测，进而 通过迭代去雨，最后反变换至视频图像。实验结果表明此种方法拥有较好的处理性能，但此 方法的时间复杂度过高，且对于不显眼的雨及雨势变化的处理，其会出现显著性能下降。
[0004] 以上的基于单幅图像的去雨方法，多仅能处理灰度图像，且方法所需时间较长，例 如最新的优化算法（Chen等的方法），处理特定单幅图像的时间在IOOs以上，同时输出图像 会出现一定程度上的模糊。
[0005] 基于现有技术中单幅图像雨滴去除技术的时间复杂度过高，不利于方法的推广的 缺点，有待进一步地提1?图像中的雨滴去除技术。
【发明内容】
[0006] 基于此，有必要针对现有技术中存在的问题，提供一种基于单幅图像的去除图像 雨线的方法和系统，其可快速去除图像中雨滴的影响，提高了图像处理速度。
[0007] -种基于单幅图像的去除图像雨线的方法，其包括：
[0008] 基于设定的局部图像窗口提取待处理图像中的像素灰度值；
[0009] 计算位于所述局部图像窗口内图像块对应的图像局部熵；
[0010] 提取所述图像局部熵大于或大于等于预设值的图像块，形成第一中间图像；
[0011] 识别所述待处理图像中图像元素的边缘，利用图像形态学操作对所述边缘内的图 像区域进行处理，获得第二中间图像；
[0012] 取所述第一中间图像和第二中间图像的交集，获得去除所述待处理图像中雨线部 分的轮廓图；
[0013] 将所述轮廓图经过数据标准化处理后得到的图像、与所述待处理图像取交集，获 得雨线去除后的结果图像。
[0014] 在其中一个实施例中，所述方法还包括：
[0015] 利用各向扩散异性滤波处理所述结果图像。
[0016] 在其中一个实施例中，所述计算位于所述局部图像窗口内图像块对应的图像局部 熵的过程包括以下步骤：
[0017] 计算所述局部图像窗口内图像块中每个像素的灰度值与所述图像块内所有像素 的灰度值之和的比值；
[0018] 调用下述公式（1)计算所述图像块对应的图像局部熵，
【主权项】
1. 一种基于单幅图像的去除图像雨线的方法，其包括： 基于设定的局部图像窗口提取待处理图像中的像素灰度值； 计算位于所述局部图像窗口内图像块对应的图像局部赌； 提取所述图像局部赌大于或大于等于预设值的图像块，形成第一中间图像； 识别所述待处理图像中图像元素的边缘，利用图像形态学操作对所述边缘内的图像区 域进行处理，获得第二中间图像； 取所述第一中间图像和第二中间图像的交集，获得去除所述待处理图像中雨线部分的 轮廓图； 将所述轮廓图经过数据标准化处理后得到的图像、与所述待处理图像取交集，获得雨 线去除后的结果图像。
2. 根据权利要求1所述的基于单幅图像的去除图像雨线的方法，其特征在于，所述方 法还包括： 利用各向扩散异性滤波处理所述结果图像。
3. 根据权利要求1所述的基于单幅图像的去除图像雨线的方法，其特征在于，所述计 算位于所述局部图像窗口内图像块对应的图像局部赌的过程包括W下步骤： 计算所述局部图像窗口内图像块中每个像素的灰度值与所述图像块内所有像素的灰 度值之和的比值； 调用下述公式（1)计算所述图像块对应的图像局部赌，
(1) 其中，Pi表示所述比值，H表示所述图像块对应的图像局部赌，n表示所述局部图像窗 口内像素的个数。
4. 根据权利要求1所述的基于单幅图像的去除图像雨线的方法，其特征在于，所述提 取所述图像局部赌大于或大于等于预设值的图像块形成第一中间图像的过程包括： 判断所述图像块对应的图像局部赌是否大于或大于等于预设值，若是则将该图像块内 所有像素的灰度值赋值为1，若否则将该图像块内所有像素的灰度值赋值为0,用W形成所 述第一中间图像。
5. 根据权利要求1所述的基于单幅图像的去除图像雨线的方法，其特征在于，所述识 别所述待处理图像中图像元素的边缘的过程中，基于图像灰度采用普里维特算子对图像进 行边缘检测。
6. 根据权利要求1所述的基于单幅图像的去除图像雨线的方法，其特征在于，所述利 用图像形态学操作对所述边缘内的图像区域进行处理的过程包括：基于开运算操作对所述 边缘的连通图像区域进行孔洞填充及图像优化处理。
7. 根据权利要求1所述的基于单幅图像的去除图像雨线的方法，其特征在于，所述方 法中取两个图像交集的方式是将所述两个图像相乘。
8. 根据权利要求2所述的基于单幅图像的去除图像雨线的方法，其特征在于，所述通 过各向扩散异性滤波处理所述结果图像的过程包括： 构建基于图像滤波技术的非线性热扩散方程，在所述非线性热扩散方程中引入图像灰
度特征； W所述结果图像为输入图像，基于预设的扩散系数求解所述非线性热扩散方程，获得 处理后的图像数据。
9. 一种基于单幅图像的去除图像雨线的系统，其特征在于，所述系统包括： 提取模块，用于基于设定的局部图像窗口提取待处理图像中的像素灰度值； 计算模块，用于计算位于所述局部图像窗口内图像块对应的图像局部赌； 分离模块，用于提取所述图像局部赌大于或大于等于预设值的图像块，形成第一中间 图像； 识别模块，用于识别所述待处理图像中图像元素的边缘，利用图像形态学操作对所述 边缘内的图像区域进行处理，获得第二中间图像； 第一运算模块，用于取所述第一中间图像和第二中间图像的交集，获得去除所述待处 理图像中雨线部分的轮廓图；及 第二运算模块，用于将所述轮廓图经过数据标准化处理后得到的图像、与所述待处理 图像取交集，获得雨线去除后的结果图像。
10. 根据权利要求9所述的基于单幅图像的去除图像雨线的系统，其特征在于，所述系 统还包括： 滤波模块，用于利用各向扩散异性滤波处理所述结果图像。
【专利摘要】本发明提供了一种基于单幅图像的去除图像雨线的方法和系统，其方法包括：基于设定的局部图像窗口提取待处理图像中的像素灰度值；计算位于所述局部图像窗口内图像块对应的图像局部熵；提取所述图像局部熵大于或大于等于预设值的图像块，形成第一中间图像；识别所述待处理图像中图像元素的边缘，利用图像形态学操作对所述边缘内的图像区域进行处理，获得第二中间图像；取所述第一中间图像和第二中间图像的交集，获得去除所述待处理图像中雨线部分的轮廓图；将上述轮廓图经过数据标准化处理后得到的图像、与上述待处理图像取交集，获得雨线去除后的结果图像。本发明可快速去除图像中雨滴的影响，提高了图像处理速度。
【IPC分类】G06T5-20
【公开号】CN104599256
【申请号】CN201410855197
【发明人】朱青松, 袁杰, 王磊
【申请人】中国科学院深圳先进技术研究院
【公开日】2015年5月6日
【申请日】2014年12月31日