一种基于对数图像处理的视频雨滴检测与去除方法
【专利摘要】本发明公开了一种基于对数图像处理的视频雨滴检测与去除方法，所述方法包括：S1、根据对数变换原理，将入射光强度映射到灰色调空间；S2、进行灰色调约束，在灰色调空间进行非线性的变换，并设定灰色调阈值，通过检测前后三帧图像的灰色调值检测当前帧像素点是否为雨滴；S3、若是，则将该像素点列入雨滴像素；若否，则将该像素点列入背静像素；S4、对雨滴像素利用帧差法进行雨滴去除，得到去雨像素。本发明对数图像处理更加符合图像物理特性以及人眼视觉感知规律，雨滴检测效果更好；将雨滴去除后的图像使用对数变换进行增强，对于低灰度值部分的图像质量改进较为明显。
【专利说明】一种基于对数图像处理的视频雨滴检测与去除方法
【技术领域】
[0001] 本发明涉及计算机视觉【技术领域】，尤其涉及一种基于对数图像处理的视频雨滴检 测与去除方法。
【背景技术】
[0002] 本发明主要用于计算机视觉中的图像恢复，户外视觉系统广泛应用于军事国防、 医疗技术、智能交通、工业控制等领域，与我们的生活联系也越来越密切。但是恶劣天气严 重影响了户外视觉系统的性能，所以对视频图像进行预处理，消除各种天气因素的影响，对 于一个全天候的户外视觉系统来说是必不可少的。雨滴由于其复杂的光学、物理等特性对 于雨天所摄取的视频质量造成很大的影响，去雨技术不仅可以恢复被雨滴影响的视频图 像，而且有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技 术的性能提高。视频图像去雨技术已经成为计算机视觉领域不可缺少的关键性技术。
[0003] 近些年来有关视频图像中雨滴检测与去除的研究越来越广泛。Starik等2003年 最早提出中值法进行去雨，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数 几帧中，故可直接对视频帧进行平均就可以得到不受雨滴影响的原图像。这种方法简单 快捷，但是只在雨势不大的情况下才能获得较为理想的效果。Garg和Nayar最先建立雨 滴模型（K. Garg and S. K. Nayar, "Detection and removal of rain from videos,，' in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. , Jun. 2004, vol. I, pp. 528 - 535),而 后提出 了检测和去除的方法（K. Garg and S.K. Nayar, "Photorealistic rendering of rain Streaks1^ACM Trans. Graph. , vol. 25, no. 3, pp. 996 - 1002, Jul. 2006 ；K. Garg and S. K. Nayar, "Vision and rain, Int. J. Comput. Vis. , vol. 75, no. I, pp. 3 - 27, Oct. 2007) 文中研究了雨的动力学和光学特性，提出一种帧差法进行雨滴检测，利用前后帧图像信息 进行雨滴去除的方法。通过拟合同一雨滴中的像素在受雨滴影响前后的亮度差值与背 景亮度的线性比值辨别是否为雨滴，但雨滴通常面积较小，拟合易受噪声干扰，同时该方 法还需已知摄像曝光时间。2006年Zhang等人（Zhang X P，Li H，Qi Y Y，Leow W K，Ng T K. Rain removal in video by combining temporal and chromatic properties. In:Proceedings of the 2006International Conference on Multimedia and Expo. Toronto, Canada: IEEE, 2006. 461丨464)提出K-means聚类的方法检测雨滴，并加入了雨滴 的色彩特性来减少检测的误差，实验效果较好，但是在整个视频利用聚类的方法辨别雨滴 和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人（Barnum P C, Narasimhan S G,Kanade T.Analysis of rain and snow in frequency space.Internatio-nal Journal of Computer Vision, 2010, 86(2 i 3) :256 丨 274)基于全局模型获取雨雪典型的 频域特征，对降雨视频序列做三维傅里叶变换，在频域消除雨滴，再反变换至视频图像，但 是这种方法要求雨雪有较高的下降速度，适用范围受限。2008年Brewer N等假设已知曝光 时间、焦距等参数的前提下，提出利用雨的物理特征，如雨线长宽比、雨滴面积等来实现雨 滴的检测（Brewer N，Liu N J. Using the shape characteristics of rain to identify and remove rain from video.In:Proceeding of the 2008Joint IAPR International Workshop on Structural, Syntactic, and Statistical Pattern Recognition. Berlin, H ei_delberg: Springer-Verlag，2008, 5342:451 ? 458)，但是由于噪声的影响，会对雨线长宽 比等参数造成干扰，从而导致无法准确的进行雨滴检测。
[0004] 之后出现了基于单幅图像去雨的方法，基于单幅图像去雨算法是其中一种较 为新颖的算法，不仅可以对单幅图像进行去雨，也可应用到视频去雨当中，所以使用范 围更广。Yu-Hsiang Fu 等(Fu Y Hj Kang L Wj Lin C Wj et al. Single-frame-based rain removal via image decomposition. In:Proceeding of 2011IEEE Internatio nal Conference on Acoustics,Speech and Signal Processing (ICASSP). Prague，Czech:IEEE Press，2011:1453-1456.)和 Li-Wei Kang 等（Kang L W，Lin C W，Fu Y H. Automatic single-image-based rain streaks removal via image decomposition. Image Processing，IEEE Transactions on，2012,21 (4) :1742-1755.)提出 了使用 图像分解的方法进行单幅图像去雨；De-An Huang等（Huang D A，Kang L W，Yang M C，et al. Context-aware single image rain removal. In:Proceeding of2012IEEE International Conference on Multimedia and Expo (ICME). Melbourne, Australia:IEEE Press，2012:164-169.)提出了 通过情景感知去雨；Jaina George 等（George Jj Bhavani Sj Jaya J. Certain explorations on removal of rain streaks using morphological component analysis. International Journal of Engineering Research&Technology. 2013, 2(2).)提出使用形态学成分分析的方法进行去雨；Duan-Yu Chen 等(Chen D Yj Chen C Cj Kang L W. Visual depth guided image rain streaks removal via sparse coding. ImProceeding of2012International Symposium on Intelligent Signal Processing and Communications Systems. New Taipei，Taiwan:IEE E，2012:151-156.)通过引导滤波和稀疏编码进行去雨。
[0005] 然而现有技术具有以下缺点：
[0006] 采用实数运算法则，不符合人眼视觉感知规律和图像物理性质；
[0007] 对于图像较暗部分的处理较差，对比度不明显。
[0008] 因此，针对上述技术问题，有必要提供一种基于对数图像处理的视频雨滴检测与 去除方法。
【发明内容】
[0009] 有鉴于此，本发明的目的在于提供了一种基于对数图像处理的视频雨滴检测与去 除方法，将在传统模型下基于灰度的输入图像转换为基于灰色调的图像，建立灰色调约束 条件，更能凸显雨滴信息。
[0010] 为了达到上述目的，本发明实施例提供的技术方案如下：
[0011] 一种基于对数图像处理的视频雨滴检测与去除方法，所述方法包括：
[0012] S1、根据对数变换原理，将入射光强度映射到灰色调空间；
[0013] S2、进行灰色调约束，在灰色调空间进行非线性的变换，并设定灰色调阈值，通过 检测前后三帧图像的灰色调值检测当前帧像素点是否为雨滴；
[0014] S3、若是，则将该像素点列入雨滴像素；若否，则将该像素点列入背静像素；
[0015] S4、对雨滴像素利用帧差法进行雨滴去除，得到去雨像素。
[0016] 作为本发明的进一步改进，所述步骤Sl中将入射光强度映射到灰色调空间的映 射函数为：
【权利要求】
1. 一种基于对数图像处理的视频雨滴检测与去除方法，其特征在于，所述方法包括： 51、 根据对数变换原理，将入射光强度映射到灰色调空间； 52、 进行灰色调约束，在灰色调空间进行非线性的变换，并设定灰色调阈值，通过检测 前后三帧图像的灰色调值检测当前帧像素点是否为雨滴； 53、 若是，则将该像素点列入雨滴像素；若否，则将该像素点列入背静像素； 54、 对雨滴像素利用帧差法进行雨滴去除，得到去雨像素。
2. 根据权利要求1所述的方法，其特征在于，所述步骤Sl中将入射光强度映射到灰色 调空间的映射函数为：
其中，f(x，y)为灰色调函数，F(x，y)为入射光强度，FmaxS人眼视觉系统的饱和度值。
3. 根据权利要求2所述的方法，其特征在于，所述映射函数f(x，y)的计算规则为：
4. 根据权利要求3所述的方法，其特征在于，所述灰色调空间E与实数空间R是同构 的，映射关系为：
5. 根据权利要求3所述的方法，其特征在于，所述步骤S2中当前帧像素点为雨滴像素 的检测条件为： 4. K < 4+1 ;且 !/,0/, I^Tj, 其中，fn_i，fn，fn+1为连续三帧图像的灰色调值，Tf为灰色调阈值。
6. 根据权利要求1所述的方法，其特征在于，所述步骤S4后还包括：再次进行对数图 像处理，增强图像对比度。
【文档编号】G06T7/00GK104361561SQ201410568756
【公开日】2015年2月18日 申请日期:2014年10月22日 优先权日:2014年10月22日
【发明者】朱青松, 惠利可, 王磊 申请人:中国科学院深圳先进技术研究院