一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法
【专利摘要】本发明公开了一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法，包括：S1、检测视频中若干帧图像中像素点的亮度变化，构建有雨候选像素集合，并找到雨候选像素集合中每个像素点对应的特征值；S2、使用朴素贝叶斯分类器优化特征值的最小阈值，将雨候选像素集合中的各像素点进行有雨区域和无雨区域的分类；S3、采用帧平均法进行雨滴去除，恢复被雨滴覆盖的像素点。本发明无需考虑降雨量大小不同的影响，对于雨滴形状、大小和速度等不同的情况均适用，应用范围较广；利用同一像素点在不同帧中仅亮度值发生波动这一特征，仅使用亮度值进行雨滴的检测，算法复杂度低。
【专利说明】一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法
【技术领域】
[0001] 本发明涉及计算机视觉【技术领域】，尤其涉及一种基于朴素贝叶斯概率模型的视频 雨滴检测与去除方法。
【背景技术】
[0002] 本发明主要用于计算机视觉中的图像恢复，户外视觉系统广泛应用于军事国防、 医疗技术、智能交通、工业控制等领域，与我们的生活联系也越来越密切。但是恶劣天气严 重影响了户外视觉系统的性能，所以对视频图像进行预处理，消除各种天气因素的影响，对 于一个全天候的户外视觉系统来说是必不可少的。雨滴由于其复杂的光学、物理等特性对 于雨天所摄取的视频质量造成很大的影响，去雨技术不仅可以恢复被雨滴影响的视频图 像，而且有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技 术的性能提高。视频图像去雨技术已经成为计算机视觉领域不可缺少的关键性技术。
[0003] 近些年来有关视频图像中雨滴检测与去除的研究越来越广泛。Starik等2003年 最早提出中值法进行去雨，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数 几帧中，故可直接对视频帧进行平均就可以得到不受雨滴影响的原图像。这种方法简单 快捷，但是只在雨势不大的情况下才能获得较为理想的效果。Garg和Nayar最先建立雨 滴模型（K. Garg and S. K. Nayar, "Detection and removal of rain from videos,，' in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. , Jun. 2004, vol. 1, pp. 528 - 535),而 后提出 了检测和去除的方法（K. Garg and S.K. Nayar, "Photorealistic rendering of rain streaks, ACM Trans. Graph. , vol. 25, no. 3, pp. 996 - 1002, Jul. 2006 ；K. Garg and S. K. Nayar, "Vision and rain, Int. J. Comput. Vis. , vol. 75, no. 1, pp. 3 - 27, Oct. 2007) 文中研究了雨的动力学和光学特性，提出一种帧差法进行雨滴检测，利用前后帧图像信息 进行雨滴去除的方法。通过拟合同一雨滴中的像素在受雨滴影响前后的亮度差值与背 景亮度的线性比值辨别是否为雨滴，但雨滴通常面积较小，拟合易受噪声干扰，同时该方 法还需已知摄像曝光时间。2006年Zhang等人（Zhang X P，Li H，Qi Y Y，Leow W K，Ng T K. Rain removal in video by combining temporal and chromatic properties. In:Proceedings of the 2006 International Conference on Multimedia and Expo. Toronto, Canada: IEEE, 2006. 461 i 464)提出K-means聚类的方法检测雨滴，并加入了雨滴 的色彩特性来减少检测的误差，实验效果较好，但是在整个视频利用聚类的方法辨别雨滴 和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人（Barnum P C，Narasimhan S G,Kanade T.Analysis of rain and snow in frequency space.Internatio-nal Journal of Computer Vision, 2010, 86 (2 丨 3) :256 i 274)基于全局模型获取雨雪典型的 频域特征，对降雨视频序列做三维傅里叶变换，在频域消除雨滴，再反变换至视频图像，但 是这种方法要求雨雪有较高的下降速度，适用范围受限。2008年BrewerN等假设已知曝光 时间、焦距等参数的前提下，提出利用雨的物理特征，如雨线长宽比、雨滴面积等来实现雨 滴的检测（Brewer N，Liu N J. Using the shape characteristics of rain to identify and remove rain from video. In:Proceeding of the 2008 Joint IAPR International Workshop on Structural,Syntactic, and Statistical Pattern Recognition. Berlin, H ei-delberg:Springer_Verlag，2008, 5342:451 i 458)，但是由于噪声的影响，会对雨线长宽 比等参数造成干扰，从而导致无法准确的进行雨滴检测。
[0004] 之后出现了基于单幅图像去雨的方法，基于单幅图像去雨算法是其中一种较为 新颖的算法，不仅可以对单幅图像进行去雨，也可应用到视频去雨当中，所以使用范围更 广。Yu-Hsiang Fu 等(Fu Y H，Kang L W, Lin C W, et al. Single-frame-based rain removal via image decomposition. In:Proceeding of 2011 IEEE Internatio nal Conference on Acoustics, Speech and Signal Processing(ICASSP). Prague, Czech:IEEE Press，2011:1453-1456.)和 Li-Wei Kang 等（Kang L W，Lin C W，Fu Y H. Automatic single-image-based rain streaks removal via image decomposition.Image Processing，IEEE Transactions on，2012,21 (4) :1742-1755.)提出 了使用图像分 解的方法进行单幅图像去雨；De-An Huang等（Huang D A，Kang L W，Yang M C，et al. Context-aware single image rain removal. In:Proceeding of 2012 IEEE International Conference on Multimedia and Expo(ICME). Melbourne, Australia:IEEE Press，2012:164_169.)提出了 通过情景感知去雨；Jaina George 等（George J,Bhavani S,Jaya J.Certain explorations on removal of rain streaks using morphological component analysis. International Journal of Engineering Research&Technology. 2013, 2(2).)提出使用形态学成分分析的方法进行去雨；Duan-Yu Chen 等(Chen D Y，Chen C C，Kang L W. Visual depth guided image rain streaks removal via sparse coding. In:Proceeding of2012 International Symposium on Intelligent Signal Processing and Communications Systems. New Taipei, Taiwan:IEE E，2012:151-156.)通过引导滤波和稀疏编码进行去雨。
[0005] 然而现有技术具有以下缺点：
[0006] 需要针对不同的降雨量使用不同的雨滴检测与去除方法，比如大雨、小雨需要使 用不同的算法，适用性较差。
[0007] 需要利用雨滴的色彩特性、亮度特性、时空特性等，在多维空间进行雨滴的检测， 算法复杂度较高；
[0008] 当视频中存在运动的物体时，雨滴的检测受到干扰，去雨效果受到影响。
[0009] 因此，针对上述技术问题，有必要提供一种基于朴素贝叶斯概率模型的视频雨滴 检测与去除方法。
【发明内容】
[0010] 有鉴于此，本发明的目的在于提供了一种基于朴素贝叶斯概率模型的视频雨滴检 测与去除方法，其不需要假定不同降雨量情况下雨滴的形状、大小和速度等，适用性高，且 雨滴的漏检率较低。
[0011] 为了达到上述目的，本发明实施例提供的技术方案如下：
[0012] 一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法，所述方法包括：
[0013] S1、检测视频中若干帧图像中像素点的亮度变化，构建有雨候选像素集合，并找到 雨候选像素集合中每个像素点对应的特征值；
[0014] S2、使用朴素贝叶斯分类器优化特征值的最小阈值，将雨候选像素集合中的各像 素点进行有雨区域和无雨区域的分类；
[0015] S3、采用帧平均法进行雨滴去除，恢复被雨滴覆盖的像素点。
[0016] 作为本发明的进一步改进，所述步骤S1包括：
[0017] 获取视频中若干帧图像中像素的亮度值； / 一 Y
[0018]通过夂=ii； n i计算像素点偏度值，其中七，&，巧，...，\为像素点的样本 i=i S V J 亮度，K为偏度值，x为样本均值，s为样本的标准差；
[0019] 设定偏度值阈值，将所有小于偏度值阈值的像素点构建为有雨候选像素集合。
[0020] 作为本发明的进一步改进，所述步骤S1中特征值包括波动范围和传播非对称性。
[0021] 作为本发明的进一步改进，所述波动范围和传播非对称性具体为：
[0022] = maxCp/fm,,
[0023] spread asymmetry (m, n) = | A~B | ,
[0024] A = stcl dcv{\),(m, n) | p; (m, n) > c)
[0025] 6 =今v'(P/(m, n) I p/ (m, n) < t )，
[0026] C=/H^7?(p/(m,n))
[0027] 其中，Pi (m, n)是第1巾贞位于（m, n)处的亮度值，Std dev表示标准差，mean表示 均值，波动范围和传播非对称性特征是在帧长1= (2N+1)的距离上计算得出的，取中心帧 和其前其后各N帧。
[0028] 作为本发明的进一步改进，所述步骤S2中特征值的最小阈值：
[0029] 波动范围最小阈值，有雨区域像素点亮度最大值和最小值之间的差距；
[0030] 传播非对称性最小阈值'，有雨区域亮度在均值之上或之下的像素点标准差之间 差值的绝对值。
[0031] 作为本发明的进一步改进，所述步骤S2中"使用朴素贝叶斯分类器优化特征值的 最小阈值"为基于朴素贝叶斯概率模型进行：
[0032] - argmax P{(〇j )]~f / (〇j), i
[0033] 其中，表示像素类型，取值为雨或非雨；a ,表示波动范围和传播非对称性两个 特征，?为各特征对应的类别，P(Wj)为先验概率，P(ai/ Wj)为后验概率。
[0034] 本发明具有以下有益效果：
[0035] 无需考虑降雨量大小不同的影响，对于雨滴形状、大小和速度等不同的情况均适 用，应用范围较广；
[0036] 利用同一像素点在不同帧中仅亮度值发生波动这一特征，仅使用亮度值进行雨滴 的检测，算法复杂度低；
[0037] 雨滴的漏检率较低，使用连续多帧的图像信息进行雨滴的去除，恢复后的图像效 果更好。
【专利附图】
【附图说明】
[0038] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
[0039] 图1为本发明中视频雨滴检测与去除方法的流程示意图。
[0040] 图2为本发明一【具体实施方式】中有雨区域（第一列）和无雨区域（第二列）像素 点的亮度波形图。
[0041] 图3 (a)为本发明一【具体实施方式】中静态背静视频中连续15帧有雨区域和无雨区 域波动范围和非对称性特征的像素分布；
[0042] 图3(b)为本发明一【具体实施方式】中动态背静视频中连续15帧有雨区域和无雨区 域波动范围和非对称性特征的像素分布。
[0043] 图4 (a)为本发明一【具体实施方式】中静态背静视频中连续15帧中有雨和无雨区域 的波动范围概率分布；
[0044] 图4 (b)为本发明一【具体实施方式】中静态背静视频中连续15帧中有雨和无雨区域 的传播非对称性概率分布。
[0045] 图5 (a)为本发明一【具体实施方式】中动态背静视频中连续15帧中有雨和无雨区域 的波动范围概率分布；
[0046] 图5(b)为本发明一【具体实施方式】中动态背静视频中连续15帧中有雨和无雨区域 的传播非对称性概率分布。
【具体实施方式】
[0047] 为了使本【技术领域】的人员更好地理解本发明中的技术方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施 例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护 的范围。
[0048] 本发明在已有视频去雨算法的基础上进行改进，针对已有算法往往需要区分不同 的降雨量，无法适用于雨滴大小、形状不同情况的缺点，提出一种基于朴素贝叶斯概率模型 的视频雨滴检测与去除方法。
[0049] 参图1所示，本发明中的视频雨滴检测与去除方法主要包括以下步骤：
[0050] S1、特征检测：
[0051] 检测视频中若干帧图像中像素点的亮度变化，构建有雨候选像素集合，并找到雨 候选像素集合中每个像素点对应的特征值；
[0052] S2、朴素贝叶斯模型进行雨滴检测：
[0053] 使用朴素贝叶斯分类器优化特征值的最小阈值，将雨候选像素集合中的各像素点 进行有雨区域和无雨区域的分类；
[0054] S3、帧平均法进行雨滴去除：
[0055] 采用帧平均法进行雨滴去除，恢复被雨滴覆盖的像素点。
[0056] 其中，步骤S1包括：
[0057] 获取视频中若干帧图像中像素的亮度值；
[0058] 通过
【权利要求】
1. 一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法，其特征在于，所述方法 包括： 51、 检测视频中若干帧图像中像素点的亮度变化，构建有雨候选像素集合，并找到雨候 选像素集合中每个像素点对应的特征值； 52、 使用朴素贝叶斯分类器优化特征值的最小阈值，将雨候选像素集合中的各像素点 进行有雨区域和无雨区域的分类； 53、 米用巾贞平均法进行雨滴去除，恢复被雨滴覆盖的像素点。
2. 根据权利要求1所述的方法，其特征在于，所述步骤Sl包括： 获取视频中若干帧图像中像素的亮度值；
I计算像素点偏度值，其中XpXyX3,. ..，xnS像素点的样本亮度， K为偏度值，X为样本均值，s为样本的标准差； 设定偏度值阈值，将所有小于偏度值阈值的像素点构建为有雨候选像素集合。
3. 根据权利要求1所述的方法，其特征在于，所述步骤Sl中特征值包括波动范围和传 播非对称性。
4. 根据权利要求3所述的方法，其特征在于，所述波动范围和传播非对称性具体为： range(m.n) = max(p/(m,n))-inin(p/(m.n)) * spread asymmetry(m,n) = |A_B|， A = stddcpip, (m, n) | py (m, n) > c) B = stddev(p, (m, n) | p, (m, n) < f), C =mean (p,(m,n)) 其中，P1On, n)是第I巾贞位于（m，n)处的亮度值，Std dev表示标准差，mean表示均值， 波动范围和传播非对称性特征是在帧长1= (2N+1)的距离上计算得出的，取中心帧和其前 其后各N帧。
5. 根据权利要求3所述的方法，其特征在于，所述步骤S2中特征值的最小阈值： 波动范围最小阈值T1，有雨区域像素点亮度最大值和最小值之间的差距； 传播非对称性最小阈值T2，有雨区域亮度在均值之上或之下的像素点标准差之间差值 的绝对值。
6. 根据权利要求5所述的方法，其特征在于，所述步骤S2中"使用朴素贝叶斯分类器 优化特征值的最小阈值"为基于朴素贝叶斯概率模型进行：
其中，Vnb表示像素类型，取值为雨或非雨；a ,表示波动范围和传播非对称性两个特 征，Coj为各特征对应的类别，P(Coj)为先验概率，P(ai/ Wj)为后验概率。
【文档编号】G06T5/00GK104331865SQ201410568605
【公开日】2015年2月4日 申请日期:2014年10月22日 优先权日:2014年10月22日
【发明者】朱青松, 惠利可, 王磊 申请人:中国科学院深圳先进技术研究院