视频数据中雨场去除的方法和系统的制作方法
【专利摘要】本发明涉及图像处理领域，提供了一种视频数据中雨场去除的方法和系统，其方法包括：提取初始视频数据中代表亮度信息的视频图像数据；提取所述视频图像数据中待处理的像素；判断所述像素在多帧图像中对应亮度值的偏度是否落入预设范围，若否，则统计所述偏度大于所述预设范围上限的像素个数，当该像素个数超过第一预定值时，则基于运动分割的方法对所述视频图像数据中的雨滴进行去除；若是，则计算表征雨势大小的参数值，依据所述参数值的大小选择不同的方法对所述视频图像数据中的雨滴进行去除。本发明可以处理彩色视频数据，通过在去雨处理前对视频进行判断选择合适的雨滴去除方法。
【专利说明】视频数据中雨场去除的方法和系统
【技术领域】
[0001] 本发明涉及图像处理领域，特别是涉及一种视频数据中雨场去除的方法和系统。
【背景技术】
[0002] 由于计算机视觉技术的发展，人们对信息处理有着越来越高的要求，而且如今随 着信息高速公路的建设和互联网的广泛使用以及人们获取信息的方式的智能化，图像信息 就显得非常重要了。人类获取信息的途径主要是通过图像和语音，其中视觉信息占据了大 约70%以上，所以图像的传递和处理技术的发展对智能交通、科学研究、军事国防、安全监 控等领域都起着越来越重要的作用。由于计算机视觉系统在户外的日益普及，恶劣天气下 雨场对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视频图像 的清晰度下降，视频图像的数字化处理也会受此影响而性能下降，所以，恶劣天气下图像处 理的研究就显得越来越重要，成功地消除雨场等恶劣天气对捕获的图像的影响将会带来更 大的实用价值。
[0003] 有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研 究也从 2003 年 Starik 等（Starik S，Werman M. Simulation of rain in videos[C]// Proceeding of Texture Workshop, ICCV.Nice，France:2003, 2:406-409)提出的中值法开 始得到了迅速的发展，逐步的提出了帧差法等等方法，这些处理方法也逐渐开始应用在视 频图像中雨滴检测与去除的算法中，雨滴去除的效果也逐渐被提高。而在众多的视频去雨 算法中，利用帧间亮度差进行雨滴检测与去除是相当普遍的情况，其具体原理是基于图1 所示的模型
[0004] 如图1所示，被覆盖像素的亮度不仅受雨滴影响，也会受背景的影响。考虑相机曝 光时间为T，假设雨滴在这段时间内覆盖某一像素的时间是τ，且τ远小于相机曝光时间 Τ。图像上该像素在曝光时间Τ内的雨线亮度由雨滴和背景亮度共同决定 ：
[0005]
【权利要求】
1. 一种视频数据中雨场去除的方法，其特征在于，所述方法包括： 提取初始视频数据中代表亮度信息的视频图像数据； 提取所述视频图像数据中待处理的像素； 判断所述像素在多帧图像中对应亮度值的偏度是否落入预设范围，若否，则统计所述 偏度大于所述预设范围上限的像素个数，当该像素个数超过第一预定值时，则基于运动分 割的方法对所述视频图像数据中的雨滴进行去除； 若是，则计算表征雨势大小的参数值，依据所述参数值的大小选择不同的方法对所述 视频图像数据中的雨滴进行去除。
2. 根据权利要求1所述的视频数据中雨场去除的方法，其特征在于，所述计算表征雨 势大小的参数值、依据所述参数值的大小选择不同的方法对所述视频图像数据中的雨滴进 行去除的步骤包括： 计算所有像素在所述多帧图像中聚类得到的雨滴像素个数的平均值除以所述多帧图 像的帧数，获得表征雨势大小的参数值； 判断所述参数值与第二预定值的大小，当所述参数值大于所述第二预定值时，基于K 均值聚类的方法或采用引导滤波器的方法对所述视频图像数据中的雨滴进行去除；当所述 参数值小于所述第二预定值时，基于帧间亮度差的方法对所述视频图像数据中的雨滴进行 去除。
3. 根据权利要求1所述的视频数据中雨场去除的方法，其特征在于，所述提取初始视 频数据中代表亮度信息的视频图像数据的步骤包括： 将RGB色彩空间的初始视频数据转换成YIQ色彩空间或YUV彩色空间中的视频数据， 并提取代表亮度信息的Y分量，作为所述视频图像数据。
4. 根据权利要求3所述的视频数据中雨场去除的方法，其特征在于，所述方法还包括： 针对所述视频图像数据中的雨滴进行去除后获得去雨的Y分量，将所述去雨的Y分量和所 述初始视频数据转化到YIQ色彩空间或YUV彩色空间中所获得的另外两个分量进行结合， 将所述结合后的结果转换成RGB色彩空间或或YUV彩色空间的视频数据，获得去雨后的彩 色视频数据。
5. 根据权利要求2所述的视频数据中雨场去除的方法，其特征在于，所述获得表征雨 势大小的参数值的步骤包括： 计算落入所述预设范围内的像素亮度的最大值和最小值； 以所述最大值和最小值作为K均值聚类方法的初始雨滴亮度值和背景亮度值，基于K 均值聚类方法将所述落入所述预设范围内的像素在所述多帧图像中进行聚类，分为雨滴像 素和背景像素； 保存所述雨滴像素及该雨滴像素所在的帧图像位置标注，获得代表雨滴的像素聚类； 计算所述代表雨滴的像素聚类中雨滴像素的平均值，并除以所述多帧图像的帧数，获 得代表雨势大小的参数值。
6. -种视频数据中雨场去除的系统，其特征在于，所述系统包括： 数据提取模块，用于提取初始视频数据中代表亮度信息的视频图像数据； 像素提取模块，用于提取所述视频图像数据中待处理的像素； 第一判断模块，用于判断所述像素在多帧图像中对应亮度值的偏度是否落入预设范 围； 运动分割处理模块，用于统计所述偏度大于所述预设范围上限的像素个数，当该像素 个数超过第一预定值时，则基于运动分割的方法对所述视频图像数据中的雨滴进行去除； 及 第二判断模块，用于计算表征雨势大小的参数值，依据所述参数值的大小选择不同的 方法对所述视频图像数据中的雨滴进行去除。
7. 根据权利要求6所述的视频数据中雨场去除的系统，其特征在于，所述第二判断模 块包括： 雨滴检测单元，用于计算所有像素在所述多帧图像中聚类得到的雨滴像素个数的平均 值除以所述多帧图像的帧数，获得表征雨势大小的参数值； 判断单元，用于判断所述参数值与第二预定值的大小； 聚类处理单元，用于当所述参数值大于所述第二预定值时，基于K均值聚类的方法或 采用引导滤波器的方法对所述视频图像数据中的雨滴进行去除；及 帧间亮度差处理单元，用于当所述参数值小于所述第二预定值，基于帧间亮度差的方 法对所述视频图像数据中的雨滴进行去除。
8. 根据权利要求6所述的视频数据中雨场去除的系统，其特征在于，所述数据提取模 块包括： 图像数据转换单元，用于将RGB色彩空间的初始视频数据转换成YIQ色彩空间或YUV 彩色空间中的视频数据；及 Y分量提取单元，用于提取代表亮度信息的Y分量，作为所述视频图像数据。
9. 根据权利要求8所述的视频数据中雨场去除的系统，其特征在于，所述系统还包括： 汇集模块，用于针对所述视频图像数据中的雨滴进行去除后获得去雨的Y分量，将所 述去雨的Y分量和所述初始视频数据转化到YIQ色彩空间或YUV彩色空间中所获得的另外 两个分量进行结合；及 输出模块，用于将所述结合后的结果转换成RGB色彩空间或YUV彩色空间的视频数据， 获得去雨后的彩色视频数据。
10. 根据权利要求7所述的视频数据中雨场去除的系统，其特征在于，所述雨滴检测单 元包括： 评估单元，用于计算落入所述预设范围内的像素亮度的最大值和最小值； 聚类分析单元，用于以所述最大值和最小值作为K均值聚类方法的初始雨滴亮度值和 背景亮度值，基于K均值聚类方法将所述落入所述预设范围内的像素在所述多帧图像中进 行聚类，分为雨滴像素和背景像素； 存储单元，用于保存所述雨滴像素及该雨滴像素所在的帧图像位置标注，获得代表雨 滴的像素聚类；及 计算单元，用于计算所述代表雨滴的像素聚类中雨滴像素的平均值，并除以所述多帧 图像的帧数，获得代表雨势大小的参数值。
【文档编号】G06T5/00GK104299234SQ201410527783
【公开日】2015年1月21日 申请日期:2014年9月30日 优先权日:2014年9月30日
【发明者】朱青松, 徐波, 王磊 申请人:中国科学院深圳先进技术研究院