小雨场景视频数据中雨滴的检测与去除方法和系统的制作方法
【专利摘要】本发明提供了一种小雨场景视频数据中雨滴的检测与去除方法和系统，其雨滴检测方法为抽取初始彩色视频图像中待处理的像素；判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围，将落入所述预设范围的像素纳入初检结果；通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。本发明的雨滴检测和去除方法及系统通过在小雨场景中可以利用两帧间的亮度差进行雨滴初检，再利用色彩特性进行约束排除非雨成分，检测出真实的雨滴，最后去雨恢复视频，提高雨滴检测的正确率并降低漏检率，提高视频恢复的质量。
【专利说明】小雨场景视频数据中雨滴的检测与去除方法和系统
【技术领域】
[0001]本发明涉及图像处理技术，特别是涉及一种小雨场景视频数据中雨滴的检测与去除方法和系统。
【背景技术】
[0002]由于计算机视觉技术的发展，人们对信息处理有着越来越高的要求，而且如今随着信息高速公路的建设和互联网的广泛使用以及人们获取信息的方式的智能化，图像信息就显得非常重要了。人类获取信息的途径主要是通过图像和语音，其中视觉信息占据了大约70%以上，所以图像的传递和处理技术的发展对智能交通、科学研究、军事国防、安全监控等领域都起着越来越重要的作用。由于计算机视觉系统在户外的日益普及，恶劣天气下雨场对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降，所以，恶劣天气下图像处理的研究就显得越来越重要，成功地消除雨场等恶劣天气对捕获的图像的影响将会带来更大的实用价值。
[0003]针对恶劣天气对视频图像造成影响的恢复中比较常见的就是，对受雨滴污染的视频图像进行修复处理的视频图像去雨技术，其有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。而且视频图像去雨技术在现代军事、交通以及安全监控等领域都有广泛的应用前景。
[0004]有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研究也从 2003 年 3仏1'认等(31IV 3，胃61'脑 II 1.31 皿11社1011 0？ 1-8111 111 ^1(1608^0] //
0？ 16X1:111-610^.^106,: 2003, 2: 406-409)提出的中值法开始得到了迅速的发展，处理的方法已经不再局限于最初简单的中值计算，更多的方法已经应用到视频去雨。
[0005]现有技术大部分只利用雨滴的亮度特性或者几何特性检测雨滴，在初检时效果很好，但有些非雨成分去除的不够彻底，会造成误检，如基于引导滤波的视频去雨算法，就会导致图像模糊。
[0006]基于上述现有技术中存在的问题，有必要提供一种新的视频图像雨滴检测与去除方法。
【发明内容】
[0007]基于此，有必要针对现有技术中只利用雨滴的亮度特性或者几何特性进行雨滴检测和去除时出现误检等情况的问题，提供一种小雨场景视频数据中雨滴的检测与去除方法和系统。
[0008]本发明提供了一种小雨场景视频数据中雨滴的检测方法，其包括:
[0009]抽取初始彩色视频图像中待处理的像素；
[0010]判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围，将落入所述预设范围的像素纳入初检结果；
[0011]通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。
[0012]在其中一个实施例中，所述判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围、将落入所述预设范围的像素纳入初检结果的过程包括:
[0013]提取所述初始彩色视频图像中连续的三帧图像；
[0014]判断所述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入所述预设范围；
[0015]判断所述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入所述预设范围；
[0016]将同时满足上述两个判断条件的像素纳入所述初检结果。
[0017]在其中一个实施例中，所述通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对所述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括:
[0018]执行以下两个判断步骤中的任意一个或者两个的组合，对所述初检结果进行筛选:
[0019]判断所述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值，
[0020]判断所述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值；
[0021]若选择执行上述两个判断步骤中的任意一个，则将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素；若选择执行上述两个判断步骤的组合，则将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素。
[0022]在其中一个实施例中，所述两通道变化量之间的差值为像素分别对应在所述相邻两帧图像中表征一类颜色属性的单通道的变化量、与该像素分别对应在所述相邻两帧图像中表征另一类颜色属性的单通道的变化量之间差的绝对值。
[0023]在其中一个实施例中，基于所述单通道为所述初始彩色视频图像在如8彩色空间中的卩通道值X通道值和8通道值，则所述涉及所述第一阈值和第二阈值的判断条件表示为下述公式:
丨仏-仏―！卜
〔0024〕 [(11,,
)-(5,,)1 ?^4
[0025]其中，匕表示第II帧像素点的I？通道值，I表示第11-1帧像素点的尺通道值瓜表示第II帧像素点的6通道值，表示第=-1帧像素点的6通道值；8。表示第II帧像素点的8通道值，表示第0-1帧像素点的8通道值乂表示所述第一阈值而表示所述第二阈值。
[0026]基于上述雨滴检测方法，本发明还提供了一种小雨场景视频数据中雨滴的去除方法，其包括:
[0027]上述各个实施例的小雨场景视频数据中雨滴的检测方法，获得标记有雨滴像素的筛选结果；
[0028]对所述筛选结果中的雨滴像素进行雨滴去除处理，获得恢复后的彩色视频图像。
[0029]在其中一个实施例中，所述雨滴去除处理采用中值法对所述雨滴像素进行处理。
[0030]基于上述雨滴检测方法，本发明还提供了一种小雨场景视频数据中雨滴的检测系统，其包括:
[0031]像素提取模块，用于抽取初始彩色视频图像中待处理的像素；
[0032]初检模块，用于判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围，将落入所述预设范围的像素纳入初检结果；及
[0033]筛选模块，用于通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。
[0034]在其中一个实施例中，所述筛选模块包括以下两个单元中的任意一个或者两个的组合:
[0035]用于执行判断所述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值的单元、
[0036]用于判断所述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值；以及
[0037]用于在选择执行上述两个单元中的任意一个时，执行将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素的单元；
[0038]用于在选择执行上述两个单元的组合时，执行将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素的单元。
[0039]在其中一个实施例中，所述初检模块还包括:
[0040]图像提取单元，用于提取所述初始彩色视频图像中连续的三帧图像；
[0041]第一判断单元，用于判断所述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入所述预设范围；
[0042]第二判断单元，用于判断所述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入所述预设范围；及
[0043]输出单元，用于将同时满足所述第一判断单元和第二判断单元判断条件的像素纳入所述初检结果。
[0044]基于上述检测系统，本发明还提供了一种小雨场景视频数据中雨滴的去除系统，其包括:
[0045]上述各个实施例的小雨场景视频数据中雨滴的检测系统，获得标记有雨滴像素的筛选结果 '及
[0046]雨滴去除模块，用于对所述雨滴像素进行雨滴去除处理，获得恢复后的彩色视频图像。
[0047]本发明的雨滴检测和去除方法及系统通过在小雨场景中可以利用两帧间的亮度差进行雨滴初检，再利用色彩特性进行约束排除非雨成分，检测出真实的雨滴，最后去雨恢复视频，提高雨滴检测的正确率并降低漏检率，提高视频恢复的质量。
【专利附图】
【附图说明】
[0048]图1为本发明小雨场景视频数据中雨滴的检测方法的流程示意图；
[0049]图2为选择执行步骤301的本发明雨滴检测方法的流程示意图；
[0050]图3为选择执行步骤302的本发明雨滴检测方法的流程示意图；
[0051]图4为选择执行步骤301和步骤302的组合的本发明雨滴检测方法的流程示意图；
[0052]图5为本发明雨滴检测方法中细化步骤200后的流程示意图；
[0053]图6为本发明小雨场景视频数据中雨滴的去除方法的流程示意图；
[0054]图7为本发明小雨场景视频数据中雨滴的检测系统700的结构示意图；
[0055]图8为本发明检测系统700中细化初检模块702的结构示意图；
[0056]图9为本发明小雨场景视频数据中雨滴的去除系统800的结构示意图；
[0057]图10为利用图5获得的包含雨滴像素的筛选结果，再利用中值法对检测出的雨滴像素进行处理之后的结果图；
[0058]图11为视频图像中雨滴对像素亮度影响的变化曲线及)运动物体像素的亮度变化曲线；
[0059]图12为雨滴覆盖对像素色彩分量的影响直方图。
【具体实施方式】
[0060]本发明涉及图像信息处理技术，主要是对受雨滴污染的视频图像进行修复处理有利于图像的进一步处理，提高基于图像的目标检测、识别、追踪、分割和监控等技术的性能。以下将结合各个实施例详细说明本发明方法和系统的实现方式。
[0061]如图1所示，本实施例提供了一种小雨场景视频数据中雨滴的检测方法，其包括:
[0062]步骤100，抽取初始彩色视频图像中待处理的像素；
[0063]步骤200，判断上述像素对应在相邻两帧图像中的亮度差是否落入预设范围，将落入预设范围的像素纳入初检结果，作为候选雨滴进行下一步步骤300的筛选，而对于不满足判断条件、未落入预设范围的像素判定为背景像素，不纳入初检结果。这里的预设范围的上限表示雨滴给像素带来的最大亮度变化值，下限表示雨滴给像素带来的最小亮度变化值，具体可参见雨滴覆盖对像素亮度变化影响的曲线图来设定。
[0064]步骤300，通过比较上述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对上述初检结果进行筛选，获得标记有雨滴像素的筛选结果，用以检测雨滴像素。这里设定阈值表示表征像素颜色属性的通道值的变化量阈值，由于大气、光等因素存在，每个像素都会随着时间有亮度上的变化，但是被雨滴覆盖后的像素的变化量是近似相等的，因此，通过基于雨滴色彩特性的值与设定阈值的比较，将非雨的运动物体像素从上述初见结果中排除掉。
[0065]本实施例中根据雨滴的亮度特性在小雨场景中利用相邻两帧间的亮度差进行是否是雨滴像素的初检，初检的结果在有效检测出雨滴的同时也会将其他非雨滴运动物体判断为疑似雨滴，于是就需要继续进行下一步的筛选排除非雨成分。进一步筛选时，利用雨滴变化的色彩特性进行非雨成分的筛选。由于受到了雨滴的影响，对于初检之后，相邻帧图像中像素颜色分量的变化量差异不大，可以近似相等，于是本实施例通过有关设定阈值的判断比较，将利用雨滴变化的色彩特性对初检结果进行进一步的筛选，从初检结果中排除非雨成分，提高本实施例计算的精确度，避免现有技术中雨滴漏检或误检而导致恢复图像模糊。
[0066]本实施例中预设范围可参见图11中雨滴对像素亮度影响的变化曲线及运动物体像素的亮度变化曲线来设定，基于典型的静态场雨滴对像素亮度的影响可知，雨线的亮度高于背景亮度主要是因为雨滴在成像的时候由于镜面反射、内反射、折射等作用汇聚了更广视场角范围内的光线。但是随着时间变化，雨滴像素的亮度值在亮度平均值上下的波动范围较小，这是受运动物体影响的像素所不具备的特征。图11(4表示的是视频图像中雨滴像素的亮度变化曲线，而图11(6)表示的是受运动物体像素的亮度变化曲线，能很明显的看出两者是有很大差别，所以基于图11展示的内容即可确定上述预设范围，通过预设范围的设定在初检中排除受运动物体的影响而造成的亮度变化。
[0067]上述实施例中，步骤300提到的单通道可以为上述初始彩色视频图像在彩色空间中的I？通道值、6通道值和8通道值；如果初始彩色视频图像是色彩空间中的视频数据，则上述单通道可以是I通道值和0通道值，当然如果是其他制式的彩色视频数据，也可以是其他用于表征不同颜色属性的通道值。上述两通道变化量之间的差值具体是指:像素分别对应在上述相邻两帧图像中表征一类颜色属性的单通道的变化量、与该像素分别对应在上述相邻两帧图像中表征另一类颜色属性的单通道的变化量之间差的绝对值。如果单通道为上述初始彩色视频图像在如8彩色空间中的I？通道值、6通道值和8通道值，则像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量可以表示为1^-1”而两通道变化量之间的差值可以表示为I1、
1、II，其中，匕表示第II帧像素点的尺通道值，I表示第11-1帧像素点的8通道值表示第II帧像素点的6通道值，表示第11-1帧像素点的6通道值表示第帧像素点的8通道值，8“表示第=-1帧像素点的8通道值。如此设定变化量的计算公式，原因是被雨滴覆盖的像素的1 8变化量是近似相等的，可用以直接进行非雨像素的筛选。
[0068]上述实施例中，步骤200的判断可以基于从初始彩色视频图像中提取的代表亮度信息的视频图像，比如模式的彩色视频数据转换到色彩空间后获得的V分量，或者用灰度图像表示代表亮度信息的视频图像。
[0069]上述实施例中，步骤100中抽取初始彩色视频图像中待处理的像素可以是:
[0070]首先，利用视频稳定技术对上述视频图像进行相位对齐；
[0071]然后，提取上述视频图像中的前~帧图像数据，利用帧高度和帧宽度值获得帧的总像素，这里的总像素为帧高度值和帧宽度值的乘积；
[0072]其次，从上述总像素中随机抽取1个像素作为上述待处理像素。
[0073]提取的帧数决定了计算机处理时间的长短，为了提高本实施例方法的处理时间，这里提取前?帧图像数据，比如模式下视频图像转化到彩色空间上的V分量数据的前?帧图像作为待处理对象，从而提高了方法处理的实时性，缩短了处理周期。在读入被雨滴污染的初始视频数据时可以采用111511:15113的函数，其中1111111138即为视频总帧数3，在获取帧高度和帧宽度值时通过调用8126函数来获得。
[0074]基于上述实施例，如图2至图4所示，本实施例的方法中步骤300通过比较像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对上述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括以下步骤:
[0075]执行以下步骤301和302两个判断步骤中的任意一个或者两个的组合，对上述初检结果进行筛选:
[0076]步骤301，判断上述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值，
[0077]步骤302，判断上述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值；
[0078]步骤303，若选择执行上述两个判断步骤中的任意一个，如图2(其执行步骤301)或图3(其执行步骤302)所示，则将上述初检结果中满足上述涉及上述第一阈值或第二阈值判断条件的像素列为雨滴像素，进行标记，而将不满足上述涉及上述第一阈值或第二阈值判断条件的像素列为非雨运动物体像素，从上述初检结果中排除；
[0079]若选择执行上述两个判断步骤的组合，如图4所示，则将上述初检结果中同时满足上述涉及上述第一阈值和第二阈值判断条件的像素列为雨滴像素，进行标记，而将不满足上述涉及上述第一阈值和第二阈值判断条件中任意一个判断条件的像素列为非雨运动物体像素，从上述初检结果中排除。
[0080]本实施例中的相邻两帧图像优选当前帧图像与前一帧图像，具体实施可参见下述有关公式⑴或⑵的说明。
[0081]如果单通道为I？通道值、通道值和8通道值，则步骤301中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量的判断条件可以表示为以下公式(1)所示。
[0082]公式⑴
、丨見-5,,…
[0083]其中，匕表示第!1帧像素点的I？通道值，I表示第11-1帧像素点的尺通道值瓜表示第II帧像素点的6通道值，表示第=-1帧像素点的6通道值表示第II帧像素点的8通道值，表示第0-1帧像素点的8通道值乂表示上述第一阈值，用于表征通道变化阈值，由于大气光等因素存在，每个像素都会随着时间有亮度上的变化，设定阈值用于区分。如果采用其他彩色空间的表征颜色属性的单通道可以参照上述公式(1)设置单通道的变化量。上述实施例中，上述第一阈值的设定可以依据雨滴覆盖对像素色彩分量影响的直方图获得，由于大气、光等因素的存在，每个像素都会随着时间有亮度上的变化，第一阈值的设定必须排除这类情况。
[0084]如果单通道为上述初始彩色视频图像在彩色空间中的I？通道值、通道值和8通道值；则上述步骤302中两通道变化量之间的差值的判断条件可以表示为以下公式(2)所示。
[0085]|权-)-队-3“) ?公式⑵
11(^ - 5,,,,,)1^^4
[0086]其中，匕表示第!1帧像素点的I？通道值，I表示第11-1帧像素点的尺通道值瓜表示第II帧像素点的6通道值，表示第=-1帧像素点的6通道值；8。表示第II帧像素点的8通道值，表示第0-1帧像素点的8通道值而表示上述第二阈值，表征通道值变化量的阈值，由于大气光和像素8、6、8通道本身的特性，厶1厶(}和厶8并不严格相等，所以设定阈值4可以保证厶1厶6和厶8近似相等。这样上述公式(1)和(2)叠加的约束条件可以有效的将雨滴和非雨运动物体区分开来，从而筛选掉候选雨滴中的非雨成分。如果采用其他彩色空间的表征颜色属性的单通道可以参照上述公式(2)设置上述两通道变化量之间的差值。
[0087]由于受雨滴影响的像素在三个颜色通道上的变化量取决于它的背景颜色。因为尺⑶三原色光的波长并不相同，所以相应的折射角有细微差别，但是三原色的雨滴可视角都在165度附近。当背景的颜色，即分量的大小和比例不相同时，三个颜色分量的变化量八1八6和八8也有相应的微小差别，如图12所示，图12(4列中被白色边界围出的区域为进行颜色分析的区域，(^)列是被分析区域像素的平均如8值，(0)列代表像素受雨滴影响时的颜色分量的平均变化量八和八8，三者的大小与图12(6)列展示的平均如8值相关。从上图12可以发现像素受雨滴影响时各个颜色分量的变化量差异不大，可以近似为相等。于是基于图12的直方图可以设定上述第一阈值和第二阈值，检测雨滴像素，用于排除初检结果中非雨成分。
[0088]基于上述各个实施例，如图5所示，本实施例中的步骤200判断像素对应在相邻两帧图像中的亮度差是否落入预设范围、将落入预设范围的像素纳入初检结果的过程包括:
[0089]步骤201，提取上述初始彩色视频图像中连续的三帧图像；
[0090]步骤202，判断上述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入上述预设范围；
[0091]步骤203，判断上述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入上述预设范围；
[0092]步骤204，将同时满足上述步骤202和步骤203两个判断条件的像素纳入上述初检结果，而将不满足上述步骤202和步骤203中任意一个判断条件的像素列为背景像素。
[0093]本实施例中基于以下原理实现。由于有雨滴的覆盖，像素点的亮度会有变化，根据这一特性可对雨滴进行初检，而且是在小雨场景中，所以基本不会出现连续两帧被雨滴覆盖的情况。所以获得初检结果的原理表现为以下公式(3):
[0094]公式⑶
[0095]其中，I。代表该像素在第II帧的亮度代表该像素在第11-1帧的亮度；1#代表该像素在第=+1帧的亮度4表示为雨滴给像素带来的最小亮度变化值，即上述预设范围的下限值表示为雨滴给像素带来的最大亮度变化值，即上述预设范围的上限值。由于在不同的时间，大气光或者其它反射光线会造成像素细微的变化，所以不一定等于利用公式(3)式可以有效的检测出雨滴，同时也会将其它非雨滴运动物体判断为疑是雨滴，故将其总称为候选雨滴，纳入上述初检结果。
[0096]图5给出了本发明的最优实施例，其包括从上述步骤100、步骤201至204以及步骤300中选择执行步骤301和步骤302组合的方法过程，其完整的最优化的呈现了本发明小雨场景视频数据中雨滴的检测方法，提供了相比现有技术，雨滴检测精度更高、误检率低的检测方法。
[0097]基于上述各个实施提供的小雨场景视频数据中雨滴的检测方法，如图6所示，本实施例还提供一种小雨场景视频数据中雨滴的去除方法，具体包括:
[0098]上述小雨场景视频数据中雨滴检测方法的步骤，用以形成包含雨滴像素的筛选结果，雨滴检测方法的步骤包括以下步骤100至步骤300:
[0099]步骤100，抽取初始彩色视频图像中待处理的像素；
[0100]步骤200，判断上述像素对应在相邻两帧图像中的亮度差是否落入预设范围，将落入预设范围的像素纳入初检结果，作为候选雨滴进行下一步步骤300的筛选，而对于不满足判断条件、未落入预设范围的像素判定为背景像素，不纳入初检结果。这里的预设范围的上限表示雨滴给像素带来的最大亮度变化值，下限表示雨滴给像素带来的最小亮度变化值，具体可参见雨滴覆盖对像素亮度变化影响的曲线图来设定。
[0101]步骤300，通过比较上述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对上述初检结果进行筛选，检测雨滴像素，获得标记有雨滴像素的筛选结果。这里设定阈值表示表征像素颜色属性的通道值的变化量阈值，由于大气、光等因素存在，每个像素都会随着时间有亮度上的变化，因此，通过基于雨滴色彩特性与设定阈值的比较，将非雨的运动物体像素从上述初见结果中排除掉。
[0102]步骤400，对上述筛选结果中的雨滴像素进行雨滴去除处理，获得恢复后的彩色视频图像。
[0103]上述步骤400中的雨滴去除处理采用中值法对上述雨滴检测结果中的像素进行处理，即针对雨滴检测结果中的像素，用前后两帧未被雨滴覆盖像素的平均值来替代该像素。具体原理参见以下述公式(4)的相关说明。
[0104]由于是在小雨场景的情况下，所以雨滴基本不会在连续两帧上出现，利用这一假设可以利用中值法对被雨滴影响的像素进行恢复。雨滴的恢复下述公式(4):
[0105]-6^=(0^+6^)/2公式⑷
5,=(5,^+^)/2
[0106]其中，^为检测出来的雨滴像素的I？通道值，恢复的时候用前后巾贞未被雨滴覆盖像素的I？通道的平均值进行恢复V#为该像素对应于第11+1帧图像中未被雨滴覆盖像素的尺通道值为该像素对应于第11-1帧图像中未被雨滴覆盖像素的8通道值。I为检测出来的雨滴像素的6通道值，恢复的时候用前后帧未被雨滴覆盖像素的6通道的平均值进行恢复；6#为该像素对应于第11+1巾贞图像中未被雨滴覆盖像素的I？通道值:(^-1为该像素对应于第11-1帧图像中未被雨滴覆盖像素的I？通道值。8。为检测出来的雨滴像素的8通道值，恢复的时候用前后帧未被雨滴覆盖像素的8通道的平均值进行恢复；8#为该像素对应于第11+1帧图像中未被雨滴覆盖像素的I？通道值出㈠为该像素对应于第11-1帧图像中未被雨滴覆盖像素的I？通道值。
[0107]本实施例基于图6所提供的小雨场景视频数据中雨滴的去除方法中，步骤300通过比较像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对上述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括上述有关图2至图4的步骤301、302、303的执行方式，具体解释为步骤300包括:
[0108]执行以下步骤301和302两个判断步骤中的任意一个或者两个的组合，对上述初检结果进行筛选:
[0109]步骤301，判断上述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值，
[0110]步骤302，判断上述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值；
[0111]步骤303，若选择执行上述两个判断步骤中的任意一个，如图2 (其执行步骤301)或图3(其执行步骤302)所示，则将上述初检结果中满足上述涉及上述第一阈值或第二阈值判断条件的像素列为雨滴像素，进行标记，而将不满足上述涉及上述第一阈值或第二阈值判断条件的像素列为非雨运动物体像素，从上述初检结果中排除；若选择执行上述两个判断步骤的组合，如图4所示，则将上述初检结果中同时满足上述涉及上述第一阈值和第二阈值判断条件的像素列为雨滴像素，进行标记，而将不满足上述涉及上述第一阈值和第二阈值判断条件中任意一个判断条件的像素列为非雨运动物体像素，从上述初检结果中排除。本实施例中的相邻两帧图像优选当前帧图像与前一帧图像，具体实施可参见上述有关公式⑴或⑵的说明。
[0112]上述各个实施例中有关步骤200的实现的最优实施例(参照上述有关图5的解释说明)以及上述各个步骤中具体细节的解释说明请参照上述有关小雨场景视频数据中雨滴的检测方法中的相关说明，在此不作累述。
[0113]基于上述有关小雨场景视频数据中雨滴的检测方法，如图7所示，本实施例提供了一种小雨场景视频数据中雨滴的检测系统700，其包括:
[0114]像素提取模块701，用于抽取初始彩色视频图像中待处理的像素；
[0115]初检模块702，用于判断该像素对应在相邻两帧图像中的亮度差是否落入预设范围，将落入预设范围的像素纳入初检结果 '及
[0116]筛选模块703，用于通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。
[0117]基于图7所示的系统结构和上述图2至图4的雨滴检测方法，上述筛选模块703包括以下两个单元中的任意一个或者两个的组合:
[0118]用于执行判断所述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值的单元、
[0119]用于执行判断所述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值的单元；以及
[0120]用于在选择执行上述两个单元中的任意一个时，执行将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素的单元；
[0121]用于在选择执行上述两个单元的组合时，执行将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素的单元。本实施例中有关筛选模块703内部功能单元的具体实现方式参见上述有关图2至图4的详细说明，在此不作累述。
[0122]基于图7所示的系统结构，如图8所示,上述初检模块702包括:
[0123]图像提取单元712，用于提取上述初始彩色视频图像中连续的三帧图像；
[0124]第一判断单元722，用于判断上述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入上述预设范围；
[0125]第二判断单元732，用于判断上述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入上述预设范围；及
[0126]输出单元742，用于将同时满足上述第一判断单元722和第二判断单元732判断条件的像素纳入上述初检结果。
[0127]上述各个实施例中有关系统中各个功能模块或单元中的具体细节的解释说明请参照上述有关小雨场景视频数据中雨滴的检测方法中的说明，在此不作累述。
[0128]基于上述图7至图8的小雨场景视频数据中雨滴的检测系统，如图9所示，本实施例还提供了一种小雨场景视频数据中雨滴的去除系统800，其包括:
[0129]上述有关小雨场景视频数据中雨滴的检测系统700的功能模块，获得标记有雨滴像素的筛选结果，雨滴检测系统700的功能模块包括以下模块701至模块703 ；
[0130]像素提取模块701，用于抽取初始彩色视频图像中待处理的像素；
[0131]初检模块702，用于判断该像素对应在相邻两帧图像中的亮度差是否落入预设范围，将落入预设范围的像素纳入初检结果；
[0132]筛选模块703，用于通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选；和
[0133]雨滴去除模块801，用于对上述筛选结果中的雨滴像素进行雨滴去除处理，获得恢复后的彩色视频图像。这里雨滴去除模块801采用上述中值法去除雨滴对像素的影响。
[0134]基于图9所示的系统结构，其中有关小雨场景视频数据中雨滴的检测系统700的结构及内部功能模块的细化，比如初检模块702和筛选模块703，均可以参见上述关于图7以及图8和结合图2至图4的相关说明，在此不作累述。
[0135]上述各个实施例中有关各个步骤或者系统中各个功能模块或单元中的具体细节的解释说明请参照上述有关小雨场景视频数据中雨滴的检测方法中的说明，在此不作累述。
[0136]图5给出了本发明的最优实施例，其包括从上述步骤100、步骤201至204以及步骤300中选择执行步骤301和步骤302组合的方法过程，其完整的最优化的呈现了本发明小雨场景视频数据中雨滴的检测方法，根据图5获得的包含雨滴像素的筛选结果，在利用中值法对检测出的雨滴像素进行处理，即用前后帧非雨像素的平均值代替来进行视频恢复。在1社1处中编程可以实现利用图5流程和中值法去除雨滴的小雨场景视频数据中雨滴的去除方法，证明可行。结果请见图10，分别取值三个不同场景的视频截图，第一行图为动态场景，有汽车运动，第二行和第三行为静态场景图。从左边开始向右，第一列仏)为原图，第二列化)为雨滴初检结果的二值图像，第三列(0)为非雨成分筛选之后的二值图像，第四列((1)为去雨之后的图像。
[0137]与现有技术相比，本发明方法和系统步骤简洁、系统简单，方法的处理时间和空间复杂度低，处理速度快，实时性好。本发明在小雨场景中利用帧间亮度差和色彩特性能有效地检测出雨滴，检测的正确率高，误检率低，对视频造成的二次损害小。本发明可高效地处理小雨情况下的静态场景和动态场景，处理范围广，适用性高。
[0138]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性计算机可读存储介质(如如1、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0139]以上上述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【权利要求】
1.一种小雨场景视频数据中雨滴的检测方法，其特征在于，所述方法包括: 抽取初始彩色视频图像中待处理的像素； 判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围，将落入所述预设范围的像素纳入初检结果； 通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。
2.根据权利要求1所述的小雨场景视频数据中雨滴的检测方法，其特征在于，所述判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围、将落入所述预设范围的像素纳入初检结果的过程包括: 提取所述初始彩色视频图像中连续的三帧图像； 判断所述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入所述预设范围； 判断所述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入所述预设范围； 将同时满足上述两个判断条件的像素纳入所述初检结果。
3.根据权利要求1所述的小雨场景视频数据中雨滴的检测方法，其特征在于，所述通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对所述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括: 执行以下两个判断步骤中的任意一个或者两个的组合，对所述初检结果进行筛选:判断所述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值， 判断所述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值； 若选择执行上述两个判断步骤中的任意一个，则将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素；若选择执行上述两个判断步骤的组合，则将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素。
4.根据权利要求3所述的小雨场景视频数据中雨滴的检测方法，其特征在于，所述两通道变化量之间的差值为像素分别对应在所述相邻两帧图像中表征一类颜色属性的单通道的变化量、与该像素分别对应在所述相邻两帧图像中表征另一类颜色属性的单通道的变化量之间差的绝对值。
5.一种小雨场景视频数据中雨滴的去除方法，其特征在于，所述方法包括: 权利要求1至4所述任意一权利要求所述的小雨场景视频数据中雨滴的检测方法，获得标记有雨滴像素的筛选结果； 对所述筛选结果中的雨滴像素进行雨滴去除处理，获得恢复后的彩色视频图像。
6.根据权利要求5所述的小雨场景视频数据中雨滴的去除方法，其特征在于，所述雨滴去除处理采用中值法对所述雨滴像素进行处理。
7.一种小雨场景视频数据中雨滴的检测系统，其特征在于，所述系统包括: 像素提取模块，用于抽取初始彩色视频图像中待处理的像素； 初检模块，用于判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围，将落入所述预设范围的像素纳入初检结果；及 筛选模块，用于通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。
8.根据权利要求7所述的小雨场景视频数据中雨滴的检测系统，其特征在于，所述筛选模块包括以下两个单元中的任意一个或者两个的组合: 用于执行判断所述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值的单元、 用于执行判断所述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值的单元；以及 用于在选择执行上述两个单元中的任意一个时，执行将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素的单元； 用于在选择执行上述两个单元的组合时，执行将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素的单元。
9.根据权利要求7所述的小雨场景视频数据中雨滴的检测系统，其特征在于，所述初检模块还包括: 图像提取单元，用于提取所述初始彩色视频图像中连续的三帧图像； 第一判断单元，用于判断所述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入所述预设范围； 第二判断单元，用于判断所述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入所述预设范围；及 输出单元，用于将同时满足所述第一判断单元和第二判断单元判断条件的像素纳入所述初检结果。
10.一种小雨场景视频数据中雨滴的去除系统，其特征在于，所述系统包括: 权利要求7至9中任意一权利要求所述的小雨场景视频数据中雨滴的检测系统，获得标记有雨滴像素的筛选结果；及 雨滴去除模块，用于对所述雨滴像素进行雨滴去除处理，获得恢复后的彩色视频图像。
【文档编号】G06T5/50GK104299214SQ201410527740
【公开日】2015年1月21日 申请日期:2014年9月30日 优先权日:2014年9月30日
【发明者】朱青松, 徐波, 王磊 申请人:中国科学院深圳先进技术研究院