>[0060] (fj = ~ ^ (8)
[0061] 在公式⑶中，q是输出像素的值，I是输入图像的值，i和k是像素索引，a和b 是当窗口中心位于k时该线性函数的系数；其实，输入图像不一定是待滤波的图像本身，也 可以是其他图像即引导图像，这也是为何称为引导滤波的原因。对上式两边取梯度，可以得 到：
[0062]
[0063] 即当输入图像I有梯度时，输出q也有类似的梯度。下一步是求出线性函数的系 数，也就是线性回归，即希望拟合函数的输出值与真实值P之间的差距最小，也就是让下式 最小：
[0064]
[0065] 在公式（10)中，p只能是待滤波图像，并不像I那样可以是其他图像。同时，a之 前的系数（以后都写为e)用于防止求得的a过大，也是调节滤波器滤波效果的重要参数。 通过最小二乘法可以得到以下公式：
[0066]
[0067] 在公式（11)中，yk是I在窗口 w_k中的平均值，q是I在窗口 w_k中的方差， ? I是窗口 w_k中像素的数量，是待滤波图像p在窗口 w_k中的均值。
[0068] 在计算每个窗口的线性系数时，可以发现一个像素会被多个窗口包 含，也就是说，每个像素都由多个线性函数所描述。因此，如之前所说，要具体 求某一点的输出值时，只需将所有包含该点的线性函数值平均即可，公式如下：
[0069] 在公式（12)中，w_k是所有包含像素i的窗口，k是其中心位置。在本发明实施例 中，窗口半径为2,正则化参数为0. 1的平方。通过引导滤波（引导图像与参考图像为同一 幅），能够得到原图像的高频及低频部分，高频部分记为Ih。通过雨滴初检结果图If及高 频部分Ih取交集操作，得到检测到的雨滴部分中的图像边缘部分It，从而从雨滴初检结果 图中减去边缘部分，得到优化的候选雨滴。
[0070] 步骤400 :利用Canny边缘检测算法得到初检雨滴，及利用动态雨滴的光度学特性 进行误检消除；
[0071] Canny边缘检测算法是John F. Canny于1986年开发出来的一个多级边缘检测算 法，包括四个步骤：用高斯滤波器平滑图象、用一阶偏导的有限差分来计算梯度的幅值和方 向、对梯度幅值进行非极大值抑制及用双阈值算法检测和连接边缘。通过从It中减去由If 检测完成的边缘结果，得到雨滴部分Irf。
[0072] 由于初检难以准确将雨滴影响像素进行分离，故利用动态雨滴的光度学特性进行 误检消除，具体为分析每个雨线，看其是否与前一帧上的背景亮度呈线性关系，如果关系 成立，则确定其为受雨影响的像素，否则为运动物体上的像素，将其从候选者中去掉，得到 Irfi〇
[0073] 步骤500 :利用a混合及图像亮度矫正技术得到最终去雨结果图；
[0074] 在获取了无雨背景图后（通过原图乘以取反的Irfi得到），可以通过相关操作利 用其及原图得到最终去雨结果图。由背景部分可知，雨线最终产生的视觉效果是雨及被覆 盖背景的空间混合，故使用更加柔和的去雨方法如a混合能够提升输出图像质量。所谓a 混合，对于雨滴去除问题，即为将背景图与雨影响图进行混合，得到输出图像，具体使用如 下公式：
[0075] C = a Cb+(l-a )Cr (13)
[0076] 其中，C代表输出图Y通道值，Cb代表背景图的Y通道值，Cr代表雨影响图的 Y通道值，在本实施例中，a通道的值可以由局部亮度均值动态确定，而本处仅简单设置 为0.85。值得注意的是，仅简单实用a混合技术处理Y通道会造成一定程度上的色彩 失真，故使用图像亮度调整机制，具体为使用matlab中的imadjust函数，其语法为：g = imadjust (f, [low_inhigh_in], [low_outhigh_out], gamma)，函数将对两个区间的值进行 映射，区间外的将被剪掉。参数gamma指定了曲线的形状，该曲线用来映射f的亮度值，以 便生成图像g。若ga_a小于1，则映射被加权至更高（更亮）的输出值，若ga_a大于1 则更暗。若省略gamma，则默认值为1，为线性映射。曲线形状如图5所示。
[0077] 由于在进行a混合后会出现较大程度上的亮度降低，故将0_0. 5区间上的值映射 到0-1，能够获得较好的效果。最终将处理完成的图像转换到RGB空间，即能够得到修复后 的去雨图像。
[0078] 本发明一种视频雨滴去除方法，首先进行从RGB到YCbCr色彩空间的转换，并从第 2帧开始读取左右邻居帧，通过基于静态雨滴的雨光度特性进行雨滴的初检，之后通过边缘 保留的引导滤波器分离出当前帧的高频部分，进而得到雨滴及运动物体边缘图，通过使用 图像边界识别技术，能够得到纯雨滴成分。然后使用动态雨滴的雨光度特性进行雨滴进一 步检测，最终通过a混合原图及无雨背景图，提出了一种新的视频去雨方法，能够获得较 好的去雨效果。
[0079] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种视频雨滴去除方法，包括： 步骤a:读取视频帧，并将视频帧进行色彩空间转换； 步骤b:通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像边缘 部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴； 步骤c:利用Canny边缘检测算法在上述候选雨滴的基础上得到初检雨滴，及利用动态 雨滴的光度学特性进行误检消除； 步骤d:在误检消除的初检雨滴上利用a混合及图像亮度矫正技术得到最终去雨结果 图。2. 根据权利要求1所述的方法，其特征在于，在所述步骤a中，所述将视频帧进行色彩 空间转换具体包括： 步骤al:将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公式为：步骤a2 :将步骤al的公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量， 步骤al的公式重写为：其中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，AR、AG与AB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则AR、 AG及AB均为零；反之，均不为零； 步骤a3 :雨滴引起的AR、AG及AB近似相等，步骤a2中的公式变换为： Cb= 128-0. 1482Rbg-0. 2910Gbg+0. 4392Bbg Cr= 128+0. 4392Rbg-0. 3678Gbg-〇. 0714bbg〇3. 根据权利要求1所述的方法，其特征在于，在所述步骤b中，所述通过基于静态雨滴 的光度特性进行雨滴初检具体包括：在读入视频帧后，从第2帧开始读取当前视频帧的左 右邻居帧，通过使用静态雨滴的光度学特性，判断当前帧与前一帧及当前帧与后一帧的亮 度差值是否大于一定阈值，如果当前帧与前一帧及当前帧与后一帧的亮度差值大于一定阈 值，则认为当前帧中的某个像素为受雨或者运动物体影响的像素点，得到雨滴初检结果。4. 根据权利要求1所述的方法，其特征在于，在所述步骤b中，所述通过引导滤波器进 行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴，具体包括：通 过引导滤波器得到原图像的高频部分及低频部分，通过将雨滴初检结果及高频部分取交集 操作，得到雨滴初检结果中的图像边缘部分，并从雨滴初检结果中减去边缘部分，得到优化 的候选雨滴。5. 根据权利要求1所述的方法，其特征在于，在所述步骤c中利用Canny边缘检测算法 在候选雨滴的基础上得到初检雨滴具体为： 取上述得到的优化的候选雨滴中的不位于使用Canny边缘检测算子得到的结果中的 像素，得到初检雨滴。6. 根据权利要求1所述的方法，其特征在于，在所述步骤c中利用动态雨滴的光度学特 性进行误检消除具体为： 分析每个雨线，看其是否与前一帧上的背景亮度呈线性关系，如果关系成立，则确定其 为受雨影响的像素，否则为运动物体上的像素，将其从候选者中去掉。7. 根据权利要求1所述的方法，其特征在于，所述步骤d中的a混合具体包括： 将背景图与雨影响图进行混合，得到输出图像，具体使用如下公式： C=aCb+(l_a)Cr， 其中，C代表输出图Y通道值，Cb代表背景图的Y通道值，Cr代表雨影响图的Y通道 值。8. 根据权利要求1所述的方法，其特征在于，所述步骤d中的图像亮度矫正具体包括： 使用matlab中的imadjust函数，将两个区间的值进行映射，剪掉区间外的值。
【专利摘要】本发明属于视频雨滴去除技术领域，尤其涉及一种视频雨滴去除方法。所述视频雨滴去除方法包括：步骤a：读取视频帧，并将视频帧进行色彩空间转换；步骤b：通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；步骤c：利用Canny边缘检测算法在上述候选雨滴的基础上得到初检雨滴，及利用动态雨滴的光度学特性进行误检消除；步骤d：在误检消除的初检雨滴上利用α混合及图像亮度矫正技术得到最终去雨结果图。本发明大幅缩小了雨滴去除所需的时间，提高去雨效率，得到了更好的雨滴初检结果，使用了α混合及图像亮度矫正技术获得较好的去雨效果。
【IPC分类】G06T5/00, G06T3/00
【公开号】CN104992420
【申请号】CN201510400086
【发明人】朱青松, 袁杰, 王磊
【申请人】中国科学院深圳先进技术研究院
【公开日】2015年10月21日
【申请日】2015年7月8日