用于不同天气因素的去除。
[0147] 对于方程参数的确定，参数Ir由于代表一个雨滴在相机曝光时间内的总辐射的 累积，假设η为某雨线所占像素的总数，一个雨滴在相机曝光时间内产生的灰度值等于其 所形成的雨线像素的灰度值总和。假设雨滴经过一个像素的时间为t，背景辐射为Eb，则可 以改写公式（4)为：
[0148] Σ Is=E tEr+ Σ (T-t)Eb= TEr+ Σ Ib- Σ tEb (17)
[0149] Ib可以由左右邻居帧获得，近似为平均值，而Σ tEb近似等于同一个雨线中的背 景平均像素值，由此可以确定参数Ir。对于参数u，由于雨场中雨滴的物理特性存在差异， 并不完全一致，因此雨滴经过一个像素的时间t对于不同的雨滴存在差异。根据定义u = l-t/Τ，雨滴对应的u值可以通过该雨滴产生的雨线中得到，t与雨滴经过的像素数量η有 关系，并存在对应的比例关系即：l/n = t/T。因此一旦检测出每一个雨线的位置，则可以 大致估算出每一个雨线对应的u的值，即：U = l-1/n。对于参数V和A，其由于为去雾方程 中的重要参数，已经存在了许多成熟的估计算法，例如He等（He K，Sun J，Tang X. Single image haze removal using dark channel prior. In:Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami, Florida, USA:IE EE，2009. 1956-1963.)的基于暗通道先验的估计算法，对于参数A，He的算法是用对图像的 暗通道进行极大值处理得到；对于参数V，其表征了图像中静态雨滴的分布信息，本发明通 过以下公式进行V值估计：
[0151] 在公式（18)中，J_dark为图像的暗原色先验结果，v为由J_dark得到的退化因 子，L为图像的拉普拉斯矩阵（Matting Laplacian matrix)，U为与L相同尺寸的稀疏单位 矩阵，λ为归一化系数，这里ω为引进来的修正参数，用于表征图像受静态雨滴像素影响 的程度，ω的取值将影响静态雨滴去除的效果（尤其是亮度），在本发明实施例中，ω参数 设为〇. 95,代表保留百分之5的雾霾视觉效果，具体可根据应用需求进行设置。本发明通过 引进修正参数对图像亮度进行矫正，能够获得较好的去雨效果。
[0152] 本发明实施例的视频雨滴去除方法及系统将视频帧从RGB色彩空间转换到YCbCr 色彩空间，大幅缩小了雨滴去除所需的时间，提高去雨效率；通过加入引导滤波进行运动物 体轮廓获取，从而减少误检雨滴像素；通过BM3D去噪算法对图像进行去噪处理，避免引入 人工噪声；通过结合去雾方程及动态雨滴的光度特性对图像进行去雨处理，有效提升图像 质量；通过引进修正参数对图像亮度进行矫正，能够获得较好的去雨效果。
[0153] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种视频雨滴去除方法，包括： 步骤a:读取视频帧，并将视频帧进行色彩空间转换； 步骤b:通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像边缘 部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴； 步骤c:通过去噪算法及雨滴面积约束，得到最终检测雨滴，并通过去雾方程及动态雨 滴光度特性去除雨滴，得到最终去雨结果。2. 根据权利要求1所述的视频雨滴去除方法，其特征在于，在所述步骤a中，所述将视 频帧进行色彩空间转换具体包括： 步骤al:将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公式为：步骤a2 :将步骤al的公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量， 步骤al的公式重写为：其中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，A R、A G与A B是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则A R、 A G及A B均为零；反之，均不为零； 步骤a3 :雨滴引起的AR、AG及AB近似相等，步骤a2中的公式变换为： Cb= 128-0. 1482Rbg-0. 2910Gbg+0. 4392Bbg Crl28+0. 4392Rbg-0. 3678Gbg-〇. 0714Bbg〇3. 根据权利要求I所述的视频雨滴去除方法，其特征在于，在所述步骤b中，所述通过 基于静态雨滴的光度特性进行雨滴初检具体包括：在读入视频帧后，从第2帧开始读取当 前视频帧的左右邻居帧，通过使用静态雨滴的光度学特性，判断当前帧与前一帧及当前帧 与后一帧的亮度差值是否大于一定阈值，如果当前帧与前一帧及当前帧与后一帧的亮度差 值大于一定阈值，则认为当前帧中的某个像素为受雨或者运动物体影响的像素点，得到雨 滴初检结果。4. 根据权利要求1所述的视频雨滴去除方法，其特征在于，在所述步骤b中，所述通过 引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴， 具体包括：通过引导滤波器得到原图像的高频部分及低频部分，通过将雨滴初检结果及高 频部分取交集操作，得到雨滴初检结果中的图像边缘部分，并从雨滴初检结果中减去边缘 部分，得到优化的候选雨滴。5. 根据权利要求1所述的视频雨滴去除方法，其特征在于，在所述步骤c中，所述通过 去噪算法及雨滴面积约束得到最终检测雨滴具体为：通过BM3D去噪算法及雨滴面积约束 得到最终检测雨滴；所述通过去雾方程及动态雨滴光度特性去除雨滴的具体公式为：在上述公式中，J_dark为图像的暗原色先验结果，v为由J_dark得到的退化因子，L为 图像的拉普拉斯矩阵，U为与L相同尺寸的稀疏单位矩阵，A为归一化系数，co为引进来的 修正参数，用于表征图像受静态雨滴像素影响的程度。6. -种视频雨滴去除系统，其特征在于，包括空间转换模块、雨滴初检模块、图像滤波 模块、图像去噪模块和图像去雨模块； 所述空间转换模块用于读取视频帧，并将视频帧进行色彩空间转换； 所述雨滴初检模块用于通过基于静态雨滴的光度特性进行雨滴初检； 所述图像滤波模块用于通过引导滤波器进行图像边缘部分识别，并从初检结果中减去 边缘部分，得到优化的候选雨滴； 所述图像去噪模块用于通过去噪算法及雨滴面积约束得到最终检测雨滴； 所述图像去雨模块用于通过去雾方程及动态雨滴光度特性去除雨滴，得到最终去雨结 果。7. 根据权利要求6所述的视频雨滴去除系统，其特征在于，所述所述空间转换模块将 视频帧进行色彩空间转换具体为：将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述 色彩空间转换公式为：上述公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，上述公式重写为如 下形式：在上述重写公式中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背 景强度值，AR、AG与AB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨 滴覆盖，则AR、AG及AB均为零；反之，均不为零；雨滴引起的AR、AG及AB近似相等， 上述公式可以变换为如下形式： Cb= 128-0. 1482Rbg-0. 2910Gbg+0. 4392Bbg Crl28+0. 4392Rbg-0. 3678Gbg-〇. 0714Bbg〇8. 根据权利要求6所述的视频雨滴去除系统，其特征在于： 所述雨滴初检模块通过基于静态雨滴的光度特性进行雨滴初检具体包括：在读入视频 帧后，从第2帧开始读取当前视频帧的左右邻居帧，通过使用静态雨滴的光度学特性，判断 当前帧与前一帧及当前帧与后一帧的亮度差值是否大于一定阈值，如果当前帧与前一帧及 当前帧与后一帧的亮度差值大于一定阈值，则认为当前帧中的某个像素为受雨或者运动物 体影响的像素点，得到雨滴初检结果。9. 根据权利要求6所述的视频雨滴去除系统，其特征在于： 所述图像滤波模块通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘 部分，得到优化的候选雨滴，具体包括：通过引导滤波器得到原图像的高频及低频部分，通 过将雨滴初检结果及高频部分取交集操作，得到雨滴初检结果中的图像边缘部分，并从雨 滴初检结果中减去边缘部分，得到优化的候选雨滴； 所述图像去噪模块通过去噪算法及雨滴面积约束得到最终检测雨滴具体为：通过BM3D去噪算法及雨滴面积约束得到最终检测雨滴。10.根据权利要求6所述的视频雨滴去除系统，其特征在于：所述图像去雨模块通过去 雾方程及动态雨滴光度特性去除雨滴的具体公式为：在上述公式中，J_dark为图像的暗原色先验结果，V为由J_dark得到的退化因子，L为 图像的拉普拉斯矩阵，U为与L相同尺寸的稀疏单位矩阵，A为归一化系数，co为引进来的 修正参数，用于表征图像受静态雨滴像素影响的程度。
【专利摘要】本发明属于视频雨滴去除技术领域，尤其涉及一种视频雨滴去除方法及系统。所述视频雨滴去除方法包括：步骤a：读取视频帧，并将视频帧进行色彩空间转换；步骤b：通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；步骤c：通过去噪算法及雨滴面积约束，得到最终检测雨滴，并通过去雾方程及动态雨滴光度特性去除雨滴，得到最终去雨结果。本发明大幅缩小了雨滴去除所需的时间，提高去雨效率，减少误检雨滴像素，避免引入人工噪声，并结合去雾方程及动态雨滴的光度特性对图像进行去雨处理，有效提升图像质量，获得较好的去雨效果。
【IPC分类】G06T5/00
【公开号】CN105046653
【申请号】CN201510323117
【发明人】朱青松, 袁杰, 王磊
【申请人】中国科学院深圳先进技术研究院
【公开日】2015年11月11日
【申请日】2015年6月12日