一种基于雨势尺度的视频雨滴去除算法
【专利摘要】本发明旨在解决上述现有技术中存在的问题，提出一种基于雨势尺度的视频雨滴去除算法，包括以下步骤：S100、获取视频像素总数P，确定样本像素点的标号；S200、获取视频前N帧对应像素的亮度平均值；S300、求出前N帧图像中每个像素的最大值及最小值；S400、采用K均值聚类方法，根据每个像素亮度值将像素分为雨滴或背景，标记被雨滴污染的帧数并求和sum；S500、判断sum/(M×N)是否大于预设阈值T，是则采用帧差法处理被雨滴覆盖像素；否则采用引导滤波器处理被雨滴覆盖像素。本发明在视频去雨滴处理之前进行预处理，判断雨势大小，再选择合适的算法去除雨滴，能够获得更好的雨滴去除效果。
【专利说明】一种基于雨势尺度的视频雨滴去除算法
【【技术领域】】
[0001]本发明涉及计算机视觉技术，尤其涉及一种基于雨势尺度的视频雨滴去除算法。【【背景技术】】
[0002]在数字视频图像处理的应用领域中，雨滴对视频图像的成像有很大的影响，雨滴会造成视频图像成像的模糊和信息的覆盖，从而导致视频图像的清晰度下降，视频图像的数字化处理也会因此受到影响。对受雨滴污染的视频图像进行修复处理有利于视频图像的进一步处理。而视频图像的目标检测、跟踪、识别或者分割技术在现代军事、交通以及安全监控等多个 领域都得到广泛应用。
[0003]视频雨滴去除技术自2003年提出至今已取得长足的发展，各种基于不同数学物理模型的方法被学者们先后提出，雨滴去除的效果也逐渐被提高。
[0004]视频帧差法是基于雨滴亮度特性的一种简单的雨滴探测算法。由于雨滴可以反射和折射光线，根据雨滴的形状特征，它可以将近165°视角的光线折射，投射到图像上，而反射部分只占6%，因此被雨滴覆盖的像素，其亮度往往高于背景的亮度。因此，在静止场景下，如果帧间亮度差值大于某一阈值，则可以将后一帧的像素点判定为雨。在探测出雨滴之后，将相邻两帧的像素亮度值的平均值代替视频中被雨滴覆盖的像素亮度，这样就可以去除雨滴覆盖的效果。帧差法在处理被雨滴污染的视频时，倘若雨势较小，同一个像素不会连续多帧被雨滴覆盖；而当雨势较大时这一假设就不成立，这样在同一个像素连续多帧被雨滴覆盖时，就无法探测出后面的雨滴，从而造成雨滴的漏判。
[0005]引导滤波器在处理雨势较大的视频图像时拥有较大的优势，但一方面引导滤波器是从图像整体角度进行处理的，而非在针对性的探测后再处理判定为雨滴的像素，因而会造成部分雨线去除不净；另一方面引导滤波器对图像非雨部分同样会进行加权处理，因此很难保证对非雨部分边缘信息的保留，并且会降低图像的对比度，在雨势较小时往往我们对雨去除以及图像其它部分的保留效果要求更高，引导滤波器的处理效果很难达到要求。
【
【发明内容】
】
[0006]本发明旨在解决上述现有技术中存在的问题，提出一种基于雨势尺度的视频雨滴去除算法，包括以下步骤:S100、获取视频像素总数P，并确定样本像素点的标号；S200、获取视频前N帧对应像素的亮度平均值；S300、求出所述前N帧图像中每个像素的最大值以及最小值；S400、以所述最大值以及最小值作为聚类中心采用K均值聚类方法，根据每个像素的亮度值将像素分为雨滴或背景两类，标记出被雨滴污染的帧数Ii1至nM存储于数组η [Μ]中，并求和sum=n [O] +…+η [M-1]，其中，M为所述前N帧图像中样本像素的个数，sum表示M个样本像素在N帧视频中被雨覆盖的次数；S500、判断sum/(MXN)是否大于预设阈值T，是则判定为小雨势并执行步骤S601 ;否则判定为大雨势并执行步骤S602 ;S601、采用帧差法处理被雨滴覆盖的像素；S602、采用引导滤波器处理被雨滴覆盖的像素。
[0007]本发明提出的基于雨势尺度的视频雨滴去除算法在视频去雨滴处理之前先进行预处理，判断雨势大小，从而选择合适的算法去除雨滴，可以有效避免这两种算法的缺陷，避免了单独运用帧差法在雨势较大时由于无法探测出连续相邻的雨滴而造成大范围的漏判，也避免了而单独运用引导滤波器进行雨滴去除在雨势较小时对原始图像造成不必要的模糊，从而获得了更好的雨滴去除效果。
【【专利附图】
【附图说明】】
[0008]图1为本发明一实施例的基于雨势尺度的视频雨滴去除算法流程图。
【【具体实施方式】】
[0009]下面结合具体实施例及附图对本发明作进一步详细说明。下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明的技术方案，而不应当理解为对本发明的限制。
[0010]在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指
示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。
[0011]本发明提供一种基于雨势尺度的视频雨滴去除算法。如图1所示，本发明提出的基于雨势尺度的视频雨滴去除算法包括以下步骤:S100、获取视频像素总数P，并确定样本像素点的标号；S200、获取视频前N帧对应像素的亮度平均值；S300、求出所述前N帧图像中每个像素的最大值以及最小值；S400、以所述最大值以及最小值作为聚类中心采用K均值聚类方法，根据每个像素的亮度值将像素分为雨滴或背景两类，并标记出被雨滴污染的中贞数Ii1至nM存储于数组η [Μ]中，并求和sum=n [O] +…+η [Μ-1],其中,M为所述前N帧图像中样本像素的个数，sum表示M个样本像素在N帧视频中被雨覆盖的次数；S500、判断sum/(MXN)是否大于预设阈值T，是则判定为小雨势并执行步骤S601 ;否则判定为大雨势并执行步骤S602 ;S601、采用帧差法处理被雨滴覆盖的像素；S602、采用引导滤波器处理被雨滴覆盖的像素。
[0012]具体地，首先将视频像素总数求出P=高度方向像素数X宽度方向像素数，以此确定样本像素点的标号[P/Ml, [2P/M1...[PI ([Xl表示大于X的最小整数)，其中，P和M都是可以根据实验的具体情况进行调整的参数，M为所述前N帧图像中样本像素的个数。
[0013]在步骤S200中，读取前N帧视频图像对应像素的亮度平均值，将其存储于一个二维数组X [M] [N]中。
[0014]在步骤S300中，求出每个像素在N帧视频图像中的最大值以及最小值，并将所述最大值以及最小值存于数组max[M]和min[M]中。
[0015]在步骤S400中，以max和min作为聚类中心采用K均值聚类的方法，将每个像素的N个亮度值分为雨滴或背景两类，并在此过程中标记出被雨滴污染的帧数Ii1至nM存于数组η [M],并求和sum=n[0]+…+n[M-l], sum表示M个样本像素在N帧视频中被雨覆盖的次数。
[0016]其中，K均值聚类方法(如K=2时)的原理为:首先将最大亮度以及最小亮度初始化为两个类的唯一元素，同时也是中心值，然后每次把剩余数据中的一个划分到某一个类，并且更新对应类的中心值。进行划分时依据下式进行欧几里得距离d的计算，将其划分到距离较小的一类:
[0017]d(Ip, ω) = | Ιρ-ω
[0018]中心值ω的更新依据下式:
【权利要求】
1.一种基于雨势尺度的视频雨滴去除算法，包括以下步骤: S100、获取视频像素总数P，并确定样本像素点的标号； S200、获取视频前N帧对应像素的亮度平均值； S300、求出所述前N帧图像中每个像素的最大值以及最小值； S400、以所述最大值以及最小值作为聚类中心采用K均值聚类方法，根据每个像素的亮度值将像素分为雨滴或背景两类，标记出被雨滴污染的帧数Ii1至％存储于数组n[M]中，并求和sum=n[0]+…+n[M-l],其中，M为所述前N帧图像中样本像素的个数，sum表示M个样本像素在N帧视频中被雨覆盖的次数； S500、判断sum/ (Μ X N)是否大于预设阈值T，是则判定为小雨势并执行步骤S601 ;否则判定为大雨势并执行步骤S602 ； 5601、米用帧差法处理被雨滴覆盖的像素； 5602、采用引导滤波器处理被雨滴覆盖的像素。
2.根据权利要求1所述的基于雨势尺度的视频雨滴去除算法，其特征在于，将所述样本像素点的标号记为[P/M〗，[2Ρ/Μ1,...[Ρ1。
3.根据权利要求1所述的基于雨势尺度的视频雨滴去除算法，其特征在于，在步骤S400中，采用亮度直方图法替代所述K均值聚类方法判断雨势大小。
4.根据权利要求1所述的基于雨势尺度的视频雨滴去除算法，其特征在于，在步骤S400中，采用类排序法替代所述K均值聚类方法判断雨势大小。
5.根据权利要求1所述的基于雨势尺度的视频雨滴去除算法，其特征在于，在步骤S400中，采用亮度阈值比较法替代所述K均值聚类方法判断雨势大小。
6.根据权利要求1所述的基于雨势尺度的视频雨滴去除算法，其特征在于，在步骤S601中，采用灰色调函数替代所述帧差法处理被雨滴覆盖的像素。
7.根据权利要求1所述的基于雨势尺度的视频雨滴去除算法，其特征在于，在步骤S602中，采用基于频域分析的模糊高斯模型替代所述引导滤波器处理被雨滴覆盖的像素。
8.根据权利要求1所述的基于雨势尺度的视频雨滴去除算法，其特征在于，在步骤S602中，采用相位一致性方法替代所述引导滤波器处理被雨滴覆盖的像素。
9.根据权利要求1所述的基于雨势尺度的视频雨滴去除算法，其特征在于，在步骤S602中，采用字典学习和稀疏编码相结合的方法替代所述引导滤波器处理被雨滴覆盖的像素。
【文档编号】G06T7/00GK103700070SQ201310680596
【公开日】2014年4月2日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】朱青松, 樊建平, 陈海鹏, 王磊 申请人:中国科学院深圳先进技术研究院