对视频图像进行去雨的方法
【专利摘要】本发明提供一种对视频图像进行去雨的方法，包括：(A)利用光流法估计视频图像的预定帧图像中的运动物体区域；(B)利用彩色聚类算法对估计的运动物体区域进行优化，获得优化运动物体区域；(C)确定所述预定帧图像中的雨滴区域；(D)根据所述雨滴区域与所述优化运动物体区域之间的重叠情况来进行雨滴去除。根据所述方法，可基于视频图像中的运动物体区域和雨滴区域将视频图像中的雨滴分类地去除，从而能够有效地去除包含运动物体的视频图像中的雨滴，提高了去雨的精度，具有广泛的适用性。
【专利说明】对视频图像进行去雨的方法
【技术领域】
[0001] 本发明涉及图像处理领域，更具体地讲，涉及一种对视频图像进行去雨的方法。
【背景技术】
[0002] 雨对视频图像的成像有很大的影响，会造成图像成像模糊和信息覆盖，导致视频 图像的清晰度下降，从而使视频图像的进一步处理（例如，基于图像的目标检测、识别、追 踪、分割和监控等）也会受此影响而性能下降。关于视频图像中雨滴特性的研宄已受到国 际学术界的广泛关注，通过对受雨滴污染的视频图像进行去雨，有利于图像的进一步处理。 视频图像的去雨在现代军事、交通以及安全监控等领域具有广泛的应用前景，已经成为新 的研宄热点。
[0003] 从2003年Starik等提出基于中值计算方法进行去雨的方法开始，对视频图像进 行去雨的方法的研宄已经得到了迅速的发展。目前，对视频图像进行去雨的方法已经不再 局限于最初的简单的中值计算方法，偏度计算、K均值聚类、卡尔曼滤波、字典学习和稀疏编 码、引导滤波、帧间亮度差、HSV空间、光流法、运动分割等很多方法也已经逐渐应用到视频 图像中雨滴的检测与去除中，提高了视频图像的去雨的效果。
[0004] 例如，Garg等提出利用雨滴带来的帧间亮度差进行雨滴初检，然后利用雨滴的直 线性和方向一致的特点进行进一步筛选，之后根据前后帧的像素的亮度值来去除雨滴影 响，从而能够在雨滴不覆盖连续帧图像的情况下较好地对雨滴进行检测与去除；Zhang等 在对视频图像进行去雨的过程中，将雨滴给像素带来的色彩影响考虑在内，从而提高了雨 滴检测的准确性，改善了基于亮度值变化的去雨方法在彩色图像上的去雨效果；Liu等将 雨滴的亮度影响和色彩影响同时应用在去雨的方法中，通过两帧图像检测雨滴并去除雨 滴；Tripathi等研宄了雨滴像素亮度变化的概率统计特性，利用雨滴像素亮度变化的对称 性实现了对雨滴的检测；Kang等利用双边滤波法将雨图分成高频部分和低频部分，对高频 部分进行进一步处理得到非雨成分，并结合低频部分进行去雨；Huang等利用上下文约束 进行图像分割，并利用上下文感知进行单幅图像去雨，并在此基础上提出了改进算法，使用 超完备的字典对高频部分进行处理来对视频图像进行去雨。
[0005] 上述这些对视频图像进行去雨的方法，可很好地去除静态场景的视频图像（不包 含运动物体的视频图像）中的雨滴。但是，当视频图像中包含运动物体时，由于运动物体的 干扰，现有的对视频图像进行去雨的方法并不能很好地去除雨滴。
[0006] 因此，现有的对视频图像进行去雨的方法的适用性不高。
【发明内容】
[0007] 本发明的示例性实施例在于提供一种对视频图像进行去雨的方法，以解决现有技 术中无法很好地从包含运动物体的视频图像中去除雨滴的技术问题。
[0008] 根据本发明示例性实施例，提供一种对视频图像进行去雨的方法，包括：(A)利用 光流法估计视频图像的预定帧图像中的运动物体区域；(B)利用彩色聚类算法对估计的运 动物体区域进行优化，获得优化运动物体区域；(C)确定所述预定帧图像中的雨滴区域； (D)根据所述雨滴区域与所述优化运动物体区域之间的重叠情况来进行雨滴去除。
[0009] 可选地，步骤（B)包括：(BI)按照所述运动物体区域中像素的色彩特性，通过分层 减法聚类将所述运动物体区域划分为预定数量的子集；(B2)基于每个子集的中心点进行 模糊聚类，获得优化运动物体区域。
[0010] 可选地，步骤（C)包括：(Cl)针对所述预定帧图像中的每个像素，计算所述像素 的灰度值变化量，其中，所述灰度值变化量指示所述像素的灰度值与前一帧图像中与所述 像素位于相同位置的像素的灰度值之间的差值；(C2)根据所述预定帧图像中各个像素的 灰度值变化量，在所述预定帧图像中确定所有受雨滴影响的区域；(C3)针对每个受雨滴影 响的区域中的每个像素，计算所述像素的色彩分量值变化量，其中，所述色彩分量值变化量 指示所述像素的色彩分量值与前一帧图像中与所述像素位于相同位置的像素的色彩分量 值之间的差值；(C4)针对每个受雨滴影响的区域，基于所述区域中每个像素的灰度值变化 量、所述区域中包含的像素个数以及所述区域中每个像素的色彩分量值变化量，来确定所 述区域是否属于雨滴区域。
[0011] 可选地，在步骤（C2)中，在所述预定帧图像中确定灰度值变化量大于第一阈值的 所有像素，其中，所述所有像素按照位置连通性形成各个受雨滴影响的区域。
[0012] 可选地，在步骤（C4)中，将满足以下条件的受雨滴影响的区域确定为雨滴区域： 受雨滴影响的区域中每个像素的灰度值变化量均在预定范围内，受雨滴影响的区域中包含 的像素个数大于预定个数，并且，受雨滴影响的区域中每个像素的色彩分量值变化量均小 于第二阈值。
[0013] 可选地，步骤（D)包括：(Dl)将每个雨滴区域划分为与所述优化运动物体区域不 重叠的纯雨滴部分以及与所述优化运动物体区域重叠的非纯雨滴部分；(D2)针对组成纯 雨滴部分的纯雨滴像素，基于预定数量的先前图像和预定数量的在后图像中与所述纯雨滴 像素位于相同位置的像素的亮度值来计算所述纯雨滴像素的亮度值；(D3)针对组成非纯 雨滴部分的非纯雨滴像素，基于所述非纯雨滴像素的时空邻域像素的亮度值来计算所述非 纯雨滴像素的亮度值，其中，所述时空邻域像素包括所述预定帧图像中与所述非纯雨滴像 素相邻的邻近像素、以及前一帧图像和后一帧图像中与所述非纯雨滴像素及其邻近像素位 于相同位置的像素。
[0014] 可选地，所述预定帧图像为视频图像中的第N帧图像，所述预定数量为3，N为正整 数，其中，在步骤（D2)中，通过下面的等式来计算所述纯雨滴像素的亮度值：
[0015]
【权利要求】
1. 一种对视频图像进行去雨的方法，包括： (A) 利用光流法估计视频图像的预定帧图像中的运动物体区域； (B) 利用彩色聚类算法对估计的运动物体区域进行优化，获得优化运动物体区域； (C) 确定所述预定帧图像中的雨滴区域； (D) 根据所述雨滴区域与所述优化运动物体区域之间的重叠情况来进行雨滴去除。
2. 如权利要求1所述的方法，其中，步骤⑶包括： (B1)按照所述运动物体区域中像素的色彩特性，通过分层减法聚类将所述运动物体区 域划分为预定数量的子集； (B2)基于每个子集的中心点进行模糊聚类，获得优化运动物体区域。
3. 如权利要求1所述的方法，其中，步骤（C)包括： (C1)针对所述预定帧图像中的每个像素，计算所述像素的灰度值变化量，其中，所述灰 度值变化量指示所述像素的灰度值与前一帧图像中与所述像素位于相同位置的像素的灰 度值之间的差值； (C2)根据所述预定帧图像中各个像素的灰度值变化量，在所述预定帧图像中确定所有 受雨滴影响的区域； (C3)针对每个受雨滴影响的区域中的每个像素，计算所述像素的色彩分量值变化量， 其中，所述色彩分量值变化量指示所述像素的色彩分量值与前一帧图像中与所述像素位于 相同位置的像素的色彩分量值之间的差值； (C4)针对每个受雨滴影响的区域，基于所述区域中每个像素的灰度值变化量、所述区 域中包含的像素个数以及所述区域中每个像素的色彩分量值变化量，来确定所述区域是否 属于雨滴区域。
4. 如权利要求3所述的方法，其中，在步骤（C2)中，在所述预定帧图像中确定灰度值变 化量大于第一阈值的所有像素，其中，所述所有像素按照位置连通性形成各个受雨滴影响 的区域。
5. 如权利要求3所述的方法，其中，在步骤（C4)中，将满足以下条件的受雨滴影响的区 域确定为雨滴区域：受雨滴影响的区域中每个像素的灰度值变化量均在预定范围内，受雨 滴影响的区域中包含的像素个数大于预定个数，并且，受雨滴影响的区域中每个像素的色 彩分量值变化量均小于第二阈值。
6. 如权利要求3所述的方法，其中，步骤⑶包括： (D1)将每个雨滴区域划分为与所述优化运动物体区域不重叠的纯雨滴部分以及与所 述优化运动物体区域重叠的非纯雨滴部分； 0)2)针对组成纯雨滴部分的纯雨滴像素，基于预定数量的先前图像和预定数量的在 后图像中与所述纯雨滴像素位于相同位置的像素的亮度值来计算所述纯雨滴像素的亮度 值； 0)3)针对组成非纯雨滴部分的非纯雨滴像素，基于所述非纯雨滴像素的时空邻域像素 的亮度值来计算所述非纯雨滴像素的亮度值，其中，所述时空邻域像素包括所述预定帧图 像中与所述非纯雨滴像素相邻的邻近像素、以及前一帧图像和后一帧图像中与所述非纯雨 滴像素及其邻近像素位于相同位置的像素。
7. 如权利要求6所述的方法，其中，所述预定帧图像为视频图像中的第N帧图像，所述 预定数量为3,N为正整数， 其中，在步骤0)2)中，通过下面的等式来计算所述纯雨滴像素的亮度值：
其中，（x，y，N)表示第N帧图像中所述纯雨滴像素的位置坐标，I(x，y，N)表示计算出 的所述纯雨滴像素的亮度值，（x，y，t)表示第t帧图像中与所述纯雨滴像素位于相同位置 的像素的位置坐标，I(X，y，t)表示第t帧图像中与所述纯雨滴像素位于相同位置的像素的 亮度值，Fb(t)为I(X，y,t)的加权系数，tG[N-3,N+3]，其中，当t=N时，Fb(t) = 0 ;当t =N-1 或t=N+1 时，Fb(t) = 4 ;当t=N-2 或t=N+2 时，Fb(t) = 2 ;当t=N-3 或t= N+3 时，Fb(t) = 1。
8.如权利要求6所述的方法，其中，所述预定帧图像为视频图像中的第n帧图像，n为 正整数， 其中，在步骤0)3)中，通过下面的等式来计算所述非纯雨滴像素的亮度值：
其中，（P，q)表示第n帧图像中所述非纯雨滴像素的位置坐标，In(p，q)表示计 算出的所述非纯雨滴像素的亮度值，（i，j)表示所述非纯雨滴像素的任一时空邻域像 素的位置坐标，vm(i，j)表示所述时空邻域像素的位置坐标向量，V表示所述非纯雨 滴像素的所有时空邻域像素的坐标向量的集合，I(i，j)表示所述时空邻域像素的亮 度值，wp;q(i，j)表示所述时空邻域像素相对于所述非纯雨滴像素的扩散系数，其中，
为扩散张量。
【文档编号】G06T5/00GK104484865SQ201410855080
【公开日】2015年4月1日 申请日期:2014年12月31日 优先权日:2014年12月31日
【发明者】朱青松, 李佳恒, 王磊 申请人:中国科学院深圳先进技术研究院