一种视频图像雨滴去除方法及装置的制造方法
【技术领域】
[0001] 本发明设及视频图像除雨技术领域，尤其设及一种视频图像雨滴去除方法及装 置。
【背景技术】
[0002] 当前，户外计算机视觉系统已经被广泛应用于军事国防、医疗、智能交通等技术领 域。但是，由于恶劣天气等环境原因，可能会严重影响户外计算机视觉系统的性能，甚至导 致其完全失效。因此消除恶劣天气影响的有效方法，对于一个全天候的户外计算机视觉系 统来说必不可少。在众多恶劣天气情况中，雨滴由于拥有较大粒子半径及其他复杂物理特 性，会对视觉系统所摄取的图像的质量造成较大程度的影响。图像雨滴去除技术通过使用 雨的物理、频率等特性，对图像中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还 有利于图像的进一步处理。因此，图像雨滴去除技术已经成为计算机视觉领域不可缺少的 关键性技术。
[0003] 近些年来关于图像中雨滴检测与去除的研究已然成为热点。当前在图像雨滴去除 中，现有技术大多采用值简单替换法，即通过背景像素的灰度值来替换探测到的雨滴像素， 从而重新构成图像，进行雨滴去除。然而，由于雨滴会对图像或视频造成模糊作用，简单的 值替换法会对输出视频图像的质量大大降低。
【发明内容】
[0004] 本发明的实施例提供一种视频图像雨滴去除方法及装置，W解决当前雨滴会对图 像或视频造成模糊作用，简单的值替换法会对输出视频图像的质量大大降低的问题。
[0005] 为达到上述目的，本发明采用如下技术方案：
[0006] 一种视频图像雨滴去除方法，包括：
[0007] 获取视频中的各帖初始图像，并将各帖初始图像从RGB色彩空间转换为YCb化色 彩空间，获取色彩空间转换后的初始图像的Y分量；
[000引将所述初始图像的Y分量进行二维经验模态分解，生成所述初始图像的轮廓图 像；
[0009] 将所述初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著边缘图 像；
[0010] 将所述物体显著边缘图像和所述轮廓图像进行二值化并相交处理，生成去雨部分 图像；
[0011] 根据小波变换模极大值算法对所述去雨部分图像进行小波去噪处理，生成去噪后 图像；
[0012] 根据去噪后图像的Y分量和所述初始图像的Y分量进行a混合，生成YCb&色彩 空间下的结果图像；
[0013] 将所述YCb化色彩空间下的结果图像从YCb化色彩空间转换为RGB色彩空间，形 成RGB色彩空间下的结果图像；
[0014] 将各帖RGB色彩空间下的结果图像进行合成，生成去雨视频。
[0015] 具体的，所述将各帖初始图像从RGB色彩空间转换为YCb&色彩空间，获取色彩空 间转换后的初始图像的Y分量，包括：
[0016] 通过公式；
[0017]
[001引将各帖初始图像从RGB色彩空间转换为YCb化色彩空间，获取色彩空间转换后的 初始图像的Y分量；其中，R、G、B分别为初始图像各像素R分量、G分量和B分量的强度值； Y、Cb、化分别为色彩空间转换后的初始图像的Y分量、Cb分量和化分量。
[0019] 具体的，将所述初始图像的Y分量进行二维经验模态分解，生成所述初始图像的 轮廓图像，包括：
[0020] 步骤101 ;输入一帖所述初始图像的Y分量；
[0021] 步骤102 ;将所述初始图像的Y分量映射到一XOY直角坐标平面上；其中，所述初 始图像的Y分量对应像素点的灰度值为Z坐标；
[002引步骤103 ;通过图像形态学方法识别出所述初始图像的Y分量的局部极大值点集 和局部极小值点集；
[002引步骤104 ;分别将所述局部极大值点集和所述局部极小值点集进行平面delaunay S角剖分，再分别插值平滑得到极大值包络曲面Emax和极小值包络曲面Emin,获取极大值 包络曲面Emax和极小值包络曲面血in的代数均值E;
[0024] 其中
[0025] 步骤105 ;从所述初始图像的Y分量中减去所述代数均值E，形成结果信息；
[0026] 步骤106 ;确定所述结果信息是否满足每层筛选结束条件；
[0027] 所述每层筛选结束条件为局部极大值点和局部极小值点的数目与一跨零点数目 相等或仅相差1，并且所述代数均值为0 ;
[002引若所述结果信息满足所述每层筛选结束条件，执行步骤107,否则若所述结果信息 不满足所述每层筛选结束条件，返回执行步骤103 ;
[0029] 步骤107 ;将所述结果信息作为第n层图像细节信息；
[0030] 步骤108 ;确定第n层图像细节信息是否具有不超过1个极值点；
[0031] 若第n层图像细节信息具有不超过1个极值点，执行步骤110 ;否则，若第n层图 像细节信息的极值点超过1个，执行步骤109 ;
[003引步骤109 ;在所述初始图像的Y分量中减去所述第n层图像细节信息，并返回执行 步骤101 ;
[0033] 步骤110、将所述结果信息作为所述初始图像的轮廓图像。
[0034] 具体的，将所述初始图像的Y分量中的每个像素点进行双边滤波，生成物体显著 边缘图像，包括：
[0035] 根据公式
傳所述初始图像的Y分量中的每个像素 点进行计算，生成物体显著边缘图像；
[0036] 其中，g(ij)为物体显著边缘图像的像素值；（ij)，也1)为初始图像的Y分量 的两个像素点坐标；f化，1)为像素点化，1)处的像素灰度值；《 (i，j，k，1)为一权重系数；
[0037] 其中，
f(ij)为像素点 (i，j)处的像素灰度值。
[003引具体的，所述根据去噪后图像的Y分量和所述初始图像的Y分量进行a混合，生 成YCb化色彩空间下的结果图像，包括：
[0039] 根据公式；C=aCb+(l-a)Ct进行a混合，生成YCb化色彩空间下的结果图像； 其中，C为所述YCb化色彩空间下的结果图像的Y分量；a为一预先设置的通道值；Cb为去 噪后图像的Y分量；Cr为所述初始图像的Y分量。
[0040] 具体的，在根据去噪后图像的Y分量和所述初始图像的Y分量进行a混合，生成 YCb&色彩空间下的结果图像之后，包括：
[004U 将所述YCb化色彩空间下的结果图像的Y分量根据一imadjust函数进行亮度调 节。
[0042] 一种视频图像雨滴去除装置，包括：
[0043] 色彩空间转换单元，用于获取视频中的各帖初始图像，并将各帖初始图像从RGB 色彩空间转换为YCb化色彩空间，获取色彩空间转换后的初始图像的Y分量；
[0044] 二维经验模态分解单元，用于将所述初始图像的Y分量进行二维经验模态分解， 生成所述初始图像的轮廓图像；
[0045] 双边滤波单元，用于将所述初始图像的Y分量中的每个像素点进行双边滤波，生 成物体显著边缘图像；
[0046] 去雨部分图像生成单元，用于将所述物体显著边缘图像和所述轮廓图像进行二值 化并相交处理，生成去雨部分图像；
[0047] 小波去噪处理单元，用于根据小波变换模极大值算法对所述去雨部分图像进行小 波去噪处理，生成去噪后图像；
[0048] a混合处理单元，用于根据去噪后图像的Y分量和所述初始图像的Y分量进行a 混合，生成YCb化色彩空间下的结果图像；
[0049] 所述色彩空间转换单元，还用于将所述YCb化色彩空间下的结果图像从YCb化色 彩空间转换为RGB色彩空间，形成RGB色彩空间下的结果图像；
[0050] 去雨视频合成单元，用于将各帖RGB色彩空间下的结果图像进行合成，生成去雨 视频。
[0化1] 另外，所述色彩空间转换单元，具体用于：
[00巧通过公式：
[0053]
[0化4] 将各帖初始图像从RGB色彩空间转换为YCb化色彩空间，获取色彩空间转换后的 初始图像的Y分量；其中，R、G、B分别为初始图像各像素R分量、G分量和B分量的强度值； Y、Cb、化分别为色彩空间转换后的初始图像的Y分量、Cb分量和化分量。
[0化5] 另外，该二维经验模态分解单元，具体用于执行：
[0化6] 步骤101 ;输入一帖所述初始图像的Y分量；
[0化7] 步骤102 ;将所述初始图像的Y分量映射到一XOY直角坐标平面上；其中，所述初 始图像的Y分量对应像素点的灰度值为Z坐标；
[0化引步骤103 ;通过图像形态学方法识别出所述初始图像的Y分量的局部极大值点集 和局部极小值点集；
[0059] 步骤104 ;分别将所述局部极大值点集和所述局部极小值点集进行平面delaunay S角剖分，再分别插值平滑得到极大值包络曲面Emax和极小值包络曲面Emin,获取极大值 包络曲面Emax和极小值包络曲面Emin的代数均值E;
[0060] 其中，
[0061] 步骤105 ;从所述初始图像的Y分量中减去所述代数均值E，形成结果信息；
[0062] 步骤106 ;确定所述结果信息是否满足每层筛选结束条件；
[0063] 所述每层筛选结束条件为局部极大值点和局部极小值点的数目与一跨零点数目 相等或仅相差1，并且所述代数均值为0 ;
[0064] 若所述结果信息满足所述每层筛选结束条件，执行步骤107,否则若所述结果信息 不满足所述每层筛选结束条件，返回执行步骤103 ;
[00化]步骤107 ;将所述结果信息作为第n层图像细节信息；
[0066] 步骤108 ;确定第n层图像细节信息是否具有不超过1个极值点；
[0067] 若第n层图像细节信息具有不超过1个极值点，执行步骤110 ;否则，若第n层图 像细节信息的极值点超过1个，执行步骤109 ;
[0068] 步骤109 ;在所述初