一种单幅图像去雨方法及装置与流程

本发明涉及图像处理领域，具体涉及一种单幅图像去雨方法及装置。

背景技术：

受有雨天气状况的影响，户外镜头所采集图像的部分纹理与细节信息容易被雨线遮挡，造成局部区域过亮，背景图像模糊等问题。雨天图像质量的退化极大制约了如视觉监控、视觉导航与目标跟踪等户外智能视觉系统的功能。且雨滴颗粒状态多变，不同情形下的雨线方向和粗细均不相同，因此，研究如何从各类雨天降质图像中恢复出高质量的图像具有极高的研究与应用价值。

图像去雨包括视频图像去雨与单幅图像去雨。与视频图像不同的是，在对单幅图像去雨时没有时间信息可以利用，其难度较大。因此，单幅图像去雨的研究引起了国内外学者的广泛关注。目前，现有的单幅去雨算法主要基于以下模型[1]：

i＝b+r(1)

其中，i为有雨图像，b为背景图像，r为雨痕层图像，由式(1)可知，有雨图像可以看成是背景图像与雨痕层的线性叠加。图像去雨的本质是从有雨图像中分离出雨痕层图像，提高背景图像的视觉能见度。

背景图像的细节(边缘)和雨痕分量都分布在高频图像中，因此，大多数相关工作都首先将有雨图像可以分解成低频图像和高频图像，再针对高频图像进行去雨，将去雨后的高频图像与低频图像融合可得到无雨图像。单幅图像去雨大致可分为基于滤波的去雨算法和基于机器学习的去雨算法。

现有技术中，有一种基于机器学习的去雨算法，其框架基于字典学习实现高频图像的稀疏表示，结合方向梯度直方图(histogramoforientedgradient，简称：hog)特征实现学习字典的原子分类，得到无雨字典与有雨字典，通过稀疏重构获得高频图像的有雨分量与无雨分量，将高频图像的无雨分量与低频图像叠加得到去雨后的图像。

现有图像去雨算法取得了一定的效果，但仍然存在以下问题：(1)有雨图像中雨线与背景图像纹理之间存在重叠现象，容易将背景图像中与雨线结构相似的纹理误判别为雨线，去雨后的图像产生过度平滑现象；(2)把雨线判别为背景图像，去雨不彻底；无雨图像与有雨层图像使用同一个字典进行稀疏表示，无法保证有雨原子与无雨原子的完全分离，稀疏重构后容易产生手工边缘。

综上，现有图像去雨方法无法实现有效区分有雨像素与无雨像素，无法兼顾图像复原快与恢复图像质量高的优点，具有一定的局限性。

技术实现要素：

本发明提供一种单幅图像去雨方法及装置，用于提高具有雨痕的图像的去雨效果。

第一个方面提供一种单幅图像去雨方法，包括：

识别待处理图像中的纯雨区域；

将所述纯雨区域作为输入进行字典学习及其稀疏表示，获得有雨字典；

根据所述有雨字典对所述待处理图像进行稀疏重构，获得雨痕掩模；

根据所述雨痕掩模对所述待处理图像进行去雨处理，获得目标图像。

可选地，所述待处理图像为高频灰度图像。

可选地，所述识别待处理图像中的纯雨区域，包括：

根据雨痕边缘像素的梯度特征，提取所述高频灰度图像中的所述纯雨区域。

可选地，在所述根据雨痕边缘像素的梯度特征，提取所述高频灰度图像中的所述纯雨区域之前，还包括：

根据传播滤波与引导滤波实现所述待处理图像分解，获得低频图像ilf与高频图像ihf；

对所述高频图像ihf进行灰度化处理，获得所述高频灰度图像g。

可选地，所述根据所述有雨字典对所述待处理图像进行稀疏重构，获得雨痕掩模，包括：

利用所述有雨字典对所述高频图像ihf进行稀疏重构，获得高频有雨图像，并设定阈值获得所述雨痕掩膜m；

对所述雨痕掩膜m进行优化，获得优化后的雨痕掩膜

可选地，所述根据所述雨痕掩模对所述待处理图像进行去雨处理，获得目标图像，包括：

根据所述优化的雨痕掩模与所述待处理图像中的雨痕的亮度特性，定义改进的双边滤波；

根据所述改进的双边滤波实现高频图像去雨，得到高频无雨图像；

将所述高频无雨图像与所述低频图像ilf融合，获得所述目标图像。

可选地，所述根据传播滤波与引导滤波实现图像分解，获得低频图像ilf与高频图像ihf，包括：

对所述待处理图像进行传播滤波，将滤波后的图像作为引导图；

根据所述引导图对所述待处理图像进行引导滤波，获得所述低频图像ilf；

对所述待处理图像减去所述低频图像ilf获得所述高频图像ihf。

可选地，还包括：

获取所述高频灰度图像g的梯度幅值与梯度方向；

所述根据雨痕边缘像素的梯度特征，提取所述高频灰度图像中的所述纯雨区域，包括：

采用滑动方式获取图像区域，统计每个所述图像区域的梯度幅值大于t1的像素点，根据所述像素点的梯度方向，提取所述纯雨区域。

可选地，所述将所述纯雨区域作为输入进行字典学习及其稀疏表示，获得有雨字典，包括：

获取所述纯雨区域的p1个图块作为训练样本，进行字典学习，获得所述有雨字典dr；

所述根据所述有雨字典对所述待处理图像进行稀疏重构，获得雨痕掩模，包括：

对所述高频图像ihf进行稀疏表示，获得高频图像的稀疏表示系数

根据所述有雨字典dr与所述稀疏表示系数进行稀疏重构，获得所述高频有雨图像，并设定阈值t2获得雨痕掩膜m。

可选地，所述对所述雨痕掩膜m进行优化，获得优化后的雨痕掩膜包括：

在高频彩色图像中，计算雨痕掩模系数值为1的像素点到对角线的距离，当距离大于设定阈值t3时，对应的雨痕掩模系数值修正为0，得到所述优化后的雨痕掩模

第二个方面提供一种单幅图像去雨装置，包括：

识别模块，用于识别待处理图像中的纯雨区域；

学习模块，用于将所述纯雨区域作为输入进行字典学习及其稀疏表示，获得有雨字典；

重构模块，用于根据所述有雨字典对所述待处理图像进行稀疏重构，获得雨痕掩模；

去雨处理模块，用于根据所述雨痕掩模对所述待处理图像进行去雨处理，获得目标图像。

可选地，所述待处理图像为高频灰度图像。

可选地，所述识别模块，具体用于：

根据雨痕边缘像素的梯度特征，提取所述高频灰度图像中的所述纯雨区域。

可选地，所述识别模块，还用于，在所述根据雨痕边缘像素的梯度特征，提取所述高频灰度图像中的所述纯雨区域之前，根据传播滤波与引导滤波实现所述待处理图像分解，获得低频图像ilf与高频图像ihf；对所述高频图像ihf进行灰度化处理，获得所述高频灰度图像g。

可选地，所述重构模块，具体用于：

利用所述有雨字典对所述高频图像ihf进行稀疏重构，获得高频有雨图像，并设定阈值获得所述雨痕掩膜m；对所述雨痕掩膜m进行优化，获得优化后的雨痕掩膜

可选地，所述去雨处理模块，具体用于：

根据所述优化的雨痕掩模与所述待处理图像中的雨痕的亮度特性，定义改进的双边滤波；根据所述改进的双边滤波实现高频图像去雨，得到高频无雨图像；将所述高频无雨图像与所述低频图像ilf融合，获得所述目标图像。

可选地，所述去雨处理模块，还用于：

对所述待处理图像进行传播滤波，将滤波后的图像作为引导图；根据所述引导图对所述待处理图像进行引导滤波，获得所述低频图像ilf；对所述待处理图像减去所述低频图像ilf获得所述高频图像ihf。

可选地，所述识别模块，还用于：

获取所述高频灰度图像g的梯度幅值与梯度方向；采用滑动方式获取图像区域，统计每个所述图像区域的梯度幅值大于t1的像素点，根据所述像素点的梯度方向，提取所述纯雨区域。

可选地，所述学习模块，具体用于：

获取所述纯雨区域的p1个图块作为训练样本，进行字典学习，获得所述有雨字典dr；对所述高频图像ihf进行稀疏表示，获得高频图像的稀疏表示系数根据所述有雨字典dr与所述稀疏表示系数进行稀疏重构，获得所述高频有雨图像，并设定阈值t2获得雨痕掩膜m。

可选地，所述学习模块，具体用于：

在高频彩色图像中，计算雨痕掩模系数值为1的像素点到对角线的距离，当距离大于设定阈值t3时，对应的雨痕掩模系数值修正为0，得到所述优化后的雨痕掩模

本发明提供一种单幅图像去雨方法及装置，通过首先将待处理图像中的纯雨区域识别出来，进一步将所述纯雨区域作为输入进行字典学习及其稀疏表示，获得有雨字典。进而基于有雨字典对所述待处理图像进行稀疏重构，获得雨痕掩模。最后通过雨痕掩模对所述待处理图像进行去雨处理，获得目标图像，即无雨痕的图像。由于该方法仅仅对有雨像素进行处理，无雨像素部分得到保持。因此，本文方法去雨后的图像雨痕残留较少，保持了目标图像中更为丰富的边缘和纹理，大大的提高去雨精确性。

附图说明

图1为本发明实施例提供的一种单幅图像去雨方法的流程示意图；

图2为本发明实施例提供的另一种单幅图像去雨方法的流程示意图；

图3为本发明实施例提供的另一种单幅图像去雨方法的流程示意图；

图4为本发明实施例提供的另一种单幅图像去雨方法的流程示意图；

图5为本发明实施例提供的一种单幅图像去雨装置的结构示意图；

图6为本发明实施例提供的一种通用终端的结构示意图；

图7为本发明提供的一种单幅图像去雨方法的流程示意图；

图8为本发明提供的一种有雨图像分解图；

图9(a)为高频灰度图像的梯度幅值的示意图；

图9(b)为雨痕的梯度方向的示意图；

图9(c)为雨痕的梯度方向统计的示意图；

图10(a)为一种高频灰度图像的示意图；

图10(b)为一种纯雨区域的示意图；

图10(c)为学习的有雨字典dr的示意图；

图10(d)为重构的高频有雨图像的示意图；

图10(e)为雨痕掩模m的示意图；

图11(a)为rgb彩色空间的示意图；

图11(b)为雨痕掩模m的示意图；

图11(c)为优化后的雨痕掩模m～的示意图；

图11(d)为图11(b)中方框内容的示意图；

图11(e)为图11(c)中方框内容的示意图；

图12为测试原图及其细节的示意图；

图12(a)为测试原图1；

图12(b)为测试原图1方框中内容的示意图；

图12(c)为测试原图2；

图12(d)为测试原图2方框中内容的示意图；

图12(e)为测试原图3；

图12(f)为测试原图3方框中内容的示意图；

图13为采用不同方法对测试原图1的合成雨图的去雨结果的示意图；

图13(a)为测试原图1的合成雨图的示意图；

图13(b)为chen等方法的去雨结果的示意图；

图13(c)为ding等方法的去雨结果的示意图；

图13(d)为kim等方法的去雨结果的示意图；

图13(e)为luo等方法的去雨结果的示意图；

图13(f)为本发明实施例的去雨结果的示意图；

图14为图12的细节的示意图；

图14(a)为图13(a)方框中内容的示意图；

图14(b)为图13(b)方框中内容的示意图；

图14(c)为图13(c)方框中内容的示意图；

图14(d)为图13(d)方框中内容的示意图；

图14(e)为图13(e)方框中内容的示意图；

图14(f)为图13(f)方框中内容的示意图；

图15为采用不同方法对测试原图2的合成雨图的去雨结果的示意图；

图15(a)为测试原图2的合成雨图的示意图；

图15b)为chen等方法的去雨结果的示意图；

图15(c)为ding等方法的去雨结果的示意图；

图15(d)为kim等方法的去雨结果的示意图；

图15(e)为luo等方法的去雨结果的示意图；

图15(f)为本发明实施例的去雨结果的示意图；

图16为图15的细节的示意图；

图16(a)为图15(a)方框中内容的示意图；

图16(b)为图15(b)方框中内容的示意图；

图16(c)为图15(c)方框中内容的示意图；

图16(d)为图15(d)方框中内容的示意图；

图16(e)为图15(e)方框中内容的示意图；

图16(f)为图15(f)方框中内容的示意图；

图17为采用不同方法对测试原图3的合成雨图的去雨结果的示意图；

图17(a)为测试原图3的合成雨图的示意图；

图17(b)为chen等方法的去雨结果的示意图；

图17(c)为ding等方法的去雨结果的示意图；

图17(d)为kim等方法的去雨结果的示意图；

图17(e)为luo等方法的去雨结果的示意图；

图17(f)为本发明实施例的去雨结果的示意图；

图18为图17的细节的示意图；

图18(a)为图17(a)方框中内容的示意图；

图18(b)为图17(b)方框中内容的示意图；

图18(c)为图17(c)方框中内容的示意图；

图18(d)为图17(d)方框中内容的示意图；

图18(e)为图17(e)方框中内容的示意图；

图18(f)为图17(f)方框中内容的示意图；

图19为采用不同方法对真实雨图测试图像4的去雨结果的示意图；

图19(a)为真实雨图测试图像4的示意图；

图19(b)为chen等方法的去雨结果的示意图；

图19(c)为ding等方法的去雨结果的示意图；

图19(d)为kim等方法的去雨结果的示意图；

图19(e)为luo等方法的去雨结果的示意图；

图19(f)为本发明实施例的去雨结果的示意图；

图20为图19的细节的示意图；

图20(a)为图19(a)方框中内容的示意图；

图20(b)为图19(b)方框中内容的示意图；

图20(c)为图19(c)方框中内容的示意图；

图20(d)为图19(d)方框中内容的示意图；

图20(e)为图19(e)方框中内容的示意图；

图20(f)为图19(f)方框中内容的示意图；

图21为采用不同方法对真实雨图测试图像5的去雨结果的示意图；

图21(a)为真实雨图测试图像5的示意图；

图21(b)为chen等方法的去雨结果的示意图；

图21(c)为ding等方法的去雨结果的示意图；

图21(d)为kim等方法的去雨结果的示意图；

图21(e)为luo等方法的去雨结果的示意图；

图21(f)为本发明实施例的去雨结果的示意图；

图22为图21的细节的示意图；

图22(a)为图21(a)方框中内容的示意图；

图22(b)为图21(b)方框中内容的示意图；

图22(c)为图21(c)方框中内容的示意图；

图22(d)为图21(d)方框中内容的示意图；

图22(e)为图21(e)方框中内容的示意图；

图22(f)为图21(f)方框中内容的示意图；

图23为采用不同方法对真实雨图测试图像6的去雨结果的示意图；

图23(a)为真实雨图测试图像6的示意图；

图23(b)为chen等方法的去雨结果的示意图；

图23(c)为ding等方法的去雨结果的示意图；

图23(d)为kim等方法的去雨结果的示意图；

图23(e)为luo等方法的去雨结果的示意图；

图23(f)为本发明实施例的去雨结果的示意图；

图24为图23的细节的示意图；

图24(a)为图23(a)方框中内容的示意图；

图24(b)为图23(b)方框中内容的示意图；

图24(c)为图23(c)方框中内容的示意图；

图24(d)为图23(d)方框中内容的示意图；

图24(e)为图23(e)方框中内容的示意图；

图24(f)为图23(f)方框中内容的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细的说明。

图1为本发明实施例提供的一种单幅图像去雨方法的流程示意图，该方法可以被终端设备执行，该终端设备可以为：pc、智能手机、平板电脑等，参照图1，该方法包括：

步骤100、识别待处理图像中的纯雨区域；

步骤101、将所述纯雨区域作为输入进行字典学习及其稀疏表示，获得有雨字典；

步骤102、根据所述有雨字典对所述待处理图像进行稀疏重构，获得雨痕掩模；

步骤103、根据所述雨痕掩模对所述待处理图像进行去雨处理，获得目标图像。

本发明实施例提供的单幅图像去雨方法，通过首先将待处理图像中的纯雨区域识别出来，进一步将所述纯雨区域作为输入进行字典学习及其稀疏表示，获得有雨字典。进而基于有雨字典对所述待处理图像进行稀疏重构，获得雨痕掩模。最后通过雨痕掩模对所述待处理图像进行去雨处理，获得目标图像，即无雨痕的图像。由于该方法仅仅对有雨像素进行处理，无雨像素部分得到保持。因此，本文方法去雨后的图像雨痕残留较少，保持了目标图像中更为丰富的边缘和纹理，大大的提高去雨精确性。

可选的，步骤100中的待处理图像为高频灰度图像。

可选的，有雨字典中包含雨痕的结构信息。而雨痕掩模则可以为重构后得到的高频有雨图像，进而通过二值化后成为雨痕掩模。

进一步地，对于步骤100，一种可能的实现方式为：

步骤100a、根据雨痕边缘像素的梯度特征，提取所述高频灰度图像中的所述纯雨区域。

在图1的基础上，图2为本发明实施例提供的另一种单幅图像去雨方法的流程示意图，参照图2，在步骤100之前，还包括：

步骤104、根据传播滤波与引导滤波实现所述待处理图像分解，获得低频图像ilf与高频图像ihf；

步骤105、对所述高频图像ihf进行灰度化处理，获得所述高频灰度图像g。

进一步地，步骤102的一种可能的实现方式：

步骤102-1、利用所述有雨字典对所述高频图像ihf进行稀疏重构，获得高频有雨图像，并设定阈值获得所述雨痕掩膜m；

步骤102-2、对所述雨痕掩膜m进行优化，获得优化后的雨痕掩膜

在图1的基础上，图3为本发明实施例提供的另一种单幅图像去雨方法的流程示意图，参照图3，步骤103的一种可能的实现方式：

步骤103-1、根据所述优化的雨痕掩模与所述待处理图像中的雨痕的亮度特性，定义改进的双边滤波；

步骤103-2、根据所述改进的双边滤波实现高频图像去雨，得到高频无雨图像；

步骤103-3、将所述高频无雨图像与所述低频图像ilf融合，获得所述目标图像。

在图2的基础上，图4为本发明实施例提供的另一种单幅图像去雨方法的流程示意图，参照图4，步骤104的一种可能的实现方式：

步骤104-1、对所述待处理图像进行传播滤波，将滤波后的图像作为引导图；

步骤104-2、根据所述引导图对所述待处理图像进行引导滤波，获得所述低频图像ilf；

步骤104-3、对所述待处理图像减去所述低频图像ilf获得所述高频图像ihf。

进一步地，本发明实施例还提供一种获取纯雨区域的实现方式：

获取所述高频灰度图像g的梯度幅值与梯度方向；

采用滑动方式获取图像区域，统计每个所述图像区域的梯度幅值大于t1的像素点，根据所述像素点的梯度方向，提取所述纯雨区域。

可选的，步骤101的一种可能的实现方式：

步骤101-1、获取所述纯雨区域的p1个图块作为训练样本，进行字典学习，获得所述有雨字典dr；

步骤102的另一种可能的实现方式：

步骤102-3、对所述高频图像ihf进行稀疏表示，获得高频图像的稀疏表示系数

步骤102-4、根据所述有雨字典dr与所述稀疏表示系数进行稀疏重构，获得所述高频有雨图像，并设定阈值t2获得雨痕掩膜m。

进一步地，步骤102-2的一种可能的实现方式：

在高频彩色图像中，计算雨痕掩模系数值为1的像素点到对角线的距离，当距离大于设定阈值t3时，对应的雨痕掩模系数值修正为0，得到所述优化后的雨痕掩模

为了能够实现上述实施例提供的单幅图像去雨方法，本发明提供一种单幅图像去雨装置用以执行上述各个实施例的步骤，以获得相应地技术效果。具体的，图5为本发明实施例提供的一种单幅图像去雨装置的结构示意图，参照图5，该装置包括：识别模块200、学习模块201、重构模块202和去雨处理模块203；

识别模块200，用于识别待处理图像中的纯雨区域；

学习模块201，用于将所述纯雨区域作为输入进行字典学习及其稀疏表示，获得有雨字典；

重构模块202，用于根据所述有雨字典对所述待处理图像进行稀疏重构，获得雨痕掩模；

去雨处理模块203，用于根据所述雨痕掩模对所述待处理图像进行去雨处理，获得目标图像。

本发明实施例提供的单幅图像去雨装置，通过首先识别模块将待处理图像中的纯雨区域识别出来，进一步学习模块将所述纯雨区域作为输入进行字典学习及其稀疏表示，获得有雨字典。进而重构模块基于有雨字典对所述待处理图像进行稀疏重构，获得雨痕掩模。最后去雨处理模块通过雨痕掩模对所述待处理图像进行去雨处理，获得目标图像，即无雨痕的图像。由于该装置仅仅对有雨像素进行处理，无雨像素部分得到保持。因此，本文方法去雨后的图像雨痕残留较少，保持了目标图像中更为丰富的边缘和纹理，大大的提高去雨精确性。

可选的，所述待处理图像为高频灰度图像。

可选的，所述识别模块，具体用于：

根据雨痕边缘像素的梯度特征，提取所述高频灰度图像中的所述纯雨区域。

可选的，所述识别模块，还用于，在所述根据雨痕边缘像素的梯度特征，提取所述高频灰度图像中的所述纯雨区域之前，根据传播滤波与引导滤波实现所述待处理图像分解，获得低频图像ilf与高频图像ihf；对所述高频图像ihf进行灰度化处理，获得所述高频灰度图像g。

可选的，所述重构模块，具体用于：

利用所述有雨字典对所述高频图像ihf进行稀疏重构，获得高频有雨图像，并设定阈值获得所述雨痕掩膜m；对所述雨痕掩膜m进行优化，获得优化后的雨痕掩膜

可选的，所述去雨处理模块，具体用于：

根据所述优化的雨痕掩模与所述待处理图像中的雨痕的亮度特性，定义改进的双边滤波；根据所述改进的双边滤波实现高频图像去雨，得到高频无雨图像；将所述高频无雨图像与所述低频图像ilf融合，获得所述目标图像。

可选的，所述去雨处理模块，还用于：

对所述待处理图像进行传播滤波，将滤波后的图像作为引导图；根据所述引导图对所述待处理图像进行引导滤波，获得所述低频图像ilf；对所述待处理图像减去所述低频图像ilf获得所述高频图像ihf。

可选的，所述识别模块，还用于：

获取所述高频灰度图像g的梯度幅值与梯度方向；采用滑动方式获取图像区域，统计每个所述图像区域的梯度幅值大于t1的像素点，根据所述像素点的梯度方向，提取所述纯雨区域。

可选的，所述学习模块，具体用于：

获取所述纯雨区域的p1个图块作为训练样本，进行字典学习，获得所述有雨字典dr；对所述高频图像ihf进行稀疏表示，获得高频图像的稀疏表示系数根据所述有雨字典dr与所述稀疏表示系数进行稀疏重构，获得所述高频有雨图像，并设定阈值t2获得雨痕掩膜m。

可选的，所述学习模块，具体用于：

在高频彩色图像中，计算雨痕掩模系数值为1的像素点到对角线的距离，当距离大于设定阈值t3时，对应的雨痕掩模系数值修正为0，得到所述优化后的雨痕掩模

可选的，图6为本发明实施例提供的一种通用终端的结构示意图，该通用终端可以包括：处理器300、摄像头301和屏幕302；

其中，处理器300可以实现上述识别模块200、学习模块201、重构模块202和去雨处理模块203对应的功能；

摄像头301，用于获取待处理图像；

屏幕302，用于显示目标图像。

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。图7为本发明提供的一种单幅图像去雨方法的流程示意图，以对图12、图19、图21、图23进行去雨为例，采用本发明提供的图像去雨方法，步骤如下：

1.建立有雨图像分解模型：

i＝b+r(1)

式中，i为有雨图像，b为背景图像，r为雨痕层图像，由式(1)可知，有雨图像可以看成是背景图像与雨痕层的线性叠加。图像去雨的本质是从有雨图像中分离出雨痕层图像，提高背景图像的视觉能见度。

2.图8为本发明提供的一种有雨图像分解图，参照图8采用的有雨图像分解流程，实现有雨图像分解：

首先对有雨图像i进行传播滤波，其定义如下：

式中，i(y),i(x)是图像像素y,x的亮度值，ω(x)表示以x为中心的领域，g(x；σ)为高斯函数。σa,σr是高斯函数相应的方差。且

其中，φ是像素x与y相连的区域邻接路径上所有像素的集合。

接着，将输出图像i^p作为引导图像，对有雨图像进行引导滤波，公式为：

ilf＝a.*i^p+b(4)

式中，a,b为i^p对应的系数矩阵。ilf为滤波后得到的低频图像，

为了获得高频图像，将有雨图像i减去ilf得到高频图像ihf，公式为：

ihf＝i-ilf(5)

3.提取纯雨区域：

计算高频灰度图像g的梯度幅值与梯度方向，公式为：

式中，g(s,t)为图像g中像素(s,t)的灰度值，gx(s,t)为水平方向的梯度，gy(s,t)为垂直方向的梯度，mag(s,t)为像素(s,t)的梯度幅值，θ(s,t)为像素(s,t)的梯度方向。图9(a)为高频灰度图像的梯度幅值，由图可知，除纹理边缘和雨痕边缘的梯度幅值较大，其余平滑区域的梯度幅值皆趋近于0。

如图9(b)所示，雨痕具有一定的宽度，对于雨痕两边的边缘像素点而言，其梯度方向虽处于同一直线上，但方向正好相反。因此相差π的梯度方向可以归于同一类，梯度方向重新定义如下：

如图9(c)所示，将2π分为36个扇区，每个扇区为10°，由式(7)可知，相差π的梯度方向归于同一类，例如扇区[0,10°]与[-170°,-180°]属于同一类扇区。雨痕分布在整个图像场景中，因此，若某区域内，满足一定梯度幅值要求的像素点(即纹理边缘或雨痕边缘)相应的梯度方向都属于同一扇区，则可认为该区域内只含有雨痕，无其他明显纹理，判断该区域为纯雨区域。其提取步骤为：

1)在高频灰度图像中，采用滑动的方式，选取r*r图像区域(r＝80)；

2)设定阈值t1，统计每个窗口内梯度幅值大于t1的像素点，并利用这些像素点的梯度方向，统计每个扇区中像素点的个数，得到归一化扇区直方图，其定义如下：

式中，表示第j个窗口内第i个扇区的像素点个数，则表示第j个窗口内所有扇区的像素点之和；

3)选择具有最大的(即η→1)的窗口j为纯雨区域，如图10(b)所示，公式如下：

式中，h,w为图像的高度与宽度。

4.高频灰度图像的稀疏重构：

在提取的纯雨区域中，本案例随机取8*8图块p1个作为训练样本，学习有雨字典，其模型可表示如下：

式中，为纯雨区域的第k1个图像块，k1＝1,2,3,...,p1。为相应的稀疏表示系数。dr∈r^m*n为有雨字典。λ为正则项参数，平衡了稀疏表示与稀疏度的性能。采用在线字典学习方法求解式(10)，获得有雨字典dr，如图10(c)所示。

在高频灰度图像中，同样随机选取8*8图块p2个，作为测试样本

k2＝1,2,3,...,p2，通过omp算法获得高频图像的稀疏表示系数公式为：

结合有雨字典dr与高频图像的稀疏表示系数实现高频图像块的重构，得到高频有雨图像，公式为：

式中，为重构的高频有雨图块。

5.获取雨痕掩膜：

对重构的高频图像块取均值，得到检测的雨痕掩膜，如图10(d)所示。

设置阈值t2，将雨痕掩膜中亮度值大于t2的像素点设置为1，其余像素点则设置为0，获得有雨图像的二值化雨痕掩模m，如图10(e)所示，公式为：

6.优化雨痕掩膜：

在高频彩色图像中，计算雨痕掩模系数值为1的像素点到对角线的距离，公式为：

式中，r,g,b为像素点的三个原色通道值，当d大于阈值t3时，将其对应的掩模系

数值修正为0，从而得到优化后的雨痕掩模(如图11(c))。

7.高频彩色图像去雨：

本案例定义了改进的双边滤波，公式为：

式中，ω(x)表示以x为中心的邻域，i(y),i(x)为高频图像像素y,x的亮度值。是为了排除邻域内有雨像素点的干扰。同时，当邻域内像素值大于中心像素时，说明这两类像素来自于不同目标，在去雨时排除大于中心像素的邻域内像素的影响，引入的二值函数bxy，公式为：

对高频图像rgb通道分别进行如式(16)的操作，则可得到高频无雨图像。

8.获取无雨图像：

将高频无雨图像与低频图像相加，得到最终的无雨图像。

为了验证本发明提供的方法有效性，将本发明提供的方法与其他方法应用在大量合成雨图和自然雨图上的实验结果进行了比较。图12～图24分别给出了部分合成雨图与真实雨图的实验结果。

在合成雨图的实验结果中，图12(a)、图12(c)、图12(e)为原始无雨图，图13(a)、图15(a)、图17(a)是图12(a)、图12(c)以及图12(e)对应的合成雨图，其中包含大量的雨痕，图13～图18中(b)是chen等方法的去雨结果，图中虽然没有明显的雨痕，但图像背景纹理有点模糊。图13～图18中(c)为ding等的去雨图像,其中依旧留有雨痕的痕迹。图13～图18中(d)为kim等的去雨图，其中依旧残留大量的雨痕。图13～图18中(e)是luo等方法的去雨结果，图中残有一定的雨痕。图13～图18中(f)是本发明提供的方法的去雨结果，由于雨痕检测的准确度高，以及仅对有雨像素点进行相应的去雨操作，避免了无雨像素点因为去雨产生的模糊或者失真，且在去雨操作时充分考虑了雨痕与背景图像之间的差异与联系，最大限度的保留了背景图像的细节纹理。从各局部放大图对比也可以看出，本发明提供的方法更加自然清晰，保留了图像更多的细节信息，与真实图像更为接近。实验进一步采用视觉信息保真度(vif)[16]和结构相似性(ssim)[17]对合成雨图实验结果进行客观评价，其结果如表1所示:

视觉信息保真度(vif)主要通过从信息共享和通信的角度来解决图像的质量问题。其公式如下：

其中，表示大脑能够分别从参考图像和处理图像里特定的子带中提取的信息。vif值越大，则表示图像质量越好。

结果相似性(ssim)通过参考图像与处理后图像之间的亮度，对比度，结构三个方面来衡量两张图像之间的相似度，其公式如下：

其中，c1,c2,c3是很小的常数，ux,uy是参考图像与处理后图像的平均值，σx,σy则表示参考图像与处理后图像的标准差，若ssim值越大，则表明两张图像之间的相似性越大。

表1：去雨评价指标

从表1中可知，本发明提供的方法相对优于其他方法，视觉保真度更高，与真实图像更为相似，去雨效果明显。

图19～图24显示了真实雨图及其细节图的去雨效果对比，图19～图24中(b)为chen等的去雨结果，图19～图24中(c)为ding等的去雨结果，图19～图24中(d)为kim等的去雨结果，图19～图24中(e)为luo等方法的去雨结果，图19～图24中(f)为本发明的去雨结果，从图中方框中的细节图对比可看出，本发明提供的方法更加清晰自然，更好的保留了图像的细节。例如测试图像4中土墙纹理，测试图像5中树叶背景以及测试图像6中道路都较其他方法更为清晰，细节保真度更高。

本发明提出一种新的框架实现了单幅图像的雨痕检测和去雨。首先，基于雨痕两边的边缘像素的梯度方向相同或者相反这一先验知识，提取了纯雨区域。然后，利用纯雨区域图像进行字典学习获得有雨字典，基于学习的有雨字典对高频图像进行稀疏重构，建立了二值化的雨痕掩膜。最重点一点是，结合二值化的雨痕掩膜与雨痕的亮度特征改进了双边滤波，仅仅对有雨像素进行处理，无雨像素部分得到保持。因此，本文方法去雨后的图像雨痕残留较少，保持了目标图像中更为丰富的边缘和纹理，大大的提高去雨精确性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。