基于密集多尺度生成对抗网络的单幅图像去雨滴方法与流程

本发明涉及数字图像处理技术领域，尤其涉及一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法。

背景技术：

在基于无人机的视频监控和自动驾驶汽车等许多应用中，附着在玻璃窗、挡风玻璃或镜头上的雨滴会妨碍背景场景的可见性，降低图像质量。主要是因为雨滴区域包含的图像与没有雨滴区域的图像不同，而且，在大多数情况下，照相机的焦点位于背景场景下，使雨滴的外观模糊不清，目前已经提出了一些方法来解决雨滴检测和去除问题，致力于探测雨滴，但不去除掉它们，其他方法被引入使用立体声、视频或专门设计的光学快门来检测和去除雨滴，但是不适用于普通相机拍摄的单个输入图像。在深度学习的方法中，有用一张图像去除雨滴或灰尘的方法，但是只能处理小雨滴，产生的效果并不好，不能处理相对较大和较密集的雨滴。

技术实现要素：

本发明的目的在于提供一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，去除单幅图像中相对较大和较密集的雨滴。

为实现上述目的，本发明提供了一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，包括：

通过密集网络构建多尺度图像修复模型；

利用所述多尺度图像修复模型构建判别网络模型；

结合所述判别网络模型和生成网络模型组成多尺度生成对抗网络模型；

利用误差反向交替训练所述多尺度生成对抗网络模型；

利用训练好的所述生成网络模型生成去雨滴模型，去除雨滴。

其中，所述通过密集网络构建多尺度图像修复模型，包括：

利用特征重用的密集网络构建多个端到端的单尺度图像修复模型，将多个所述单尺度修复模型组合，形成多尺度图像修复模型。

其中，所述得到多个单尺度图像修复模型之后，所述方法还包括：

获取原始有雨图像和原始无雨图像，利用所述多尺度图像修复模型分别对原始有雨图像和原始无雨图像进行下采样和上采样处理，直至最后一个所述单尺度图像修复模型。

其中，利用所述多尺度图像修复模型构建判别网络模型，包括：

利用所述多尺度图像修复模型修复残差雨滴层时，残差雨滴层通过卷积操作形成带注意力机制的判别网络模型对修复的图像进行判别。

其中，结合所述判别网络模型和生成网络模型组成多尺度生成对抗网络模型，包括：

将多个所述多尺度图像修复模型进行串联，得到生成网络模型，利用所述生成网络模型输出的残差雨滴层加入所述判别网络模型组成多尺度生成对抗网络模型。

其中，所述形成多尺度生成对抗网络模型之后，所述方法还包括：

获取原始有雨图像、原始无雨图像和残差雨滴层，向所述多尺度生成对抗网络模型输入原始有雨图像得到去雨滴图片和去雨滴残差雨滴图片，将原始无雨图像和残差雨滴层作为第一组图片，将去雨滴图片和去雨滴残差雨滴图片作为第二组图片，将第一组图片和第二组图片分别输入判别网络模型，并输出对应的理想判别值，所述生成网络模型和所述判别网络模型相互对抗，直到去雨滴图片无限接近原始无雨图像。

其中，所述利用误差反向交替训练所述多尺度生成对抗网络模型，包括：

将所述原始有雨图像输入所述生成网络模型得到去雨滴图片和去雨滴残差雨滴图片，并将所述原始无雨图像和所述残差雨滴层输入所述判别网络模型进行判别，并计算所述判别网络模型与所述生成网络模型的误差。

其中，所述利用误差反向交替训练所述多尺度生成对抗网络模型，还包括：

根据计算得到的所述误差，反向传播交替训练所述判别网络模型和所述生成网络模型，并不断更新所述判别网络模型和所述生成网络模型的参数，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围，完成训练。

本发明还提供一种基于密集多尺度生成对抗网络的单幅图像去雨滴系统，所述基于密集多尺度生成对抗网络的单幅图像去雨滴系统包括多尺度图像修复模块、判别网络模块、生成网络模块和去雨滴模块，所述多尺度图像修复模块、所述判别网络模块、所述生成网络模块和所述去雨滴模块依次电性连接，

所述多尺度图像修复模块，用于将原始有雨图像和原始无雨图像利用多尺度图像修复模型进行多次上采样和下采样处理；

所述判别网络模块，用于对利用判别网络模型所述多尺度图像修复模块修复的图像进行判别；

所述生成网络模块，用于利用生成网络模型与判别网络模型之间的误差，生成对抗网络模型，进行反向交替训练；

所述去雨滴模块，用于根据训练完成的所述生成网络模型，去除单幅图像的雨滴。

本发明的一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，将用特征重用的密集网络构建多个端到端的单尺度图像修复模型进行组合，形成多尺度图像修复模型，利用所述多尺度图像修复模型构建带注意力机制的判别网络模型，结合所述判别网络模型和所述多尺度修复模型组成多尺度生成对抗网络模型，获取原始有雨图像、原始无雨图像和残差雨滴层，将所述原始有雨图像输入所述多尺度生成对抗网络模型得到去雨滴图片和去雨滴残差雨滴图片，并将所述原始无雨图像和所述残差雨滴层输入所述判别网络模型进行判别，利用所述判别网络模型与所述生成网络模型的误差，反向传播交替训练所述判别网络模型和所述生成网络模型，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后停止训练，利用训练好的所述生成网络模型生成去雨滴模型，去除单幅图像中相对较大和较密集的雨滴。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于密集多尺度生成对抗网络的单幅图像去雨滴方法的步骤示意图。

图2是本发明提供的多尺度图像修复模型的结构示意图。

图3是本发明提供的判别网络模型的结构示意图。

图4是是本发明提供的多尺度生成对抗网络模型的结构示意图。

图5是本发明提供的基于密集多尺度生成对抗网络的单幅图像去雨滴系统的结构示意图。

1-尺度图像修复模块、2-判别网络模块、3-生成网络模块、4-去雨滴模块。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至图4，本发明提供一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，包括：

s101、通过密集网络构建多尺度图像修复模型。

具体的，参见图2，构建一个利用特征重用的密集网络作为第一个端到端单尺度图像修复网络模型我们称之为d1(x)，再构建一个利用特征重用的密集网络作为第二个端到端单尺度图像修复网络模型我们称之为d2(x)，同理可构建根据需要构建多个端到端单尺度图像修复网络模型，将多个所述单尺度修复模型组合，形成多尺度图像修复模型，一般将三个所述所述单尺度修复模型d1(x)、d2(x)、d3(x)组合，形成多尺度图像修复模型，获取原始有雨图像和原始无雨图像，利用所述多尺度图像修复模型分别对原始有雨图像和原始无雨图像进行下采样和上采样处理，直至最后一个所述单尺度图像修复模型，得到多尺度网络模型。

举例来说，设原始有雨图像为r，原始无雨图像为b，生成去雨滴图片为r的像素为(row,col),令r1＝r，令r经过一次下采样(下采样通过一个卷积操作其步长为2)得的输出为r2，令r1经过一次下采样(下采样通过一个卷积操作其步长为2)得的输出为r3，那么d1(x)模型输入为r1,d2(x)模型输入为r2，d3(x)模型输入为r3。

假设d1(x)模型输出为b1,d2(x)模型输出为b2，d3(x)模型输出为b3，那么b3通过上采样(上采样通过一个反卷积操作其步长为2)之后与b2作通道连接在一起，再同通过一次卷积作通道融合得到新的b2，b2通过上采样(上采样通过一个反卷积操作其步长为2)之后与b1作通道连接在一起，再同通过一次卷积作通道融合得到新的b1，这就是多尺度网络模型。

s102、利用所述多尺度图像修复模型构建判别网络模型。

具体的，参见图3，利用所述多尺度图像修复模型去修复带雨滴图像的同时也修复残差雨滴层(需要两个多尺度图像修复模型)，残差雨滴层通过一次卷积操作形成一组雨滴注意力机制去引导判别网络对修复的图像进行精确判别。

s103、结合所述判别网络模型和所述多尺度修复模型组成多尺度生成对抗网络模型。

具体的，参见图4，将两个所述多尺度图像修复模型进行串联，得到生成网络，利用所述生成网络输出的残差雨滴层加入所述判别网络模型组成多尺度生成对抗网络模型，获取原始有雨图像r、原始无雨图像b和残差雨滴层m，其中，残差雨滴层m＝r-b，向生成网络输入r得到生成去雨滴图片和用所述b和m作为第一组图片，用所述和作为第二组图片，将所述第一组图片输入到所述判别网络模型，所述判别网络模型输出的理想判别值为true，表示所述基于注意力机制条件判别网络去判决b是真清晰图，将所述第二组图片输入到所述判别网络，所述判别网络输出的理想判别值为false，表示所述基于注意力机制条件判别网络去判决是生成逼近b的网络预测图，生成网络与判别网络相互对抗，直到无限逼近b，所述判别网络模型无法判别真假。

s104、利用误差反向交替训练所述多尺度生成对抗网络模型。

将所述原始有雨图像r输入所述多尺度生成对抗网络模型得到去雨滴图片和去雨滴残差雨滴图片并将所述原始无雨图像r和所述残差雨滴层输入所述判别网络模型进行判别，并计算所述判别网络模型与所述生成网络模型的误差，根据计算得到的所述误差，反向传播交替训练所述判别网络模型和所述生成网络模型，并不断更新所述判别网络模型和所述生成网络模型的参数，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后，完成训练。

其中，计算所述判别网络模型与所述生成网络模型的误差的方法为：设定所述生成网络模型为g(x)，所述判别网络模型d(x)，所述生成网络模型函数为：

其中，和分别是g(x)预测的生成去雨滴图片和生成残差雨滴层。

所述基于密集多尺度生成网络模型的目标函数为：

其中，其中vgg是一个预先训练好的cnn网络，并从给定的输入图像生成特征，lp也叫感知特征误差，这里判别网络的误差，这里lm是多尺度误差计算公式：

所述基于注意力机制判别网络的目标函数为:

其中，mse是l2范数距离公式，由式(2)和(5)可计算出所述判别网络模型与所述多尺度生成对抗网络模型的误差。

s105、利用训练好的所述生成网络模型生成去雨滴模型，去除雨滴。

具体的，利用训练好的所述生成网络模型生成最终的去雨滴模型，去除单幅图像中相对较大和较密集的雨滴。

参见图5，本发明还提供一种基于密集多尺度生成对抗网络的单幅图像去雨滴系统，所述基于密集多尺度生成对抗网络的单幅图像去雨滴系统包括多尺度图像修复模块1、判别网络模块2、生成网络模块3和去雨滴模块4，所述多尺度图像修复模块1、所述判别网络模块2、所述生成网络模块3和所述去雨滴模块4依次电性连接，

所述多尺度图像修复模块1，用于将原始有雨图像和原始无雨图像利用多尺度图像修复模型进行多次上采样和下采样处理；

所述判别网络模块2，用于对利用判别网络模型所述多尺度图像修复模块1修复的图像进行判别；

所述生成网络模块3，用于利用生成网络模型与判别网络模型之间的误差，生成对抗网络模型，进行反向交替训练；

所述去雨滴模块4，用于根据训练完成的所述生成网络模型，去除单幅图像的雨滴。

在本实施方式中，所述基于密集多尺度生成对抗网络的单幅图像去雨滴系统包括多尺度图像修复模块1、判别网络模块2、生成网络模块3和去雨滴模块4，所述多尺度图像修复模块1、所述判别网络模块2、所述生成网络模块3和所述去雨滴模块4依次电性连接，利用所述多尺度图像修复模块1，将原始有雨图像和原始无雨图像利用多尺度图像修复模型进行多次上采样和下采样处理，通过所述判别网络模块2对利用判别网络模型所述多尺度图像修复模块1修复的图像进行判别，在所述生成网络模块3中，利用生成网络模型与判别网络模型之间的误差，生成对抗网络模型，进行反向交替训练，不断更新所述判别网络模型和所述生成网络模型的参数，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后，完成训练，所述去雨滴模块4根据训练完成的所述生成网络模型，生成去雨模型，来去除单幅图像上的较大和较密集的雨滴。

举例来说，使用attentivegenerativeadversarialnetworkforraindropremovalfromasingleimage文献提供的数据集；实验设备是cpui38100,16gbram和nvidiageforcegtx2070；对于去雨滴图像的质量评估采用广泛的指标：峰值信噪比(psnr)和图像相似度(ssim)。

所述基于密集网络的多尺度生成网络的单幅图像去雨滴方法与当前先进的方法进行比较，这些方法包括restoringanimagetakenthroughawindowcoveredwithdirtorrain(eigen13)，imagetoimagetranslationwithconditionaladversarialnetworks(pix2pix)和attentivegenerativeadversarialnetworkforraindropremovalfromasingleimage(agdnet),实验结果如表一所示。所述基于密集网络的多尺度生成网络的单幅图像去雨滴方法表现的去雨滴性能超过现有的方法。

表1实验评估结果

综上所述，本发明提出的基于密集多尺度生成对抗网络的单幅图像去雨滴方法，通过构建多尺度修复模块和带注意力机制的生成模块，使特征提取更丰富，去雨滴性能优于传统方法，解决了可见度下降较大和较密集的雨滴的问题。

本发明的一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，将用特征重用的密集网络构建多个端到端的单尺度图像修复模型进行组合，形成多尺度图像修复模型，利用所述多尺度图像修复模型构建带注意力机制的判别网络模型，结合所述判别网络模型和所述多尺度修复模型组成多尺度生成对抗网络模型，获取原始有雨图像、原始无雨图像和残差雨滴层，将所述原始有雨图像输入所述多尺度生成对抗网络模型得到去雨滴图片和去雨滴残差雨滴图片，并将所述原始无雨图像和所述残差雨滴层输入所述判别网络模型进行判别，利用所述判别网络模型与所述生成网络模型的误差，反向传播交替训练所述判别网络模型和所述生成网络模型，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后停止训练，利用训练好的所述生成网络模型生成去雨滴模型，去除单幅图像中相对较大和较密集的雨滴。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。