一种基于生成对抗网络的图像优化处理去雨滴方法和系统与流程

本发明涉及图像去雨滴技术领域，具体为一种基于生成对抗网络的图像优化处理去雨滴方法和系统。

背景技术：

雨天条件下,所拍摄的图像和视频容易受到雨滴的散射和模糊作用,使得图像成像模糊,能见度下降,极大的限制了室外视觉处理算法的性能。导致照相机获取的图像劣化，使得图像对比度低、可见性差，质量严重下降。

目前，图像去雨算法主要可以分为三类：第一类是基于图像增强，但是基于图像增强会丢失图像的某些信息特征。第二类是基于物理模型的图像复原，图像复原算法的目的为获得具有良好可见性，同时保持良好的颜色恢复性能的自然清晰的图像；基于模糊条件下图像的劣化原因来建立大气散射的物理模型，首先需要估计物理参数模型，如大气光照强度和透射率(深度)，然后逆解该物理模型来获得无雨图像，但是基于物理模型的图像复原处理范围有限；第三类为基于深度学习的图像去雨算法，例如卷积神经网络应用于图像去雨。现有的图像去雨方法均能够实现对图像的去雨处理，但是效率低，而且去雨后影响图像的分辨率，因此，有必要进行改进。

技术实现要素：

本发明的目的在于提供一种基于生成对抗网络的图像优化处理去雨滴方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于生成对抗网络的图像优化处理去雨滴方法，包括以下步骤：

a、采集原始清晰图像，得到测试样本集；

b、将原始清晰图像通过图像处理软件进行加雨滴处理，得到训练样本集；

c、将训练样本集中的带雨滴图像进行降噪处理；

d、将降噪处理后的图像进行分割，得到分割后的多个图像；

e、构建生成式网络，将分割后的图像以及训练样本集中原始清晰图像输入生成式网络中进行训练获得最优输出模型，最后将分割后的图像输入到最优输出模型中得到清晰图像；

f、将清晰的多个图像根据原始清晰图像进行拼接；

g、最后对拼接的图像进行优化处理。

优选的，所述步骤e中获得最优输出模型的具体实施方式如下：

ea、通过残差网络构建生成器网络模块和判别器网络模型；

eb、将降噪处理并分割后的图像输入生成器网络模型中，输出图像；

ec、将训练样本集中原始清晰图像输入判别器网络模型中，得到训练神经网络模型；

ed、最后将步骤eb输出的图像输入训练神经网络模型中，得到最优输出模型。

优选的，所述步骤g中图像优化处理的具体实施方式如下：

ga、将输出的图像的像素根据亮度值分成若干个图层，每个图层的亮度不同；

gb、对于亮度最低的图层以及亮度最大的图层，先单独进行直方图均衡化处理，再去除背景噪声，最后进行噪点去除；

gc、将处于最低亮度和最高亮度中间的图层先去除噪点，再去除背景噪声，最后进行直方图均衡化处理；

gd、最后将处理过后的所有图层合并为一幅图像增强后的图像。

优选的，所述步骤gb和gc中噪点去除采用图像插值函数运算进行处理，函数公式为：c’＝a*t+d*(1-t)，其中，c’表示输出去噪后图像像素；a表示当前图像待处理像素；t表示逻辑平衡变量，t取值为0或1，当该图像像素具有雨滴特征时t＝0，当该图像像素不具有雨滴特征时t＝1；d表示当前待处理像素的噪声平滑值，这里采用了中值滤波的方法，即把当前像素的值用邻域中各点值的中值代替，从而消除孤立的噪声点。

本发明还提供一种基于生成对抗网络的图像优化处理去雨滴系统，包括如下模块：

测试样本集获取模块，用于采集原始清晰图像，得到测试样本集；

训练样本集获取模块，用于将原始清晰图像通过图像处理软件进行加雨滴处理，得到训练样本集；

降噪处理模块，用于将训练样本集中的带雨滴图像进行降噪处理；

图像分割模块，用于将降噪处理后的图像进行分割，得到分割后的多个图像；

生成式网络构建模块，用于构建生成式网络，将分割后的图像以及训练样本集中原始清晰图像输入生成式网络中进行训练获得最优输出模型，最后将分割后的图像输入到最优输出模型中得到清晰图像；

图像拼接模块，用于将清晰的多个图像根据原始清晰图像进行拼接；

优化处理模块，用于对拼接的图像进行优化处理。

进一步的，所述生成式网络构建模块中获得最优输出模型的具体实施方式如下，

ea、通过残差网络构建生成器网络模型和判别器网络模型；

eb、将降噪处理并分割后的图像输入生成器网络模型中，输出图像；

ec、将训练样本集中原始清晰图像输入判别器网络模型中，得到训练神经网络模型；

ed、最后将步骤eb输出的图像输入训练神经网络模型中，得到最优输出模型。

进一步的，所述优化处理模块中图像优化处理的具体实施方式如下，

ga、将拼接的图像的像素根据亮度值分成若干个图层，每个图层的亮度不同；

gb、对于亮度最低的图层以及亮度最大的图层，先单独进行直方图均衡化处理，再去除背景噪声，最后进行噪点去除；

gc、将处于最低亮度和最高亮度中间的图层先去除噪点，再去除背景噪声，最后进行直方图均衡化处理；

gd、最后将处理过后的所有图层合并为一幅图像增强后的图像。

进一步的，所述步骤gb和gc中噪点去除采用图像插值函数运算进行处理，函数公式为：c’＝a*t+d*(1-t)，其中，c’表示输出去噪后图像像素；a表示当前图像待处理像素；t表示逻辑平衡变量，t取值为0或1，当该图像像素具有雨滴特征时t＝0，当该图像像素不具有雨滴特征时t＝1；d表示当前待处理像素的噪声平滑值，这里采用了中值滤波的方法，即把当前像素的值用邻域中各点值的中值代替，从而消除孤立的噪声点。

与现有技术相比，本发明的有益效果是：

(1)本发明采用的图像去雨滴方法操作简单，成本低，去雨滴效果好；其中，本发明中采用将图像进行分割、去雨滴处理、拼接、增强处理的方式，能够使得生成的图像更加清晰直观。

(2)本发明采用的构建生成式网络方法能够提高网络训练效率，能够得到最优图像。

(3)本发明采用的优化方法降低了图像的全局亮度差异，增强了图像对比度，有效的抑制了噪声，进一步提高了图像的清晰度。

附图说明

图1为本发明方法整体流程图；

图2为本发明方法中图像优化处理流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：一种基于生成对抗网络的图像优化处理去雨滴方法，包括以下步骤：

a、采集原始清晰图像，得到测试样本集；

b、将原始清晰图像通过图像处理软件进行加雨处理，得到训练样本集；

c、将采集的带雨滴图像进行降噪处理；

d、将降噪处理后的图像进行分割，得到分割后的多个图像；

e、构建生成式网络，将分割后的图像输入生成式网络中，并输出清晰图像；

f、将清晰的多个图像根据原始清晰图像进行拼接；

g、最后对拼接的图像进行优化处理。

本发明中，步骤e中获得最优输出模型方法如下：

ea、通过残差网络构建生成器网络模块和判别器网络模型；

eb、将原始清晰图像加雨处理后得到的训练样本输入生成器网络模型中，输出图像；

ec、将训练样本集输入判别器网络模型中，得到训练神经网络模型；

ed、最后将步骤b输出的图像输入训练神经网络模型中，得到最优输出模型。

本发明采用的构建生成式网络方法能够提高网络训练效率，能够得到最优图像。

本发明中，步骤g中图像优化处理方法如下：

ga、将输出的图像的像素根据亮度值分成若干个图层，每个图层的亮度均不同，并将每个图层按亮度值，由低到高进行排列，且每一图层中的图像的边界都是由闭合曲线构成；

gb、对于亮度最低的图层以及亮度最大的图层，先单独进行直方图均衡化处理，再去除背景噪声，最后进行噪点去除；

gc、将处于最低亮度和最高亮度中间的图层先去除噪点，再去除背景噪声，最后进行直方图均衡化处理；

gd、最后将处理过后的所有图层合并为一幅图像增强后的图像。

其中，噪点去除采用图像插值函数运算进行处理，函数公式为：c’＝a*t+d*(1-t)，其中，c’表示输出去噪后图像像素，a表示当前图像待处理像素，t表示逻辑平衡变量，d表示当前待处理像素的噪声平滑值。本发明采用的优化方法降低了图像的全局亮度差异，增强了图像对比度，有效的抑制了噪声，进一步提高了图像的清晰度。

综上所述，本发明采用的图像去雨滴方法操作简单，成本低，去雨滴效果好；其中，本发明中采用将图像进行分割、去雨滴处理、拼接、增强处理的方式，能够使得生成的图像更加清晰。

本发明实施例还提供一种基于生成对抗网络的图像优化处理去雨滴系统，包括如下模块：

测试样本集获取模块，用于采集原始清晰图像，得到测试样本集；

训练样本集获取模块，用于将原始清晰图像通过图像处理软件进行加雨滴处理，得到训练样本集；

降噪处理模块，用于将训练样本集中的带雨滴图像进行降噪处理；

图像分割模块，用于将降噪处理后的图像进行分割，得到分割后的多个图像；

生成式网络构建模块，用于构建生成式网络，将分割后的图像以及训练样本集中原始清晰图像输入生成式网络中进行训练获得最优输出模型，最后将分割后的图像输入到最优输出模型中得到清晰图像；

图像拼接模块，用于将清晰的多个图像根据原始清晰图像进行拼接；

优化处理模块，用于对拼接的图像进行优化处理。

进一步的，所述生成式网络构建模块中获得最优输出模型的具体实施方式如下，

ea、通过残差网络构建生成器网络模型和判别器网络模型；

eb、将降噪处理并分割后的图像输入生成器网络模型中，输出图像；

ec、将训练样本集中原始清晰图像输入判别器网络模型中，得到训练神经网络模型；

ed、最后将步骤eb输出的图像输入训练神经网络模型中，得到最优输出模型。

进一步的，所述优化处理模块中图像优化处理的具体实施方式如下，

ga、将拼接的图像的像素根据亮度值分成若干个图层，每个图层的亮度不同；

gb、对于亮度最低的图层以及亮度最大的图层，先单独进行直方图均衡化处理，再去除背景噪声，最后进行噪点去除；

gc、将处于最低亮度和最高亮度中间的图层先去除噪点，再去除背景噪声，最后进行直方图均衡化处理；

gd、最后将处理过后的所有图层合并为一幅图像增强后的图像。

进一步的，所述步骤gb和gc中噪点去除采用图像插值函数运算进行处理，函数公式为：c’＝a*t+d*(1-t)，其中，c’表示输出去噪后图像像素；a表示当前图像待处理像素；t表示逻辑平衡变量，t取值为0或1，当该图像像素具有雨滴特征时t＝0，当该图像像素不具有雨滴特征时t＝1；d表示当前待处理像素的噪声平滑值，这里采用了中值滤波的方法，即把当前像素的值用邻域中各点值的中值代替，从而消除孤立的噪声点。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。