一种基于生成对抗网络的变电站监控图像去雾方法

本发明属于图像处理，特别是涉及到一种基于生成对抗网络的变电站监控图像去雾方法。

背景技术：

1、变电站是电力系统的重要组成部分，它们通过将高压输电线路的电能转变为低压电能，并实现电能配送和调度，保障了电力系统的安全稳定运行。为此，需要定期对变电站进行巡检，确保设备安全可靠运行。通过巡检，可以发现潜在的故障和安全隐患，及时采取维护和修复措施，提高设备的运行效率和可用性，确保电力系统的稳定供应。传统变电站监控依赖于人工巡检，需要投入大量人力资源。然而，由于人力有限，难以实现对变电站的全面监控，导致部分区域存在盲区和漏检的风险。无人值守变电站视频监控系统通过安装摄像头和监控设备，实现对变电站各个角落的实时监控，弥补了人力不足的问题。然而雾霾天气由于大气粒子的散射作用，导致变电站室外监控摄像头拍摄到的图像模糊不清，难以为站内环境实时监测、人员安全智能评估、安全作业监控以及电子虚拟围栏等提供清晰图像，直接影响对监测的准确度，为此需要研究变电站图像去雾方法，提高雾霾天气下采集到的变电站图像质量。

2、变电站监控图像去雾一直是机器视觉领域的一个热门的技术问题。现有变电站监控图像去雾主要是分为基于图像增强的方法、基于物理模型的方法和基于深度学习的方法，基于图像增强的去雾方法是从图像的特征出发，通过利用或改进传统的增强算法来改善雾霾天气下图像的对比度和颜色信息，以此来达到去雾的目的，基于图像增强的方法主要关注去除雾霾并增强图像细节和对比度，但无法准确恢复真实场景的外观，去雾后的变电站图像失真较为严重。基于物理模型的图像去雾方法是通过建立光学和大气散射模型来对雾霾进行建模和估计，并利用这些模型进行图像去雾，当模型参数比较准确的时候，该方法可以达到很好的去雾效果，但是在实际应用过程中很难估计出适合所有场景的准确的模型参数，因此，此类方法无法适用于不同场景下的变电站图像去雾。基于深度学习的图像去雾方法能够学习复杂的图像特征和雾霾去除的映射关系，从而提供更准确、自然的去雾结果。虽然基于深度学习的去雾方法相对其他两类方法具有较好的去雾效果，但是去雾后的图像仍然存在一定颜色失真，过饱和边缘信息丢失严重的问题。

3、因此现有技术当中亟需要一种新型的技术方案来解决这一问题。

技术实现思路

1、本发明所要解决的技术问题是：提供一种基于生成对抗网络的变电站监控图像去雾方法用于解决变电站监控图像去雾后，图像颜色失真，过饱和以及边缘信息丢失严重的技术问题。

2、一种基于生成对抗网络的变电站监控图像去雾方法，包括以下步骤，并且以下步骤顺次进行:

3、s1：构建变电站监控图像去雾方法训练和测试所需的数据集；

4、s2：构建生成对抗网络中的生成网络，用于变电站监控图像去雾；

5、s3：构建生成对抗网络中的对抗网络，用于判断输入的图像是真实的无雾图像还是生成的无雾图像；

6、s4：设计损失函数，用来衡量生成对抗网络的性能；

7、s5：模型训练：对由步骤s2和s3组成的生成对抗网络进行训练和测试，通过不断的循环迭代，优化步骤s4所设计的损失函数，得到最优的生成网络和对抗网络模型参数,生成对抗网络模型训练完成；

8、s6：模型测试：对步骤s5训练得到的生成对抗网络模型进行测试，测试指标满足设定的阈值，则将步骤s5已训练的模型作为最终去雾模型；否则返回步骤s5，调整参数继续进行模型训练；

9、s7：模型应用：将雾霾天气下采集到的变电站监控图像输入到最终去雾模型中，得到去雾后的变电站监控图像。

10、所述步骤s1具体包括：从变电站监控系统中的选择不同背景和光照度的无雾图像和含雾图像各10000张，并将其进行裁剪成像素大小一致的图像，根据大气散射模型对裁剪后的无雾图像进行加雾处理，雾的浓度随机产生，得到10000张合成的含雾图像；裁剪后的无雾图像和对应的合成后的含雾图像组成图像对，随机选择8000对图像作为训练集，剩下的2000对图像作为测试集1，裁剪后的10000张含雾图像作为测试集2。

11、所述步骤s2具体包括：

12、用于变电站监控图像去雾的生成网络由：编码器，解码器，4个级联的空洞卷积，边缘检测以及边缘增强模块组成；训练集中的各含雾图像经过边缘检测得到的图像f0，将图像f0与该含雾图像进行拼接操作得到图像f1，图像f1作为生成网络的输入图像；所述f1图像输入到编码器中，在编码器中依次经过带有leakyrelu激活函数的3×3卷积、多尺度特征提取模块、注意力模块和下采样操作的处理，得到特征图f2，再对所述特征图f2依次经过多尺度特征提取模块，注意力模块和下采样操作的处理得到特征图f3，再对所述特征图f3经过多尺度特征图提取模块，得到编码器的输出特征图f4；对所述特征图f4输入至4个级联的空洞卷积中进行连续4次空洞卷积操作，得到特征图f5；特征图f5作为输入特征图输入到解码器中，对所述特征图f5进行上采样操作,得到特征图f6，再对特征图f6与特征图f3进行拼接得到特征图f7，对所述特征图f7依次经过1×1卷积、注意力模块、多尺度特征提取模块和上采样操作的处理，得到特征图f8，再对特征图f8与特征图f2进行拼接得到特征图f9，再对所述特征图f9进行依次经过1×1卷积、注意力模块、多尺度特征提取模块和tanh激活函数的3×3卷积的处理，得到图f10，特征图f10也是解码器的输出图；将所述特征图f0输入至边缘增强模块依次进行下采样操作、3个连续的含有leakyrelu激活函数的3×3卷积操作和1个下采样操作，得到图f11，图f11就是边缘增强模块的输出图；图f11与图f10进行元素相加得到生成网络的输出图像，也就是变电站监控图像去雾后的图像。

13、所述多尺度特征提取模块由并行四个分支组成，四个分支的输入特征图相同；第一个分支由1个1×1卷积组成；第二个分支由三个并列的空洞率分别为1、2和4的3×3空洞卷积组成，三个空洞卷积的输出特征图通过拼接操作得到新的输出特征图，新的输出特征图依次经过1个1×1卷积，1个3×3卷积，2个连续的带有leakyrelu激活函数的3×3卷积，得到第二个分支的输出特征图；第三个分支依次由平均池化，3个连续的带有leakyrelu激活函数的3×3卷积和一个上采样操作组成；第四个分支依次由最大池化，3个连续的带有leakyrelu激活函数的3×3卷积和一个上采样操作组成；最后，四个分支的输出特征图经过元素相加操作得到该多尺度特征提取模块的输出特征图。

14、所述注意力模块包含2个分支，两个分支的输入特征图均是注意力模块的输入特征图，输入特征图维度为h×w×c；第一个分支是一个跳跃连接，用于保持输入特征图；第二个分支由四个小分支组成，第一个小分支由一个平均通道池化组成，输出特征图的维度为h×w×1，第二个小分支由一个最大通道池化组成，输出特征图的维度为h×w×1；第三个小分支由两个连续的带有leakyrelu激活函数的3×3卷积和一个跳跃连接组成，跳跃连接和第三个小分支中的第二个带有leakyrelu激活函数的3×3卷积的输出特征图相同，通过拼接操作将二者的输出进行拼接，得到第三个小分支的输出特征图，该输出特征图的维度为h×w×2c；第四个小分支是一个跳跃连接；将四个小分支的输出特征图进行拼接，得到维度为h×w×(2+3c)的新的输出特征图，对该新的输出特征图进行1×1卷积以及sigmoid函数运算得到特征图的权重；最后用特征图权重乘以第一个分支的输入特征图得到注意力模块的输出特征图。

15、所述步骤s3中的对抗网络由5个级联的结构相同的群模块和1个带有leakyrelu激活函数的3×3卷积组成，每个群模块均由一个并行模块和一个1×1卷积组成，该并行模块有三个并行分支，每个分支分别为平均池化，leakyrelu激活函数的3×3卷积和最大池化，将三个分支的输出特征图进行拼接，得到新的特征图，并将该特征图作为群模块中的1×1卷积的输入特征图；5个级联的结构相同的群模块的输出特征图经过1个带有leakyrelu激活函数的3×3卷积得到对抗网络的输入图像是真实的无雾图像还是生成的无雾图像的判断结果。

16、所述步骤s4中的损失函数是在常规对抗损失函数的基础上引入夏尔波尼损失函数和颜色损失函数，其表达式如下(1)所示：

17、loss＝ladv+0.5×lchar+0.5×lcolor               (1)

18、式中，ladv是对抗损失函数，lchar是夏尔波尼损失函数，lcolor是颜色损失函数；

19、对抗损失函数ladv的表达式如(2)所示，

20、ladv＝e[logd(y)]+e{log[1-d(g(x))]}         (2)

21、式中，x是输入的含雾图像，y是去雾后的图像，d()是对抗网络，g()是生成网络，e表示计算均值；

22、夏尔波尼损失函数lchar表达式如下：

23、

24、式中，ε是一个远远小于1的恒定值，此处取ε＝1×10-3；

25、颜色损失函数lcolor表达式如下：

26、

27、式中，表示高斯滤波操作，mse()表示均方误差。

28、所述步骤s6模型测试步骤如下：

29、首先利用测试集1中的成对图像对步骤s5得到的已训练的生成对抗网络模型进行测试，当评价指标：峰值信噪比(psnr)、结构相似性指数(ssim)、自然图像质量评估(niqe)均满足设定的条件时，则继续进行测试，否则返回步骤s5，调整参数后重新训练生成对抗网络模型；在继续测试过程中，采用测试集2中的图像对步骤s5得到的已训练的生成对抗网络模型进行测试，当自然图像质量评估(niqe)满足设定的条件时，则停止测试，，当自然图像质量评估(niqe)不满足设定的条件时，则否则返回步骤s5，调整参数后重新训练生成对抗网络模型。

30、通过上述设计方案，本发明可以带来如下有益效果：

31、1、设计了多尺度特征提取模块，从不同尺度提取更为丰富的变电站监控图像特征。

32、2、设计了注意力模块，对重要特征信息赋予较大的权重，降低冗余特征信息的干扰。

33、3、设计了边缘增强模块，首先对含雾图像进行边缘检测，然后利用边缘增强模块对边缘信息进行增强，最终边缘增强模块的输出与解码器的输出进行相加得到最终的去雾后的图像。

34、4、设计了基于上述模块的生成网络，在对变电站监控图像去雾的同时，更好的保留图像边缘信息和颜色信息，使得去雾后的图像更清晰，更自然。

35、5、提出了改进的损失函数，使损失函数能够更好的测量去雾后的图像与清晰图像之间的颜色偏差和感官上的差别。

36、6、设计了多尺度对抗网络，更好的提取特征信息，提高对抗网络的对图像是否是真实图像还是生成图像的判决能力，进而提高生成网络的图像去雾能力。

37、总的来说，采用本发明提出的方法对变电站监控图像进行去雾，可以有效的去处除图像中的雾霾，而且更够更好的保留图像的颜色信息和物体的边缘信息，去雾后的图像视觉效果更好。