一种适用于电力设备机巡图像去雨滴的方法及系统与流程

本发明涉及电力工程技术领域，特别是一种适用于电力设备机巡图像去雨滴的方法及系统。

背景技术：

无人机巡检图像是无人机巡检中最重要的信息载体，通过对机巡图像的目标检测和故障定位可以达到智能化巡检的目的。无人机在野外巡线的过程中有时摄像头上会有雨滴存在，雨滴会覆盖背景图像中目标物体信息，降低图像质量。雨滴使得电力设备成像时吸收了更广泛的环境光线，这些折射光线与目标物体反射光线叠加造成了图像的退化。另外无人机巡线拍照时相机应该聚焦在电力设备上，而雨滴的存在会影响相机的聚焦使得图像背景虚化，图像细节信息损失严重，对含雨滴机巡图像的后续操作会异常困难。因此雨滴的存在会导致拍摄的机巡图像质量参差不齐，从而会对图像信息提取和利用造成影响，使得目标检测的准确性和可靠性降低。

单幅图像去雨滴是图像处理领域中一项极其复杂的技术，国内外开展相关技术研究的时间不太久现有方法不多，大致可以分为传统去雨滴方法和基于cnn网络的去雨滴方法，传统去雨滴方法又分为基于滤波的方法和基于字典学习加稀疏编码的方法，其中滤波法包括引导滤波法、改进引导滤波法、多次引导滤波法、lo平滑滤波法、非均值滤波法等。滤波法生成的去雨滴图像较为模糊，且存在部分雨滴无法去除的问题。2013年，卷积神经网络首次用于图像去雨滴，构建一个包含有雨滴/无雨滴图像对的样本库，利用步长为1的滑动窗口对相应图像进行分割，然后利用对应图像块之间的均方误差进行网络训练，最终获得能够去雨滴的卷积神经网络模型。

通过对现有图像去雨滴方法进行研究发现，目前传统的去雨滴方法大多是基于模型去雨滴，利用传统的模型分别描述雨滴、雨线和背景图像，通过相应的优化算法一步步迭代优化去除雨滴。传统方法对于雨滴密集的图像处理效果很差，被雨滴覆盖区域的背景图像不能精细修复。而基于卷积神经网络的去雨滴方法能够充分提取图像的特征信息，利用此方法实现图像去雨滴的效果明显优于传统方法。但随着网络深度的增加，网络容易出现过拟合现象，去雨滴效果很难有进一步的提高。

技术实现要素：

有鉴于此，本发明的目的是提出一种适用于电力设备机巡图像去雨滴的方法及系统，使得得到的去雨滴图像更加接近真实图像。

本发明采用以下方案实现：一种适用于电力设备机巡图像去雨滴的方法，具体包括以下步骤：

构建生成对抗网络，包括生成网络与判别网络；

在训练阶段，利用生成网络和判别网络之间的相互博弈，在注意力图的引导下使生成网络生成符合条件的去雨滴图像；

在使用阶段，将包含雨滴的图像输入训练好的生成器中，得到去雨滴图像。

进一步地，所述生成对抗网络的整体损失函数为：

式中，g代表生成网络，d代表判别网络，i是含雨滴图像，r是不含雨滴的真实样本，g(i)是去雨滴后的图像，erpclean表示在不含雨滴图像中的图像细节损失量，eipraindrop表示在含雨滴图像中的图像细节损失量。

进一步地，生成网络的输入是背景场景完全相同的图像对，包含一张含雨滴的图像和一张不含雨滴的图像，输出为去雨滴图像；所述生成网络包含注意力循环网络和上下文自动编码器；

所述注意力循环网络包括一个以上的循环网络，通过循环迭代的方式生成注意力图，注意力图含雨滴图像中雨滴的位置信息，引导上下文自动编码器重点关注雨滴及其周围区域；

每个循环模块均包括一个以上的残差块、一个lstm单元以及一个卷积层，每个循环模块中的lstm单元的输出一方面输入到本循环模块中的卷积层用于产生2维注意力图，另一方面输入给下一个循环模块的lstm单元中实现时间维度上的特征保留；

每个循环模块的损失函数latt({a},m)为输出注意力图a与二进制掩码m之间的均方误差，如下：

式中，at表示时间步长t时注意力循环网络产生的注意力图，attt函数表示在时间步长为t时的循环模块，ft-1表示含雨滴图像和上一个循环模块输出注意力图的融合；n为循环模块的个数，θ表示一个0到1的随机数，lmse表示均方误差函数。

进一步地，θ的取值为0.8。

进一步地，n的取值为4。

进一步地，所述上下文自动编码器的输入为含雨滴图像和注意力循环网络输出的注意力图，在注意力图的引导下实现图像去雨滴和背景修复；

所述上下文自动编码器包括16个conv-relu模块，编码器和解码器部分结构对称，对应模块之间添加了跳过连接，以防止去雨滴图像模糊。

进一步地，所述上下文自动编码器采用两种损失函数，分别为多尺度损失和感知损失；

所述多尺度损失函数从解码器不同层提取图像特征信息，充分利用图像多层次信息对模型进行优化获得清晰的去雨滴图像，多尺度损失函数lm({s},{a})如下：

式中，si表示从编码器中第i层提取出的图像特征，ani表示具有与si相同尺度的真实图像，λi表示第i层权重，m为编码器的总层数，lmse表示均方误差函数；

除了基于像素点的尺度损耗之外还增加了感知损耗，用于获得上下文自动编码器输出与相应清晰图片之间的全局差异。感知损耗从图像的全局角度衡量去雨滴图像和真实的图像之间的差异，这将使得去雨滴图像更加接近真实样本。图像全局信息可以利用vgg16网络进行提取，事先在数据集上完成vgg16的预训练。所述感知损失lp的计算如下：

lp(o,t)＝lmse(vgg(o),vgg(t))；

其中vgg是经过预训练的cnn网络，能够完成对给定输入图像的特征提取。o是自动编码器的输出图像，t是不含雨滴的真实图像样本。lmse表示均方误差函数。

利用cnn网络从判别网络的内层进行特征提取，同时也对生成网络生成的去雨滴图像进行特征提取，然后将获得的特征图和注意力图结合构成局部判别器的损失函数；利用注意力图引导判别网络对图像中的雨滴区域进行重点关注，在判别网络的最后一层使用全连接层来判断输入图像的真假；

判别网络的整个损失函数如下：

ld(o,r,an)＝-log(d(r))-log(1-d(o))+γlmap(o,r,an)；

式中，γ为0.05，前两项为全局判别器的损失函数，lmap表示局部判别器的损失函数，o是自动编码器的输出图像，s表示从编码器中提取出的图像特征，an表示具有与s相同尺度的真实图像，r是从真实清晰的图像库中提取的样本图像；

局部判别器的损失函数lmap(o,r,an)如下：

lmap(o,r,an)＝lmse(dmap(o),an)+lmse(dmap(r),0)；

式中，dmap表示由判别网络生成二维注意力掩码图函数，0表示仅包含0值的注意力图，即真实的图像中没有雨滴因此也不需要注意力图引导网络进行特征提取。

进一步地，所述判别网络包含9个卷积层以及一个全连接层，卷积层的内核为(3,3)，全连接层为1024，单个神经元采用sigmoid激活函数。

本发明还提供了一种适用于电力设备机巡图像去雨滴的系统，包括存储器、处理器以及存储于存储器上并能够被处理器所运行的计算机程序指令，当处理器运行该计算机指令时，实现如上文所述的方法步骤。

与现有技术相比，本发明有以下有益效果：本发明基于雨滴图像生成原理，将雨滴图像生成模型融入到生成对抗网络中，在判别网络中引入全局和局部判别器共同监督去雨滴图像的生成，达到去除图像中的雨滴并对雨滴覆盖区域背景图像进行修复，实现了在去雨滴的同时图像更接近真实图像。

附图说明

图1为本发明实施例的生成对抗网络训练流程图。

图2为本发明实施例的去雨滴网络结构。

图3为本发明实施例的上下文自动编码器的结构图。

图4为本发明实施例的原始图像。

图5为本发明实施例的雨滴注意力图1。

图6为本发明实施例的雨滴注意力图2。

图7为本发明实施例的雨滴注意力图3。

图8为为本发明实施例的雨滴注意力图4。

图9为为本发明实施例的最终去雨滴图像。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本实施例提供了一种适用于电力设备机巡图像去雨滴的方法，具体包括以下步骤：

构建生成对抗网络，包括生成网络与判别网络；

在训练阶段，利用生成网络和判别网络之间的相互博弈，在注意力图的引导下使生成网络生成符合条件的去雨滴图像；具体的训练过程如图1所示，在每次训练中依次更新生成网络与判别网络的参数，达到预设的训练次数时停止训练；

在使用阶段，将包含雨滴的图像输入训练好的生成器中，得到去雨滴图像。

本实施例的整体网络架构如图2所示，所述生成对抗网络的整体损失函数为：

式中，g代表生成网络，d代表判别网络，i是含雨滴图像，r是不含雨滴的真实样本，g(i)是去雨滴后的图像，erpclean表示在不含雨滴图像中的图像细节损失量，eipraindrop表示在含雨滴图像中的图像细节损失量。

其中，生成网络的输入是背景场景完全相同的图像对，包含一张含雨滴的图像(如图4)和一张不含雨滴的图像，输出为去雨滴图像；所述生成网络包含注意力循环网络和上下文自动编码器；

所述注意力循环网络包括一个以上的循环网络，通过循环迭代的方式生成注意力图，注意力图含雨滴图像中雨滴的位置信息，引导上下文自动编码器重点关注雨滴及其周围区域，如图5所示；

每个循环模块均包括一个以上的残差块、一个lstm单元以及一个卷积层，每个循环模块中的lstm单元的输出一方面输入到本循环模块中的卷积层用于产生2维注意力图，另一方面输入给下一个循环模块的lstm单元中实现时间维度上的特征保留；

其中，lstm单元包括一个遗忘门ft，一个输入门it，一个输出门ot以及一个表示将要传递到下一个lstm单元的状态特征ct。状态和门之间在时间维度上的相互作用定义如下式所示：

ft＝σ(wf·[ht-1,xt]+bf)

it＝σ(wi·[ht-1,xt]+bi)

ct＝σ(wc·[ht-1,xt]+bc)

ot＝σ(wo·[ht-1,xt]+bo)

ht＝ot·tanh(ct)

其中xt表示t时刻lstm单元的状态特征，ht表示t时刻的输出单元，ht-1表示t-1时刻的lstm单元的输出特征；wf、wi、wc、wo分别表示遗忘门、输入门、输出门、输入单元状态权重矩阵；σ表示sigmoid激活函数，tanh表示tanh函数；bf、bi、bc、bo分别表示为遗忘门、输入门、输出门、输入单元状态偏置项。

每个循环模块的损失函数latt({a},m)为输出注意力图a与二进制掩码m之间的均方误差，对于注意力循环网络前边的循环模块损失函数赋予较小的权值，后边的模块损失函数赋予较大的权值。公式如下：

式中，at表示时间步长t时注意力循环网络产生的注意力图，attt函数表示在时间步长为t时的循环模块，ft-1表示含雨滴图像和上一个循环模块输出注意力图的融合；n为循环模块的个数，θ表示一个0到1的随机数，lmse表示均方误差函数。

在本实施例中，θ的取值为0.8，n的取值为4，实验证明，此时网络的效率最高，得到的注意力图如图6所示。

在本实施例中，所述上下文自动编码器的输入为含雨滴图像和注意力循环网络输出的注意力图，在注意力图的引导下实现图像去雨滴和背景修复；

所述上下文自动编码器包括16个conv-relu模块，编码器和解码器部分结构对称，对应模块之间添加了跳过连接，以防止去雨滴图像模糊。

在本实施例中，所述上下文自动编码器采用两种损失函数，分别为多尺度损失和感知损失；

所述多尺度损失函数从解码器不同层提取图像特征信息，充分利用图像多层次信息对模型进行优化获得清晰的去雨滴图像，多尺度损失函数lm({s},{a})如下：

式中，si表示从编码器中第i层提取出的图像特征，表示具有与si相同尺度的真实图像，λi表示第i层权重，是不同尺度下的权重，m为编码器的总层数，lmse表示均方误差函数；

除了基于像素点的尺度损耗之外还增加了感知损耗，用于获得上下文自动编码器输出与相应清晰图片之间的全局差异。感知损耗从图像的全局角度衡量去雨滴图像和真实的图像之间的差异，这将使得去雨滴图像更加接近真实样本。图像全局信息可以利用vgg16网络进行提取，事先在数据集上完成vgg16的预训练。所述感知损失lp的计算如下：

lp(o,t)＝lmse(vgg(o),vgg(t))；

其中vgg是经过预训练的cnn网络，能够完成对给定输入图像的特征提取。o是自动编码器的输出图像，t是不含雨滴的真实图像样本。lmse表示均方误差函数。

网络设计更关注在大尺寸上进行的特征提取，尺寸较小的层包含信息量较少对于模型优化影响也小。解码器最后一层、倒数第三层和倒数第五层的输出图像尺寸分别为原来尺寸的1/4、1/2和1，将对应的权重λ设置为0.6、0.8、1.0，最终注意力图的结果如图7所示。

在本实施例中，判别网络的作用是区分真假样本，判断生成器输出的图像和真实样本之间的差异。仅利用全局信息进行图像真假判别不利于生成网络对图像局部信息的恢复。对于图像去雨滴来说希望能够尽可能的恢复图像的细节，以便进行后续的目标检测工作，因此现有的判别网络不能直接使用。将全局判别器和局部判别器组合起来共同判别生成网络输出样本的真假，但是想利用局部判别器的话需要知道图像中雨滴的位置信息。在图像修复阶段注意力循环网络中生成了注意力图，这就解决了图像中雨滴位置的定位问题。因此本实施例考虑将注意力图引入到判别器网络中，指导局部判别器自动寻找图像中雨滴区域。

本实施例的判别网络的构建具体为：

利用cnn网络从判别网络的内层进行特征提取，同时也对生成网络生成的去雨滴图像进行特征提取，然后将获得的特征图和注意力图结合构成局部判别器的损失函数；利用注意力图引导判别网络对图像中的雨滴区域进行重点关注，在判别网络的最后一层使用全连接层来判断输入图像的真假；

判别网络的整个损失函数如下：

ld(o,r,an)＝-log(d(r))-log(1-d(o))+γlmap(o,r,an)；

式中，γ为0.05，前两项为全局判别器的损失函数，lmap表示局部判别器的损失函数，o是自动编码器的输出图像，s表示从编码器中提取出的图像特征，an表示具有与s相同尺度的真实图像，r是从真实清晰的图像库中提取的样本图像；

局部判别器的损失函数lmap(o,r,an)如下：

lmap(o,r,an)＝lmse(dmap(o),an)+lmse(dmap(r),0)；

式中，dmap表示由判别网络生成二维注意力掩码图函数，0表示仅包含0值的注意力图，即真实的图像中没有雨滴因此也不需要注意力图引导网络进行特征提取，如图8所示。

在本实施例中，所述判别网络包含9个卷积层以及一个全连接层，卷积层的内核为(3,3)，全连接层为1024，单个神经元采用sigmoid激活函数。

本实施例最终的去雨滴图像如图9所示。

本实施例还提供了一种适用于电力设备机巡图像去雨滴的系统，包括存储器、处理器以及存储于存储器上并能够被处理器所运行的计算机程序指令，当处理器运行该计算机指令时，实现如上文所述的方法步骤。

特别的，对于本实施例提出的去雨滴网络的训练，需要一组电力设备图像对，每一对图像包含完全相同的背景场景，其中一幅图像含有雨滴，另一幅没有雨滴。为了使本实施例所提方法能够最适合无人机巡线场景下的图像去雨滴，在制作数据集时尽可能的模仿电力设备实际场景。在拍摄图片时采用无人机上携带的摄像头两颗，使用两块完全相同的玻璃：一块喷水，另一块保持清洁。在玻璃板上喷水是为了模拟雨天时摄像头上有雨滴情形，玻璃板厚度为3毫米。玻璃和摄像头之间的距离设置为2到5厘米，以产生不同的雨滴图像，并且最大限度地减少玻璃的反射效果。在拍摄过程中分别保持摄像头与玻璃镜片的相对位置不变，保证两个摄像头拍摄的背景图像是相同的。同时确保在图像对的采集过程中大气条件(例如，阳光，云等)和背景物体应该是静态的。

本实施例将获得的2000对图片按照进行分配，其中1600对作为模型训练集，400对作为模型测试集。对模型的超参数进行设定，其中初始学习率设为0.001，批大小设为16，迭代次数设为40000次。经过40000次迭代训练之后，将测试集输入模型进行验证，发现本实施例基于对抗生成网络的去雨滴模型的可移植性很好。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。