基于单分类器的电力图像环境影响识别方法与流程

本发明属于图像分类领域，涉及一种基于深度学习技术的识别无人机或电力机器人巡检图像中存在环境影响图像的方法。具体讲,涉及基于单分类器的电力图像环境影响识别方法。

背景技术

图像分类是计算机视觉领域中的基本问题，应用深度学习的发展解决此类问题的同时，往往容易将分类的结果限制在已知类别内。单分类任务是一类特殊的二分类任务，将待分类的样本类别从已知类扩大到未知类，能够从所有待分类样本中找到某种特定类别的样本(即正样本)，而将其他样本的类别(即负样本)笼统地归为一类。目前单分类问题已有了许多解决方法，根据其原理大致分为四类：密度估计法，基于神经网络的方法，基于聚类的方法，基于支持域的方法。

对一类样本识别的最简单直接的方法是通过参数化或非参数化方法来估计训练样本的密度模型，并设置一密度阈值，小于该阈值的被认为是异常，其中最简单的密度模型是高斯密度估计。使用神经网络的方法中，比较知名的是japkowicz的自联想器，包括基于区分的多层感知器和基于识别的自关联器。聚类方法也可以对一类数据进行学习，从而应用到单分类器的设计上，例如k均值和k中心方法。该类方法假定目标类样本满足某种聚类假设，对已有的聚类算法进行改进，以满足单类学习的特殊需求。

基于支持域的方法数据描述直观，且借助于核技巧，方便在高维特征空间中进行求解，因而成为目前最流行的单类分类方法。基于支持域的单分类方法中有两个经典算法，svdd和ocsvm。

支持向量域描述(supportvectordomaindescription，svdd)方法，其基本思想是通过在映射到高维的特征空间中找出一个包围目标样本点的超球体，并通过最小化该超球体所包围的体积让目标样本点尽可能地被包围在超球体中，而非目标样本点尽可能地排除在超球体中，从而达到两类之间划分的目的。该算法采用软间隔思想，不严格要求训练样本包围在超球内部或分布于超球上，但是对超球外的样本进行惩罚。svdd算法一直是单分类算法中的主流算法，仅适用正样本训练，因此当样本数不充足时很难刻画出正样本集在高维空间中的分布，分类器容易产生过拟合的现象。

单类支持向量机(one-classsupportvectormachine，ocsvm)方法中，数据样本通过核函数映射到高维特征空间，使其具有更好的的聚集性。其最简单的思想是在特征空间中求解一个最优超平面实现目标数据与坐标原点的最大分离，此处坐标原点被假设为唯一负样本。ocsvm使用了正样本和一些人工生成的负样本共同训练，通过构建负样本集将单分类问题转化为二分类问题，然后训练出一个二分类器从而实现单分类。然而，在缺少测试集先验知识的情况下，很难构建出合适的负样本集。

因此，研究如何有效地构建出合适的负样本集并用于辅助单分类器提升分类效果是当今学术研究上的一大难点。

技术实现要素：

为克服现有技术的不足，本发明旨在提出电力图像环境影响识别方法，实现评估环境影响的识别效果上更为准确。为此，本发明采用的技术方案是，基于单分类器的电力图像环境影响识别方法，步骤如下：

一、基于电力图像的数据增强

利用电力机器人巡检采集到的电力系统实地图像，进行数据增强以增加负样本的数量，实现正负样本数量均衡，提高单分类器的识别能力；

二、基于密集块结构的生成式对抗网络模型构建

首先构建生成式对抗网络中的生成器，构建的生成器共包含三个密集块连接结构，密集块链接结构由一个1×1的卷积层后接上填充值(pad)为1的3×3的卷积层构成，其中每一层的输入来自在它之前的所有层的输出，第i层输入图像为是第i-1层密集块对第0至i-1层产生的特征图级联而成的张量进行非线性变换的结果；利用生成器生成合成负样本的过程为输入随机变量经过反卷积层后，依次通过三个密集块结构，并且在相邻两密集块中加入了过渡层以增大特征图像尺寸，最后，利用卷积层将末层特征整合为一个32×32的三通道合成负样本图像，作为生成器的输出；

然后构建生成式对抗网络中的判别器，判别器结构同样包含三个密集块连接结构，与生成器的结构大致相同，判别器的输入是待分类的图像，为实现降采样操作，判别器中的过渡层使用平均池化层代替反卷积层组成，在第三个密集块结尾，特征图像被缩放为一个列向量，网络最后的全连接层将这个列向量转换为一个2维向量作为判别器的输出，明确判断输入样本属于正、负样本的概率；

三、对生成式对抗网络进行训练

在深度学习框架pytorch框架上搭建网络框架，对生成器与判别器进行交替对抗训练，直到代价损失减小到一定程度并且训练达到迭代最大次数；

四、使用训练好的判别器进行单分类任务

保持判别器参数、权重固定，在测试时单独使用判别器，进行单分类任务，直接将待测试数据输入判别器即可直接输出判别结果，由于判别器在训练过程中仅学习到正样本的特征，因此会把其他图像归类为未知类即负样本，则这些图像被判定为负样本的图像即为存在环境影响的电力图像；

五、综合评估指标的提出

在单分类问题中，对于任意输入，其单分类结果可分为以下四种情况：被模型预测为正的正样本tp，被模型预测为负的负样本tn，被模型预测为正的负样本fp，被模型预测为负的正样本fn，衡量单分类器效果的常用指标为分类准确率acc(accuracy)和f1得分，分别用公式表示为：

式中，

采用评估指标cri：首先定义负样本集上的召回率neg_recall，并进一步定义一种新的单分类器评估指标——“分类召回率”cri(classificationrecallindex)，其定义为recall和neg_recall的调和平均数，用公式表示为：

具体地，所述步骤二基于密集块结构的生成式对抗网络模型构建中，所构建的生成式对抗网络中的生成器共包含三个密集块连接结构，利用生成器生成合成负样本的过程如下：

(1)输入随机变量。生成器的输入为随机变量，其分布服从正态分布，是一个1×1×100的空间长度张量。该随机变量进入生成器后首先经过一个卷积核大小为4×4的反卷积层，变为4×4×64的张量输入密集连接块；

(2)密集块实现层间特征共享，不改变特征图像尺寸，4×4×64的张量经过第一个密集连接块，1×1的卷积层，后接pad为1的3×3的卷积层保证了特征图像的尺寸不变，而堆叠的特征图像被扩展到96个通道，即形成4×4×96的张量；

(3)过渡层增大特征图像尺寸，在两个相邻的稠密块间，加入由一个1×1的卷积层与一个2×2的反卷积层构成的过渡层，使得特征图像的大小加倍，形成8×8×128的张量并输入到下一个密集连接块中；

(4)重复(2)(3)步两次，经过第二个密集连接块，形成8×8×160的张量，然后经过第二个过渡层，形成16×16×192的张量，再经过第三个密集连接块，形成16×16×224的张量，最后经过第三个过渡层，形成32×32×256的张量，即经过三个密集块结构后，特征图像被映射到32×32的大小，通道数为256；

(5)最后，带有3个输出通道的1×1的卷积层将32×32×256的张量整合为一个32×32的三通道合成负样本图像，作为生成器的输出；

构建生成式对抗网络中的判别器共包含三个密集块连接结构，判别器的输入是待分类的图像，为实现降采样操作，在判别器的两个密集块间加入的过渡层由一个1×1的卷积层与一个2×2的平均池化层组成，在第三个密集块结尾，特征图像被缩放为一个列向量，网络最后的全连接层将这个列向量转换为一个2维向量作为判别器的输出，该2维向量经过softmax映射处理，并由均方误差函数mse(meansquareerror)计算损失，最终判别器能够直接输出对输入图像的单分类结果，即明确判断输入样本属于正、负样本的概率。

具体地，所述步骤三对生成式对抗网络进行训练中，为避免判别器在正样本上欠拟合，利用采集到的数据中的少量负样本以及图像增强手段得到的负样本，对判别器进行微调，使得判别器设定的正样本范围更紧密，以达到更准确的分类效果。

本发明的特点及有益效果是：

本发明通过设计一种基于卷积神经网络的能够自动生成负样本集的单分类方法，构建出生成式对抗网络模型。该模型分为生成器和判别器，生成器负责合成合适的负样本图像弥补采集数据中负样本数量的不足以避免分类器过拟合，判别器完成单分类的工作，实现电力图像环境影响识别。本发明具有以下特点：

1、依据生成器可以模拟样本数据的分布的特点，利用生成器构建合适的负样本集辅助单分类器的训练。

2、依据判别器实为二分类器的特性，利用判别器进行单分类任务，输出单分类结果。

3、结合本发明应用场景，评估指标的选择上综合考虑到了正、负样本的分类情况，在评估环境影响的识别效果上更为准确。

附图说明：

图1是本发明方法中雨天合成图像效果。

图2是本发明方法中密集块连接结构的示意图。

图3是本发明方法中生成器的网络结构图。

图4是本发明方法中判别器的网络结构图。

具体实施方式

本发明要解决的问题在于，针对电力图像分类问题，使用深度学习的方法设计一种模型使之能够自动合成合适的负样本图像以提升分类性能，并且在测试时单分类器能够将正常的图像与存在环境影响的图像分开，实现电力图像环境影响的识别工作，达成减轻工作人员工作量的目的，使得能够更快地筛选、定位、发现问题，为后续的环境影响分类、评级、消除等工作打下良好基础。

本发明采取的技术方案是基于生成式对抗网络的单分类方法，主要步骤如下所示：

一、基于电力图像的数据增强

本发明拟利用电力机器人巡检采集到的电力系统实地图像，进行数据增强以增加负样本的数量，实现正负样本数量均衡，以提高单分类器的识别能力。

为生成模拟雨水影响的电力图像，本发明采用了一种逼真的渲染技术的方法，进行雨天影响下电力图像的合成，并训练图片翻译网络学习无雨图像和由于图像之间的映射关系。为生成模拟雪天影响的电力图像，本发明共采用了四种加噪方式为图像加入噪声模拟雪花。为生成模拟雾气影响的电力图像，本发明对采集到的无环境影响的图像利用adobelightroomcc方法的dehaze(去雾)功能进行人工加雾，并对无雾图像集添加不同浓度的雾以适应不同天气条件下的雾浓度。对图像做对比度变换，同样可以降低对比度达到模拟雾天的效果。为生成模拟阴天或夜晚等光照不足条件下的电力图像，对图像做亮度变换。

二、基于密集块结构的生成式对抗网络模型构建

本发明使用了密集块连接结构，使得每一层均可以利用在它之前的所有层的特征图像，便于各层特征实现层间共享。密集块链接结构由一个1×1的卷积层后接上pad为1的3×3的卷积层构成，其中每一层的输入来自在它之前的所有层的输出。第i层输入图像为是第i-1层密集块对第0至i-1层产生的特征图级联而成的张量进行非线性变换的结果。

首先构建生成式对抗网络中的生成器。本发明构建的生成器共包含三个密集块连接结构。利用生成器生成合成负样本的过程为输入随机变量经过反卷积层后，依次通过三个密集块结构，并且在相邻两密集块中加入了过渡层以增大特征图像尺寸。最后，利用卷积层将末层特征整合为一个32×32的三通道合成负样本图像，作为生成器的输出。

然后构建生成式对抗网络中的判别器。本发明构建的判别器结构同样包含三个密集块连接结构，与生成器的结构大致相同。判别器的输入是待分类的图像。为实现降采样操作，判别器中的过渡层使用平均池化层代替反卷积层组成。在第三个密集块结尾，特征图像被缩放为一个列向量。网络最后的全连接层将这个列向量转换为一个2维向量作为判别器的输出，可以明确判断输入样本属于正、负样本的概率。

三、对生成式对抗网络进行训练

在pytorch上搭建网络框架，对生成器与判别器进行交替对抗训练，直到代价损失减小到一定程度并且训练达到迭代最大次数。为避免判别器在正样本上欠拟合，利用采集到的数据中的负样本以及图像增强手段得到的负样本，对判别器进行微调，使得判别器设定的正样本范围更紧密的，以达到更准确的分类效果。

四、使用训练好的判别器进行单分类任务

经过上述训练过程后，得到训练好的判别器权重。保持判别器参数、权重固定，在测试时单独使用判别器，进行单分类任务，直接将待测试数据输入判别器即可直接输出判别结果。由于判别器在训练过程中仅学习到正样本的特征，因此会把其他图像归类为未知类即负样本，则这些图像被判定为负样本的图像即为存在环境影响的电力图像。

五、综合评估指标的提出

在单分类问题中，对于任意输入，其单分类结果可分为以下四种情况：tp(被模型预测为正的正样本)，tn(被模型预测为负的负样本)，fp(被模型预测为正的负样本)，fn(被模型预测为负的正样本)。衡量单分类器效果的常用指标为分类准确率(accuracy)和f1-score，分别可用公式表示为：

式中，

在本发明应用环境下，要识别出存在环境影响的电力图像，负样本的分类情况是极为重要的。然而现有的单分类问题评估指标f1-score忽略了负样本的分类效果，为此本发明采用了一种新的评估指标cri。首先定义负样本集上的召回率neg_recall，并进一步定义了一种新的单分类器评估指标——“分类召回率”(classificationrecallindex，cri)，其定义为recall和neg_recall的调和平均数，用公式表示为：

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

巡检电力图像包含无环境影响的以及存在环境影响的两种情况，而不同环境影响的图像特征不易确定，因此从电力图像中识别出存在环境影响的图像可以被明确为一个单分类问题。单分类器在训练中，仅学习正样本的特征，把负样本当作未知类看待而不进行其特征的学习。训练完成之后再输入测试图像时，若其符合正样本的特征，则将其分类为正样本即属于无环境影响的电力图像，反之则为负样本。

本发明构建的生成式对抗网络模型由一个生成器和一个判别器组成，生成器可以模拟样本数据的分布，用服从某一分布的随机变量生成一个类似真实训练数据的样本，以生成逼真的合成样本。判别器是一个二分类器，用于估计一个输入样本来自于真实的训练数据集(而非生成数据集)的概率。训练生成式对抗网络时，生成器由输入的随机噪声产生一个合成负样本图像，该合成负样本图像辅助判别器的训练，通过判别器实现单分类。

本发明拟通过数据增强、生成式对抗网络的构建、综合评估指标的提出、模型的训练与测试共5个步骤，构建基于单分类器的环境影响识别算法模型。

一、基于电力图像的数据增强

由于在雨、雪、雾等存在环境影响的情况下采集到的电力图像有限，并且采集到的电力图像难以覆盖生活中真正会出现的所有的环境影响情况，即本发明的源数据中负样本数量远远小于正样本。然而在训练单分类器时，负样本所占数量比例过小将导致分类器学习到的分类超平面过于松散，远离真实数据分布。为避免正负样本数量失衡导致的分类效果不好的后果，本发明拟利用电力机器人巡检采集到的电力系统实地图像，进行数据增强以增加负样本的数量，实现正负样本数量均衡，以提高单分类器的识别能力。

为生成模拟雨水影响的电力图像，本发明采用了一种逼真的渲染技术的方法，进行雨天影响下电力图像的合成。将获得的雨天合成图像作为标签图像，与原始图像构成图片对，训练一个能够完成图片翻译工作的条件生成对抗网络pix2pix，学习无雨图像和由于图像之间的映射关系。网络训练完成后，向生成网路输入任意晴天条件下的电力图像，都可以得到其对应的雨天图像。应用了条件生成对抗网络，使得神经网络自动学习标签图像中雨水对原始图像的影响，其生成图像中雨水的方向、强度自由，叠加雨水的情况更为丰富，更接近实际降雨情况。其他环境影响下的生成图像都可以通过类似的步骤训练条件生成对抗网络。

图1展示了为晴天状态下拍摄的变电站图像加入雨水层的合成效果。

为生成模拟雪天影响的电力图像，加入图像噪声模拟雪花。对一幅输入图像f(x,y)进行处理，产生一幅退化后的图像g(x,y)。给定g(x,y)、退化函数h和加性噪声项η(x,y)，空间域中退化图像可由下式给出：

g(x,y)＝h(x,y)*f(x,y)+η(x,y)

本发明采用了四种加噪方式，图像噪声及其参数如表1所示：

表1图像噪声及其参数

为生成模拟雾气影响的电力图像，本发明对采集到的无环境影响的图像利用adobelightroomcc方法的dehaze(去雾)功能进行人工加雾，并对无雾图像集添加不同浓度的雾以适应不同天气条件下的雾浓度。每张图像对应得到浓度分别为10，30，50，70，90的五张有雾合成图像。

对图像做对比度变换，同样可以降低对比度达到模拟雾天的效果。在图像对比度调节中应用线性点运算g(x,y)＝a×f(x,y)+b。其中：f(x,y)表示源图像像素，g(x,y)表示输出图像像素，a为增益，用来控制图像的对比度。当a>1时，输出图像对比度增大；当0<a<1时，输出图像对比度降低。改变参数a的取值，使处理后的图片的亮度为原图对比度的10％，30％，50％，70％，90％。

为生成模拟阴天或夜晚等光照不足条件下的电力图像，对图像做亮度变换。在图像对比度调节中应用线性点运算g(x,y)＝a×f(x,y)+b。其中：f(x,y)表示源图像像素，g(x,y)表示输出图像像素，b为偏置，用来控制图像的亮度。当a＝1时，且b不为0时，图像对比度不变而输出图像的灰度值上移或下移，其效果是图像亮度改变，即使整个图像更亮或更暗。改变参数b的取值，使处理后的图片的亮度为原图30％，50％，70％，90％。

二、基于密集块结构的生成式对抗网络模型构建

本发明使用了密集块连接结构，使得每一层均可以利用在它之前的所有层的特征图像，便于各层特征实现层间共享。密集块链接结构如图2所示，由一个1×1的卷积层后接上pad为1的3×3的卷积层构成，其中每一层的输入来自在它之前的所有层的输出。每一层密集块结构对张量进行非线性变换，即第i层输入图像定义为，第i-1层密集块对第0至i-1层产生的特征图级联而成的张量进行非线性变换的结果。

1、构建生成式对抗网络中的生成器

本发明构建的生成器结构如图3所示，共包含三个上述密集块连接结构。利用生成器生成合成负样本的过程如下：

(1)输入随机变量。生成器的输入为随机变量，其分布服从正态分布，是一个1×1×100的空间长度张量。该随机变量进入生成器后首先经过一个卷积核大小为4×4的反卷积层，变为4×4×64的张量输入密集连接块；

(2)密集块实现层间特征共享，不改变特征图像尺寸。4×4×64的张量经过第一个密集连接块。1×1的卷积层，后接pad为1的3×3的卷积层保证了特征图像的尺寸不变，而堆叠的特征图像被扩展到96个通道，即形成4×4×96的张量。

(3)过渡层增大特征图像尺寸。在两个相邻的稠密块间，加入由一个1×1的卷积层与一个2×2的反卷积层构成的过渡层，使得特征图像的大小加倍，形成8×8×128的张量并输入到下一个密集连接块中。

(4)重复(2)(3)步两次。经过第二个密集连接块，形成8×8×160的张量。然后经过第二个过渡层，形成16×16×192的张量。再经过第三个密集连接块，形成16×16×224的张量。最后经过第三个过渡层，形成32×32×256的张量。即经过三个密集块结构后，特征图像被映射到32×32的大小，通道数为256。

(5)最后，带有3个输出通道的1×1的卷积层将32×32×256的张量整合为一个32×32的三通道合成负样本图像，作为生成器的输出。

2、构建生成式对抗网络中的判别器

本发明构建的判别器结构如图4所示，包含三个密集块连接结构，与生成器的结构大致相同。判别器的输入是待分类的图像。为实现降采样操作，在判别器的两个密集块间加入的过渡层由一个1×1的卷积层与一个2×2的平均池化层组成。在第三个密集块结尾，特征图像被缩放为一个列向量。网络最后的全连接层将这个列向量转换为一个2维向量作为判别器的输出。该2维向量经过softmax映射处理，并由均方误差函数(meansquareerror，mse)计算损失。最终判别器能够直接输出对输入图像的单分类结果，即明确判断输入样本属于正、负样本的概率。

生成器与判别器各层详细参数如表2所示，其中的每一个卷积层步长为1，每一个反卷积层和平均池化层的步长为2。

表2网络结构详细参数

三、对生成式对抗网络进行训练

上述网路框架在pytorch上搭建。pytorch是由facebook提出的深度学习框架，最近被广泛使用。网络参数通过adam(adaptivemomentestimation，适应性矩估计)优化器更新，mini-batchsize(批处理大小)设置为256。设置网络的学习率为0.0001，动量参数仍保持为默认取值0.9。

本发明在无人机或巡检机器人采集到的高质电力图像上对所提方法进行实施。将无环境影响的电力图像按4：1的比例分为训练集和测试集。生成器与判别器进行交替对抗训练，直到代价损失减小到一定程度并且训练达到迭代最大次数。为避免判别器在正样本上欠拟合，利用采集到的数据中的负样本以及图像增强手段得到的负样本，对判别器进行微调，使得判别器设定的正样本范围更紧密，以达到更准确的分类效果。

四、使用训练好的判别器进行单分类任务

经过上述训练过程后，得到训练好的判别器权重。保持判别器参数、权重固定，在测试时单独使用判别器，进行单分类任务，直接将待测试数据输入判别器即可直接输出判别结果。由于判别器在训练过程中仅学习到正样本的特征，因此会把其他图像归类为未知类即负样本，则这些图像被判定为负样本的图像即为存在环境影响的电力图像。

五、综合评估指标的提出

在单分类问题中，对于任意输入，其单分类结果可分为以下四种情况，如表3所示。

表3单分类结果情况分类

其中，t(true)表示输入样本实际为正样本，f(false)表示输入样本实际为负样本，p(positive)表示判别器预测为正样本，n(negative)表示判别器预测为正样本。tp表示被模型预测为正的正样本，tn表示被模型预测为负的负样本，fp表示被模型预测为正的负样本，fn表示被模型预测为负的正样本。

衡量单分类器效果的常用指标为分类准确率(accuracy)和f1-score，分别可用公式表示为：

式中，

在本发明应用环境下，要识别出存在环境影响的电力图像，负样本的分类情况是极为重要的。然而由上式可以看出，现有的单分类问题评估指标f1-score忽略了负样本的分类效果，即tn。

为此本发明采用了一种新的评估指标。首先定义负样本集上的召回率neg_recall，并进一步定义了一种新的单分类器评估指标——“分类召回率”(classificationrecallindex，cri)，其定义为recall和neg_recall的调和平均数，用公式表示为：

因此本发明采用的两种单分类器评估指标为accuracy和cri，其取值范围均为[0,1]，并且数值越高表明单分类器的性能越好。