基于无人机巡检的输电线路关键器件缺陷识别方法与流程

本发明涉及无人机巡检领域，特别涉及一种基于无人机巡检的输电线路关键器件缺陷识别方法。

背景技术：

电力工业是关系国计民生的支柱产业，电力系统的安全稳定运行具有重大战略意义。建设放在电力物联网是落实“三型两网、世界一流”战略目标的核心任务。科技的进步使人们对电力系统的安全稳定运行有了新的要求，电力系统的不断强大不仅给人们带来了生活和工作上的便利，但是也带来了更多复杂的电力安全稳定问题。目前对输电线路的关键器件的状态监测基本是通过人工进行监测，由于人工不是时时刻刻都在进行监测，就可能会出现当输电线路的关键器件出现缺陷时，人工没有及时发现故障，导致不能稳定检测电力实施的安全状况，不能保障线路的安全运营。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种实现输电线路的关键器件的状态监测，对输电线路缺陷进行识别预警，从而稳定检测输电线路关键器件的安全状况，保障线路的安全运营的基于无人机巡检的输电线路关键器件缺陷识别方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于无人机巡检的输电线路关键器件缺陷识别方法，包括如下步骤：

a)针对输电线路的关键器件，收集对应的缺陷样本和非缺陷样本，构成输电线路智能缺陷检测的样本数据集；所述关键器件至少包括绝缘子、大金具和小金具；

b)通过数据增强算法增加所述样本数据集中缺陷样本的数量；

c)采用深度卷积神经网络训练各类关键器件的缺陷检测模型；

d)将所述各类关键器件的缺陷检测模型部署到后端服务器；

e)采集无人机的实时视频，从所述实时视频中获取关键帧图像，将所述关键帧图像进行压缩编码后传输到所述后端服务器，所述后端服务器调用输电线路的所述关键器件的缺陷检测模型对输电线路的关键器件的缺陷进行检测，当检测到缺陷时，发出预警信息。

在本发明所述的基于无人机巡检的输电线路关键器件缺陷识别方法中，所述步骤b)进一步包括：

b1)对所述缺陷样本加入随机噪声，得到有噪声干扰的样本图像；

b2)将所述有噪声干扰的样本图像分别进行顺时针方向和逆时针方向设定角度以内的角度旋转，得到不同旋转角度下的样本图像；

b3)构建gan生成网络，所述gan生成网络由三种神经网络结构组成，包括发生器/解码器、鉴别器和分类器/编码器；

b4)将所述不同旋转角度下的样本图像输入所述gan生成网络，将所述gan生成网络输出的图片加入到所述样本数据集中。

在本发明所述的基于无人机巡检的输电线路关键器件缺陷识别方法中，所述发生器由4个反卷积层组成，每个所述反卷积层使用5*5的过滤器，所述鉴别器由4个卷积层和4个反卷积层构成，所述分类器由4个卷积层和1个全连接层构成。

在本发明所述的基于无人机巡检的输电线路关键器件缺陷识别方法中，所述步骤c)进一步包括：

c1)定义卷积网络；

c2)以所述卷积网络作为特征提取基础网络模型，后面连接多尺度特征映射层；所述多尺度特征层由6个卷积层和1个全局池化层构成；

c3)在mscoco数据集用损失函数fl(pt)＝-αt(1-pt)^γlog(pt)进行模型训练，其中，αt，γ均为参数，pt为所述缺陷样本；

c4)将所述模型训练得到的关键器件的缺陷检测模型迁移学习到关键器件缺陷数据集，每设定步数输出准确率，直到达到最优结果，保存最优的缺陷识别模型；

c5)针对每一种样本数据集，重复步骤c4)，最终得到每种关键器件的缺陷检测模型。

在本发明所述的基于无人机巡检的输电线路关键器件缺陷识别方法中，所述卷积网络包含两层，其中，x为输入，y＝w2σ(w1x)为输出，w1为第一层网络，w2为第二层网络。

在本发明所述的基于无人机巡检的输电线路关键器件缺陷识别方法中，所述步骤e)进一步包括：

e1)调用无人机sdk获取实时视频流，并从中抓取关键帧图像；

e2)采用模板匹配方法检测所述关键帧图像中是否包含待检测缺陷的输电线路的关键器件，如是，则执行步骤e3)；否则，返回步骤e1)；

e3)将所述关键帧图像采用jpeg算法进行压缩，编码成base64格式的图像，通过http协议发送给所述后端服务器；

e4)所述后端服务器接收到编码后的图像后，对其进行解码，调用对应关键器件的缺陷检测模型，判断当前关键器件是否存在缺陷。

在本发明所述的基于无人机巡检的输电线路关键器件缺陷识别方法中，所述设定角度为30°。

在本发明所述的基于无人机巡检的输电线路关键器件缺陷识别方法中，6个所述卷积层的卷积核大小分别为(38,38),(19,19),(10,10),(5,5),(3,3),(1,1)。

在本发明所述的基于无人机巡检的输电线路关键器件缺陷识别方法中，所述设定步数为50步。

实施本发明的基于无人机巡检的输电线路关键器件缺陷识别方法，具有以下有益效果：由于通过无人机巡检，将无人机巡检视频图像传输到后端服务器，实现输电线路的绝缘子、大金具、小金具等关键器件的状态监测，对输电线路缺陷进行识别预警，从而稳定检测输电线路关键器件的安全状况，保障线路的安全运营。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于无人机巡检的输电线路关键器件缺陷识别方法一个实施例中的流程图；

图2为所述实施例中通过数据增强算法增加样本数据集中缺陷样本的数量的具体流程图；

图3为所述实施例中gan生成网络的架构图；

图4为所述实施例中采用深度卷积神经网络训练各类关键器件的缺陷检测模型的具体流程图；

图5为所述实施例中卷积网络的架构图；

图6为所述实施例中采集无人机的实时视频，从实时视频中获取关键帧图像，将关键帧图像进行压缩编码后传输到后端服务器，后端服务器调用输电线路的的关键器件的缺陷检测模型对输电线路的关键器件的缺陷进行检测，当存在得到缺陷时，发出预警的具体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明基于无人机巡检的输电线路关键器件缺陷识别方法实施例中，该基于无人机巡检的输电线路关键器件缺陷识别方法的流程图如图1所示。图1中，该基于无人机巡检的输电线路关键器件缺陷识别方法包括如下步骤：

步骤s01针对输电线路的关键器件，收集对应的缺陷样本和非缺陷样本，构成输电线路智能缺陷检测的样本数据集：本步骤中，针对输电线路的关键器件，例如：绝缘子、大金具、小金具等，收集对应的缺陷样本和非缺陷样本，构成输电线路智能缺陷检测的样本数据集。

步骤s02通过数据增强算法增加样本数据集中缺陷样本的数量：本步骤中，需要扩充样本数据集中的缺陷样本的数量，具体是通过数据增强算法增加样本数据集中缺陷样本的数量。

步骤s03采用深度卷积神经网络训练各类关键器件的缺陷识别模型：本步骤中，采用深度卷积神经网络对样本数据集中的缺陷样本进行训练，训练出各类关键器件的缺陷检测模型。

步骤s04将各类关键器件的缺陷识别模型部署到后端服务器：本步骤中，将步骤s03中得到的关键器件的缺陷识别模型到后端服务器中。

步骤s05采集无人机的实时视频，从实时视频中获取关键帧图像，将关键帧图像进行压缩编码后传输到后端服务器，后端服务器调用输电线路的的缺陷检测模型对输电线路的关键器件的缺陷进行检测，当检测到缺陷时，发出预警信息：本步骤中，采集无人机的实时视频(实时巡检视频)，从该实时视频中可以获取关键帧图像，然后将获取的关键帧图像进行压缩编码后传输到后端服务器，后端服务器调用输电线路的的缺陷检测模型对输电线路的关键器件的缺陷进行检测，当检测到缺陷时，发出预警信息。

本发明通过无人机巡检，将无人机巡检视频图像传输到后端服务器，实现输电线路的绝缘子、大金具、小金具等关键器件的状态监测，对输电线路缺陷进行识别预警。从而稳定检测输电线路关键器件的安全状况，保障线路的安全运营。

对于本实施例而言，上述步骤s02还可进一步细化，其细化后的流程图如图2所示。图2中，上述步骤s02进一步包括如下步骤：

步骤s21对缺陷样本加入随机噪声，得到有噪声干扰的样本图像：本步骤中，在缺陷样本中加入随机噪声，得到有噪声干扰的样本图像。

步骤s22将有噪声干扰的样本图像分别进行顺时针方向和逆时针方向设定角度以内的角度旋转，得到不同旋转角度下的样本图像：本步骤中，将上述步骤s21中得到的有噪声干扰的样本图像进行顺时针方向和逆时针方向设定角度以内的角度旋转，这样可以得到同旋转角度下的样本图像。值得一提的是，本实施例中，设定角度为30°，也就是将有噪声干扰的样本图像分别进行顺时针方向和逆时针方向30°以内的角度旋转，得到不同旋转角度下的样本图像。当然，在实际应用中，该设定角度的大小可以根据具体情况进行相应调整，也就是该设定角度的大小可以根据具体情况进行相应增大或减小。

步骤s23构建gan生成网络，gan生成网络由三种神经网络结构组成，包括发生器/解码器、鉴别器和分类器/编码器：本步骤中，构建gan生成网络，gan生成网络由三种神经网络结构组成，包括发生器/解码器、鉴别器和分类器/编码器。图3描述了这种其架构，这三种结构相互协作，发生器尝试欺骗鉴别器。

定义如下损失函数：

θd＝argmin{αld(td，d(x；θd))+(1-α)ld((1-td)，d(g(z，l；θg)；θd))}，

θc＝argmin{βlc(l，x)+(1-β)lc((1-l)，g(z，l；θg))}，

θg＝argmin{lc(l，g(z，l；θg))}+γargmin{ld(td，d(g(z，l；θg)；θd))}，

(1)

上式中，1是样本的特征表示，并且是发生器的输入数据，同时还作为鉴别器和分类器的参数。发生器由四4个反卷积层组成，每层使用5*5的过滤器。鉴别器由，4个卷积层和4个反卷积层构成。分类器由4个卷积层和1个全连接层构成。g为发生器，d为鉴别器，c为分类器，α设置为0.5，β设置为1并将γ设置为5。训练得到样本生成网络。

步骤s24将不同旋转角度下的样本图像输入gan生成网络，将gan生成网络输出的图片加入到样本数据集中：本步骤中，将上述步骤s23中得到的不同旋转角度下的样本图像输入到gan生成网络(对抗生成网络)中，通过gan生成网络处理后，将输出的图片加入到样本数据集中，这样实现了对样本数据集的扩充。

对于本实施例而言，上述步骤s03还可进一步细化，其细化后的流程图如图4所示。图4中，上述步骤s03进一步包括如下步骤：

步骤s31定义卷积网络：本步骤中，定义卷积网络n1。图5为本实施例中卷积网络的架构图。卷积网络n1包含两层，其中，x为输入，y＝w2σ(w1x)为输出，w1为第一层网络，σ为图5中的relu，w2为第二层网络。

步骤s32以卷积网络作为特征提取基础网络模型，后面连接多尺度特征映射层：本步骤中，以卷积网络n1作为特征提取基础网络模型，后面连接多尺度特征映射层。该多尺度特征层由6个卷积层和1个全局池化层构成，6个卷积层的卷积核大小分别为(38,38),(19,19),(10,10),(5,5),(3,3),(1,1)。

步骤s33在mscoco数据集用损失函数fl(pt)＝-αt(1-pt)^γlog(pt)进行模训练：本步骤中，在mscoco数据集用损失函数fl(pt)＝-αt(1-pt)^γlog(pt)进行模型训练，具体是进行缺陷识别模型的训练，其中，αt，γ均为参数，pt为缺陷样本。

步骤s34将模型训练得到的关键器件的缺陷检测模型迁移学习到关键器件缺陷数据集，每设定步数输出准确率，直到达到最优结果，保存最优的缺陷检测模型：本步骤中，将模型训练得到的关键器件的缺陷检测模型迁移学习到关键器件缺陷数据集，每设定步数输出准确率，直到达到最优结果，保存最优的缺陷识别模型。值得一提的是，本实施例中，上述设定步数为50步。换言之，将模型训练得到的关键器件的缺陷检测模型迁移学习到关键器件缺陷数据集，每50步输出准确率，直到达到最优结果，保存最优的缺陷检测模型。

步骤s35针对每一种样本数据集，重复步骤s34，得到每种关键器件的缺陷检测模型：本步骤中，针对每一种样本数据集(比如：大金具、小金具)，重复步骤s34，得到每种关键器件的缺陷检测模型。

对于本实施例而言，上述步骤s05还可进一步细化，其细化后的流程图如图6所示。图6中，上述步骤s05进一步包括如下步骤：

步骤s51调用无人机sdk获取实时视频流，并从中抓取关键帧图像：本步骤中，调用无人机sdk获取实时视频流，并从中该实时视频流中抓取关键帧图像。

步骤s52采用模板匹配方法检测关键帧图像中是否包含待检测缺陷的输电线路的关键器件：本步骤中，采用模板匹配方法检测关键帧图像中是否包含待检测缺陷的输电线路的关键器件，如果检测的结果为是则执行步骤s53；否则，返回步骤s51。值得一提的是，本实施例中，上述待检测缺陷的输电线路的关键器件至少包括绝缘子、小金具和大金具等。

步骤s53将关键帧图像采用jpeg算法进行压缩，编码成base64格式的图像，通过http协议发送给后端服务器：本步骤中，将上述关键帧图像采用jpeg算法进行压缩，对压缩后的图像编码成base64格式的图像，将编码后的图像通过http协议发送给后端服务器。

步骤s54后端服务器接收到编码后的图像后，对其进行解码，调用对应目标的缺陷检测模型，判断当前关键器件是否存在缺陷：本步骤中，后端服务器接收到编码后的图像后，对其进行解码，调用对应关键器件的缺陷检测模型，判断当前关键器件是否存在缺陷。

总之，本发明针对输电线路的绝缘子、大金具、小金具等关键器件，采用了基于无人机巡检和后端深度卷积神经网络的方法进行状态检测；采用gan网络生成样本，用以解决样本数量不足的问题。采用多尺度的深度卷积神经网络，解决了图像中目标大小不一难以识别的问题。在无人机端采用了模板匹配的方法预先检测图像中是否包含待识别关键器件，减少了网络数据传输量。本发明实现输电线路的绝缘子、大金具、小金具等关键器件的状态监测，对输电线路缺陷进行识别预警。从而稳定检测输电线路关键器件的安全状况，保障线路的安全运营。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。