基于无人机巡检的杆塔缺陷识别方法与流程

本发明涉及杆塔缺陷识别领域，特别涉及一种基于无人机巡检的杆塔缺陷识别方法。

背景技术：

电力工业是关系国计民生的支柱产业，电力系统的安全稳定运行具有重大战略意义。建设放在电力物联网是落实“三型两网、世界一流”战略目标的核心任务。科技的进步使人们对电力系统的安全稳定运行有了新的要求，电力系统的不断强大不仅给人们带来了生活和工作上的便利，但是也带来了更多复杂的电力安全稳定问题。目前对杆塔缺陷的状态监测基本是通过人工进行监测，由于人工不是时时刻刻都在进行监测，就可能会出现当杆塔出现缺陷时，人工没有及时发现故障，导致不能稳定检测电力实施的安全状况，不能保障线路的安全运营。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种实现杆塔件和节点损伤识别诊断的状态监测，对杆塔件和节点损伤缺陷进行识别预警，从而稳定检测电力设施的安全状况，保障线路的安全运营的基于无人机巡检的杆塔缺陷识别方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于无人机巡检的杆塔缺陷识别方法，包括如下步骤：

a)收集杆塔件和节点的缺陷样本和非缺陷样本图像，构成输电线路智能缺陷检测样本数据集；

b)在所述输电线路智能缺陷检测样本数据集上，采用人工标记出杆塔缺陷位置及缺陷类型，将每张图像的标记结果存储成xml格式；所述标记结果记录外包矩形的左上角坐标、矩形长宽和缺陷类型；

c)采用two-stage的深度卷积神经网络目标检测算法训练杆塔缺陷检测模型；

d)将所述杆塔陷检测模型部署到后端服务器；

e)采集无人机的实时视频，从所述实时视频中提取关键帧图像并将其通过网络发送给所述后端服务器，所述后端服务器调用所述杆塔陷检测模型，检测出杆塔中存在的缺陷及缺陷类型，并发出预警信息。

在本发明所述的基于无人机巡检的杆塔缺陷识别方法中，所述步骤a)进一步包括：

a1)控制所述无人机到杆塔巡检飞行，调用无人机视频sdk获取视频流并抓取关键帧；

a2)在不同的时间段和不同的杆塔执行步骤a1)；

a3)剔除采集的图像中不包含杆塔件和节点的样本图像。

在本发明所述的基于无人机巡检的杆塔缺陷识别方法中，所述步骤c)进一步包括：

c1)构建基础特征提取网络；所述基础特征提取网络包含多个卷积层、多个relu层和多个池化层，所述基础特征提取网络的输出为fi；

c2)构建检测框提取网络，分离roi区域和背景，所述roi区域的窗口用四维向量(x,y,w,h)表示，其中，x,y分别表示roi区域的窗口中心坐标，w表示roi区域的窗口宽度，h表示roi区域的窗口高度；

c3)位置预测分支产生一个与输入fi相同尺寸大小的概率图p(·|fi)，fi在(i,j)上的概率p(i,j|fi)的大小与原图i上对应点的坐标位置相关；

c4)形状预测分支根据给定的fi和位置(w,h)，预测出所述roi区域的形状；

c5)构建目标识别网络，用于区分缺陷类型，所述目标识别网络由denseblock模块构成；

c6)建立two-stage的缺陷目标检测网络，在mscoco数据集用1000类目标进行模型训练，得到模型参数m1；

c7)修改所述目标识别网络，将分类器类别修改为杆塔件和节点缺陷数据集中缺陷数量，导入所述模型参数m1，在杆塔件和节点缺陷数据集上进行训练，使损失函数达到收敛，得到所述杆塔缺陷检测模型。

在本发明所述的基于无人机巡检的杆塔缺陷识别方法中，所述卷积层的个数为13个，所述relu层的个数为13个，所述池化层的个数为4个。

在本发明所述的基于无人机巡检的杆塔缺陷识别方法中，给定的输入图像上的roi区域的框采用如下分布方式表示：

p(x,y,w,h|i)＝p(x,y|i)p(w,h|x,y,i)

其中，x,y分别表示所述roi区域的窗口中心坐标，w表示所述roi区域的窗口宽度，h表示所述roi区域的窗口高度，i表示原图，p为概率。

在本发明所述的基于无人机巡检的杆塔缺陷识别方法中，所述denseblock模块定义如下：

xl＝hl([x0,x1,…,xl-1])

其中，hl(.)包含了batchnormalizatio(批标准化)->relu->conv(3×3)操作，采用4个所述denseblock模块构成121层识别网络，所述denseblock模块之间通过batchnormalization和1×1的卷积和均值池化连接，最后连接全连接层和softmax分类器，类别设计为1000，定义如下：

在本发明所述的基于无人机巡检的杆塔缺陷识别方法中，所述步骤e)进一步包括：

e1)调用无人机sdk获取视频流并从中抓取关键帧图像；

e2)将关键帧图像采用jpeg算法进行压缩，编码成base64格式后，将编码图像通过http协议发送到所述后端服务器；

e3)所述后端服务器接收到所述编码图像后进行解码，调用所述杆塔缺陷检测模型，判断当前图像中是否存在缺陷及缺陷类型。

实施本发明的基于无人机巡检的杆塔缺陷识别方法，具有以下有益效果：由于建立杆塔缺陷检测模型，通过无人机巡检，将无人机巡检视频图像传输到后端服务器，本发明实现杆塔件和节点损伤识别诊断的状态监测，对杆塔件和节点损伤缺陷进行识别预警，从而稳定检测电力设施的安全状况，保障线路的安全运营。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于无人机巡检的杆塔缺陷识别方法一个实施例中的流程图；

图2为所述实施例中收集杆塔件和节点的缺陷样本和非缺陷样本图像，构成输电线路智能缺陷检测样本数据集的具体流程图；

图3为所述实施例中用two-stage的深度卷积神经网络目标检测算法训练杆塔缺陷检测模型的具体流程图；

图4为所述实施例中基础特征提取网络的结构示意图；

图5为所述实施例中损失函数收敛的示意图；

图6为所述实施例中采集无人机的实时视频，从实时视频中提取关键帧图像并将其通过网络发送给后端服务器，后端服务器调用杆塔陷检测模型，检测出杆塔中存在的缺陷及缺陷类型，并发出预警信息的具体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明基于无人机巡检的杆塔缺陷识别方法实施例中，给基于无人机巡检的杆塔缺陷识别方法的流程图如图1所示。图1中，该基于无人机巡检的杆塔缺陷识别方法包括如下步骤：

步骤s01收集杆塔件和节点的缺陷样本和非缺陷样本图像，构成输电线路智能缺陷检测样本数据集：本步骤中，收集若干个杆塔件和节点的缺陷样本和非缺陷样本图像，构成输电线路智能缺陷检测样本数据集。

步骤s02在输电线路智能缺陷检测样本数据集上，采用人工标记出杆塔缺陷位置及缺陷类型，将每张图像的标记结果存储成xml格式：本步骤中，在输电线路智能缺陷检测样本数据集上，采用人工标记出杆塔缺陷位置及缺陷类型，将每张图像的标记结果存储成xml格式，标记结果记录外包矩形的左上角坐标、矩形长宽和缺陷类型，换言之，每个缺陷记录其外包矩形的左上角坐标、矩形长宽和缺陷类型。

步骤s03采用two-stage的深度卷积神经网络目标检测算法训练杆塔缺陷检测模型：本步骤中，采用two-stage的深度卷积神经网络目标检测算法训练杆塔缺陷检测模型。

步骤s04将杆塔陷检测模型部署到后端服务器：本步骤中，将杆塔陷检测模型部署到后端服务器中。

步骤s05采集无人机的实时视频，从实时视频中提取关键帧图像并将其通过网络发送给后端服务器，后端服务器调用杆塔陷检测模型，检测出杆塔中存在的缺陷及缺陷类型，并发出预警信息：本步骤中，采集无人机的实时视频，从该实时视频中提取关键帧图像并将其通过网络发送给后端服务器，后端服务器调用杆塔陷检测模型，检测关键帧图像中的杆塔存在的缺陷及缺陷类型，当检测出缺陷时，发出预警信息。值得一提的是，上述网络可以是4g网络或5g网络等。

本发明针对杆塔件、节点损伤识别诊断的状态监测，采用了基于无人机巡检和后端深度卷积神经网络的方法进行状态检测。本发明通过无人机巡检，将无人机巡检的视频图像传输到后端服务器，实现杆塔件、节点损伤识别诊断的状态监测，对杆塔件、节点损伤缺陷进行识别预警。从而稳定检测电力设施的安全状况，保障线路的安全运营。

对于本实施例而言，上述步骤s01还可进一步细化，其细化后的流程图如图2所示。图2中，该步骤s01进一步包括如下步骤：

步骤s11控制无人机到杆塔巡检飞行，调用无人机视频sdk获取视频流并抓取关键帧：本步骤中，控制无人机到杆塔巡检飞行，调用无人机视频sdk获取视频流，并从中抓取关键帧。

步骤s12在不同的时间段和不同的杆塔执行步骤s11：本步骤中，在不同的时间段和不同的杆塔重复执行上述步骤s11。时间段可以无人机中系统设置好的不同的时间段，无人机按照这些时间段在对不同的杆塔进行巡检飞行。

步骤s13剔除采集的图像中不包含杆塔件和节点的样本图像：本步骤中，将采集的图像中不包含杆塔件和节点的样本图像剔除掉。

对于本实施例而言，上述步骤s03还可进一步细化，其细化后的流程图如图3所示。图3中，该步骤s03进一步包括如下步骤：

步骤s31构建基础特征提取网络：本步骤中，构建基础特征提取网络n1，该基础特征提取网络的结构示意图如图4所示。该基础特征提取网络n1包含多个卷积层、多个relu层和多个池化层，基础特征提取网络的输出为fi。具体而言，卷积层的个数为13个，relu层的个数为13个，池化层的个数为4个。

步骤s32构建检测框提取网络，分离roi区域和背景，roi区域的窗口用四维向量(x,y,w,h)表示：本步骤中，构建检测框提取网络，即rpn，分离roi区域和背景，roi区域的窗口用四维向量(x,y,w,h)表示，其中，x,y分别表示roi区域的窗口中心坐标，w表示roi区域的窗口宽度，h表示roi区域的窗口高度。

给定的输入图像上的roi区域的框采用如下分布方式表示：

p(x,y,w,h|i)＝p(x,y|i)p(w,h|x,y,i)

其中，x,y分别表示roi区域的窗口中心坐标，w表示roi区域的窗口宽度，h表示roi区域的窗口高度，i表示原图，p为概率。roi区域预测采用两个分支分别预测位置和形状。

步骤s33位置预测分支产生一个与输入fi相同尺寸大小的概率图p(·fi)，fi在(i,j)上的概率p(i,j|fi)的大小与原图i上对应点的坐标位置相关：本步骤中，位置预测分支产生一个与输入fi相同尺寸大小的概率图p(·|fi)，fi在(i,j)上的概率p(i,jfi)的大小与原图i上对应点的坐标位置相关。

步骤s34形状预测分支根据给定的fi和位置(w,h)，预测出roi区域的形状：本步骤中，形状预测分支根据给定的fi和位置(w,h)，预测出roi区域的形状，该形状与最近的真值产生较高的iou。

深度卷积神经网络在roi区域提取阶段，采用了子网络来预测该区域的位置，以减少候选区域的数量，提高检测速度和精度。

步骤s35构建目标识别网络，用于区分缺陷类型，目标识别网络由denseblock模块构成：本步骤中，构建目标识别网络，用于区分缺陷类型，该目标识别网络由denseblock模块构成，该denseblock模块定义如下：

xl＝hl([x0,x1,…,xl-1])

其中，hl(.)包含了batchnormalization->relu->conv(3×3)操作，采用4个denseblock模块构成121层识别网络，denseblock模块之间通过batchnormalization和1×1的卷积和均值池化连接，最后连接全连接层和softmax分类器，类别设计为1000，定义如下：

步骤s36建立two-stage的缺陷目标检测网络，在mscoco数据集用1000类目标进行模型训练，得到模型参数m1：本步骤中，将上述步骤s31至步骤s35组合构成two-stage的缺陷目标检测网络，在mscoco数据集用1000类目标进行模型训练，得到模型参数m1。

步骤s37修改目标识别网络，将分类器类别修改为杆塔件和节点缺陷数据集中缺陷数量，导入模型参数m1，在杆塔件和节点缺陷数据集上进行训练，使损失函数达到收敛，得到杆塔缺陷检测模型：本步骤中，修改上述目标识别网络，将分类器类别修改为杆塔件和节点缺陷数据集中缺陷数量，导入上述模型参数m1，在杆塔件和节点缺陷数据集上进行训练，快速使损失函数达到收敛，如图5所示的损失函数收敛的示意图，最终得到得到杆塔缺陷检测模型。本发明采用了迁移学习方法，在较小样本情况下实现较高检测精度。

对于本实施例而言，上述步骤s05还可进一步细化，其细化后的流程图如图6所示。图6中，该步骤s05进一步包括如下步骤：

步骤s51调用无人机sdk获取视频流并从中抓取关键帧图像：本步骤中，调用无人机sdk获取视频流并从中抓取关键帧图像。

步骤s52将关键帧图像采用jpeg算法进行压缩，编码成base64格式后，将编码图像通过http协议发送到后端服务器：本步骤中，将关键帧图像采用jpeg算法进行压缩，编码成base64格式后，将编码图像通过http协议发送到后端服务器。

步骤s53后端服务器接收到编码图像后进行解码，调用杆塔缺陷检测模型，判断当前图像中是否存在缺陷及缺陷类型：本步骤中，后端服务器接收到编码图像后进行解码，调用杆塔缺陷检测模型，将解码后的图像与杆塔缺陷检测模型进行匹配，判断当前解码后的图像中是否存在缺陷及缺陷类型。

总之，本发明通过无人机巡检，将无人机巡检视频图像传输到后端服务器，本发明实现杆塔件和节点损伤识别诊断的状态监测，对杆塔件和节点损伤缺陷进行识别预警，从而稳定检测电力设施的安全状况，保障线路的安全运营。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。