基于无人机的电力设施智能识别方法及系统与流程

本发明涉及电力设备技术领域，具体地说，涉及一种基于无人机的电力设施智能识别方法及系统。

背景技术：

电力设施的安全可靠运行关系到经济发展以及社会生活的正常运转，输电线路是电力系统的重要组成部分，保证输电线路的正常运行是整个电力系统安全运行的前提和保障。

由于输电线路分布面积广，传输间距长，地形条件复杂多变以及受天气影响大等特点，需要实时掌握输电线路上各种电力设施的情况，但是，输电线路上发生的故障情况有时候往往具备隐蔽性以及突发性等特点，仅仅依靠电力工作人员的人力巡视很难做到及时故障预警。

因此，本发明提供了一种基于无人机的电力设施智能识别方法及系统。

技术实现要素：

为解决上述问题，本发明提供了一种基于无人机的电力设施智能识别方法，所述方法包含以下步骤：

步骤一：对待巡检电力线路进行激光雷达扫描，获取所述待巡检电力线路的三维点云数据，并对所述三维点云数据进行关键特征筛选，提取得到关键特征点信息；

步骤二：基于所述关键特征点信息，结合所述三维点云数据中的位置数据，确定当前巡检过程的重点巡检位置以及重点巡检目标，以生成当前巡检过程的飞行路径规划数据；

步骤三：在依照所述飞行路径规划数据进行飞行过程中，基于所述重点巡检位置以及所述重点巡检目标采集图像数据；

步骤四：将所述图像数据传送至专用图像处理识别模块，通过所述专用图像处理识别模块，对所述图像数据进行内容识别处理，以排查所述待巡检电力线路中存在的故障情况。

根据本发明的一个实施例，所述关键特征点信息包含线路基础设备、杆塔、导地线、绝缘子、金具、接地装置、通道环境、附属设施以及故障信息。

根据本发明的一个实施例，所述飞行路径规划数据包含飞行路径点以及飞行轨迹，其中：

基于所述待巡检电力线路、所述关键特征点信息以及所述位置数据，确定所述重点巡检位置以及所述重点巡检位置对应的所述重点巡检目标；

基于所述重点巡检位置以及所述重点巡检目标确定所述飞行轨迹以及所述飞行路径点。

根据本发明的一个实施例，所述重点巡检位置包含铁塔，其中，所述铁塔包含直线塔、转角塔、耐张塔、分歧塔、换位塔以及终端塔。

根据本发明的一个实施例，所述重点巡检目标包含无人机起降位置、悬停位置、图片拍摄角度以及图片拍摄数量。

根据本发明的一个实施例，所述步骤三还包含以下步骤：在依照所述飞行路径规划数据进行飞行过程中，调整无人机摄像头的拍摄角度，以采集所述图像数据。

根据本发明的一个实施例，对所述图像数据进行内容识别处理，以排查所述待巡检电力线路中存在的故障情况的步骤中，具体包含以下步骤：

基于所述关键特征点信息，对所述图像数据进行分类，得到分类后的图像数据；

基于分类后的图像数据，通过所述专用图像处理识别模块进行识别，确定图像中包含的重点巡检位置；

针对重点巡检位置，基于其所对应的重点巡检目标，进行故障识别处理，当发现故障情况时，反馈故障位置以及对应的故障情况。

根据本发明的一个实施例，所处故障情况包含：破损、异物覆盖、位置变动、锈蚀、存在裂缝。

根绝本发明的另一个方面，还提供了一种基于无人机的电力设施智能识别装置，所述装置包含：

第一模块，其用于对待巡检电力线路进行激光雷达扫描，获取所述待巡检电力线路的三维点云数据，并对所述三维点云数据进行关键特征筛选，提取得到关键特征点信息；

第二模块，其用于基于所述关键特征点信息，结合所述三维点云数据中的位置数据，确定当前巡检过程的重点巡检位置以及重点巡检目标，以生成当前巡检过程的飞行路径规划数据；

第三模块，其用于在依照所述飞行路径规划数据进行飞行过程中，基于所述重点巡检位置以及所述重点巡检目标采集图像数据；

第四模块，其用于将所述图像数据传送至专用图像处理识别模块，通过所述专用图像处理识别模块，对所述图像数据进行内容识别处理，以排查所述待巡检电力线路中存在的故障情况。

根绝本发明的另一个方面，还提供了一种基于无人机的电力设施智能识别系统，所述系统包含：

无人巡检系统，其配置为：

对待巡检电力线路进行激光雷达扫描，获取所述待巡检电力线路的三维点云数据，并对所述三维点云数据进行关键特征筛选，提取得到关键特征点信息；

基于所述关键特征点信息，结合所述三维点云数据中的位置数据，确定当前巡检过程的重点巡检位置以及重点巡检目标，以生成当前巡检过程的飞行路径规划数据；

智能识别系统，其包含无人机摄像头、专用图像处理识别模块、无人机以及无人机飞行控制平台，其用于执行以下步骤：

所述无人机在所述无人机飞行控制平台的控制下，依照所述飞行路径规划数据进行飞行过程中，通过所述无人机摄像头基于所述重点巡检位置以及所述重点巡检目标采集图像数据；

将所述图像数据传送至专用图像处理识别模块，通过所述专用图像处理识别模块，对所述图像数据进行内容识别处理，以排查所述待巡检电力线路中存在的故障情况。

本发明提供的基于无人机的电力设施智能识别方法及系统通过精细化平台的把控，针对重点目标拍摄的位置、角度都能进行最优化设置，并尽量保证每次拍摄的标准一致，从而大大提高巡检效率和图像识别的准确率，另外可针对行业巡检需求的定制化图像识别算法模块(电力行业)，真正解决行业特殊需求，同时适应各类特定情况和后续调整升级。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的一个实施例的基于无人机的电力设施智能识别方法流程图；

图2显示了根据本发明的一个实施例的基于无人机的电力设施智能识别方法中对图像数据进行处理识别的流程图；

图3显示了根据本发明的另一个实施例的基于无人机的电力设施智能识别方法流程图；

图4显示了根据本发明的一个实施例的飞行路径规划示意图；

图5显示了根据本发明的一个实施例的四回路直线塔悬停位置示意图；

图6显示了根据本发明的一个实施例的重点巡检位置示意图；

图7显示了根据本发明的一个实施例的重点巡检位置中的故障示意图；以及

图8显示了根据本发明的一个实施例的基于无人机的电力设施智能识别装置结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

一般来说，现有技术中的识别主要为静态识别，现在的绝大多是图像识别技术(如人脸识别技术)，都对识别物体的限制很多，如必须稳定、静态状态为主；需要比较良好的背景条件，干扰物不能过多；识别效果不佳时的调整比较困难等。另外，针对行业的算法很少：目前的图像识别技术主要还是字符、人脸、标志图形等方面为主，极少有针对某一行业常用器件，如电力行业的针对性算法开发。并且，无人机一体化系统极少：目前极少有结合图像识别+无人机的整体软硬件一体化平台，往往都是各个分系统单独研发运行，无法形成有效的运行系统。

图1显示了根据本发明的一个实施例的基于无人机的电力设施智能识别方法流程图。

如图1，在步骤s101中，对待巡检电力线路进行激光雷达扫描，获取待巡检电力线路的三维点云数据，并对三维点云数据进行关键特征筛选，提取得到关键特征点信息。

具体来说，关键特征点信息包含线路基础设备、杆塔、导地线、绝缘子、金具、接地装置、通道环境、附属设施以及故障信息。

一般来说，关键特征信息是由国家电网定义的8大类部件(线路基础设备、杆塔、导地线、绝缘子、金具、接地装置、通道环境、附属设施)，以及细化总计502项故障信息，且该标准内容每年均审议更新。

如图1，在步骤s102中，基于关键特征点信息，结合三维点云数据中的位置数据，确定当前巡检过程的重点巡检位置以及重点巡检目标，以生成当前巡检过程的飞行路径规划数据。

具体来说，飞行路径规划数据包含飞行路径点以及飞行轨迹，其中：

基于待巡检电力线路、关键特征点信息以及位置数据，确定重点巡检位置以及重点巡检位置对应的所述重点巡检目标。具体来说，重点巡检位置包含铁塔，其中，铁塔包含直线塔、转角塔、耐张塔、分歧塔、换位塔以及终端塔。

基于重点巡检位置以及重点巡检目标确定飞行轨迹以及飞行路径点。具体来说，重点巡检目标包含无人机起降位置、悬停位置、图片拍摄角度以及图片拍摄数量。

如图1，在步骤s103中，在依照飞行路径规划数据进行飞行过程中，基于重点巡检位置以及重点巡检目标采集图像数据。

在一个实施例中，在依照飞行路径规划数据进行飞行过程中，调整无人机摄像头的拍摄角度，以采集图像数据。即无人机上装载有无人机摄像头，在无人机依照飞行轨迹飞行的过程中，遇到重点巡检位置后，需要依据与重点巡检位置相对应的重点巡检目标进行图像采集，获取图像数据。

如图1，在步骤s104中，将图像数据传送至专用图像处理识别模块，通过专用图像处理识别模块，对图像数据进行内容识别处理，以排查待巡检电力线路中存在的故障情况。

具体来说，可以通过如图2所示的方法通过专用图像处理识别模块进行识别过程，具体包含以下步骤：

首先，在步骤s201中，基于关键特征点信息，对图像数据进行分类，得到分类后的图像数据。具体来说，依据关键特征点信息中的分类标准，对采集的图像数据进行分类，分类的过程可以可以辅助人工检查过程，通过人工进行纠错。

然后，在步骤s202中，基于分类后的图像数据，通过专用图像处理识别模块进行识别，确定图像中包含的重点巡检位置。专用图像处理识别模块可以根据不同的巡检需求进行定制。专用图像处理识别模块具备图像识别功能，能够识别图像中的重点巡检位置。

最后，在步骤s203中，针对重点巡检位置，基于其所对应的重点巡检目标，进行故障识别处理，当发现故障情况时，反馈故障位置以及对应的故障情况。具体来说，专用图像处理识别模块能够通过前期的学习过程，逐步提升识别率，过程一般包括：标准数据输入->定义识别物体特征值->测试数据输入->错误识别结果纠正->数据再次输入，以上循环步骤，在不断的训练和纠正过程中提高识别率，最终达到故障类型识别率超过80％的要求。

一般来说，故障情况包含：破损、异物覆盖、位置变动、锈蚀、存在裂缝。需要说明的是，以上故障情况并不是穷举，其他电力设施的故障状态也包含在本发明的故障情况中，本发明不对此作出限制。

图3显示了根据本发明的另一个实施例的基于无人机的电力设施智能识别方法流程图。

如图3，在步骤301中，进行无人机激光雷达巡检，得到无人机激光雷达巡检数据。在步骤302中，进行三维点云数据分析，通过分析，计算得出最优的无人机飞行路径规划数据。

接着，无人机飞行路径规划数据将直接用于无人机飞行轨迹控制(步骤303)和无人机数据采集控制(步骤304)，即传感器和云台控制。

然后，将无人机获取的图像数据输入图像分析系统(步骤305)进行分析，图像分析系统将根据行业定制图像分析算法(步骤306)的定义，不断地进行数据比对和识别工作。

在进行重点目标识别发现(步骤307)过程中，如果识别成功，进入下一步标注目标位置(步骤308)，如果未识别到重点目标，则继续进行识别。

标注完目标位置之后，需要在目标位置进行重点目标故障判断(步骤309)，如果判断存在故障，则需要识别故障类型(步骤310)，如果没有发现目标故障，则继续识别。

识别故障类型过程中，如果判断出了目标故障类型(步骤311)，则需要进行故障标注警示(步骤312)，如果没有判断结果，则继续进行故障类型识别。

在一个实施例中，行业定制图像分析算法即专用图像处理识别模块为基于神经网络的深度学习图像识别算法，被称为卷积神经网络，也叫cnns或convnets。

一般来说，在任何一张图像中，接近度与相似度的关联性都是非常强的。准确地说，卷积神经网络就是利用了这一原理。具体而言就是，在一张图像中的两个相邻像素，比图像中两个分开的像素更具有关联性。但是，在一个常规的神经网络中，每个像素都被连接到了单独的神经元。这样一来，计算负担自然加重了，而加重的计算负担实际上是在削弱网络的准确程度。

卷积网络通过削减许多不必要的连接来解决这一问题。即卷积网络按照关联程度筛选不必要的连接，进而使图像处理过程在计算上更具有可操作性。卷积网络有意地限制了连接，让一个神经元只接受来自之前图层的小分段的输入(假设是3×3或5×5像素)，避免了过重的计算负担。因此，每一个神经元只需要负责处理图像的一小部分。

卷积神经网络筛选出不必要的连接是依靠卷积层和汇聚层。举例来说：让卷积神经网络判断照片中是否有绝缘子这一对象，把卷积神经网络的操作进行分解，逐一描述。

第一步，卷积层。卷积层本身实际上也包含了以下几个步骤：

首先，将绝缘子的照片分解成一些3×3像素的、重叠着的拼接图块。

然后，把每一个图块运行于一个简单的、单层的神经网络，保持权衡不变。这一操作会使拼接图块变成一个图组。由于一开始就将原始图像分解成了小的图像(在这个案例中，是将其分解成了3×3像素的图像)，所以，用于图像处理的神经网络也是比较好操作的。

接下来，将会把这些输出值排列在图组中，用数字表示照片中各个区域的内容，数轴分别代表高度、宽度和颜色。那么，就得到了每一个图块的三维数值表达。(如果不是绝缘子的照片，而是视频，就会得到一个四维的数值表达。)

下一步是汇聚层：

汇聚层是将这个三维(或是四维)图组的空间维度与采样函数结合起来，输出一个仅包含了图像中相对重要的部分的联合数组。这一联合数组不仅能使计算负担最小化，还能有效避免过度拟合的问题。

最后，把从汇聚层中得出的采样数组作为常规的、全方位连接的神经网络来使用。通过卷积和汇聚，大幅度地缩减了输入的数量，因此，此时得到的数组大小是一个正常普通网络完全能够处理的，不仅如此，这一数组还能保留原始数据中最重要的部分。这最后一步的输出结果将最终显示出系统有多少把握作出照片中有绝缘子的判断。

需要说明的是，以上只是对卷积神经网络工作过程的简单描述，现实中，其工作过程是更加复杂的。另外，由于案例不同，实际应用中的卷积神经网络处理的内容一般包含了上百个，甚至上千个标签。

另外，本发明能够识别的故障类型目前共计502种，识别的过程如下：

首先，在基于卷积神经网络的图像识别算法中，设置8大类型(线路基础设备、杆塔、导地线、绝缘子、金具、接地装置、通道环境、附属设施)的识别，并针对每种类型部件输入至少20张标准图片，让算法进行学习和适应。

然后，在算法识别完成的数据基础上，对漏标、错标的数据进行手动标注，并将漏标、错标的数据再次输入算法，进行校正。

之后，重复上述步骤，直到算法的识别准确率达到设定要求，一般要求识别率为90％以上。

另外，在8大类部件识别达到要求识别率基础上，针对各个部件，进行相关类型故障缺陷的图像识别学习，整个过程依然遵循：标准数据输入->定义识别物体特征值->测试数据输入->错误识别结果纠正->数据再次输入，这样一个循环的步骤，在不断的训练和纠正过程中提高识别率，最终达到故障类型识别率超过80％(识别率可以根据需求设定，本发明不限制)的要求。

需要说明的是，故障类型可以根据不同的识别目标进行进一步地调整和学习，例如针对杆塔，角钢塔的塔身可以识别的故障类型包含倾斜、异物、锈蚀，横担可以识别的故障类型包含锈蚀、歪斜，塔材可以识别的故障类型包含缺螺栓、缺塔材、变形裂纹、锈蚀，其他故障类型也可以通过本发明的行业定制图像分析算法(专用图像处理识别模块)进行学习识别以及故障判断，本发明不对此作出限制。

在一个实施例中，如图3所示的基于无人机的电力设施智能识别方法可以配合基于无人机的电力设施智能识别系统使用，电力设施智能识别系统包含两个子系统，分别为无人巡检系统(基于三维点云数据的精细化无人机巡检系统)以及智能识别系统(无人机平台挂载的电力智能识别系统)。

在一个实施例中，无人巡检系统配置为：

对待巡检电力线路进行激光雷达扫描，获取待巡检电力线路的三维点云数据，并对三维点云数据进行关键特征筛选，提取得到关键特征点信息。

基于关键特征点信息，结合三维点云数据中的位置数据，确定当前巡检过程的重点巡检位置以及重点巡检目标，以生成当前巡检过程的飞行路径规划数据。

一般来说，无人巡检系统首先需要针对待巡检电力线路进行激光雷达扫描，获取三维点云数据，在三维点云数据的基础上进行筛选，提取关键特征点信息。之后结合关键特征点信息、三维点云数据中的gps信息，指定当前巡检过程的重点巡检位置和巡检目标，从而形成飞行路径点以及飞行轨迹(如图4)。具体来说，可以通过搭载rtk(real-timekinematic，载波相位差分技术)高精度定位的无人机按照飞行轨迹进行飞行巡检。

下面以输电线路上的杆塔巡检过程举例：

无人巡检系统中的数据平台可通过分析激光雷达无人机采集的高精度点云数据，提取关键特征点信息，计算优化，再依次组合成精细化巡检航线。输电线路的关键节点为铁塔，铁塔一般分为直线塔、转角塔、耐张塔、分歧塔、换位塔、终端塔等，每一种塔型均具有不同的空中飞行巡视路径参数，即飞机起降位置，塔脚、塔顶悬停位置，相机拍摄角度，照片拍摄数量，每相序导线、地线悬停位置等。

如图5，以典型的四回路直线塔为例，具体说明铁塔精细化巡视路径及悬停节点，四回路直线塔自动巡检关键点设计如图5所示，结合巡视作业的塔形和设备，一共设置了16个悬停位置关键点，无人机按照图中规划顺序依次悬停作业，不同的悬停位置调整云台相机角度，进行不同设备的巡检拍摄工作，其中，悬停位置1线路前进方向右边塔身处，可拍摄塔脚和杆塔线路名牌等设备照片；悬停位置2至7，11至16可拍摄导线、防震锤、绝缘子串和金具等设备照片；悬停位置8至10可拍摄地线、塔头和防震锤等设备照片。

在一个实施例中，智能识别系统包含无人机摄像头、专用图像处理识别模块、无人机以及无人机飞行控制平台，其用于执行以下步骤：

无人机在无人机飞行控制平台的控制下，依照飞行路径规划数据进行飞行过程中，通过无人机摄像头基于重点巡检位置以及重点巡检目标采集图像数据；

将图像数据传送至专用图像处理识别模块，通过专用图像处理识别模块(图像处理芯片，可内置分析处理软件)，对图像数据进行内容识别处理，以排查待巡检电力线路中存在的故障情况。

无人机飞行控制平台将接受由无人巡检系统发送的最优无人机飞行巡检路线，无人机飞行平台将按照设定的路线进行飞行，并调整挂载的无人机摄像头，进行相关重点目标的数据采集和拍摄。在获得数据之后，图像处理芯片将根据采集的内容进行识别，首先发现重点巡检目标，并进行标识。如果巡检目标有异常情况，还需要针对异常情况进行识别和警示(如图6-7所示)。

本发明中，无人机平台挂载的电力智能识别系统为软硬件一体化平台，能通过图像识别算法，自动根据指定特征值，识别出特定的目标，基于三维点云数据的精细化无人机巡检系统则结合真实三维数据，实时控制无人机的飞行轨迹，自动定位到最准确的巡检位置，降低识别过程中的不必要干扰，提高图像的识别效率。

图8显示了根据本发明的一个实施例的基于无人机的电力设施智能识别装置结构框图。如图8所示，识别装置800包含第一模块801、第二模块802、第三模块803以及第四模块804。

其中，第一模块801用于对待巡检电力线路进行激光雷达扫描，获取待巡检电力线路的三维点云数据，并对三维点云数据进行关键特征筛选，提取得到关键特征点信息。

第二模块802用于基于关键特征点信息，结合三维点云数据中的位置数据，确定当前巡检过程的重点巡检位置以及重点巡检目标，以生成当前巡检过程的飞行路径规划数据。

第三模块803用于在依照飞行路径规划数据进行飞行过程中，基于重点巡检位置以及重点巡检目标采集图像数据。

第四模块804用于将图像数据传送至专用图像处理识别模块，通过专用图像处理识别模块，对图像数据进行内容识别处理，以排查待巡检电力线路中存在的故障情况。

综上，本发明提供的基于无人机的电力设施智能识别方法及系统通过精细化平台的把控，针对重点目标拍摄的位置、角度都能进行最优化设置，并尽量保证每次拍摄的标准一致，从而大大提高巡检效率和图像识别的准确率，另外可针对行业巡检需求的定制化图像识别算法模块(电力行业)，真正解决行业特殊需求，同时适应各类特定情况和后续调整升级。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。