基于电力杆塔模型匹配的电力无人机巡检方法及系统与流程

本发明属于电力设施巡检技术领域，具体而言，涉及基于电力杆塔模型匹配的电力无人机巡检方法及系统。

背景技术：

近年来，我国电力系统得到突飞猛进的发展，据咨询机构globaldata预测，截止2020年，中国输电线路总里程将增加至159万千米以上。中国幅员辽阔，地形多变，尤其是超高电压输电线路多分布在山区，丘陵等恶劣环境中，这给电网的维护和运行造成很大困难。

对于这些区域的人工巡检工作不但工作量大，而且巡检人员的生命安全也不能得到很好保障。近年来，无人机产业的兴起给各种行业带来变革，利用无人机进行输电线路的巡检工作可以有效的提高工作效率，降低巡线成本，保障巡检人员工作安全性，并且可以通过机载云台记录的影像资料及时察觉高压线路上的安全隐患。

无人机路径规划是无人机飞行安全和任务完成情况的根本保证，要求具有极高的可靠性和实用性。目前，无人机在巡检之前，均通过人工方式操控无人机沿每个电力杆塔飞行一次，通过无人机上的摄像头以及定位设备来获得每个电力杆塔的塔体特征以及位置参数，最终通过计算机将数据整合来规划飞行航线。因此，包括飞行环境、飞行高度和飞行控制在内的因素对操控人员来说是极大的挑战，若操控人员稍有疏忽会导致无人机碰撞或者坠落。

技术实现要素：

本发明实施例提供了基于电力杆塔模型匹配的电力无人机巡检方法及系统，其目的在于解决现有的无人机巡检之前需人工方式操控无人机对每个电力杆塔进行数据采集的问题。

鉴于上述问题，本发明提出的技术方案是：

本发明提供基于电力杆塔模型匹配的电力无人机巡检方法，包括以下步骤：

s1，获得电力杆塔的三维模型数据和无人机的三维模型数据；

s2，结合电力杆塔的三维模型数据和定义地理位置信息绘制目标航线；

s3，利用无人机的三维模型数据沿目标航线上模拟飞行得到虚拟运动姿态数据；

s4，向无人机发送控制指令，以控制无人机根据虚拟运动姿态数据按照目标航线飞行进行巡检；

s5，接收无人机的摄像头拍摄的视频图像集和定位设备采集的实时地理位置信息；

s6，根据视频图像集对电力杆塔的三维模型数据进行修订，根据实时地理位置信息修订目标航线得到实际航线，根据实际航线模拟飞行得到真实运动姿态数据；

s7，将电力杆塔的三维模型数据、实际航线和真实运动姿态数据建立训练样本集，采用神经网络对训练样本集进行训练得到识别模型实现自动巡检。

作为本发明的一种优选技术方案，所述结合电力杆塔的三维模型数据和定义地理位置信息绘制目标航线具体为：获得电力杆塔区域的地形图层，在地形图层内设置对应的定义地理位置信息并导入电力杆塔的三维模型数据，每个电力杆塔的三维模型数据应与定义地理位置信息对应并建立编号，结合电力杆塔的三维模型数据和定义地理位置信息绘制目标航线。

作为本发明的一种优选技术方案，所述目标航线和实际航线均包括航线距离、起飞点坐标、巡检起始点坐标、路径点坐标、巡检结束点坐标和降落点坐标。

作为本发明的一种优选技术方案，所述虚拟运动姿态数据和所述真实运动姿态数据包括飞行轨迹、飞行速度、飞行时间以及飞行稳定参数。

作为本发明的一种优选技术方案，所述接收无人机的摄像头拍摄的视频图像集和定位设备采集的实时地理位置信息具体为：接收无人机的摄像头拍摄的视频图像集和定位设备采集的每个电力杆塔的实时地理位置信息之后，将视频图像集拆分为若干个逐帧图像数据，依据每个电力杆塔的排序对若干个逐帧图像数据分割为若干个逐帧图像集。

作为本发明的一种优选技术方案，所述根据视频图像集对电力杆塔的三维模型数据进行修订，根据实时地理位置信息确定实际航线，根据实际航线模拟飞行得到真实运动姿态数据具体为：扫描若干个逐帧图像集，获得每个电力杆塔的塔体特征，根据塔体特征对每个电力杆塔的三维模型数据进行修订，根据实时地理位置信息确定实际航线，根据实际航线模拟飞行得到真实运动姿态数据。

作为本发明的一种优选技术方案，所述将电力杆塔的三维模型数据、实际航线和真实运动姿态数据建立训练样本集，采用神经网络对训练样本集进行训练得到识别模型实现自动巡检具体为：对电力杆塔的三维模型数据、实际航线和真实运动姿态数据兴趣点区域进行标注建立训练样本集，其中，训练样本集分为训练集和测试集。

作为本发明的一种优选技术方案，所述对电力杆塔的三维模型数据、实际航线和真实运动姿态数据兴趣点区域进行标注建立训练样本集之后为：搭建神经网络，并进行网络初始化，将训练集中样本数据分为多个批次，采用一个批次的样本数据对神经网络进行训练，更新神经网络的权重参数。

作为本发明的一种优选技术方案，所述搭建神经网络，并进行网络初始化，将训练集中样本数据分为多个批次，采用一个批次的样本数据对神经网络进行训练，更新神经网络的权重参数之后为：采用测试集对训练后的神经网络进行验证，计算神经网络的损失值，判断所述损失值是否小于设定阈值，如果小于，则输出训练后的神经网络，得到识别模型，否则转上一步进行下一个批次的样本数据的训练。

另一方面，本发明还提供基于电力杆塔模型匹配的电力无人机巡检系统，包括：

获得模块，所述获得模块用于获得电力杆塔的三维模型数据和无人机的三维模型数据；

绘制模块，所述结合电力杆塔的三维模型数据和定义地理位置信息绘制目标航线；

仿真模块，所述仿真模块用于利用无人机的三维模型数据沿目标航线上模拟飞行得到虚拟运动姿态数据；

控制模块，所述控制模块用于向无人机发送控制指令，以控制无人机根据虚拟运动姿态数据按照目标航线飞行进行巡检；

采集模块，所述采集模块用于接收无人机的摄像头拍摄的视频图像集和定位设备采集的实时地理位置信息；

修订模块，所述修订模块用于根据视频图像集对电力杆塔的三维模型数据进行修订，根据实时地理位置信息确定实际航线，根据实际航线模拟飞行得到真实运动姿态数据；

学习模块，所述学习模块用于将电力杆塔的三维模型数据、实际航线和真实运动姿态数据建立训练样本集，采用神经网络对训练样本集进行训练得到识别模型实现自动巡检。

相对于现有技术，本发明的有益效果是：

(1)本发明是通过电力杆塔的三维模型数据和定义地理位置信息绘制目标航线，利用无人机的三维模型数据沿目标航线做仿真模拟飞行实验的方式，得到虚拟运动姿态数据，进而完成无人机飞行参数的采集，可以减少人工操控无人机采集数据，达到了避免无人机损坏的目的。

(2)本发明通过无人机根据虚拟运动姿态数据沿着目标航线进行真实飞行，对实际的电力杆塔的塔体特征和地理位置信息进行采集，将模拟时得到的数据进行更正，这样极大地提高了工作效率，避免系统通道臃肿，并且为神经网络进行深度学习提供了有利的依据。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

图1是本发明所公开的基于电力杆塔模型匹配的电力无人机巡检方法的流程示意图；

图2是本发明所公开的基于联盟区块链的智能签约系统的结构示意图。

附图标记说明：110、采集模块；120、绘制模块；130、仿真模块；140、控制模块；150、采集模块；160、修订模块；170、学习模块。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例一

参照附图1所示，本发明提供一种技术方案：基于电力杆塔模型匹配的电力无人机巡检方法，包括以下步骤：

s1，获得电力杆塔的三维模型数据和无人机的三维模型数据。

应该注意的是，建立电力杆塔和无人机的三维模型数据是目前市场应用能够得到的三维软件，包括pro/engineer、solidworks、catia、ug-nx和cimatron任一种。

具体地说，电力杆塔的三维模型数据和无人机的三维模型数据在建立模型数据的比例应当与实物相同。

s2，结合电力杆塔的三维模型数据和定义地理位置信息绘制目标航线。

进一步地，结合电力杆塔的三维模型数据和定义地理位置信息绘制目标航线具体为：获得电力杆塔区域的地形图层，在地形图层内设置对应的定义地理位置信息并导入电力杆塔的三维模型数据，每个电力杆塔的三维模型数据应与定义地理位置信息对应并建立编号，结合电力杆塔的三维模型数据和定义地理位置信息绘制目标航线。

具体地说，导入的地形图层其内容应当包括地形地貌等特征，导入完成后，根据实际的电力杆塔位置参数在地形图层内设置对应的定义地理位置信息，同时以定义地理位置信息为依据导入对应的电力杆塔的三维模型数据并建立编号排序，以方便绘制目标航线和确定实际航线，使无人机能够按照电力杆塔的顺序沿目标航线或确定实际航线飞行。例如，实际的电力杆塔的地理位置信息(x、y、z)，其中，x代表经度、y代表维度、z代表海拔高度，如果具有编号为1、2、n的电力杆塔，那么相对应的地理位置信息为(x1、y1、z1)、(x2、y2、z2)和(xn、yn、zn)。

s3，利用无人机的三维模型数据沿目标航线上模拟飞行得到虚拟运动姿态数据。

具体地说，导入无人机的三维模型数据，使其沿着目标航线进行仿真的模拟飞行，在飞行过程中可以测算到虚拟运动姿态数据。

s4，向无人机发送控制指令，以控制无人机根据虚拟运动姿态数据按照目标航线飞行进行巡检。

s5，接收无人机的摄像头拍摄的视频图像集和定位设备采集的实时地理位置信息。

进一步地，接收无人机的摄像头拍摄的视频图像集和定位设备采集的实时地理位置信息具体为：接收无人机的摄像头拍摄的视频图像集和定位设备采集的每个电力杆塔的实时地理位置信息之后，将视频图像集拆分为若干个逐帧图像数据，依据每个电力杆塔的排序对若干个逐帧图像数据分割为若干个逐帧图像集。

具体地说，此过程是通过真实的无人机通过虚拟运动姿态数据沿着目标航线飞行，无人机的通过摄像头拍摄视频获得视频图像集，同时定位设备采集的实时地理位置信息；当然，由于在实际的飞行过程中，目标航线与实际情况会存在误差，因此，当无人机发生偏向时可以向无人机发送控制指令，停止使用此阶段的目标航线，通过定位设备采集的实时地理位置信息在目标航线修订时，将停止使用的阶段依据实时地理位置信息重新调整；可以理解的是，如果目标航线中在实际飞行中没有误差的可以不需修订，这样可极大地降低了工作率，提高了工作效率。

s6，根据视频图像集对电力杆塔的三维模型数据进行修订，根据实时地理位置信息修订目标航线得到实际航线，根据实际航线模拟飞行得到真实运动姿态数据。

进一步地，根据视频图像集对电力杆塔的三维模型数据进行修订，根据实时地理位置信息确定实际航线，根据实际航线模拟飞行得到真实运动姿态数据具体为：扫描若干个逐帧图像集，获得每个电力杆塔的塔体特征，根据塔体特征对每个电力杆塔的三维模型数据进行修订，根据实时地理位置信息确定实际航线，根据实际航线模拟飞行得到真实运动姿态数据。

具体地说，通过拍摄到电力杆塔真实的塔体特征，对若干个逐帧图像集扫描过后，是为电力杆塔的三维模型数据查缺补漏，通过电力杆塔的三维模型数据在深度学习后，也是在飞行过程中为无人机提供参照依据。

s7，将电力杆塔的三维模型数据、实际航线和真实运动姿态数据建立训练样本集，采用神经网络对训练样本集进行训练得到识别模型实现自动巡检。

进一步地，将电力杆塔的三维模型数据、实际航线和真实运动姿态数据建立训练样本集，采用神经网络对训练样本集进行训练得到识别模型实现自动巡检具体为：对电力杆塔的三维模型数据、实际航线和真实运动姿态数据兴趣点区域进行标注建立训练样本集，其中，训练样本集分为训练集和测试集。

对电力杆塔的三维模型数据、实际航线和真实运动姿态数据兴趣点区域进行标注建立训练样本集之后为：搭建神经网络，并进行网络初始化，将训练集中样本数据分为多个批次，采用一个批次的样本数据对神经网络进行训练，更新神经网络的权重参数。

搭建神经网络，并进行网络初始化，将训练集中样本数据分为多个批次，采用一个批次的样本数据对神经网络进行训练，更新神经网络的权重参数之后为：采用测试集对训练后的神经网络进行验证，计算神经网络的损失值，判断损失值是否小于设定阈值，如果小于，则输出训练后的神经网络，得到识别模型，否则转上一步进行下一个批次的样本数据的训练。

在本发明的实施例中，目标航线和实际航线均包括航线距离、起飞点坐标、巡检起始点坐标、路径点坐标、巡检结束点坐标和降落点坐标。然而，起飞点坐标、巡检起始点坐标、路径点坐标、巡检结束点坐标和降落点坐标应当参照地理位置信息进行标识使用。

在本发明的实施例中，虚拟运动姿态数据和真实运动姿态数据包括飞行轨迹、飞行速度、飞行时间以及飞行稳定参数。

实施例二

参照附图2所示，基于电力杆塔模型匹配的电力无人机巡检系统，包括：

获得模块，所述获得模块用于获得电力杆塔的三维模型数据和无人机的三维模型数据；

绘制模块120，所述绘制模块120用于设置定义地理位置信息绘制目标航线；

仿真模块130，所述仿真模块130用于利用无人机的三维模型数据沿目标航线上模拟飞行得到虚拟运动姿态数据；

控制模块140，所述控制模块140用于向无人机发送控制指令，以控制无人机根据虚拟运动姿态数据按照目标航线飞行进行巡检；

采集模块150，所述采集模块150用于接收无人机的摄像头拍摄的视频图像集和定位设备采集的实时地理位置信息；

修订模块160，所述修订模块160用于根据视频图像集对电力杆塔的三维模型数据进行修订，根据实时地理位置信息确定实际航线，根据实际航线模拟飞行得到真实运动姿态数据；

学习模块170，所述学习模块170用于将电力杆塔的三维模型数据、实际航线和真实运动姿态数据建立训练样本集，采用神经网络对训练样本集进行训练得到识别模型实现自动巡检。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

(1)本发明是通过电力杆塔的三维模型数据和定义地理位置信息绘制目标航线，利用无人机的三维模型数据沿目标航线做仿真模拟飞行实验的方式，得到虚拟运动姿态数据，进而完成无人机飞行参数的采集，可以减少人工操控无人机采集数据，达到了避免无人机损坏的目的。

(2)本发明通过无人机根据虚拟运动姿态数据沿着目标航线进行真实飞行，对实际的电力杆塔的塔体特征和地理位置信息进行采集，将模拟时得到的数据进行更正，这样极大地提高了工作效率，避免系统通道臃肿，并且为神经网络进行深度学习提供了有利的依据。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。该asic可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。