一种基于无人机的电力巡线电塔检测识别方法及系统与流程

本发明涉及机器学习技术领域，尤其涉及一种基于无人机的电力巡线电塔检测识别方法及系统。

背景技术：

目前，无人机已经广泛应用于电力巡线的技术领域，为了实现无人机在电力巡线时自主定位，并能稳定的在输电杆塔周围悬停作业；所以对输电杆塔的检测识别是很有必要的。而在人工智能方面，为了让机器人和人类一起安全有效地工作，机器人必须意识到周围的环境。这种意识的一个方面是对场景中物体的三维位置和方向的认识，通常被称为6自由度姿态。这种认知对于执行对象的拾取和放置、从一个人传递或观察某人处理对象进行模仿学习非常重要。通过深度学习对目标物体进行姿态估计，能够实现从单个rgb图像中实时推断出这些杂乱物体的三维姿态，使机器人能够对这些物体进行操作。

目前的巡线无人机检测输电杆塔的方法主要是依靠无人机的gps坐标定位，利用gps信息确定输电线塔的坐标，操作者通过无人机采集到的图像从图像中识别电线杆塔，需要操作者一直操控无人机，效率低下，并且容易出现错识别以及漏识别的情况。

综上所述，现有技术中采用无人机对输电杆塔进行巡线时，需要人为操控无人机并人为对杆塔进行识别，存着在效率低下的技术问题。

技术实现要素：

本发明提供了一种基于无人机的电力巡线电塔检测识别方法及系统，解决了现有技术中采用无人机对输电杆塔进行巡线时，需要人为操控无人机并人为对杆塔进行识别，存着在效率低下的技术问题。

本发明提供的一种基于无人机的电力巡线电塔检测识别方法，适用于预先训练好的杆塔识别神经网络模型，包括以下步骤：

根据视觉定位方法控制无人机进行自动巡检；

采集无人机巡检过程中的图像，根据图像生成合成数据并将合成数据传输至训练好的杆塔识别神经网络模型中；

杆塔识别神经网络模型基于合成数据生成信念映射，根据信念映射对杆塔进行识别，输出最终识别的结果，并记录无人机当前的位置。

优选的，杆塔识别神经网络模型的训练过程如下：

对杆塔施加随机光照条件，采用双摄像头采集杆塔各方位的每一帧图像；

基于采集到的每一帧图像生成每一帧图像的合成数据；

将每一帧图像的合成数据输入到杆塔识别神经网络模型中，对杆塔识别神经网络模型进行训练，得到训练好的杆塔识别神经网络模型。

优选的，每一帧图像的合成数据包括rgb图像、深度图、分割图和数据标记文件。

优选的，数据标记文件包括采集的图片的大小、双摄像头在世界坐标系中的位置坐标和方位矩阵信息、杆塔的坐标信息、杆塔的姿态信息以及杆塔的大小信息。

优选的，杆塔识别神经网络模型包括特征提取层、第一3*3卷积层、第二3*3卷积层、信念映射层以及矢量层，所述特征提取层为vgg-19卷积神经网络，为每一层之间通过relu函数相连接。

优选的，杆塔识别神经网络模型工作原理如下：

vgg-19卷积神经网络从合成数据中提取出512维的图像特征；

第一3*3卷积层将图像特征的维数从512降低到256；

第二3*3卷积层将图像特征的维数从256降低到128；

信念映射层以及矢量层从128维的图像特征中生成信念映射，根据信念映射对杆塔进行识别。

优选的，在信念图以及矢量场中使用l2损失函数。

优选的，视觉定位方法的原理如下：

获取无人机的位置信息以及姿态信息；

根据位置信息以及姿态信息求解无人机的速度、角速度以及加速度。

优选的，采用最小二乘拟合或者卡尔曼滤波法求解无人机的速度以及角速度，对速度进行差分求解出加速度。

一种基于无人机的电力巡线电塔检测识别系统包括无人机、合成数据生成模块、杆塔识别神经网络模型模块、杆塔识别模块、无人机控制模块以及定位模块；所述无人机上设置有双摄像头；

所述无人机用于采集巡检过程中的图像，并将图像传输到合成数据生成模块；

所述合成数据生成模块用于根据无人机采集到的图像生成合成数据，并将合成数据输出到杆塔识别神经网络模型模块；

所述杆塔识别神经网络模型模块用于提供杆塔识别神经网络模型，杆塔识别神经网络模型基于合成数据生成信念映射；

所述杆塔识别模块用于根据信念映射对杆塔进行识别，并输出最终识别的结果；

所述无人机控制模块用于根据视觉定位方法控制无人机进行自动巡检；

所述定位模块用于记录无人机的位置信息。

从以上技术方案能够看出，本发明实施例具有以下优点：

本发明实施例通过杆塔识别神经网络模型来对无人机巡检过程中采集到的图像中的杆塔进行自动识别，并通过视觉定位方法控制无人机进行自动巡检，整个程中无需人为干预，检测精度高，节省了人力成本，解决了现有技术中采用无人机对输电杆塔进行巡线时，需要人为操控无人机并人为对杆塔进行识别导致效率低下的技术问题，大大提高了工作效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还能够根据这些附图获得其它的附图。

图1为本发明实施例提供的一种基于无人机的电力巡线电塔检测识别方法及系统的方法流程图。

图2为本发明实施例提供的一种基于无人机的电力巡线电塔检测识别方法及系统的系统结构图。

图3为本发明实施例提供的一种基于无人机的电力巡线电塔检测识别方法及系统的机器视觉模块的工作流程图。

具体实施方式

本发明实施例提供了一种基于无人机的电力巡线电塔检测识别方法及系统，用于解决现有技术中采用无人机对输电杆塔进行巡线时，需要人为操控无人机并人为对杆塔进行识别导致效率低下的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1

请参阅图1，图1为本发明实施例提供的一种基于无人机的电力巡线电塔检测识别方法及系统的方法流程图。

本实施例提供的一种基于无人机的电力巡线电塔检测识别方法，适用于预先训练好的杆塔识别神经网络模型，包括以下步骤：

根据视觉定位方法控制无人机进行自动巡检，在巡检的过程中无需工作人员对无人机进行操控，整个巡检过程由无人机自主完成飞行控制，从而减少人力成本。

采集无人机巡检过程中的图像，根据图像生成合成数据并将合成数据传输至训练好的杆塔识别神经网络模型中；

杆塔识别神经网络模型基于合成数据生成信念映射，根据信念映射对杆塔进行识别，输出最终识别的结果，并记录无人机当前的位置。

作为一个优选的实施例，杆塔识别神经网络模型的训练过程如下：

对杆塔施加随机光照条件，考虑到杆塔材质的特殊性，因为杆塔是银白色金属材质，具有高反射性，所以在现实中杆塔表面颜色受光照影响比较较明显，为了克服光照这一因素对杆塔检测的干扰，通过施加随机光照条件能够使得杆塔更合理更逼真，更加接近现实，也提高了后续采集到的数据的多样性，采用双摄像头采集杆塔各方位的每一帧图像，双摄像头之间的距离保持60cm。

基于采集到的每一帧图像通过利用异步、多线程的顺序帧抓取，以50-100hz的速度生成每一帧图像的合成数据，提高对图像的处理速度，减少时间成本。

将每一帧图像的合成数据输入到杆塔识别神经网络模型中，对杆塔识别神经网络模型进行训练，得到训练好的杆塔识别神经网络模型。

作为一个优选的实施例，每一帧图像的合成数据包括rgb图像，深度图，分割图和数据标记文件，由于是双相机采集，所以一帧数据包括8个文件。

作为一个优选的实施例，数据标记文件包括采集的图片的大小，双摄像头在世界坐标系中的位置坐标和方位矩阵信息、杆塔的坐标信息、杆塔的姿态信息以及杆塔的大小信息。

作为一个优选的实施例，杆塔识别神经网络模型包括特征提取层、第一3*3卷积层、第二3*3卷积层、信念映射层以及矢量层，所述特征提取层为vgg-19卷积神经网络，为每一层之间通过relu函数相连接。

作为一个优选的实施例，杆塔识别神经网络模型工作原理如下：

vgg-19卷积神经网络从合成数据中提取出512维的图像特征；图像特征提取由vgg-19卷积神经网络的前十层完成，通过利用vgg-19的前10层来提取图像特征，从而提高提取的效率。

第一3*3卷积层将图像特征的维数从512降低到256；

第二3*3卷积层将图像特征的维数从256降低到128，128维的图像特征是为第一阶段包括三个3*3*128层和一个1*1*512层做准备的,加一个1*1*9的信念映射层和1*1*6矢量场层，剩下的五个阶段与第一阶段相同，除非剩下的五个阶段收到153维的输入(128+16+9＝153),由五个7*7*128层和一个1*1*128层和前一个1*1*9或1*1*16层组成。

信念映射层以及矢量层从128维的图像特征中生成信念映射，有9个信念映射，每一个分别对应于输入对象3d边界框的8个投影顶点，另一个对应于质心。说明：3d边界框其实就是输入对象的矩形包围盒，质心即为矩形包围盒的中心，它的作用是能够可视化输入对象的实时位置坐标和姿态信息。类似地，用8个向量字段表示从8个顶点到相应的质心的方向，在得到信念映射后，需要从信念映射中提取出个体对象。相比其他方法，在复杂体系结构或程序需要一一列举对象，本实施例的方法依赖于一个简单的后处理步骤,在信念映射中搜索阈值以上的局部峰值,其次是利用贪婪分配算法将投影顶点与检测到的质心关联起来。对于每个顶点，后一个步骤将计算在顶点处的矢量场与从顶点到每个质心的方向进行比较，将顶点分配到矢量的某个角阈值内最近的质心。一旦确定了每个对象实例的顶点，使用pnp算法(一种常用的姿态估计方法)检索对象的位姿。

作为一个优选的实施例，在信念图以及矢量场中使用l2损失函数。为了避免网络中梯度消失的问题，在每个阶段的输出部分都计算了一个损失，对信念图和向量场使用了l2损失函数。地面真值信念映射是通过将二维高斯函数放置在α＝2.0像素顶点位置生成的，通过将像素设置为指向对象质心的向量的归一化x和y的分量，生成地面真值向量场。只有每个地面真值顶点半径为3个像素的像素点采用这种方式设置，其他所有像素点都设置为零。

作为一个优选的实施例，视觉定位方法的原理如下：

在视觉导航的起始阶段，利用机器视觉系统获取的位置及姿态角信息，确定无人机下视图像中心点在参考图像中的大致位置，在附近区域进行搜索匹配，得到图像特征之间的对应关系，根据摄影测量当中的摄影标记理论，能够解算出摄像机的位置和姿态信息。然后根据摄像机与无人机之间的相对位置关系，确定无人机的坐标以及姿态。

获取无人机的位置信息以及姿态信息；

通常使用中心投影模型作为摄像机模型，实时图一般由无人机进行采集拍摄，使用表示(xi,k,yi,k)第k张实时图中特征i的坐标，使用(xi,k,yi,k,zi,k)表示参考图像中对应点的三维坐标，则中心投影模型能够表示为:

其中，k表示相机内部参数矩阵，包括有效焦距长度、主焦点等可提前精确标定的参数，r表示由相机姿态角(wi,φi,ki)的三角函数确定的旋转矩阵，s表示尺度因子，在计算的过程中能够消去。

根据位置信息以及姿态信息求解无人机的速度、角速度以及加速度。

无人机的飞行轨迹能够使用一些曲线进行拟合，实际飞行过程中，无人机往往保持匀速巡航，短时间内的运动可视作直线运动，在本实施中使用参数拟合的方法求取无人机的速度和角速度。假设在东北天指向的地理坐标系内，某时刻ti无人机的水平坐标为(xi,yi)，假定无人机飞行高度不变，短时间内保持直线飞行，假设北向速度为vn，无人机北向运动可写作：

求解方程即可求取北向速度vn，以同样的式能够求取东向速度ve，那么无人机的航向角为：

作为一个优选的实施例，采用最小二乘拟合或者卡尔曼滤波法求解无人机的速度以及角速度，对速度进行差分求解出加速度。

如图2所示，一种基于无人机的电力巡线电塔检测识别系统包括无人机201、合成数据生成模块202、杆塔识别神经网络模型模块203、杆塔识别模块204、无人机控制模块205以及定位模块206；所述无人机201上设置有双摄像头；

所述无人机201用于采集巡检过程中的图像，并将图像传输到合成数据生成模块；

所述合成数据生成模块202用于根据无人机采集到的图像生成合成数据，并将合成数据输出到杆塔识别神经网络模型模块203；

所述杆塔识别神经网络模型模块203用于提供杆塔识别神经网络模型，杆塔识别神经网络模型基于合成数据生成信念映射；

所述杆塔识别模块204用于根据信念映射对杆塔进行识别，并输出最终识别的结果；

所述无人机控制模块205用于根据视觉定位方法控制无人机进行自动巡检；

所述定位模块206用于记录无人机的位置信息。

所属领域的技术人员能够清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，能够参考前述方法实施例中的对应过程，在此不再赘述。

实施例2

在实施例2中，通过基于ue4开发了一个插件，利用它能够生成海量的高质量的合成数据，这些数据包括rgb图像，深度图，分割图以及每一帧的标记数据文件。通过利用异步、多线程的顺序帧抓取，插件以50-100hz的速度生成数据，这比默认的ue4截屏函数要快得多。除了合成数据，插件还包括不同的组件，例如场景管理组件，虚拟相机组件；通过配置它们的属性，能够生成高度随机化的图像。这种随机化包括光照，物体和相机的位置，姿势，纹理和干扰，以及相机路径跟随等等。这些组成部分使研究人员能够轻松地创建随机场景来训练深层神经网络。

通过将模型塔导入到ue4场景中，利用插件提供的自动传送虚拟相机，能够捕捉模型塔在逼真场景中的各个方位的每一帧图像，并高速生成合成数据。其中虚拟相机是由左右双摄像头组成，左右相机之间的距离保持60cm(这是ue4中的坐标距离，具体值由对象大小来设定)，捕捉到的一帧数据包括：rgb图像，深度图，分割图和数据标记文件，由于是左右双相机捕捉，所以一帧数据包括8个文件。

合成数据还会自动生成两个配置文件：_camera_settings.json和_object_settings.json它们的作用是：_camera_settings.json是ue4虚拟相机的配置文件，包含一些相机的捕获图片大小，以及相机在世界坐标系中的位置坐标和方位矩阵等信息；_object_settings.json则是捕捉对象的配置文件，包含对象的类名，坐标，姿态和大小等信息。

考虑到电力塔材质的特殊性，因为电力塔是银白色金属材质，具有高反射性，所以在ue4场景中表面颜色受光照影响比较较明显。为了克服光照这一因素对塔身检测的干扰，在合成数据时，在ue4场景中添加一些随机光照组件，它能够以很快的速度随机改变光照强度以及光源的位置。或者在场景的不同位置，调整不同的光照强度，分别生成一定数量的数据用于后期的训练。

实施例3

在主流的无人机定位系统中，主要实现方法是利用各种传感器，例如：激光测距仪，超声波传感器，电磁检测传感器等等，利用传感器进行定位受周围环境干扰比较大，特别是在无人机电力巡线时各种电磁干扰会影响传感器的发挥，而用机器视觉模块来代替这些传感器来实现无人机的自主飞行定位是能够避免这些干扰的，其工作过程如图3所示：

在本实施例中，微型电脑采用的是nvidia最新发布的用于深度学习的tx2开发板，其集成了许多用于深度学习的框架和环境，将其安装到无人机上，接受来自机载相机的图像信号，然后在上面搭建杆塔识别神经网络模型，即可实现三维物体姿态估计识别，从而实现无人机在电力巡线时的自主定位，杆塔检测的工作。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，能够通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时能够有另外的划分方式，例如多个单元或组件能够结合或者能够集成到另一个系统，或一些特征能够忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接能够是通过一些接口，装置或单元的间接耦合或通信连接，能够是电性，机械或其它的形式。

所述作为分离部件说明的单元能够是或者也能够不是物理上分开的，作为单元显示的部件能够是或者也能够不是物理单元，即能够位于一个地方，或者也能够分布到多个网络单元上。能够根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元能够集成在一个处理单元中，也能够是各个单元单独物理存在，也能够两个或两个以上单元集成在一个单元中。上述集成的单元既能够采用硬件的形式实现，也能够采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，能够存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分能够以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(能够是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种能够存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然能够对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。