基于无人机航拍杆塔图像的倒断配电杆塔定位方法与流程

本发明涉及图像处理和摄影测量的交叉领域，具体涉及一种基于无人机航拍杆塔图像的倒断配电杆塔定位方法。

背景技术：

东南沿海地区电网经常受气象灾害如台风的影响，导致配电杆塔的倒断，严重威胁配电网的安全，未被及时处理的配电杆塔极易产生二次事故，威胁人身安全，因此配电杆塔的检修与巡检成为配网的重要一环。

近年来无人机技术迅猛发展，可以实现自动化飞行、主动避障、路径规划、高清图像拍摄等等功能。因此，我国电网已较广泛的将无人机应用于电力巡检中来。在这样的背景下，无人机技术被广泛的应用到配电网咯巡检中，成为输电线路运维检修的辅助手段，主要是从无人机航拍图像中人工地甄别配电杆塔的倒断信息，并依赖人工经验进行倒断杆塔的定位，从而进行及时性的抢修。这种方式效率低下，无法满足庞大的巡检范围也不利于灾后的快速抢修。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于无人机航拍配电图像的倒断配电杆塔的定位方法，能够自动化且实时处理海量的无人机航拍杆塔图像数据，获得倒断杆塔的gps坐标，从而实现为快速抢修提供位置辅助判断

为实现上述目的，本发明采用如下技术方案：

一种基于无人机航拍杆塔图像的倒断配电杆塔定位方法，包括以下步骤：

步骤s1：获取无人机航拍杆塔图像数据；

步骤s2:采用目标检测网络yolo在航拍杆塔图像中检测出倒断的配电杆塔，并获得目标的图像坐标；

步骤s3:获取无人机航拍杆塔图像的元数据；

步骤s4:根据目标的图像坐标和无人机航拍杆塔图像的元数据，进行倒断配电杆塔的gps位置解算，得到倒断配电杆塔的gps坐标。

进一步的，所述目标检测网络yolo构建具体为：

步骤s21:对无人机航拍杆塔图像进行标注，将正常杆塔和倒断杆塔用标注框分别标出；

步骤s22:根据标注后的无人机航拍杆塔图像，对标注框的长w与宽h进行聚类分析，得到训练数据；

步骤s23:构建目标检测网络yolo，并基于训练数据训练，得到训练好的目标检测网络yolo。

进一步的，所述目标检测网络yolo包括特征提取模块和检测模块；所述特征提取模块为darknet-53，由dbl模块和res-block模块组成，dbl为卷积操作、正则化操作、非线性激活的组合；所述检测模块由卷积操作和张量连接构成，输出倒断杆塔的位置坐标以及相应的置信度。

进一步的，采用k-means聚类方式对标注框进行聚类，具体为：

步骤s221:首先设置聚类个数k＝9，并随机初始化9个类的聚类中心；

步骤s222：计算每一个样本点到每一个类中心的距离，不同矩形框(w,h)之间的距离函数设置为：

d(box，centroid)＝(1-iou(box，centroid))

其中，iou表示两个矩形框的交并比，反映相近程度；centroid为随机初始化的聚类中心；

步骤s223：根据距离大小将每一个样本划分到对应类中；

步骤s204：计算每一个类的样本点总和取平均，并更新类的中心；

步骤s205：判断此次聚类中心和上次的中心差值是否小于设定限度，若不满足，返回s202；若满足则保存聚类得到的9个锚定框的大小。

进一步的，所述元数据包括飞无人机滚转角ψ、俯仰角θ、偏航角云台方位角α、俯仰角β/图像的分辨率r、拍摄焦距f，以及测量学中的地球椭球长短半径a、b。

进一步的，所述步骤s4具体为：

步骤s41:利用脚本语言获取存储于无人机航拍杆塔图像中的元数据,获取变换矩阵；

步骤s42:根据获取的变换矩阵将倒断配电杆塔a、摄影中心s和倒断配电杆塔像素点a均统一到空间直角坐标系下，依赖中心投影满足的共线条件，计算得倒断配电杆塔a在空间直角坐标系下的坐标；

步骤s43:利用空间直角坐标系到大地坐标系的变换公式eg^c，得到倒断配电杆塔在大地坐标系下的坐标，即gps坐标。

进一步的，所述变换矩阵包括像空间坐标系b到无人机载机坐标系a的变换矩阵，无人机载机坐标系a到无人机地理坐标系s的变换矩阵，无人机地理坐标系s到空间直角坐标系g的变换矩阵，空间直角坐标系g到大地坐标系c的变换矩阵，大地坐标系c到空间直角坐标系g的变换公式。

进一步的，所述步骤s42具体为：

其中(xa，ya，za)、(xa，ya，za)、(xs，ys，zs)分别为倒断配电杆塔、倒断配电杆塔的像素点、无人机在空间直角坐标系中的位置，l为实际配电杆塔与无人机之间的距离。

本发明与现有技术相比具有以下有益效果：

1、本发明融合目标检测算法和定位算法，可以快速的获得倒断杆塔与其位置信息

2、本发明针对特定的无人机航拍图像配电杆塔任务，采用yolo检测算法，实现了对倒断配电杆塔的快速像点定位，其中为了提高模型的精确度，对标注框进行了k-means聚类分析，从而得到了较好的锚定框。同时进行了在线的数据增强，采用随机多尺度训练，增强了网络的鲁棒性。

附图说明

图1是本发明整体流程图；

图2是本发明一实施例中航拍图像定位算法坐标系转换关系图；

图3是本发明一实施例中使用的k-means聚类方法。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于无人机航拍杆塔图像的倒断配电杆塔定位方法，包括以下步骤：

步骤s1：获取无人机航拍杆塔图像数据；并将无人机采集的航拍杆塔图像进行处理，通过人工标注倒断的配电杆塔以及正常的配电杆塔，得到配电杆塔的位置和类别信息，标注时使用较流行的labelimg标注软件，生成xml格式的标注信息。接着使用脚本划分训练集与测试集，同时将xml格式标注信息读取出来，并进行坐标和类别的转换，并写入txt格式的文本中，方便后续使用k-means聚类算法进行聚类。

步骤s2:采用目标检测网络yolo在航拍杆塔图像中检测出倒断的配电杆塔，并获得目标的图像坐标；

步骤s3:获取无人机航拍杆塔图像的元数据；

步骤s4:根据目标的图像坐标和无人机航拍杆塔图像的元数据，进行倒断配电杆塔的gps位置解算，得到倒断配电杆塔的gps坐标。

在本实施例中，在pytorch框架下搭建并训练目标检测网络yolo，其网络结构按功能上分为特征提取模块和检测模块。特征提取模块为darknet-53，由dbl模块和res-block(残差)模块组成，dbl为卷积操作、正则化操作、非线性激活(leaky-relu)的组合。检测模块由卷积操作和张量连接构成，最后输出图像中的目标的类别和位置以及相应的置信度。在此问题中为倒断杆塔的位置坐标以及相应的置信度。构建具体为：

在本实施例中，采用k-means聚类方式对标注框进行聚类，具体为：

步骤s221:首先设置聚类个数k＝9，并随机初始化9个类的聚类中心；

步骤s222：计算每一个样本点到每一个类中心的距离，不同矩形框(w,h)之间的距离函数设置为：

d(box,centroid)＝(1-iou(box,centroid))

其中，iou表示两个矩形框的交并比，反映相近程度；centroid为随机初始化的聚类中心；

步骤s223：根据距离大小将每一个样本划分到对应类中；

步骤s204：计算每一个类的样本点总和取平均，并更新类的中心；

步骤s205：判断此次聚类中心和上次的中心差值是否小于设定限度，若不满足，返回s202；若满足则保存聚类得到的9个锚定框的大小。

在本实施例中，所述元数据包括飞无人机滚转角ψ、俯仰角θ、偏航角云台方位角α、俯仰角β/图像的分辨率r、拍摄焦距f，以及测量学中的地球椭球长短半径a、b。设立六个辅助坐标系，其中包括：

(1)像平面坐标系：用以表示像点在图像平面上的位置，原点为投影中心o的右手直角坐标系。

(2)像空间坐标系：以摄影中心s为原点，x，y轴分别与图像坐标系中的x、y轴平行，z轴与主光轴平行，构成直角坐标系s-xyz。

(3)无人机载机坐标系：载机坐标系的原点oa在无人机的质心，xa轴平行于无人机横轴指向右，ya轴平行于无人机纵轴指向前，za轴平行于无人机竖轴指向上。

(4)无人机地理坐标系：原点os定义在无人机的质心，xs轴指向正东方向，ys轴平行于当地地理垂线，指向天顶，zs轴指向正南方向。

(5)空间直角坐标系：又称地心坐标系，是以地球椭球的中心(地球的质心)o为原点，起始子午面与赤道面的交线为x轴，在赤道面内通过原点与x轴垂直的为y轴，地球椭球的旋转轴为z轴。

(6)大地坐标系：又称地理坐标系，是以地球椭球面作为基准面，以首子午面和赤道平面作为参考面，用经度和纬度两个坐标值来表示地面点的位置，大地经纬度l，b是地面点在地球椭球面的二维坐标，另外一维为点的大地高h，是沿地面点的椭球面法线计算，点位在椭球面之上为正，在椭球面之下为负。

在本实施例中，为实现倒断配电杆塔像点a和摄像机摄影中心s向空间直角坐标系下的坐标转化，需要获得一系列坐标转换矩阵和转换公式。其中包括：

(1)像空间坐标系b到无人机载机坐标系a的变换矩阵

其中α、β为无人机云台的方位角和俯仰角。

(2)无人机载机坐标系a到无人机地理坐标系s的变换矩阵

其中ψ、θ、分别为无人机的俯仰角、偏航角、横滚角。

(3)无人机地理坐标系s到空间直角坐标系g的变换矩阵

其中e为地球椭球的第一偏心率，n为卯酉圈曲率半径，b机、h机为无人机的经度和高度。

(4)大地坐标系c下的坐标向空间直角坐标系g的变换公式ec^g

其中，(xg,yg,zg)为空间直角坐标系下的坐标点，(l,b,h)为大地坐标系下的坐标点。

(5)空间直角坐标系g到大地坐标系c的变换公式eg^c

其中，(xg,yg,zg)为空间直角坐标系中倒断配电杆塔的坐标，(l,b,h)为大地坐标系下倒断配电杆塔的纬度、经度、高度。a为地球椭球的长半径，b是地球椭球的短半径，e’为椭球的第二偏心率。

在本实施例中，将摄影中心s和倒断配电杆塔像素点a均统一到空间直角坐标系中；通过变换公式ec^g可将摄影中心s，即无人机的经度、纬度、高度，转换为在空间直角坐标系下的坐标(xg,yg,zg)。依据步骤s1中可获得倒断配电杆塔图像坐标，容易得到其在图像坐标系中的坐标(x,y)，在像空间坐标系中倒断配电杆塔坐标则为(x,y,-f)。再依次经过变换矩阵最终可得到倒断配电杆塔在空间直角坐标系下的坐标(xa,ya,za)。最后将倒断配电杆塔a的坐标利用公式eg^c转化到大地坐标系下，即gps坐标(la,ba,ha)。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。