基于无人机3D激光扫描技术的电力塔自动检测方法及系统与流程

本发明涉及输电线路巡检领域，具体涉及基于无人机3d激光扫描技术的电力塔自动检测方法及系统。

背景技术：

电力塔是电力系统的重要组成部分。随着智慧电网技术的发展，人们对电网的管理能力和安全性提出了更高的要求，电力塔良好的设施状态对电网平稳运行具有十分重要的意义。由于地理环境复杂、恶劣，电力塔在长时间运行后，由于各种力的长期作用，可能发生杆塔构件缺失、杆塔倾斜等情况，而通过人工巡检的方式不仅消耗了大量的人力物力，还可能带来很多安全隐患，使得更多深入的工作无法有效开展。传统的无人飞行器巡检方式是把小型摄像机固定在无人机吊舱内，对输电线路进行摄像，将视频传输到控制中心，技术人员对全过程进行观察，定位视频到电力塔部分进行分析判断，这种方法的执行仍需依赖大量人力物力，无法实时、高效、智能完成巡检工作，不满足现阶段“智能电网”的发展需求。因此，目前的无人飞行器巡检解决了“有无问题”，而未解决“高效率”问题。

技术实现要素：

本发明针对现存识别电力塔困难且效果不稳定的问题，提供了一种基于无人机3d激光扫描的电力塔自动检测方法及系统，结合无人机机载的双目摄像机和3d激光扫描系统，采用激光点云与可见光图像配准技术实现电力塔检测及电力塔提取、识别。

为实现上述技术目的，本发明采用了以下的技术方案：

在一方面，本发明提供了基于无人机3d激光扫描的电力塔自动检测方法，包括基于获得的包括电力塔的激光扫描点云数据识别电力塔点云数据，其特征在于，具体包括以下步骤：

将电力塔点云数据生成点云深度图像，将三维数据转换为二维数据；

对电力塔二维数据与预先获得的包括电力塔的可见光图像进行粗配准和精匹配，包括利用互信息作为配准过程的相似性测度，选择两点步长共轭算法作为配准策略，计算激光点云深度图像与可见光图像的互信息值，解算全局最优配准参数，获得电力塔图像。

进一步地，基于获得的电力塔激光扫描点云数据识别电力塔的点云数据具体包括以下步骤：

使用对称函数逐点扫描获得的包括电力塔的激光扫描点云数据，提取顺序无关的信息，来近似点云的全局信息；

使用层级结构对点云的全局信息提取局部相关性特征；对得到的影像进行预设次数的膨胀运算，直到恢复电力塔和其他物体的边界；

扫描获得的最终影像，对所有黑点进行k-means聚类，得到不同地物的聚类；对获得的聚类结果进行影像点的点数统计，若点数大于设定阈值范围，则视为电力塔，反之视为潜在危险地物。

进一步地，将电力塔点云数据与预先获得的包括电力塔的可见光图像进行匹配包括首先将两者进行粗配准，包括以下步骤：

利用配准后图像上的像点坐标求出相对应的待配准的图像上的坐标；

采用特征提取—直线跟踪的方法提取序列图像中的直线段特征，对于参考图像中每一条直线段，计算该线段中点与待配准图像中所有直线段重点的距离，将待配准图像中距离值小于阈值m的所有线段作为候选的匹配直线段。

再进一步地，将电力塔点云数据与预先获得的包括电力塔的可见光图像进行匹配包括首先将两者进行精配准，包括以下步骤：

输入候选的匹配直线段和可见光图像；

计算可见光图像和候选的匹配直线段的互信息梯度值；

将互信息梯度值作为两点步长共轭算法的输入，得到步长。

进一步地，所述方法还包括：无人机将录制的双目视频结合gps信息利用4g网络无线传输回地面。

进一步地，所述预先获得的包括电力塔的可见光图像为采用双目相机拍摄的双目图像，对所述双目图像根据确定的相机参数对图像进行矫正与校正处理。

再进一步地，所述相机参数包括该相机的焦距、基线距、旋转矩阵和平移矩阵。

在另一方面，本发明提供了基于无人机3d激光扫描的电力塔自动检测系统，所述电力塔自动检测系统装载在无人机上，其特征在于，包括：激光扫描仪、航空数码相机和控制系统；

所述激光扫描仪，用于拍摄包括电力塔的激光扫描点云数据；

所述航空数码相机，用于拍摄包括电力塔的包括电力塔的可见光图像；

所述控制系统，用于将电力塔点云数据生成点云深度图像，将三维数据转换为二维数据；对电力塔二维数据与预先获得的包括电力塔的可见光图像进行粗配准和精匹配，包括利用互信息作为配准过程的相似性测度，选择两点步长共轭算法作为配准策略，计算激光点云深度图像与可见光图像的互信息值，解算全局最优配准参数，获得电力塔图像。

本发明所取得的有益技术效果：

与现有技术相比，本发明实现无人机对电力塔自动的跟踪定位，本发明有益效果是，能自动检测电力塔位置、快速定位电力塔、精准显示电力塔细节，应用范围大幅提升，并将地理位置、双目视频、配准图像等信息传输回地面，为进一步的电力塔障碍检测等功能预留接口；本发明采用对称函数逐点扫描获得的包括电力塔的激光扫描点云数据，方法实现简单不需过多外部设备。

附图说明

图1为本发明具体实施例系统结构图；

图2为本发明具体实施例识别电力塔算法流程图；

图3为本发明具体实施例图像配准算法流程图；

图4为本发明具体实施例图原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步的详细说明。

实施例1：基于无人机3d激光扫描的电力塔自动检测系统，该电力塔自动检测系统装载在无人机上，包括：激光扫描仪、航空数码相机和控制系统、gps模块、无线传输模块、激光扫描系统的云台模块。在本实施例中，航空数码相机采用双目摄像头获得的包括电力塔的可见光双目图像。采用激光点云与可见光图像配准技术实现电力塔检测及电力塔提取、识别，如图1所示。

激光扫描仪，用于拍摄包括电力塔的激光扫描点云数据；云台控制模块与激光扫描仪连接，用于控制激光扫描仪调整角度和方向；航空数码相机，用于拍摄包括电力塔的包括电力塔的可见光图像；控制系统，用于将电力塔点云数据生成点云深度图像，将三维数据转换为二维数据；对电力塔二维数据与预先获得的包括电力塔的可见光图像进行粗配准和精匹配，包括利用互信息作为配准过程的相似性测度，选择两点步长共轭算法作为配准策略，计算激光点云深度图像与可见光图像的互信息值，解算全局最优配准参数，获得电力塔图像。

在具体实施例中，优选地，在以上实施例基础上，本发明提供的基于无人机3d激光扫描的电力塔自动检测系统，还包括定位定姿态系统b(pos系统)和地面dps基站e，定位定姿态系统b确定无人机航迹的三维坐标、确定无人机现在的状态并传到地面dps基站e；

实施例2：如图2所示，基于无人机3d激光扫描的电力塔自动检测方法，包括以下步骤：利用激光扫描仪获取电力塔附近的激光点云传到控制系统；

基于获得的包括电力塔的激光扫描点云数据识别电力塔点云数据；

将电力塔点云数据生成点云深度图像，将三维数据转换为二维数据；

对电力塔二维数据与预先获得的包括电力塔的可见光图像进行粗配准和精匹配，包括利用互信息作为配准过程的相似性测度，选择两点步长共轭算法作为配准策略，计算激光点云深度图像与可见光图像的互信息值，解算全局最优配准参数，获得电力塔图像。

如图2所示在本实施例中，基于获得的包括电力塔的激光扫描点云数据识别电力塔点云数据的方法包括以下步骤：

使用对称函数逐点扫描获得的包括电力塔的激光扫描点云数据，提取顺序无关的信息，来近似点云的全局信息；

使用层级结构对点云的全局信息提取局部相关性特征；对得到的影像进行预设次数的膨胀运算，直到恢复电力塔和其他物体的边界；

扫描获得的最终影像，对所有黑点进行k-means聚类，得到不同地物的聚类；对获得的聚类结果进行影像点的点数统计，若点数大于设定阈值范围，则视为电力塔，反之视为潜在危险地物。

实施例3：图3为本发明具体实施例图像配准算法流程图，本实施例提供了基于无人机3d激光扫描的电力塔自动检测方法，包括：

首先利用张氏标定法对双目相机进行标定，使用标定后的双目相机拍摄待测目标的左右目图像，然后通过腐蚀运算消除电力线，再用膨胀运算得到连通区域，然后用k-means均值聚类得到各连通区域的点群，然后通过面积大小来区分电塔和其他物体；

识别到电力塔之后，通过激光扫描点云数据生成点云深度图像，将三维数据转换为二位数据，然后利用互信息作为配准过程的相似性测度，选择两点步长共轭算法作为配准策略，计算三维激光点云深度图像与可见光图像的互信息值，结算全局最优配准参数，从而达到电力塔点云图像与可见光图像的配准融合。

实施例4：图4为本发明具体实施例图原理示意图。

本实施例提供了基于无人机3d激光扫描的电力塔自动检测方法，包括：

1、双目相机的标定：利用张氏标定法完成双目相机的标定工作，获取该相机的焦距、基线距、旋转矩阵和平移矩阵等内外参数；

2、采集待测双目图像：在指定位置起飞后，首先对需要跟踪巡检的电力塔拍摄双目图像，并传输到嵌入式芯片，并根据内外参数对图像进行矫正与校正处理；

3、点云数据预处理：将激光扫描点云数据生成点云深度图像，将三维数据转换为二位数据。

4、识别电力塔：先使用对称函数对特征点提取顺序无关的的信息，再用膨胀运算得到连通区域，然后用k-means聚类算法得到各连通区域的点群，通过面积大小来识别电力塔。

5、激光点云图像和可见光图像配准：首先采用基于线特征的自动配准算法，引入线特征两线夹角与线长比率作为相似性测度进行粗匹配，然后利用互信息作为配准过程的相似性测度，选择两点步长共轭算法作为配准策略以提高配准精度，计算激光点云深度图像与可见光图像的互信息值，解算全局最优配准参数。

下面对本实施例利用激光点云提取电力塔以及图像配准识别电力塔技术的步骤进行详细阐述：

(1)利用张氏标定法对双目相机进行标定。利用棋盘模型拍摄若干组双目图像，输入matlab标定工作箱，完成相机标定，获取双目相机的内外参数。

(2)采集电力线双目图像：在指定位置起飞后，首先对需要跟踪巡检的电力塔拍摄双目图像，并传输到嵌入式芯片。

(3)采用无人机激光扫描系统航拍电力塔周边，获得电力塔周边的激光点云数据；

(4)使用对称函数逐点扫描(3)获得的影像，提取顺序无关的信息，来近似点云的全局信息。

(5)使用层级结构对(4)提取局部相关性特征，适应不同的局部点密度；然后对得到的影像进行多次膨胀运算，直到恢复电力塔和其他物体的边界。

(6)扫描(5)获得的最终影像，对所有黑点进行k-means聚类，得到不同地物的聚类。对获得的聚类结果进行影像点的点数统计，若点数大于设定阈值范围，则视为电力塔，反之视为潜在危险地物。

上述实现了利用激光点云自动提取电力塔，下面主要介绍电力塔的激光点云与可见光图像的配准。

(7)利用配准后图像上的像点坐标(与参考图像即预先获得电力塔的可见光图像的坐标相同)求出相对应的待配准的图像即可见光图像上的坐标。

(8)采用特征提取—直线跟踪的方法提取序列图像中的直线段特征，对于参考图像中每一条直线段，计算该线段中点与待配准图像中所有直线段重点的距离，将待配准图像中距离值小于阈值m的所有线段作为候选的匹配直线段。

(9)接着利用互信息作为配准过程的相似性测度，选择两点步长共轭算法作为配准策略，计算三维激光点云深度图像与可见光图像的互信息值，解算全局最优配准参数。具体如下：

1.输入候选匹配直线段及可见光图像；

2.计算可见光图像和候选匹配直线段的互信息梯度值；

3.将互信息梯度值作为两点步长共轭算法的输入，得到步长。

(11)这样，就能够得到特定时刻的融合后的电力塔图像。

本发明利用互信息作为配准过程的相似性测度，选择两点步长共轭算法作为配准策略，计算激光点云深度图像与预先获得的包括电力塔的可见光图像的互信息值，解算全局最优配准参数，获得电力塔图像。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。