一种融合激光点云和视觉图像的输电线路通道入侵异物识别的方法与流程

1.本发明涉及涉及输电线路通道内入侵异物的识别、定位，实现输电线路通道监测，属于电力技术领域。


背景技术：

2.目前，输电线路的运维管理模式是定期派班组人员对输电线路通道进行巡检或依赖于视频/图像等平面视觉技术监测，而人工巡检时效性差、效率低、人力成本高，当输电线路通道内出现异常时才组织专业技术人员检测和分析；视频/图像等平面视觉技术监测受环境影响大，夜晚监测效果差，且拍摄的视觉图像不具备空间坐标，在后期的异物智能识别、标定时误差大，需要大量的人工干预。
3.随着激光技术的应用越来越广泛，目前出现了通过激光技术实现了输电线路通道的监测，例如利用无人机搭载激光雷达对输电线路通道进行巡检，但是激光监测同样存在误判、错判，以及当输电线较细时，激光可能存在无法扫描电力线的缺点。


技术实现要素：

4.本发明要解决的技术问题是：提供一种融合激光点云和视觉图像的输电线路通道入侵异物识别的方法，以克服现有技术的不足。
5.本发明的技术方案是：一种融合激光点云和视觉图像的输电线路通道入侵异物识别的方法，包括：
6.步骤1：收集输电线路通道内入侵异物的点云数据和图像数据，并建立空间数据库，针对点云数据生成点云语义分割模型；
7.步骤2：采集初始时刻t0时输电线路通道的激光点云数据和图像数据，并以激光点云数据和图像数据作为参照，假设t0时刻输电线路通道内无任务异物存在；
8.步骤3：点云分割，将步骤2中获取的点云置入步骤1中的模型进行分割，采用自动分割算法，分割出电力线点云和非电力线点云；
9.步骤4：采集t1、t2、...tn时刻的输电线路通道激光点云数据和图像数据；
10.步骤5：等量替换，将步骤3中分割出来的电力线点云数据替换步骤4中不同时刻采集的输电线路通道点云数据中的电力线点云数据；
11.步骤6：设定一个安全阈值，根据安全阈值生成n个缓冲区空间；
12.步骤7：用每一个缓冲空间裁剪步骤4中采集的tn时刻的点云数据，查看裁剪结果是否为空，如果裁剪结果为空，则判断无入侵异物，如果裁剪结果为非空，说明tn时刻输电线路通道可能存在入侵异物；
13.步骤8：利用裁剪的点云数据判定入侵异物类别；
14.步骤9：如果步骤8无法判定，则将裁剪的点云数据与图像数据进行融合，对融合后的数据进行标定识别。
15.进一步地，所述点云语义分割模型采用3d点云语义分割网络randla net训练入侵异物点云样本数据集生成。
16.进一步地，所述步骤6具体为：
17.确定一个安全阈值d，逐一选取步骤5中叠加进来的电力线，以电力线为中心，以d为半径，l为步长，电力线走向为前进方向，生成一个缓冲区空间，根据电力线长度，可生成n个缓冲区空间，分别为l1，l2，...ln。
18.进一步地，所述步骤7具体为：
19.用每一个缓冲空间裁剪步骤2中采集的t0时刻的点云数据，裁剪结果记为p1、p2、...pn,假设t0初始时刻输电线路通道不存在安全隐患，则安全空间内没有任何点云数据，即p1＝p2＝...＝pn＝null；同样用每一个缓冲区空间裁剪步骤5中采集的tn时刻的点云数据，裁剪结果记为q1、q2、...qn，查看裁剪结果qn是否为空，如果qn＝null，则可判断tn时刻输电线路通道的状态和t0时刻一致，说明无入侵异物，如果qn≠null，即qn≠pn，说明tn时刻输电线路通道可能存在入侵异物。
20.进一步地，所述步骤8具体为：如果qn≠pn，则假设用l1裁剪tn时刻采集的点云数据，裁剪结果用q
n1
表示，如果q
n1
≠p1且q
n1
≠null，则电力线的l1段在tn时刻存在安全隐患，此时将q
n1
点云数据植入步骤2的模型中，进行分割，分割出q
n1
内存在的tn时刻的点云数据属于什么类别，如果q
n1
存在的点云数据是一个整体，则经过分割后能直接判断出输电线路入侵的异物。
21.进一步地，所述步骤9具体为：如果步骤8中q
n1
内存在的点云数据不完整，则将步骤2中设备采集的tn时刻的输电线路通道图像记为mn，将输电线路通道tn时刻的点云qn与图像mn进行融合，在融合后的数据中标定出tn时刻入侵的异物。
22.进一步地，所述步骤9还包括：通过点云数据量取异物与电力线之间的距离。
23.根据权利要求5所述的融合激光点云和视觉图像的输电线路通道入侵异物识别的方法，其特征在于，所述安全阈值d通过标准gb50545和dl/t741确定。
24.本发明的有益效果是：与现有技术相比，本发明结合激光和可见光，通过激光和可见光一体化监测设备采集输电线路通道内的点云和视觉图像数据，首先利用点云数据提取异物，当点云数据不足以识别和判断异物时，将视觉图像数据与点云数据进行融合标定入侵异物，提高入侵异物的识别和定位的准确率。
附图说明
25.图1为本发明的缓冲区空间示意图；
26.图2为本发明入侵异物整个被包含在缓冲区空间内部的示意图；
27.图3为本发明入侵异物只有部分结构被缓冲区空间包含的示意图；
28.图4为本发明的流程图。
具体实施方式
29.为了更好的理解上述技术方案，下面将结合说明书附图以及具体实施方式对上述技术方案进行详细说明。
30.实施实例1：参考图4，本实施例采用了一种融合激光点云和视觉图像的输电线路
通道入侵异物识别的方法，包括：
31.在识别入侵异物前需要做准备工作：激光、可见光一体化设备安装，将设备安装在铁塔上，且面朝输电线路通道的方向；
32.步骤1：收集输电线路通道内入侵异物的点云数据和图像数据，并建立空间数据库，针对点云数据采用轻量级的高效大规模3d点云语义分割网络randla net训练入侵异物点云样本数据集，生成点云语义分割模型；
33.步骤2：采集初始时刻t0时输电线路通道的激光点云数据和图像数据，并以激光点云数据和图像数据作为参照，假设t0时刻输电线路通道内无任务异物存在；
34.步骤3：点云分割：将步骤2中获取的点云置入步骤1中的模型进行分割，采用自动分割算法，分割出电力线点云和非电力线点云；即将步骤2中采集的点云数据放入步骤1中的算法模型，分割出不同类别的点云数据，例如植被、道路、杆塔、导线、建筑物等；
35.步骤4：采集t1、t2、...tn时刻的输电线路通道激光点云数据和图像数据；
36.步骤5：等量替换，将步骤3中分割出来的电力线点云数据替换步骤4中不同时刻采集的输电线路通道点云数据中的电力线点云数据；因为步骤3和步骤4采集的点云数据为同一坐标系，因此可将步骤3中的电力线点云叠加到步骤4中的点云中来；
37.步骤6：设定一个安全阈值，根据gb50545《110kv～750kv架空输电线路设计规范》和dl/t741《架空输电线路运行规程》确定一个安全阈值d，逐一选取步骤5中叠加进来的电力线，以电力线为中心，以d为半径，l为步长，电力线走向为前进方向，生成一个缓冲区空间，根据电力线长度，可生成n个缓冲区空间，分别为l1，l2，...ln，缓冲区空间如图1所示；
38.步骤7：用每一个缓冲空间裁剪步骤4中采集的tn时刻的点云数据，裁剪结果记为p1、p2、...pn,假设t0初始时刻输电线路通道不存在安全隐患，则安全空间内没有任何点云，即p1＝p2＝...＝pn＝null；同样用每一个缓冲区空间裁剪步骤5中采集的tn时刻的点云数据，裁剪结果记为q1、q2、...qn，查看裁剪结果qn是否为空，如果qn＝null，则可判断tn时刻输电线路通道的状态和t0时刻一致，说明无入侵异物，如果qn≠null，即qn≠pn，说明tn时刻输电线路通道可能存在入侵异物，则进入步骤8；
39.步骤8：假设用l1裁剪tn时刻采集的点云，裁剪结果用q
n1
表示，如果q
n1
≠p1且q
n1
≠null，说明电力线的l1段在tn时刻存在安全隐患，即在电力线周围安全距离d内，存在其他物体的点云，此时将q
n1
点云数据植入步骤2的模型中，进行分割，分割出q
n1
内存在的tn时刻的点云属于什么类别，如果q
n1
存在的点云是一个整体(比如一个完整的风筝轮廓)，如图2，则经过分割后能直接判断出输电线路入侵的异物；如果q
n1
内存在的点云并不完整(比如只有风筝的某一个部分，因为是经过裁剪，假如风筝刚好在缓冲区空间的附近，则只能裁剪到部分风筝点云)，如图3，则进入步骤9；
40.步骤9：为了判别q
n1
内结构不完整的点云数据为何种入侵异物，则需结合步骤3中设备采集的tn时刻的输电线路通道图像记为mn，将输电线路通道tn时刻的点云qn与图像mn进行融合，在融合后的数据中标定出tn时刻入侵的异物，并通过点云量取异物与电力线之间的距离。
41.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的
保护范围。