一种基于机载激光雷达的线缆目标检测方法与流程

1.本发明属于目标自动检测技术领域，具体来说是一种基于机载激光雷达的线缆目标检测方法。


背景技术：

2.载人直升机在飞行过程中，为确保飞行安全，需要提前检测、识别障碍物并进行有效规避。由于城镇、农村的电线、电缆密集分布，其高度低且在空中不易辨识，加上直升飞机的飞行高度较低，稍不注意就容易和低空电线电缆发生碰撞。低空电线电缆已经成为影响直升机低空飞行安全的主要问题。
3.现有的线缆检测方法主要基于机载可见光传感器或机载微波雷达来实现的，但受环境光照、空域能见度、线缆目标横截面积过小等诸多因素影响，检测到线缆目标时，往往飞机与线缆已经距离过近，无法达到有效规避的目的。
4.激光雷达具有角分辨率高、对微小目标探测灵敏度高的特点，可以有效弥补可见光传感器、微波雷达的不足，基于多线束激光雷达的线缆目标检测方法，对保障直升机飞行安全具有重要的现实意义。
5.基于多线束激光雷达的线缆目标检测，目前存在两个主要问题，首先是检测方法的复杂度过高，导致检测方法的实时性不满足飞行安全需要，其次是检测方法的漏检率、误检率较高，无法在保障飞行安全和提高飞行效率间取得平衡。
6.经过检索：中国发明专利：一种小样本下复杂环境的目标识别方法(申请号为cn202010358400.5，申请日为20200429)，该申请案的方法包括：1)数据扩充，具体包括：s11：构建并训练gan；s12：gan网络训练完成后，将gan生成的数据集进行筛选，把结果和真实数据集混合形成新的数据集，得到扩充小样本数据集；标注新数据集，并把标注之后的新数据集作为yolov3的输入；2)目标识别，具体包括：s21：构建并训练yolov3网络；s22：在对yolov3网络的坐标、置信度和分类训练完成后，将新数据集输入到yolov3网络中，对图片中最终剩下的检测框进行nms处理，删去多余的框，输出带有检测框的图片。该申请案虽然能够解决小样本下复杂环境难清楚识别目标的问题，但是在对飞机飞行状态下的线缆目标实时检测过程中难以保证准确率。


技术实现要素：

7.1.发明要解决的技术问题
8.本发明的目的在于解决现有的线缆目标检测方法存在的复杂度高、实时性差、准确率低的问题。
9.2.技术方案
10.为达到上述目的，本发明提供的技术方案为：
11.本发明的一种基于机载激光雷达的线缆目标检测方法，在飞机飞行过程中持续采集激光雷达输出的点云数据和机载组合导航系统输出的直升机位姿信息数据，并对点云数
据和位姿信息数据进行数据处理后通过直线检测算法进行检测识别并输出结果，对结果进行二次判断后得到真实线缆目标数据并对真实线缆目标数据进行跟踪。
12.优选的，所述方法具体包括如下步骤：
13.s100、采集数据，所述数据包括激光雷达输出的点云数据和机载组合导航系统输出的直升机位姿信息数据；
14.s200、数据关联，将点云数据和位姿信息数据进行数据关联；
15.s300、数据变换，根据步骤s200关联的数据将多帧激光雷达点云数据，变换至当前的飞机机体三维坐标系；
16.s400、数据压缩，将步骤s300中的三维坐标系中的三维点云数据压缩为二维数据；
17.s500、直线检测，对步骤s400压缩得到的二维数据进行直线检测，输出检测结果；
18.s600、模型检测，对步骤s500输出的检测结果进行模型检测，输出模型检测后的真实线缆目标数据；
19.s700、目标跟踪，在步骤s400的二维数据中对步骤s600的得到的真实线缆目标数据进行跟踪。
20.优选的，所述步骤s200数据关联具体为将机载组合导航系统输出的时钟同步信号接入激光雷达进行时间同步，时间同步后的点云数据和位姿信息数据进行关联匹配。
21.优选的，所述步骤s300数据变换具体为使用三维欧氏变换根据飞机采集每帧激光数据时的实际位置和姿态的差异，将多帧激光雷达数据，变换至当前的飞机机体坐标系下。
22.优选的，所述步骤s400数据压缩具体为将步骤s300得到的稠密的三维点云数据投影到当前飞机机体的前视二维坐标系，使得三维点云数据压缩为二维点云数据。
23.优选的，所述步骤s500直线检测具体为通过两种图像域直线检测方法独立进行直线检测，并对两种方法输出的结果进行融合得到检测结果并输出。
24.优选的，所述步骤s600模型检测具体为使用预训练的深度学习网络模型对步骤s500输出的检测结果进行二次判断并去除虚假线缆目标后输出真实线缆目标数据。
25.优选的，所述步骤s500采用的两种图像域直线检测方法分别为霍夫变换直线检测方法和lsd算法，并将两种算法独立检测输出的结果求并集后作为检测结果输出，霍夫变换直线检测具体使用累积概率霍夫变换方法，相关参数设定为，距离搜索步长设定为1米，角度搜索步长设定为1度，累加阈值设定为10，最小线段长度设定为3米，最大线段间距设定为10米；
26.lsd算法使用标准改良模式，以避免漏检带弧度的线缆，相关参数设定为，缩放系数设定为0.75，梯度幅值阈值设定为2，角度阈值设定为22.5度。
27.优选的，所述预训练的深度学习网络模型具体为采集飞机与线缆在典型距离、典型相对姿态情况下的真实数据，作为正样本；采集容易被误认为线缆的典型物体的点云数据，作为负样本，将正负样本按步骤s400前视投影后，进行数据标注，将标注好的数据输入初始深度学习网络模型进行训练得到预训练的深度学习网络模型，根据预训练的深度学习网络模型的输出结果及置信度判断是否为真实线缆目标。
28.优选的，所述步骤s700目标跟踪具体为根据步骤s600输出的真实线缆目标数据在后续采集的数据中进行跟踪，跟踪的范围为以下一帧数据中跟踪目标的预测位置为基准并进行扩展，包括根据线缆在当前帧数据的位置和姿态、飞机在当前时刻的速度和加速度，使
用匀加速直线运动模型预测线缆在下一帧数据中的位置和姿态，并以该预测线缆位置和姿态为基准，构建圆柱形的搜索空间，圆柱形搜索空间的半径r，根据飞机在当前时刻的速度v0、加速度a0、激光雷达数据采集时间δt计算，具体公式为
29.3.有益效果
30.采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
31.本发明提出的一种基于机载激光雷达的线缆目标检测方法，在飞机飞行过程中持续采集激光雷达输出点云数据和机载组合导航系统输出的直升机位姿信息数据，并对点云数据和位姿信息数据进行数据处理后通过直线检测算法进行检测识别并输出结果，对结果进行二次判断后得到真实线缆目标数据并对真实线缆目标数据进行跟踪。通过对实时采集的点云数据和位姿信息数据进行处理，可以保证检测的实时性和有效性，且对结果进行二次判断后得到真实线缆目标数据并对真实线缆目标数据进行跟踪，除了保证最终得到的真实线缆目标数据的准确性之外，还可以减少重复判断的过程，降低了复杂性且提升了后续识别判断的效率。
附图说明
32.图1为本发明的一种基于机载激光雷达的线缆目标检测方法的流程图。
具体实施方式
33.为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述，附图中给出了本发明的若干实施例，但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
34.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明；本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
35.实施例1
36.参照附图1，本实施例的一种基于机载激光雷达的线缆目标检测方法，在飞机飞行过程中持续采集激光雷达输出的点云数据和机载组合导航系统输出的直升机位姿信息数据，并对点云数据和位姿信息数据进行数据处理后通过直线检测算法进行检测识别并输出结果，对结果进行二次判断后得到真实线缆目标数据并对真实线缆目标数据进行跟踪。本实施例的方法通过对实时采集的点云数据和位姿信息数据进行处理，可以保证检测的实时性和有效性，且对结果进行二次判断后得到真实线缆目标数据并对真实线缆目标数据进行跟踪，除了保证最终得到的真实线缆目标数据的准确性之外，还减少了重复判断的过程，降低了复杂性且提升了后续识别判断的效率。
37.本实施例的方法具体包括如下步骤：
38.s100、采集数据，所述数据包括采集激光雷达输出的点云数据和机载组合导航系统输出的直升机位姿信息数据；
39.s200、数据关联，将点云数据和位姿信息数据进行数据关联；
40.s300、数据变换，根据步骤s200关联的数据将多帧激光雷达点云数据，变换至当前的飞机机体三维坐标系；
41.s400、数据压缩，将步骤s300中的三维坐标系中的三维点云数据压缩为二维数据；
42.s500、直线检测，对步骤s400压缩得到的二维数据进行直线检测，输出检测结果；
43.s600、模型检测，对步骤s500输出的检测结果进行模型检测，输出模型检测后的真实线缆目标数据；
44.s700、目标跟踪，在步骤s400的二维数据中对步骤s600的得到的真实线缆目标数据进行跟踪。
45.本实施例的s100中采集激光雷达输出的点云数据具体为通过多线束激光雷达进行采集。
46.其中，步骤s200数据关联具体为进行时间同步，时间同步后的点云数据和位姿信息数据进行关联匹配。激光雷达与机载组合导航系统的数据刷新频率不一定相同，例如，目前使用比较广泛的激光雷达数据刷新频率为10赫兹，而机载组合导航系统的数据刷新频率一般在20赫兹以上，存在激光雷达数据的产生时间，与机载组合导航系统的数据产生时间，不完全一致的情况。例如，激光数据时间戳是100、200
…
500毫秒、组合导航系统的数据时间戳是120、170、220、270
…
520、570毫秒，即二者可能相差固定时间间隔，也有可能相差的时间间隔是轻微变化的，例如，从18
‑
22毫秒间随机变化。
47.这种情况下，依靠导航系统的原始数据，是无法获取激光雷达数据产生时，飞机的精确位姿的，需要通过计算获得。具体做法是，找到与激光雷达数据时间戳最接近的数个组合导航数据，采用线性插值或线性外推估算出激光数据产生时刻的惯导数据。
48.步骤s300数据变换具体为使用三维欧氏变换根据飞机采集每帧激光数据时的实际位置和姿态的差异，将多帧激光雷达数据，变换至当前的飞机机体坐标系下，由于采集激光雷达数据的过程中，飞机处于运动状态，即采集每帧数据时，飞机的位置和姿态都不一样，单纯将多帧点云进行叠加是无法保证预测的准确度的，而在三维坐标系内将数据进行变换，与飞机的实时的三维姿态进行匹配，从而保证预测的准确性。
49.步骤s400数据压缩具体为将步骤s300得到的稠密的三维点云数据投影到当前飞机机体的前视二维坐标系，使得三维点云数据压缩为二维点云数据，在二维坐标系内进行检测相对于在三维坐标系内进行检测，处理的数据量大大减少，从而降低识别的难度和复杂程度。
50.步骤s500直线检测具体为通过两种图像域直线检测方法独立进行直线检测，并对两种方法输出的结果进行融合得到检测结果并输出。
51.步骤s500采用的两种图像域直线检测方法分别为霍夫变换直线检测方法和lsd算法，并将两种算法独立检测输出的结果求并集后作为检测结果输出，霍夫变换直线检测具体使用累积概率霍夫变换方法，相关参数设定为，距离搜索步长设定为1米，角度搜索步长设定为1度，累加阈值设定为10，最小线段长度设定为3米，最大线段间距设定为10米；
52.lsd算法使用标准改良模式，以避免漏检带弧度的线缆，相关参数设定为，缩放系数设定为0.75，梯度幅值阈值设定为2，角度阈值设定为22.5度。
53.通过两种算法独立检测输出的结果求并集后作为检测结果输出可以降低漏检率，从而保证最终得到的真实线缆目标数据的准确率。
54.步骤s600模型检测具体为使用预训练的深度学习网络模型对步骤s500输出的检测结果进行二次判断并去除虚假线缆目标后输出真实线缆目标数据。
55.预训练的深度学习网络模型具体为采集飞机与线缆在典型距离、典型相对姿态情况下的真实数据，作为正样本；采集容易被误认为线缆的典型物体的点云数据，作为负样本，将正负样本按步骤s400前视投影后，进行数据标注，将标注好的数据输入初始深度学习网络模型进行训练得到预训练的深度学习网络模型，根据预训练的深度学习网络模型的输出结果及置信度判断是否为真实线缆目标，且在训练的过程中根据输出结果不断对模型进行优化，最终保证训练后的模型的识别准确率。
56.其中深度学习网络模型可选取为常用的移动端图像分类深度学习模型，如mobilenet、shufflenet、efficientnet等，以其为基础网络，并将网络结构进行适当调整，使之能够输出二分类结果，该结果用于表示，在输入的前视数据的指定位置是否存在线缆目标，以及该结果的置信度。置信度阈值需要根据真实场景采集的训练数据进行确定。
57.步骤s700目标跟踪具体为根据步骤s600输出的真实线缆目标数据在后续采集的数据中进行跟踪，跟踪的范围为以下一帧数据中跟踪目标的预测位置为基准并进行扩展。根据线缆在当前帧数据的位置和姿态、飞机在当前时刻的速度和加速度，使用匀加速直线运动模型预测线缆在下一帧数据中的位置和姿态，并以该预测线缆位置和姿态为基准，构建圆柱形的搜索空间。圆柱形搜索空间的半径r，根据飞机在当前时刻的速度v0、加速度a0、激光雷达数据采集时间δt计算，具体公式为
58.通过对已识别出来的真实线缆目标进行跟踪，除了可以保证检测的实时性之外，还可以降低后续识别的任务量和复杂程度，提升效率和节约时间。
59.以上所述实施例仅表达了本发明的某种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，本发明专利的保护范围应以所附权利要求为准。