一种机场跑道的FOD检测方法、系统及存储介质与流程

一种机场跑道的fod检测方法、系统及存储介质
技术领域
1.本发明涉及机场检测技术领域，尤其涉及一种机场跑道的fod检测方法、系统及存储介质。


背景技术：

2.近几十年来，机场跑道上的外来异物碎片（foreign object debris, fod）越来越引起人们的关注，这归因于一些由 fod 引起的空难，在机场跑道上进行有效的 fod 监测将大大降低飞机起飞时坠毁的可能性。其中，fod的种类较多，包括金属物如螺帽、扳手等，飞行物品如私人证件、铅笔、钢笔等，还有机械工具、动植物、木块、塑料制品等等，通常fod的尺寸较小，因此有效对其检测与识别是一项非常困难和具有挑战性的任务。
3.传统的fod检测采用人工巡视的方式，这种方式受人为影响因素较大，检测精度较低且检测效率低，而且还存在二次带入的安全隐患。


技术实现要素：

4.本发明提供了一种机场跑道的fod检测方法、系统及存储介质，以解决现有技术中存在的缺陷。
5.为了实现上述目的，本发明通过如下的技术方案来实现：第一方面，本发明提供一种机场跑道的fod检测方法，应用于机场跑道的fod监测系统，所述fod监测系统包括雷达传感器、光学传感器以及分别与所述雷达传感器和所述光学传感器连接的处理中心，所述方法包括：根据对所述雷达传感器获得的雷达扫描谱图进行处理确定fod目标的第一检测信息；采用深度学习方法对所述光学传感器在预设焦距下获得的视频流数据进行计算，确定fod目标的第二检测信息；对所述第一检测信息和所述第二检测信息进行融合处理，得到融合检测信息；根据所述融合检测信息进一步分类与定位fod目标。
6.可选地，所述得到融合检测信息之后，所述方法还包括：确定融合检测信息中被检测到的fod目标存在的时间长度，并过滤掉此时间长度被重复检测的fod目标。
7.可选地，所述采用深度学习方法对所述光学传感器在预设焦距下获得的视频流数据进行计算，确定fod目标的第二检测信息，包括：采用所述光学传感器基于离线训练的神经网络检测fod目标，所述神经网络包括输入层、主干网络、连接网络以及检测头网络；所述输入层用于接收待检测数据，所述主干网络用于提取所述待检测数据中的数据特征，所述连接网络用于对主干网络的各个网络层提取的特征进行特征融合与复用，所述检测头网络用于根据提取的特征对图像中的fdo目标进行定位与分类。
8.可选地，所述采用所述光学传感器基于离线训练的预设神经网络检测fod目标之前，所述方法还包括：根据与机场跑道类似场景的历史信息进行训练得到所述神经网络的网络模型，所述历史信息包括历史图片数据以及与历史图片数据对应的fod目标标注信息。
9.可选地，所述预设焦距包括第一焦距、第二焦距以及第三焦距，所述第一焦距小于所述第二焦距，所述第二焦距小于所述第三焦距。
10.可选地，所述对所述第一检测信息和所述第二检测信息进行融合处理的融合方式，包括：相机标定、坐标转换、聚类、以及最优匹配。
11.第二方面，本技术还提供一种机场跑道的fod监测系统，包括：雷达传感器、光学传感器以及分别与所述雷达传感器和所述光学传感器连接的处理中心；所述雷达传感器用于获得待检测机场跑道的雷达扫描谱图，并对雷达扫描谱图进行处理确定fod目标的第一检测信息；根据所述光学传感器在所述预设焦距下获得待检测机场跑道的视频流数据，并采用深度学习方法对所述视频流数据进行计算，确定fod目标的第二检测信息；所述数据处理中心用于对所述第一检测信息和所述第二检测信息进行融合处理，得到融合检测信息；所述数据处理中心还用于根据所述融合检测信息进一步分类与定位fod目标。
12.第三方面，本技术还提供一种机场跑道的fod监测系统，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
13.第四方面，本技术还提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
14.有益效果：本发明提供的机场跑道的fod检测方法，首先根据对所述雷达传感器获得的雷达扫描谱图进行处理确定fod目标的第一检测信息；采用深度学习方法对所述光学传感器在预设焦距下获得的视频流数据进行计算，确定fod目标的第二检测信息；然后对所述第一检测信息和所述第二检测信息进行融合处理，得到融合检测信息；根据所述融合检测信息进一步分类与定位fod目标。这样，融合了多个传感器的信息，然后进一步检测，能提高对fod目标的检测精度，有效降低误检或漏检。
15.本发明提供的机场跑道的fod检测方法，将同一目标被重复检测的情况避免掉，设置fod存在的历史时间，在这个时间内，同一fod目标将不会被检测到，可以达到重复目标的过滤的目的，能减少后续步骤的计算量，可以更加快速的定位fod目标。
16.本发明提供的机场跑道的fod检测方法，通过相机标定、坐标转换、聚类、以及最优匹配进行雷视融合，可以充分的对第一检测信息和第二检测信息进行融合，更准确地定位fod目标。
附图说明
17.图1为本发明优选实施例的一种机场跑道的fod检测方法的流程图之一；
图2为本发明优选实施例的一种机场跑道的fod检测方法的流程图之二；图3为本发明优选实施例提供的预设神经网络的训练流程示意图。
具体实施方式
18.下面对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
20.需要说明的是，单一传感器天然存在的缺陷性，如雷达传感器仅对金属物体敏感，无法识别异物类型等，如光学传感器对环境敏感，光照、雾霾均会影响相机成像质量，导致检测效果不佳。此外，由于机场环境的复杂性，及各类fod规模和形状的不一，也导致诸如局部二值模式（lbp）、尺度不变特征变换（sift）和方向梯度直方图（hog）等传统图像处理方法在fod检测方面表现不佳。基于此，本技术实施例提供一种机场跑道的fod检测方法。
21.请参见图1
‑
图2，本技术实施例提供一种机场跑道的fod检测方法，应用于机场跑道的fod监测系统，fod监测系统包括雷达传感器、光学传感器以及分别与雷达传感器和光学传感器连接的处理中心，方法包括：根据对雷达传感器获得的雷达扫描谱图进行处理确定fod目标的第一检测信息；采用深度学习方法对光学传感器在预设焦距下获得的视频流数据进行计算，确定fod目标的第二检测信息；对第一检测信息和第二检测信息进行融合处理，得到融合检测信息；根据融合检测信息进一步分类与定位fod目标。
22.在本实施例中，第一检测信息可以是fod目标的距离与方位信息，第二检测信息可以是fod目标在图像上的位置与类别信息。其中，在检测时，雷达传感器扫描飞机跑道，为进行角度为180度的跑道全覆盖扫描，获得雷达扫描谱图；光学传感器（相机）扫描跑道，也进行角度为180度的扫描，获得视频流数据，同时以电机转动角度为基础，每间隔固定角度从视频流中获取一帧图片进行图像目标检测。
23.上述的机场跑道的fod检测方法，通过相机标定与坐标系转换，将雷达目标检测结果与图像目标检测结果进行融合决策，包括距离、方位、类别、置信度、fod图片等等，融合了多个传感器的检测信息，通过融合后的检测信息进行进一步检测和判断，能提高对fod目标的检测精度，有效降低误检或漏检。
24.可选地，得到融合检测信息之后，上述的方法还包括：确定融合检测信息中被检测到的fod目标存在的时间长度，并过滤掉此时间长度被重复检测的fod目标。
25.在本可选的实施方式中，将同一目标被重复检测的情况避免掉，设置fod存在的历史时间，在这个时间内，同一fod目标将不会被检测到，可以达到重复目标的过滤的目的，能减少后续步骤的计算量，可以更加快速的定位fod目标。
26.可选地，所述采用深度学习方法对所述光学传感器在预设焦距下获得的视频流数据进行计算，确定fod目标的第二检测信息，包括：采用所述光学传感器基于离线训练的神经网络检测fod目标，所述神经网络包括输入层、主干网络、连接网络以及检测头网络；所述输入层用于接收待检测数据，所述主干网络用于提取所述待检测数据中的数据特征，所述连接网络用于对主干网络的各个网络层提取的特征进行特征融合与复用，所述检测头网络用于根据提取的特征对图像中的fdo目标进行定位与分类。
27.在本可选的实施方式中，采用深度学习的方法进行目标检测，构建的神经网络结构为yolov4，该神经网络结构是一种单阶段检测方案，将目标定位与分类合二为一进行检测，由输入层（input）、主干网络（backbone）、连接网络（neck）、检测头网络（head）构成，其中input用于待检测数据接收，backbone用于特征提取、neck用于特征融合与复用，head用于图像中目标的定位与分类。这样，在相机扫描跑道时，利用了深度学习（神经网络）进行图像目标检测，相比传统方法提升了检测精度。
28.可选地，采用光学传感器基于离线训练的神经网络检测fod目标之前，上述的方法还包括：根据与机场跑道类似场景的历史信息进行训练得到所述神经网络的网络模型，所述历史信息包括历史图片数据以及与历史图片数据对应的fod目标标注信息。
29.在本可选的实施方式中，如图3所示，训练得到神经网络的步骤如下：先进行数据采集、数据标注、数据集构建、离线训练、实验验证、模型转换，然后进行模型部署实现在线检测。
30.其中，数据采集为采集与检测场景类似的图片数据，为fod目标检测提供数据基础，其应尽量覆盖晴天、下雨、白天、夜晚、雾天、雪天等场景。数据标注为给图片中fod的位置与类别一对一创建真实标签。数据集构建为将标注的图片数据整合、人工审核，并将其按照0.8：0.2的比例划分为训练集与测试集。离线训练为以创建的数据集中训练集为基础训练yolov4网络。实验验证为以创建的数据集中测试集为基础测试yolov4网络对fod的检测性能，若测试集的准确率达到预期值，则保存模型文件，用于后续单帧图片的检测。模型转换为将离线训练得到的神经网络模型文件转换为实际部署时能识别并推理的文件类型。此处，对训练模型的方式仅做示例，不做限定。
31.可选地，预设焦距包括第一焦距、第二焦距以及第三焦距，第一焦距小于第二焦距，第二焦距小于第三焦距。
32.在本可选的实施方式中，通过相机变焦可以增大探测距离，在一示例中，第一轮扫描，相机固定一个短焦距（第一焦距），看清近距离fod目标；第二轮扫描，相机固定一个中焦距（第二焦距），看清中距离fod目标；第三轮扫描，相机固定一个长焦距（第三焦距），看清远距离fod目标，如此三轮扫描，相机检测范围可覆盖到整个机场宽度。
33.所述对所述第一检测信息和所述第二检测信息进行融合处理的融合方式，包括：相机标定、坐标转换、聚类、以及最优匹配。此处，对融合方式仅作示例，不做限定。
34.上述的机场跑道的fod检测方法，通过融合雷达与相机多个传感器数据，并结合深度学习目标检测技术，实现了fod的有效检测，其避免了单一传感器天然存在的缺陷性带来的漏检与误检，可以适应不同光照、晴雨雾霾等气候，且探测精度高，识别性能强。同时，基于深度学习的图像目标检测方法相比传统方法，避免了人工提取特征，通过神经网络自动学习，自动提取有利于目标检测的特征，使得检测精度更高，泛化性更强。
35.本技术实施例还提供一种机场跑道的fod系统，包括：雷达传感器、光学传感器以及分别与雷达传感器和光学传感器连接的处理中心；所述雷达传感器用于获得待检测机场跑道的雷达扫描谱图，并对雷达扫描谱图进行处理确定fod目标的第一检测信息；根据所述光学传感器在所述预设焦距下获得待检测机场跑道的视频流数据，并采用深度学习方法对所述视频流数据进行计算，确定fod目标的第二检测信息；所述数据处理中心用于对所述第一检测信息和所述第二检测信息进行融合处理，得到融合检测信息；所述数据处理中心还用于根据所述融合检测信息进一步分类与定位fod目标。
36.上述的机场跑道的fod系统能实现上述的机场跑道的fod方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
37.本技术实施例还提供一种机场跑道的fod系统，包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如上所述的方法的步骤。
38.上述的机场跑道的fod系统能实现上述的机场跑道的fod方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
39.本技术实施例还提供一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如上所述的方法的步骤。上述的机场跑道的fod系统能实现上述的机场跑道的fod方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
40.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。