一种机场滑行道实时监控预警方法

1.本发明属于机场交通管制工程技术领域，涉及一种机场滑行道实时监控预警方法。


背景技术：

2.机场飞机在起飞前和降落后，都需要在从停机位经滑行道滑行一定距离后经航道起跑起飞，或是在航道着陆后滑行至停机位。飞机在滑行期间需经过一个或多个滑行道交叉口；由于机场存在停机位、廊桥等建筑物，机场车辆在途径道口前往往存在视觉盲区，看不到前方交叉方向滑行的飞机，容易在交叉道口与高速滑行的飞机相撞发生交通事故。
3.为了避免该类交通事故的发生，就需要提前告知行驶车辆减速慢行并在交叉道口停车以避让滑行飞机，针对此类交通管控，目前主要靠交通管理人员视觉观察、远处指挥并发出交通信号，但该方法受人为主观因素较大，且人眼观察存在较大的视觉盲区，因而存在较大的交通事故风险，给机场的安全和财产损失带来了无形的威胁；而现有的另一种管控技术通过gps定位和埋地传感器对飞机滑行位置进行实时定位和控制，但也存在成本高、部署和维护困难、定位信号受外界干扰大等问题。


技术实现要素：

4.本发明的目的是提供一种机场滑行道实时监控预警方法，以解决上述问题。
5.为实现上述发明目的，本发明所采用的技术方案是：包括以下步骤：
6.a.采集机场滑行飞机图片数据并建立训练数据集和标签集；
7.b.建立二类别飞机实时检测模型；
8.c.预设检测域坐标，并在检测域内预设报警线；
9.d.确定待监测滑行道，设置飞机面积阈值s1和s2；
10.e.依次读取每帧视频画面，根据检测域坐标对每帧视频图片裁取后输入实时检测模型，输出每帧视频图像的检测结果；
11.f.根据飞机面积阈值和预警线坐标位置，对每帧的检测结果进行判断，若满足报警条件输出为真并发送一次报警信号。
12.优选的，所述步骤a中，采集侧向滑行飞机视频帧图像，裁剪图像并对左行飞机和右行飞机分别进行框选并输入对应标签名称“左行飞机”、“右行飞机”，并依次生成对应标签数据文件。
13.优选的，对每张图像进行左右翻转，同时复制对应标签数据进行标签名和标签框位置修改。
14.优选的，所述步骤b中，所述实时检测模型为nanodet网络框架，所述nanodet网络框架的输出heads类别数为2。
15.优选的，采用nanodet相同的网络训练方法训练模型直到收敛，得到nanodet滑行飞机检测模型；利用openccv计算机视觉库加载模型并进行非极大值抑制，建立左行飞机与
右行飞机的nanodet二类别实时检测模型。
16.优选的，所述步骤d中，从视频画面上确定该滑行道上任一滑行飞机的像素尺寸高hp宽wp；确定该滑行道相邻滑行道上的任一滑行飞机像素尺寸分别为高h1、宽w1和高h2、宽w2(h1<h2，w1<w2)。
17.优选的，所述s1与s2的计算公式为，
18.优选的，所述步骤f中，根据检测结果计算检测飞机面积si＝hi
×
wi，左行飞机机头位置横坐标xnose＝xi
‑
wi/2，右行飞机机头位置xnose＝xi+wi/2；若xnose<l1，且s1<si<s2，则输出飞机左行信号；若xnose>l2，且s1<si<s2，则输出飞机右行信号。
19.优选的，所述步骤f每发送一次报警信号，放出n帧视频图像不检测。
20.优选的，定义一个长度为n的尾进首出列表list用于持续保存连续n帧的检测结果；根据检测结果进行判断，若当前帧有报警信号发出，则列表内保存当前帧检测结果1，否则保存当前帧检测结果0；判断该列表是否为含1，若含则设置只读视频帧画面不输入模型进行检测。
21.本发明的有益技术效果是：实时检测模型可以快速检测视频画面中的左行飞机和右行飞机，克服了现有目标检测模型识别精度低、且只能识别飞机无法识别飞机方向的问题；通过预先选择指定区域作为待检测区域，模型输入经切片后的待见区域图像而非整幅视频帧图像，大幅度缩减了输入到检测模型中的每帧图像数据量，可以使模型在嵌入式cpu下做到实时检测。
22.因此，与现有技术相比，本发明是一种可识别飞机行进方向、识别精度高、稳定性强、设备成本低、架设维护简单的机场滑行道实时监控预警方法。
附图说明
23.图1是一种机场滑行道实时监控预警方法总体步骤流程图；
24.图2是nanodet二类别实时检测模型框架结构图；
25.图3是检测区域坐标及报警线示意图；
26.图4是检测模型检测每帧视频图像的流程图；
27.图5是控制检测结果发送报警信号流程图；
28.图6是每发送一次报警信号放出n帧方法流程图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。若未特别指明，实施例中所用的技术手段为本领域技术人员所熟知的常规手段。
30.在发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
31.请参阅图1
‑
6，本发明公开的一种机场滑行道实时监控预警方法，包括以下步骤：
32.a.采集机场滑行飞机图片数据并建立训练数据集和标签集；
33.b.建立二类别飞机实时检测模型；
34.c.预设检测域坐标，并在检测域内预设报警线；
35.d.确定待监测滑行道，设置飞机面积阈值s1和s2；
36.e.依次读取每帧视频画面，根据检测域坐标对每帧视频图片裁取后输入实时检测模型，输出每帧视频图像的检测结果；
37.f.根据飞机面积阈值和预警线坐标位置，对每帧的检测结果进行判断，若满足报警条件输出为真并发送一次报警信号。
38.步骤a中，选择机场某停机位处滑行道，在滑行道停机位一侧架装摄像头，对该区域滑行道飞机进行视频采集；手动筛选含有侧向滑行飞机的视频帧图像100张，选择416*416的裁剪框任意裁剪图像，裁剪的图像内需要包含滑行飞机；裁剪后的图像依次利用labelimg标签制作软件打开，对图像中的左行飞机和右行飞机分别进行框选并输入标签名称“左行飞机”、“右行飞机”，依次生成对应的xml格式标签数据文件。为了均衡左右飞机图片数量，对每张图像进行左右翻转，同时复制对应标签数据进行标签名和标签框位置修改，最后得到200张训练图片和对应200个标签文件。通过对图像进行翻转，不仅使左右行飞机图像数量一致，还增加了训练图片数量，增加检测精度。
39.步骤b中，应用python语言建立nanodet网络框架，将nanodet网络的最后3个输出的light head类别数改为2，并修改输入尺寸大小为416*416，与步骤a中裁剪后的图片大小相同；采用nanodet相同的网络训练方法训练模型直到收敛，得到nanodet滑行飞机检测模型；利用openccv计算机视觉库加载模型并进行非极大值抑制，建立如图2所示的左行飞机与右行飞机的nanodet二类别实时检测模型。在nanodet二类别实时检测模型的基础上，通过设置警戒线和飞机面积阈值的判断条件，可以选择性的监测任一滑行道上的飞机并实时发送信号，替代了通过交通员人工肉眼观察发送交通预警信号的繁重体力劳作方式，极大的降低了机场交通管制的人力、物力成本。
40.一般普通摄像头拍摄像素多为1024*768，在嵌入式cpu下采用上述检测模型对整幅图像进行检测还无法满足实时性，因此需要选择特定区域进行检测。如图3所示，步骤c中，在检测域内预设两条垂直报警线line1和line2。本步骤选择视频画面中心高384，宽512的矩形区域作为待检测区域，待检测矩形域左上角顶点a坐标(xa,ya)为(256，192)，右下角顶点b坐标(xb,yb)为(768，576)；之后在检测区域竖直中心两侧预设两条竖直警戒线，左右警戒线line1和line2横坐标分别为l1＝384、l2＝640。通过预先选择指定区域作为待检测区域，模型输入经切片后的待见区域图像而非整幅视频帧图像，大幅度缩减了输入到检测模型中的每帧图像数据量，实现了模型在嵌入式cpu下做到实时检测。
41.步骤d中，根据监测需求确定待监测滑行道，从视频画面上确定出该滑行道上某滑行飞机的像素尺寸高hp＝74宽wp＝126，同时确定出该滑行道左右相邻滑行道上的滑行飞机像素尺寸分别为高h1＝66、宽w1＝115和高h2＝85、宽w2＝138(h1<h2，w1<w2)；定义飞机面积阈值为
42.步骤e中，依次读取每帧视频画面，根据步骤c中预设的检测域坐标对每帧视频图片裁取后输入实时检测模型，输出每帧视频图像的检测结果，检测模型检测每帧视频图像的流程如图4所示。利用opencv顺序抓取每帧视频图像，利用numpy将图像数据转换为矩阵格式，利用python的矩阵切片操作根据步骤3中定义的检测区域坐标a和b切取x区间为[xa,xb]＝[256,768]，y区间为[ya,yb]＝[192,576]的数据后输入至步骤2建立的二类别(左行飞机、右行飞机)实时检测模型，输出每帧视频图像的检测结果即：若检测到飞机，输出飞机运动方向(左行或右行)，飞机中心pci坐标(xi,yi)以及飞机的宽wi高hi，例如某帧检测到左行飞机，pci坐标(xi,yi)为(414,320)，wi为128，hi为76。
[0043]
控制检测结果发送报警信号流程图如图5所示。步骤f中，根据3中预设的飞机面积阈值和预警线坐标位置，对4的每帧视频图像检测后的输出结果进行判断，若满足报警条件输出为真并发送一次报警信号。根据步骤5输出的检测结果，计算检测飞机面积si＝hi
×
wi＝76
×
128＝9728，左行飞机机头位置横坐标xnose＝xi
‑
wi/2，右行飞机机头位置xnose＝xi+wi/2，定义判断条件：若检测到飞机左行、xnose<l1，且s1<si<s2，则在当前检测帧输出信号：“此道有飞机左行”，同样的，定义判断条件：若检测到飞机右行、xnose>l2，且s1<si<s2，则在当前检测帧输出信号：“此道有飞机右行”。接步骤5的检测结果求得左行飞机机头位置为xi
‑
wi/2＝414
‑
128/2＝350，判断条件：350<384、8435<9728<10494，因此在当前帧输入信号：“此道有飞机左行”。
[0044]
进一步的，所述步骤f每发送一次报警信号，放出n帧视频图像不检测。如图6所示，定义一个长度为n的尾进首出列表list用于持续保存连续n帧的检测结果，若当前帧有报警信号发出，则列表内保存当前帧检测结果真，否则保存当前帧检测结果假。列表只要有某一元素为真则列表为真，否则为假。判断该列表是否为真，若为真，设置只读视频帧画面不输入模型进行检测，放帧操作流程如图所示。例如设置n为4，当前帧下list＝[0，0，0，1]，开始跳帧(只读不检测)即下一帧list为[0，0，1，0]，直到连跳4帧list变为[0，0，0，0]后开始进行检测，若检测到满足条件的飞机，list变为[0，0，0，1]，则继续连跳4帧，若没有检测到满足要求的飞机，list变为[0，0，0，0]，则持续检测。对n帧图像进行列表集合和跳帧操作，大大降低了整体工作次数，增加工作效率减轻运行负担。
[0045]
本发明基于opencv建立的nanodet二类别实时检测模型，可以快速检测视频画面中的左行飞机和右行飞机，克服了现有目标检测模型识别精度低、且只能识别飞机无法识别飞机方向的问题；同时，还解决了现有技术人工观测管控风险大，埋线设备成本高维护困难的问题，提供了一种高精度、高稳定性、高效率和低成本的机场滑行道实时监控预警方法。