一种基于MaskR-CNN目标检测技术的跑道侵入检测方法

一种基于mask r
‑
cnn目标检测技术的跑道侵入检测方法
技术领域
1.本发明涉及机场安全领域，特别是涉及一种基于mask r
‑
cnn目标检测技术的跑道侵入检测方法。


背景技术：

2.跑道作为一次航班运行的开始与结束的机场设施部分，在机场安全运行的过程中具有十分重要的作用。跑道侵入是典型的跑道安全问题，因其极有可能引起严重的机场安全事故，因此跑道侵入是整个航空运输系统安全的基础一环。
3.美国faa最早于上世纪90年代开始着手于解决跑道侵入问题，启动了一系列防止跑道侵入的方案。faa的跑道侵入减少计划(runway incursion reduction program,rirp)系统由飞行导航系统、入侵显示终端等部分组成,可以为飞行员、空中交通管制人员以及地面交通设施等提供实时状态报告。但是其使用要以花费大量资金改造和维护为代价,这对大多机场来说都有一定的局限性,要将其进行全球范围的推广使用,还需要一个很长的过程。
4.nasa的rips(runway incursion prevention system,跑道入侵防止系统)系统主要是通过技术手段来提高地面状态实时报告、飞行定位和飞行员预警等方面的能力,从而减少跑道入侵的发生。rips与rirp的不同之处在于它可以实时地向飞行员报告当前的地面状态。通过当地机场的飞机和预警设施来预测其他飞机的方位,还可以向飞行员报告当前机场的使用状况,通常这些都是由飞行计划来指导的。而实时报告这一功能的实现是通过ads
‑
b(广播式自动相关监视)、stis
‑
b(地面交通信息服务广播)、laas和各种预警技术来完成的。
5.国际民航组织在2004年发布了《先进场面活动引导和控制手册》，要求机场安装的新一代机场监视设备，进而能够对飞机在机场从跑道、滑行道、停机坪和登机口全方位进行自动引导控制其中可选用的场面监视技术包括一次场面监视雷达、广播式自动相关监视和多点定位技术。世界上技术先进的机场场面监视雷达拥有自动告警和机场信息共享等功能，中国场面监视雷达还在研究中，有很大发展潜力。场面监视雷达属于非协作式监视系统，系统受地形、天气影响大，对于大中机场来说，单重覆盖存在盲区，本身无目标识别能力。
6.多点相关定位(multilateration,mlat)基于地面基站接收定位目标输出的应答信号,通过基站接收到信号的到达时间差(tdoa)进行计算，从而实现目标定位。调整基站数量和位置可对场面上的航空器和车辆进行监视。
7.ads
‑
b技术是通过空空、空地数据链广播消息形式，向地面空管系统或其他飞机实时播报其精确位置、航速、识别码、航班号、空地状态等信息。ads
‑
b系统是基于卫星导航定位技术实现目标定位，它存在卫星完好性及需要对老旧飞机进行改装等弱点，应用受到一定限制。
8.在基于视频的跑道侵入检测研究方面，潘卫军等人提出一种基于视频处理的跑道
侵入检测模型，利用运动物体检测算法检测出视频图像上的运动物体，并引入航空器轮廓特征匹配，校验运动物体是否符合航空器轮廓特征，分析了实时视频图像坐标和机场道面俯视坐标的对应关系，构建了坐标间投影模型，将运动物体位置投影至机场道面俯视图中；谭笑等人提出了一种混合高斯背景差分与帧间差分相结合的运动目标检测算法，将帧间差分的结果反馈到混合高斯模型中，实现光线突变时高斯模型快速收敛，再进行图像后处理以获得精准的运动威胁目标,提出的算法兼顾了检测的速度和精度，分别可达10
‑
1秒级和像素级；陈文等人提出了一种背景光线突变下有效消除抖动的方法，解决了机场环境中由于飞机的高频率起降引起频繁抖动以及背景光线突变的问题，能够满足视频图像处理的实时性要求。


技术实现要素：

9.为了解决现有技术中仅靠场面监视或告警信息难以及时发现并避免跑道侵入、现有的场面监视告警设备容易产生虚警、现有的场面监视告警系统建设投资较大，扩展性移植性较差的问题。
10.本发明提供了一种基于mask r
‑
cnn目标检测技术的跑道侵入检测方法，包括以下步骤：
11.s1：确定摄像头视野范围和安装坐标；
12.s2：实时监测跑道环境和目标运动，mask r
‑
cnn算法处理的画面经数据处理单元传输到画面显示终端；
13.s3：根据mask r
‑
cnn的算法参数，经由逻辑电路判断是否发生跑道侵入；
14.s4：若发生跑道侵入情况，则视频框变红并发出声音告警提示，否则显示正常；
15.s5：在系统运行期间，每个固定时间段自行设置和事件触发都会以视频和文字的形式生成系统日志，日志储存在处理器终端；
16.s6：系统仿真验证平台演示。
17.优选地，s3中所述跑道侵入的方式有三种：
18.第一种：典型跑道侵入情景：当管制员发布着陆许可后，位于跑道等待线外的航空器向跑道继续滑行造成跑道侵入，此时信号状态i0＝1，滑行道上检测到航空器为运动状态i
i
＝1；
19.第二种：典型跑道侵入情景：当管制员发布起飞许可后，位于跑道等待线外的航空器向跑道继续滑行造成跑道侵入，此时跑道摄像头检测到跑道上有航空器正在起飞，信号状态i
i
＝1，滑行道上同时检测到航空器为运动状态i
j
＝1；
20.第三种：典型跑道侵入情景：当管制员发布穿越跑道许可后，位于跑道端的航空器开始起飞或管制员发布着陆许可，同时有航空器穿越跑道造成跑道侵入。此时，跑道摄像头检测到跑道上有航空器正在起飞，信号状态i
i
＝1，或管制员发布着陆许可i0＝1，滑行道上同时检测到航空器为运动状态，i
j
＝1。
21.优选地，s6包括以下子步骤：
22.s61：指令操作；
23.s62：跑道防区状态查看；
24.s63：查看视频日志；
25.s64：预警侵入。
26.优选地，s61包括以下步骤：
27.s611：指令操作区有三种指令操作：起飞、穿越、降落，操作目标针对防区内灯光设备有效；
28.发布起飞许可后，跑道入口灯亮起，滑行道口的摄像头处于布防状态；穿越后，跑道起飞等待灯亮起，跑道区域的摄像头处于布防状态；发布着陆许可后，跑道入口灯亮起，滑行道口的摄像头处于布防状态；
29.s622：指令发布后，点击“灯光”，对灯光状态恢复到关闭状态，摄像头状态恢复到撤防状态。
30.优选地，s62具体为：
31.跑道防区以树状目录显示区域与设备的组织关系，区域与设备分别为道口、摄像头、灯光；摄像头状态有三种：布防、撤防、预警，分别对应的颜色为：绿色、灰色和红色；灯光状态有两种：亮起、关闭，分别对应的颜色为红色和灰色。
32.优选地，s63包括以下子步骤：
33.s631：视频查看区域以3*3窗口方式布局，满足最大9路视频的同步查看，单个视频窗口状态及边框颜色说明为；
34.s632：控制视频窗口即视频窗口的控制操作有五种：关闭视频、查看信息、打开文件、撤/布防、解除/预警，撤/布防、解除/预警的显示控制与预警控制的状态保持一致。
35.优选地，s64具体为：
36.当摄像头处于布防状态时，对侵入摄像头视角范围内的目标检测并产生预警，跑道防区目录的摄像头与视频窗口边框变为预警状态。
37.本发明基于mask r
‑
cnn目标检测技术的跑道侵入检测方法的有益效果如下：
38.1.为塔台管制员及飞行员、车辆驾驶员及场务人员提供预警和辅助决策。
39.2.及时掌握跑道状态，为跑道侵入提供一种经济实用、灵活可靠的解决方案。
40.3.减少由跑道侵入引起的事故，提高我国民航飞行的安全性。
41.4.首次次将mask r
‑
cnn目标检测算法应用于跑道侵入事件的预防和告警中；相比于传统的传感器告警，本发明的防跑道侵入预警技术因其更广的视野以及准确的目标检测能力，可为管制员和飞行员提供更早的预警。
附图说明
42.图1为mask r
‑
cnn的原理图。
43.图2为逻辑电路图。
44.图3为跑道侵入情景一。
45.图4为跑道侵入情景二。
46.图5为跑道侵入情景三。
47.图6为指令操作图。
48.图7为跑道防区状态图。
49.图8为视频日志查看图。
50.图9为视频窗口控制图。
51.图10为侵入预警图。
具体实施方式
52.下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
53.基于mask r
‑
cnn目标检测系统
54.随着计算机图形领域对目标检测任务需求的不断增加，目标分割也随之成为研究者关注的焦点。同时，目标分割方法也存在一些问题，主要体现在两个方面：一是方向问题；二是边界框的精度问题。目标分割只要解决这两个问题，就能解决复杂现实生活场景中的实际问题。本发明选择的mask r
‑
cnn作为标检测算法较完美地解决了上述的两个问题。mask r
‑
cnn的原理，如图1所示。
55.本发明从跑道侵入定义出发，分析了典型的跑道侵入事件中航空器相对位置情景，提出一种基于摄像头获取地面保护区图像，采用图像识别算法防止跑道侵入事件的技术。
56.方法步骤及逻辑电路
57.本发明选择一种逻辑电路来进行检测信号的判决与传递。假设每个摄像头检测到的结果作为输入信号，第i个摄像头检测到航空器，并通过不同帧的航空器位置对比判断航空器的运动状态，若航空器处于运动状态，则i
i
＝1；否则i
i
＝0。除了地面保护区区域内的航空器，还需考虑到获得着陆许可的航空器。获得着陆许可的航空器在距离跑道还有数公里远时，跑道就必须清空给即将着陆的航空器，此时摄像头并不能捕捉到着陆航空器的图像信息。因此，需要通过塔台管理系统的接口获取管制员是否发出着陆许可的指令。设从塔台管理系统的系统接口获取到的信号为i0，当有航空器获得着陆许可时，i0＝1，否则i0＝0。
58.本发明判断跑道侵入的逻辑电路使用半加器级联，当输出output＝1时，判断有跑道侵入的发生，触发告警器；output＝0时，判断为正常状态。逻辑电路如图2所示，其中n为跑道摄像头的数目，m为滑行道摄像头的数目。
59.步骤一、确定摄像头视野范围和安装坐标；
60.步骤二、实时监测跑道环境和目标运动，mask r
‑
cnn算法处理的画面经数据处理单元传输到画面显示终端；
61.步骤三、根据算法参数，经由逻辑电路判断是否发生跑道侵入；
62.步骤四、发生跑道侵入情况则视频框变红并发出声音告警提示，否则显示正常；
63.步骤五、在系统运行期间，每个固定时间段(自行设置)和事件触发都会以视频和文字的形式生成系统日志，日志储存在处理器终端。
64.其中，步骤三中的跑道侵入判断根据有如下三种情景：
65.第一种典型跑道侵入情景：当管制员发布着陆许可后，位于跑道等待线外的航空器向跑道继续滑行造成跑道侵入，此时信号状态i0＝1，滑行道上检测到航空器为运动状态i
i
＝1，如图3所示；
66.第二种典型跑道侵入情景：当管制员发布起飞许可后，位于跑道等待线外的航空
器向跑道继续滑行造成跑道侵入，此时跑道摄像头检测到跑道上有航空器正在起飞，信号状态ii＝1，滑行道上同时检测到航空器为运动状态i
j
＝1，如图4所示；
67.第三种典型跑道侵入情景：当管制员发布穿越跑道许可后，位于跑道端的航空器开始起飞或管制员发布着陆许可，同时有航空器穿越跑道造成跑道侵入。此时，跑道摄像头检测到跑道上有航空器正在起飞，信号状态i
i
＝1，或管制员发布着陆许可i0＝1，滑行道上同时检测到航空器为运动状态，i
j
＝1。如图5所示。
68.系统仿真验证平台演示
69.跑道监控对跑道区域布局的摄像头进行实时视频的查看与显示，并经mask r
‑
cnn算法原理和相应配套的跑道目标检测与侵入逻辑，判断是否发生了跑道侵入情况，实现实时预警或报警，并标注预警监测摄像头和灯光状态。
70.跑道监控包括：指令操作、预警控制、跑道防区状态查看、侵入预警。
71.指令操作
72.1)指令操作区有三种指令操作：起飞、穿越、降落，操作目标针对防区内灯光设备有效，如图6所示，操作说明分别为：
73.a)起飞后，跑道入口灯亮起，滑行道口的摄像头处于布防状态；
74.b)穿越后，跑道起飞等待灯亮起，跑道区域的摄像头处于布防状态；
75.c)降落后，跑道入口灯亮起，滑行道口的摄像头处于布防状态；
76.2)指令发布后，点击“灯光”，对灯光状态恢复到关闭状态，摄像头状态恢复到撤防状态。
77.跑道防区状态查看
78.跑道防区以树状目录显示区域与设备的组织关系，区域与设备分别为道口、摄像头、灯光，如图7所示：
79.摄像头状态有三种：布防、撤防、预警，分别对应的颜色为：绿色、灰色和红色；灯光状态有两种：亮起、关闭，分别对应的颜色为红色和灰色。
80.视频日志查看
81.1)视频查看区域以3*3窗口方式布局，满足最大9路视频的同步查看，单个视频窗口状态及边框颜色说明为：
82.a)选中时，视频窗口边框显示蓝色；
83.b)取消选中时，视频窗口边框显示透明无色；
84.c)当视频窗口内的摄像头处于预警状态时，视频窗口边框显示为红色。
85.2)视频窗口控制
86.视频窗口的控制操作有五种：关闭视频、查看信息、打开文件、撤/布防、解除/预警，撤/布防、解除/预警的显示控制与预警控制的状态保持一致，如图9所示，其中：
87.a)查看信息，对视频窗口的摄像头信息进行查看；
88.b)打开文件，支持本地上传视频文件、播放：
89.侵入预警
90.当摄像头处于布防状态时，对侵入摄像头视角范围内的目标检测并产生预警，跑道防区目录的摄像头与视频窗口边框变为预警状态，如图10所示：
91.根据配置的预警参数，预警反应模拟仿真算法获取到预警指令后，实时生成对应
的预警日志，给用户进行声音的告警提醒、摄像头状态预警、预警录像，显示跑道地图，并在跑道地图上仿真显示摄像头和灯光设备的位置和状态。