基于视觉自监督学习机场运行核心区监测预警系统及方法与流程

1.本发明涉及机场运行核心净空保护区域管理领域，尤其涉及一种基于视觉自监督学习机场运行核心区监测预警系统及方法。


背景技术：

2.近些年来，机场净空核心区频频出现建筑物超高或者塔式构筑物超高的现象，对机场航空器起降带来了巨大干扰，且由于发现不及时导致后续处理比较麻烦，也会出现处理时间长、影响大等问题。根据机场飞行区实际业务需求，需要对机场周边最核心净空保护区域(5公里半径范围内)进行塔式构筑物、建筑物监测，一般现在的监测主要是人工巡查为主，其工作量比较大，其判断依据也不太客观，如何实现对新出现的塔式构筑物或建筑物进行实时监测、推送通知给相关干系人，并抓拍取证，以便于机场终端区运行管理人员及时沟通处置，最小化超高对机场航空器运行带来的影响，减少当前人工巡查工作量，是当前机场运行核心净空保护管理的技术难点。


技术实现要素：

3.针对现有技术存在的不足之处，本发明的目的在于提供一种基于视觉自监督学习机场运行核心区监测预警系统及方法，通过全景视频采集传感器对机场运行核心区域进行视频或图像采集并得到核心净空保护区数据，自监督学习模型通过样本数据训练学习得到基于卷积神经网络的塔式构筑物、建筑物自监督识别模型，在核心净空保护区坐标地图模型进行核心净空保护区数据的塔式构筑物、建筑物识别得出塔式构筑物变化数据、建筑物变化数据，能够对新增塔式构筑物、新增或已有塔式构筑物高度变化、新增建筑物、新增或已有建筑物高度变化进行告警输出，实现了机场运行核心区域的超高自动实时监测，便于及时告警，既减轻人工巡查工作量，又能反馈快速及时，有利于机场周边净空的科学、高效管理。
4.本发明的目的通过下述技术方案实现：
5.一种基于视觉自监督学习机场运行核心区监测预警系统，包括中央数据处理模块和若干个与中央数据处理模块连接的全景追踪采集单元，所述全景追踪采集单元包括全景视频采集传感器和追踪图像采集传感器，全景视频采集传感器用于视频或/和图像采集，追踪图像采集传感器用于最大清晰度地跟踪拍摄采集；所述中央数据处理模块内部具有自监督学习模型、预告警模型与样本数据库，样本数据库包括塔式构筑物样本数据集与建筑物样本数据集，自监督学习模型基于卷积神经网络对塔式构筑物样本数据集进行训练学习并识别全景视频采集传感器所采集视频或/和图像中的塔式构筑物并作出塔式构筑物标记，自监督学习模型基于卷积神经网络对建筑物样本数据集进行训练学习并识别全景视频采集传感器所采集视频或/和图像中的建筑物并作出建筑物标记；预告警模型中包含超高障碍物数据库，超高障碍物数据库包括塔式构筑物标记数据集与建筑物标记数据集，预告警模型用于将自监督学习模型标记的塔式构筑物标记与塔式构筑物标记数据集进行对比识
别并得出塔式构筑物变化数据，塔式构筑物变化数据包括新增塔式构筑物、塔式构筑物高度变化数据，预告警模型还用于将自监督学习模型标记的建筑物标记与建筑物标记数据集进行对比识别并得出建筑物变化数据，建筑物变化数据包括新增建筑物、建筑物高度变化数据；预告警模型将塔式构筑物变化数据、建筑物变化数据反馈至追踪图像采集传感器，追踪图像采集传感器对塔式构筑物或建筑物进行跟踪清晰采集。
6.为了更好地实现本发明机场运行核心区监测预警系统，所述中央数据处理模块包括预告警输出模块，预告警输出模块用于将塔式构筑物变化数据、建筑物变化数据或跟踪采集数据进行输出或远距离通信传输、推送。
7.为了便于进行机场运行核心区的飞行起降安全验证，本发明机场运行核心区监测预警系统还包括飞行起降安全验证系统，飞行起降安全验证系统与中央数据处理模块通信连接，飞行起降安全验证系统包括起降障碍物飞行验证模块，飞行起降安全验证系统内部具有障碍物数据库，障碍物数据库内部存储有机场飞行起降影响相关的障碍物数据，飞行起降安全验证系统接收塔式构筑物变化数据中的塔式构筑物数据、建筑物变化数据的建筑物数据并结合障碍物数据构成障碍物飞行验证数据，所述飞行起降安全验证系统还包括起降飞行采集模块，起降飞行采集模块用于采集起降飞行数据，起降障碍物飞行验证模块根据障碍物飞行验证数据对起降飞行数据进行飞行告警验证。
8.优选地，所述塔式构筑物标记数据集存储有塔式构筑物数据，塔式构筑物数据包括塔式构筑物编号、塔式构筑物位置数据、塔式构筑物高度数据，所述建筑物标记数据集存储有建筑物数据，建筑物数据包括建筑物编号、建筑物位置数据、建筑物高度数据。
9.优选地，所述中央数据处理模块连接有两个全景追踪采集单元，每个全景追踪采集单元包括一个全景视频采集传感器与一个追踪图像采集传感器，一个全景视频采集传感器实现半径5公里范围内的180
°
视野覆盖(两个全景追踪采集单元即可实现半径5公里范围内的360
°
视野覆盖)，中央数据处理模块将所有全景视频采集传感器所采集的视频或/和图像拟合成核心净空保护区数据，中央数据处理模块建立核心净空保护区坐标地图模型，核心净空保护区坐标地图模型上对应映射有超高障碍物数据库中的塔式构筑物标记数据集与建筑物标记数据集。
10.优选地，所述追踪图像采集传感器控制全景视频采集传感器对塔式构筑物或建筑物进行跟踪清晰采集并反馈至预告警模型，预告警模型进行复核，经过多次跟踪清晰采集、复核确定塔式构筑物变化数据、建筑物变化数据并经过预告警输出模块输出。
11.一种基于视觉自监督学习机场运行核心区监测预警方法，包括中央数据处理模块和与中央数据处理模块连接的全景追踪采集系统，全景追踪采集系统包括若干个全景追踪采集单元，全景追踪采集单元包括全景视频采集传感器和追踪图像采集传感器；中央数据处理模块内部具有自监督学习模型、预告警模型与样本数据库，样本数据库包括塔式构筑物样本数据集与建筑物样本数据集；预告警模型中包含超高障碍物数据库，超高障碍物数据库包括塔式构筑物标记数据集与建筑物标记数据集，塔式构筑物标记数据集存储有对已有塔式构筑物已标记的塔式构筑物数据，塔式构筑物数据包括塔式构筑物编号、塔式构筑物位置数据、塔式构筑物高度数据，建筑物标记数据集存储有对已有建筑物已标记的建筑物数据，建筑物数据包括建筑物编号、建筑物位置数据、建筑物高度数据；中央数据处理模块建立有核心净空保护区坐标地图模型，核心净空保护区坐标地图模型上对应映射有塔式
构筑物标记数据集的塔式构筑物数据与建筑物标记数据集的建筑物数据；其方法如下：
12.a、自监督学习模型基于塔式构筑物样本数据集通过卷积神经网络进行塔式构筑物识别训练，自监督学习模型基于建筑物样本数据集通过卷积神经网络进行建筑物识别训练；全景追踪采集系统对机场核心净空保护区进行全覆盖视频或/和图像采集得到核心净空保护区数据并对应投射到核心净空保护区坐标地图模型；
13.b、自监督学习模型通过卷积神经网络对核心净空保护区数据进行塔式构筑物识别并作出塔式构筑物标记，自监督学习模型通过卷积神经网络对核心净空保护区数据进行建筑物识别并作出建筑物标记；
14.c、预告警模型将自监督学习模型标记的塔式构筑物标记与塔式构筑物标记数据集的塔式构筑物数据进行对比识别并得出塔式构筑物变化数据，塔式构筑物变化数据包括新增塔式构筑物位置、塔式构筑物高度变化数据，塔式构筑物高度变化数据包括新增塔式构筑物高度变化数据、已有塔式构筑物高度变化数据；预告警模型将自监督学习模型标记的建筑物标记与建筑物标记数据集的建筑物数据进行对比识别并得出建筑物变化数据，建筑物变化数据包括新增建筑物位置、建筑物高度变化数据，建筑物高度变化数据包括新增建筑物高度变化数据、已有建筑物高度变化数据。
15.为了更好地实现本发明机场运行核心区监测预警方法，本发明还包括步骤d；
16.d、预告警模型将塔式构筑物变化数据、建筑物变化数据反馈至追踪图像采集传感器，追踪图像采集传感器控制全景视频采集传感器对塔式构筑物或建筑物进行跟踪清晰采集并反馈至预告警模型，预告警模型按照步骤c的方法进行识别判断复核，经过多次跟踪清晰采集、识别判断复核确定塔式构筑物变化数据、建筑物变化数据并进行输出或远距离通信传输、推送。
17.为了便于进行机场运行核心区的飞行起降安全验证，本发明机场运行核心区监测预警方法还包括步骤e；
18.e、本发明还包括飞行起降安全验证系统，飞行起降安全验证系统与中央数据处理模块通信连接，飞行起降安全验证系统包括起降障碍物飞行验证模块和起降飞行采集模块，飞行起降安全验证系统内部具有障碍物数据库，障碍物数据库内部存储有机场飞行起降影响相关的障碍物数据，飞行起降安全验证系统接收塔式构筑物变化数据中的塔式构筑物数据、建筑物变化数据的建筑物数据并结合障碍物数据构成障碍物飞行验证数据，起降飞行采集模块采集起降飞行数据，起降障碍物飞行验证模块根据障碍物飞行验证数据对起降飞行数据进行飞行告警验证。
19.优选地，所述全景追踪采集系统包括两个全景追踪采集单元，每个全景追踪采集单元包括一个全景视频采集传感器与一个追踪图像采集传感器，一个全景视频采集传感器实现半径5公里范围内的180
°
视野覆盖(两个全景追踪采集单元即可实现半径5公里范围内的360
°
视野覆盖)；或者所述全景追踪采集系统包括至少两个全景追踪采集单元，每个全景追踪采集单元包括两个全景视频采集传感器与两个追踪图像采集传感器，一个全景视频采集传感器实现半径n公里范围内的180
°
视野覆盖，两个全景视频采集传感器实现半径n公里范围内的360
°
视野覆盖，所有全景追踪采集单元交叉实现半径5公里范围内的360
°
视野覆盖。
20.本发明较现有技术相比，具有以下优点及有益效果：
21.(1)本发明通过全景视频采集传感器对机场运行核心区域进行视频或图像采集并得到核心净空保护区数据，自监督学习模型通过样本数据训练学习得到基于卷积神经网络的塔式构筑物、建筑物自监督识别模型，在核心净空保护区坐标地图模型进行核心净空保护区数据的塔式构筑物、建筑物识别得出塔式构筑物变化数据、建筑物变化数据，能够对新增塔式构筑物、新增或已有塔式构筑物高度变化、新增建筑物、新增或已有建筑物高度变化进行告警输出，实现了机场运行核心区域的超高自动实时监测，便于及时告警，既减轻人工巡查工作量，又能反馈快速及时，有利于机场周边净空的科学、高效管理。
22.(2)本发明通过塔式构筑物变化数据、建筑物变化数据得出新增障碍物，飞行起降安全验证系统能够实现新增障碍物基于历史起降飞行数据验证，能够做到科学验证判断，便于进行起降飞行的模拟验证，以得出风险大小。
23.(3)本发明预告警模型会将塔式构筑物变化数据、建筑物变化数据反馈至追踪图像采集传感器，追踪图像采集传感器能控制全景视频采集传感器对塔式构筑物或建筑物进行跟踪清晰采集并反馈至预告警模型，预告警模型能多次进行识别判断复核，经过多次跟踪清晰采集、识别判断复核以确定塔式构筑物变化数据、建筑物变化数据，有利于提高预告警的准确性。
附图说明
24.图1为本发明实施例中的塔式构筑物、建筑物识别原理框图；
25.图2为本发明实施例中采用卷积神经网络实现自监督任务训练、识别的原理简图；
26.图3为本发明机场运行核心区监测预警系统的原理框图。
具体实施方式
27.下面结合实施例对本发明作进一步地详细说明：
28.实施例
29.如图1～图3所示，一种基于视觉自监督学习机场运行核心区监测预警系统，包括中央数据处理模块和若干个与中央数据处理模块连接的全景追踪采集单元，全景追踪采集单元包括全景视频采集传感器和追踪图像采集传感器，全景视频采集传感器用于视频或/和图像采集，追踪图像采集传感器用于最大清晰度地跟踪拍摄采集；中央数据处理模块内部具有自监督学习模型、预告警模型与样本数据库，样本数据库包括塔式构筑物样本数据集与建筑物样本数据集，自监督学习模型基于卷积神经网络对塔式构筑物样本数据集进行训练学习并识别全景视频采集传感器所采集视频或/和图像中的塔式构筑物(塔式构筑物包括塔吊、通信塔、高压线塔等)并作出塔式构筑物标记，自监督学习模型基于卷积神经网络对建筑物样本数据集进行训练学习并识别全景视频采集传感器所采集视频或/和图像中的建筑物并作出建筑物标记；预告警模型中包含超高障碍物数据库，超高障碍物数据库包括塔式构筑物标记数据集与建筑物标记数据集，优选地，塔式构筑物标记数据集存储有塔式构筑物数据，塔式构筑物数据包括塔式构筑物编号、塔式构筑物位置数据、塔式构筑物高度数据；优选地，建筑物标记数据集存储有建筑物数据，建筑物数据包括建筑物编号、建筑物位置数据、建筑物高度数据。本发明对机场净空核心区内的塔式构筑物和建筑物进行识别监测，进而与背景信息比对，检测出新增的塔式构筑物、塔式构筑物高度变化、建筑物、建
筑物高度变化，结合预告警模型进行相应的预警与告警，自动驱动追踪图像传感器(即追踪图像采集传感器)对预告警场景进行最大清晰度地跟踪拍摄采集。
30.预告警模型用于将自监督学习模型标记的塔式构筑物标记与塔式构筑物标记数据集进行对比识别并得出塔式构筑物变化数据，塔式构筑物变化数据包括新增塔式构筑物、塔式构筑物高度变化数据，预告警模型还用于将自监督学习模型标记的建筑物标记与建筑物标记数据集进行对比识别并得出建筑物变化数据，建筑物变化数据包括新增建筑物、建筑物高度变化数据；预告警模型将塔式构筑物变化数据、建筑物变化数据反馈至追踪图像采集传感器，追踪图像采集传感器对塔式构筑物或建筑物进行跟踪清晰采集。
31.根据本发明的一个优选实施例，中央数据处理模块包括预告警输出模块(预告警输出模块便于输出数据或显示数据或推送数据，以便于进行告警提示)，预告警输出模块用于将塔式构筑物变化数据、建筑物变化数据、跟踪采集数据进行输出或远距离通信传输、推送。
32.根据本发明的一个优选实施例，如图3所示，本发明还可以实现对机场运行核心区的飞行起降安全验证，由此本发明还包括飞行起降安全验证系统，飞行起降安全验证系统与中央数据处理模块通信连接，飞行起降安全验证系统包括起降障碍物飞行验证模块，飞行起降安全验证系统内部具有障碍物数据库，障碍物数据库内部存储有机场飞行起降影响相关的障碍物数据(即对飞行起降有关联影响的障碍物的位置、高度数据)，飞行起降安全验证系统接收塔式构筑物变化数据中的塔式构筑物数据、建筑物变化数据的建筑物数据并结合障碍物数据构成障碍物飞行验证数据(障碍物飞行验证数据包括经复核确认的塔式构筑物数据、经复核确认的建筑物数据、障碍物数据库中的障碍物数据)，飞行起降安全验证系统还包括起降飞行采集模块，起降飞行采集模块用于采集起降飞行数据(一般采用在机场起降的历史起降数据)，起降障碍物飞行验证模块根据障碍物飞行验证数据对起降飞行数据进行飞行告警验证(比如在机场核心净空保护区域边缘虽然有障碍物，但障碍物不高，一般起降飞行或复飞偏离较远，验证时会得出障碍物风险低的结论)。
33.根据本发明的一个优选实施例，如图1所示，中央数据处理模块连接有两个全景追踪采集单元，每个全景追踪采集单元包括一个全景视频采集传感器与一个追踪图像采集传感器，一个全景视频采集传感器实现半径5公里范围内的180
°
视野覆盖，两个全景追踪采集单元即可实现半径5公里范围内的360
°
视野覆盖，中央数据处理模块将所有全景视频采集传感器所采集的视频或/和图像拟合成核心净空保护区数据，中央数据处理模块建立核心净空保护区坐标地图模型，核心净空保护区坐标地图模型上对应映射有超高障碍物数据库中的塔式构筑物标记数据集与建筑物标记数据集。
34.根据本发明的一个优选实施例，追踪图像采集传感器控制全景视频采集传感器对塔式构筑物或建筑物进行跟踪清晰采集并反馈至预告警模型，预告警模型进行复核(预告警模型再次进行识别、变化判断，也可以反馈给技术人员进行最终复核)，经过多次跟踪清晰采集、复核确定塔式构筑物变化数据、建筑物变化数据并经过预告警输出模块输出。
35.一种基于视觉自监督学习机场运行核心区监测预警方法，包括中央数据处理模块和与中央数据处理模块连接的全景追踪采集系统，全景追踪采集系统包括若干个全景追踪采集单元，全景追踪采集单元包括全景视频采集传感器和追踪图像采集传感器；一个全景视频采集传感器和一个追踪图像采集传感器构成一组全景追踪采集单元，可以共同安装在
机场塔台或其他制高点上，每一组负责180
°
视野范围内的信息采集，两组全景视频与追踪图像采集传感器可以完整实现以塔台或者其他制高点为中心的半径5公里范围内信息实时采集；采集的所有数据将实时接入中央处理器模块。中央数据处理模块内部具有自监督学习模型、预告警模型与样本数据库，样本数据库包括塔式构筑物样本数据集与建筑物样本数据集；预告警模型中包含超高障碍物数据库，超高障碍物数据库包括塔式构筑物标记数据集与建筑物标记数据集，塔式构筑物标记数据集存储有对已有塔式构筑物已标记的塔式构筑物数据，塔式构筑物数据包括塔式构筑物编号、塔式构筑物位置数据、塔式构筑物高度数据，建筑物标记数据集存储有对已有建筑物已标记的建筑物数据，建筑物数据包括建筑物编号、建筑物位置数据、建筑物高度数据；中央数据处理模块建立有核心净空保护区坐标地图模型，核心净空保护区坐标地图模型上对应映射有塔式构筑物标记数据集的塔式构筑物数据与建筑物标记数据集的建筑物数据(核心净空保护区坐标地图模型上所对应的样本数据、已有塔式构筑物或建筑物数据、识别出的塔式构筑物或建筑物数据保持位置坐标关系统一)；其方法如下：
36.a、自监督学习模型基于塔式构筑物样本数据集通过卷积神经网络进行塔式构筑物识别训练，自监督学习模型基于建筑物样本数据集通过卷积神经网络进行建筑物识别训练；全景追踪采集系统对机场核心净空保护区进行全覆盖视频或/和图像采集得到核心净空保护区数据并对应投射到核心净空保护区坐标地图模型。图2提供了一种自监督学习模型的实施工作原理简图(作为举例说明)，本发明从大量的未标注图像/视频中学习视觉特征，自监督学习仍然运作在"监督学习"框架中。自监督学习的一般流程可以采用如下方式(图2举例说明)：在自监督训练阶段，为convnets设计预定义的前置任务，并根据数据的某些属性自动生成前置任务的伪标签。然后训练卷积神经网络学习任务的目标函数。当使用前置任务进行训练时，convnet较浅的块集中于低级的一般特征，如角、边和纹理，而较深的块集中于高级任务特定的特征，如对象、场景和对象部分。因此，通过由任务训练的convnet可以学习内核来捕获低级特征和高级特征，这对其他下游任务是有帮助的。在自监督训练结束后，学习到的视觉特征可以作为预训练的模型进一步转移到下游任务中，以提高性能和克服过拟合。
37.b、自监督学习模型通过卷积神经网络对核心净空保护区数据进行塔式构筑物识别并作出塔式构筑物标记，自监督学习模型通过卷积神经网络对核心净空保护区数据进行建筑物识别并作出建筑物标记；
38.c、预告警模型将自监督学习模型标记的塔式构筑物标记与塔式构筑物标记数据集的塔式构筑物数据进行对比识别并得出塔式构筑物变化数据，塔式构筑物变化数据包括新增塔式构筑物位置、塔式构筑物高度变化数据，塔式构筑物高度变化数据包括新增塔式构筑物高度变化数据、已有塔式构筑物高度变化数据；预告警模型将自监督学习模型标记的建筑物标记与建筑物标记数据集的建筑物数据进行对比识别并得出建筑物变化数据，建筑物变化数据包括新增建筑物位置、建筑物高度变化数据，建筑物高度变化数据包括新增建筑物高度变化数据、已有建筑物高度变化数据。
39.根据本发明的一个优选实施例，本发明机场运行核心区监测预警方法还包括步骤d；
40.d、预告警模型将塔式构筑物变化数据、建筑物变化数据反馈至追踪图像采集传感
器，追踪图像采集传感器控制全景视频采集传感器对塔式构筑物或建筑物进行跟踪清晰采集并反馈至预告警模型，预告警模型按照步骤c的方法进行识别判断复核，经过多次跟踪清晰采集、识别判断复核确定塔式构筑物变化数据、建筑物变化数据并进行输出或远距离通信传输、推送。
41.根据本发明的一个优选实施例，本发明机场运行核心区监测预警方法还包括步骤e；
42.e、还包括飞行起降安全验证系统，飞行起降安全验证系统与中央数据处理模块通信连接，飞行起降安全验证系统包括起降障碍物飞行验证模块和起降飞行采集模块，飞行起降安全验证系统内部具有障碍物数据库，障碍物数据库内部存储有机场飞行起降影响相关的障碍物数据，飞行起降安全验证系统接收塔式构筑物变化数据中的塔式构筑物数据、建筑物变化数据的建筑物数据并结合障碍物数据构成障碍物飞行验证数据，起降飞行采集模块采集起降飞行数据，起降障碍物飞行验证模块根据障碍物飞行验证数据对起降飞行数据进行飞行告警验证。
43.根据本发明的一个优选实施例，全景追踪采集系统包括两个全景追踪采集单元，每个全景追踪采集单元包括一个全景视频采集传感器与一个追踪图像采集传感器，一个全景视频采集传感器实现半径5公里范围内的180
°
视野覆盖(两个全景视频采集传感器即可实现半径5公里范围内的360
°
视野覆盖，主要针对视野比较好的机场起降场景)。当然全景追踪采集系统也可以采用如下方式进行半径5公里范围内360
°
视野覆盖：全景追踪采集系统包括至少两个全景追踪采集单元，每个全景追踪采集单元包括两个全景视频采集传感器与两个追踪图像采集传感器，一个全景视频采集传感器实现半径n公里范围内的180
°
视野覆盖，两个全景视频采集传感器实现半径n公里范围内的360
°
视野覆盖，所有全景追踪采集单元交叉实现半径5公里范围内的360
°
视野覆盖(主要针对视野不太好的机场起降场景)。
44.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。