一种融合目标检测和目标跟踪的机场目标行为理解系统的制作方法

本发明涉及机场场面活动监测技术领域，尤其涉及到一种融合目标检测和目标跟踪的机场目标行为理解系统。

背景技术：

随着社会生活水平的提高，航空运量也迅猛增长，机场规模不断扩大，而机场场面活动日趋复杂，已成为影响机场飞行安全、吞吐量和运行效率的重要因素，因此对机场的场面活动目标进行智能化监控十分重要，使机坪运行管理人员能够及时了解机场内飞机、车辆的实时位置和行驶状况，对车辆行人越界、入侵进行自动告警提示，现有的监控系统一般采用场监雷达和视频监控系统等完成机场场面的辅助监视，机场通过数字化的语音、指令、以及集群对讲等多种方式提高调度人员与保障人员的沟通效率，但缺乏对场面异常活动进行自动报警的功能，需要监控员进行调度监视降低了机场的飞行安全及事件处理效率。

综上所述，如何提供一种可实现对机场场面异常事件行为的自动检测和报警，从而避免安全事故的发生且误报率低的融合目标检测和目标跟踪的机场目标行为理解系统，是本领域技术人员急需解决的问题。

技术实现要素：

本方案针对上文提到的问题和需求，提出一种融合目标检测和目标跟踪的机场目标行为理解系统及方法，其由于采取了如下技术方案而能够解决上述技术问题。

为了达到上述目的，本发明提供如下技术方案：一种融合目标检测和目标跟踪的机场目标行为理解系统包括：目标监测跟踪模块、远端视频分析模块、并行报警模块和远程配置及控制模块；

所述目标监测跟踪模块包括多个现场实时视频监控点、一级采集协调控制单元和设备自检单元，所述一级采集协调控制单元用于将所述多个现场实时视频监控点的实时视频流传输给所述远端视频分析模块，所述设备自检单元与所述一级采集协调控制单元的反馈端相连用于检测各个现场实时视频监控点的故障情况；

所述远端视频分析模块包括目标计数单元、目标检测跟踪单元、辅助检测单元、行为识别单元和自校输出单元，所述远端视频分析模块用于对设定区域的移动物体进行动态跟踪，并检测设定区域内是否有可疑目标入侵和逗留，所述辅助检测单元可监控车辆、飞机或行人按预定义的多个方向朝确定区域接近或背离的指向接近检测；

所述并行报警模块用于对监视区域的多个异常行为进行并行报警，所述并行报警模块可构建报警多维历史数据集，针对历史数据进行影响因素推导，并采用深度学习算法计算各影响因素所占权重参数，将所述权重参数反馈给位于监控中心的所述远程配置及控制模块便于飞行流量调配和实现空域容量的预先分配以及航班运行的实时调度；

所述远程配置及控制模块包括协同决策单元、服务器、用于显示现场报警详细信息的显示单元和规则管理单元，所述显示单元与所述规则管理单元均与所述服务器相连接，监管员可通过服务器查看多个现场端的实况视频图像和实时报警信息及离线查找和回放报警，所述规则管理单元用于用户权限验证、摄像机应用权限和负载运行平衡调整，所述协同决策单元与所述服务器相连接。

进一步地，所述远程配置及控制模块还包括用于文本描述及报警图像快照关联的事件关联列表单元和交互式电子地图单元，所述事件关联列表单元与所述交互式电子地图单元相连接在地图上显示报警位置和现场信息。

进一步地，所述现场报警详细信息包括报警类型、报警时间、报警地点和视频源信息。

进一步地，所述目标检测跟踪单元具体检测跟踪步骤包括：对所述实时视频流进行预处理，再将预处理后的图像输入目标检测模块的cnn卷积神经网络通过基于卷积神经网络的异常行为检测算法检测是否有车辆进入飞机滑行区等危险区域、有行李包裹遗漏、外部人员从出口进入机场区域的异常行为；当检测到异常帧之后，标记图像中的异常目标并通过跟踪模块采用改进的粒子滤波算法实现对目标的跟踪。

更进一步地，所述预处理具体包括：将实时视频流进行解压并获取序列图像。

更进一步地，所述跟踪模块包括：首先完成参数初始化并计算目标模板；读入下一帧图像并根据状态转移产生一组新粒子；并用大量场面活动数据库对cnn网络进行训练，然后用训练好的cnn网络提取目标区域的深度特征，同时计算目标区域在hsv空间的颜色直方图，将深度特征与颜色特征进行联合得到整体特征；采用粒子滤波进行目标在线跟踪对各粒子状态进行评估确定目标位置，根据设定阈值进行模板更新。

进一步地，所述目标检测跟踪单元和所述辅助检测单元与所述行为识别单元相连接，所述行为识别单元将识别结果发送给所述自校输出单元，所述自校输出单元与所述协同决策单元相连接将校正后的结果发送给所述协同决策单元。

进一步地，当所述行为识别单元检测到跟踪目标在非停机位停靠或滞留超过一定的时间，则判定所述跟踪目标为危险目标并向所述并行报警模块发送报警信息。

进一步地，所述每个现场实时视频监控点包括二级采集协调控制单元和与所述二级采集协调控制单元相连的图像采集单元，所述图像采集单元包括摄像机、图像亮度及图像清晰度自适应调整模块和图像自动聚焦控制模块，所述摄像机与所述二级采集协调控制单元相连，所述图像亮度及图像清晰度自适应调整模块与所述摄像机的反馈接口相连，所述自动聚焦控制模块与所述摄像机的焦距驱动装置相连。

本发明的有益效果是，该发明可实现对机场场面异常事件行为的自动检测和报警，对车辆进入飞机滑行区等危险区域、有行李包裹遗漏、外部人员从出口进入机场区域等情况发生时自动产生报警信号提醒监控人员注意，使管理部门能及时反应，及时组织力量去处理这些偶然事件，从而避免安全事故的发生，同时也减少了机场可能的损失。

下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下文中将对本发明实施例的附图进行简单介绍。其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。

图1为本发明的组成结构示意图。

图2为本发明中远程配置及控制模块的组成结构示意图。

图3为本发明中每个现场实时视频监控点的组成结构示意图。

图4为本实施例中目标检测跟踪单元具体检测跟踪步骤示意图。

图5为本实施例中目标跟踪算法流程图示意图。

具体实施方式

为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种可实现对机场场面异常事件行为的自动检测和报警，对车辆进入飞机滑行区等危险区域、有行李包裹遗漏、外部人员从出口进入机场区域等情况发生时自动产生报警信号提醒监控人员注意，使管理部门能及时反应，及时组织力量去处理这些偶然事件，从而避免安全事故的发生，同时也减少了机场可能损失的融合目标检测和目标跟踪的机场目标行为理解系统。如附图1至附图5所示，该融合目标检测和目标跟踪的机场目标行为理解系统包括：目标监测跟踪模块、远端视频分析模块、并行报警模块和远程配置及控制模块；所述目标监测跟踪模块包括多个现场实时视频监控点、一级采集协调控制单元和设备自检单元，所述一级采集协调控制单元用于将所述多个现场实时视频监控点的实时视频流传输给所述远端视频分析模块，所述设备自检单元与所述一级采集协调控制单元的反馈端相连用于检测各个现场实时视频监控点的故障情况，其中，所述每个现场实时视频监控点包括二级采集协调控制单元和与所述二级采集协调控制单元相连的图像采集单元，所述图像采集单元包括摄像机、图像亮度及图像清晰度自适应调整模块和图像自动聚焦控制模块，所述摄像机与所述二级采集协调控制单元相连，所述图像亮度及图像清晰度自适应调整模块与所述摄像机的反馈接口相连，所述自动聚焦控制模块与所述摄像机的焦距驱动装置相连，若干个二级采集协调控制单元与所述一级采集协调控制单元相连接，所述一级采集协调控制单元对其发送的信息进行分流输出。

所述远端视频分析模块包括目标计数单元、目标检测跟踪单元、辅助检测单元、行为识别单元和自校输出单元，所述远端视频分析模块用于对设定区域的移动物体进行动态跟踪，并检测设定区域内是否有可疑目标入侵和逗留，所述辅助检测单元可监控车辆、飞机或行人按预定义的多个方向朝确定区域接近或背离的指向接近检测，所述目标检测跟踪单元和所述辅助检测单元与所述行为识别单元相连接，所述行为识别单元将识别结果发送给所述自校输出单元，所述自校输出单元与所述协同决策单元相连接将校正后的结果发送给所述协同决策单元。当所述行为识别单元检测到跟踪目标在非停机位停靠或滞留超过一定的时间，则判定所述跟踪目标为危险目标并向所述并行报警模块发送报警信息。

所述并行报警模块用于对监视区域的多个异常行为进行并行报警，所述并行报警模块可构建报警多维历史数据集，针对历史数据进行影响因素推导，并采用深度学习算法计算各影响因素所占权重参数，将所述权重参数反馈给位于监控中心的所述远程配置及控制模块便于飞行流量调配和实现空域容量的预先分配以及航班运行的实时调度。

所述远程配置及控制模块包括协同决策单元、服务器、用于显示现场报警详细信息的显示单元和规则管理单元，其中，所述现场报警详细信息包括报警类型、报警时间、报警地点和视频源信息，所述显示单元与所述规则管理单元均与所述服务器相连接，监管员可通过服务器查看多个现场端的实况视频图像和实时报警信息及离线查找和回放报警，所述规则管理单元用于用户权限验证、摄像机应用权限和负载运行平衡调整，所述协同决策单元与所述服务器相连接。所述远程配置及控制模块还包括用于文本描述及报警图像快照关联的事件关联列表单元和交互式电子地图单元，所述事件关联列表单元与所述交互式电子地图单元相连接在地图上显示报警位置和现场信息，所述交互式电子地图单元与所述服务器相连接。

如图4所示，所述远端视频分析模块中的所述目标检测跟踪单元具体检测跟踪步骤包括：s1:对所述实时视频流进行预处理，s2:再将预处理后的图像输入目标检测模块的cnn卷积神经网络通过基于卷积神经网络的异常行为检测算法检测是否有车辆进入飞机滑行区等危险区域、有行李包裹遗漏、外部人员从出口进入机场区域的异常行为；s3:当检测到异常帧之后，标记图像中的异常目标并通过跟踪模块采用改进的粒子滤波算法实现对目标的跟踪；s4:将检测跟踪结果发送至行为识别单元，所述行为识别单元根据所述检测跟踪结果、所述目标计数单元发送的目标数量及所述辅助检测单元发送的目标运动方向信息对目标行为进行分类判别；s5:将所述分类判别结果通过自校输出单元校正后进行输出。所述预处理具体为将实时视频流进行解压并获取序列图像。如图5所示的跟踪算法流程图，所述跟踪模块包括：首先参数初始化并计算目标模板，其中，以第一帧目标区域的中心位置为y，n个初始粒子的初始位置sⁱi，每个粒子的权重ω^jw初始化为1/n，粒子的权重是该粒子的特征向量与目标模板的相似度，粒子数设为n＝60；读入下一帧图像并根据状态转移产生一组新粒子,跟踪下一帧时在第一帧中初始化位置按高斯分布根据随机撒播一定数量的新粒子估计目标位置，其中，为第k帧中每个例子的位置，μk为第k帧中高斯分布的均值，σk为第k帧中高斯分布的方差，；并用大量场面活动数据库对cnn网络进行训练，然后用训练好的cnn网络提取目标区域的深度特征，同时计算目标区域在hsv空间的颜色直方图，将深度特征与颜色特征进行联合得到整体特征,计算各个粒子的特征向量,然后再通过计算每个粒子的特征向量与目标模板的巴氏距离d求得各个粒子的权值最后再通过各个粒子位置与修正后权值进行加权平均预测出当前帧的目标位置采用粒子滤波进行目标在线跟踪对各粒子状态进行评估确定目标位置，根据设定阈值进行模板更新,阈值为当前帧前10帧的后验概率的平均值，其中，pk为跟踪结果与模板的后验概率值，若后验概率大于u，则根据nk＝αak+(1-α)mk进行模板更新,其中，nk为更新后模板，ak为当前帧模板，mk为上一帧模板，α为模型系数，一般取0.1；为避免粒子滤波算法中的退化现象需要进行需要重采样获得新的高质量粒子，可根据有效粒子数m判断是否需要重采样。该方法能够较好地避免跟踪中由于遮挡、目标形变、光照变化而引起的跟踪失败情况，仍然能够保持较好的跟踪鲁棒性。

在本实施例中，无线通讯方式采用tcp/ip网络进行数据通讯，以ip作为地址进行数据交换，而可疑目标检测包括行人、车辆和包裹检测。

应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。