一种用于小型航空器和空飘物的监测方法及系统与流程

本发明涉及计算机图像与视频处理技术领域，具体涉及一种用于小型航空器和空飘物的监测方法及系统。

背景技术：

随着经济发展、科技水平不断提高，以民用消费级无人机为代表的小型航空器和空飘物消费市场正快速增长。与此同时，因其“黑飞”、“乱飞”所引发的一系列因坠落造成人员伤亡的事故，或干扰军民飞机正常起降等问题却日益严重。作为反制这些“黑飞”航空器的第一步，就是需要在管制空域内实现全方位不间断地监测。目前，监测手段大致可以分为三种：依靠人力巡逻、对管制区域内无线电进行监测、雷达扫描，但是均存在不足，具体如下：

依靠人力巡逻，是现在最常采用的方法。此方法需要消耗大量的人力和财力，并且由于人体本身的限制，很难对管制空域实现全方位不间断地监测。

对管制区域内无线电进行监测，也是一种比较常用的方法，主要是对遥控频段的无线电进行监测。但是，此方法对于预编程无人机、滑翔伞和热气球等无需进行无线电通信的航空器或空飘物，无法实现监测。另外，如果无人机驾驶员刻意躲避检查，将其遥控频率更改到其他民用波段，该方法也不能实现有效监测。

雷达扫描，通过雷达扫描来监测“黑飞”小型航空器和空飘物的方法运用面较窄，一般只在机场等特别重要的部门周围使用。由于其成本高昂，且辐射较大，并不适合部署在人群密集场所，且雷达探测对低空飞行的小型飞行器无能为力。

如上所述，对小型航空器和空飘物进行有效的监测，是当前急需解决的问题。

技术实现要素：

本发明的目的是克服现有技术中对小型航空器和空飘物进行监测所存在的问题。本发明的用于小型航空器和空飘物的监测方法及系统，能够可视化全方位不间断地对管制空域内的所有小型航空器和空飘物进行监测，对其实时空间位置及轨迹进行跟踪与预判，并能发出报警信息，以便管理人员采取相关反制措施，具有良好的应用前景。

为了达到上述目的，本发明所采用的技术方案是：

一种用于小型航空器和空飘物的监测方法，其特征在于：包括以下步骤，

步骤（a），实时获取监测区域内所有摄像机所拍摄的视频图像信息；

步骤（b），对所获取的每台摄像机的视频图像信息进行单独分析处理，识别出其中所有的小型航空器和空飘物；

步骤（c），对存在小型航空器和空飘物的视频图像信息进行三维空间重构，定位出所有的小型航空器和空飘物的三维坐标，并记录所有小型航空器和空飘物的运行轨迹；

步骤（d），分析单个小型航空器或空飘物的运行轨迹，并预测其的未来运行轨迹，若存在单个小型航空器或空飘物的预计轨迹会经过管制区域，则发出报警信息。

前述的一种用于小型航空器和空飘物的监测方法，其特征在于：步骤（a），实时获取管制区域内所有摄像机所拍摄的视频图像信息，包括以下步骤，

（a1）部署摄像机

根据当前管制区域的地理位置信息，确定周边警戒区域，计算得出所需部署摄像机的数量以及位置，并根据计算结果在管制区域的周边警戒区域现场进行摄像机的部署；

（a2）实时获取视频图像信息

采用无线传输方式，实时获取在管制区域的周边警戒区域现场部署的摄像机摄拍摄的视频图像信息；

前述的一种用于小型航空器和空飘物的监测方法，其特征在于：步骤（b），对所获取的每台摄像机的视频图像信息进行单独分析处理，识别出其中所有的小型航空器和空飘物，包括以下步骤，

（b1）背景建模

分别对单台摄像机拍摄的视频图像信息进行处理，对视频图像信息的背景进行建模；

（b2）前景提取

分别对各视频图像信息进行前景提取；

（b3）外观特征比对

将提取的前景的外观特征在已知的小型航空器和空飘物数据库中进行比对，用于判定该前景对应的目标是否为小型航空器或者空飘物；

（b4）识别小型航空器和空飘物

识别出管制区域的周边警戒区域现场部署的摄像机摄拍摄的视频图像信息对应的小型航空器和空飘物。

前述的一种用于小型航空器和空飘物的监测方法，其特征在于：步骤（c），对存在小型航空器和空飘物的视频图像信息进行三维空间重构，定位出所有的小型航空器和空飘物的三维坐标，并记录所有小型航空器和空飘物的运行轨迹，包括以下步骤，

（c1）构建三维空间模型

对每台摄像机进行标定，建立摄像机模型，通过图像矫正方法在原有视频图像基础上生成新的视频图像，使得其中的极线与x轴平行，根据各台摄像机的位置信息进行图像立体匹配与场景重建，构建三维空间模型；

（c2）定位三维坐标

提取视频图像信息中的特征点，还原在对应的摄像机坐标系下的所有特征点坐标，并最终计算得出世界坐标系下的所有特征点坐标，标定出被识别的小型航空器和空飘物在各视频图像信息下对应的三维坐标，并实时记录在三维坐标数据库内；

（c3）得到运行轨迹

根据被识别的小型航空器和空飘物在各视频图像信息下对应的三维坐标，得到该小型航空器和空飘物对应的运行轨迹。

4、根据权利要求1所述的一种用于小型航空器和空飘物的监测方法，其特征在于：步骤（d），分析单个小型航空器或空飘物的运行轨迹，并预测其未来的运行轨迹，包括以下步骤，

（d1）记录历史运行轨迹

跟踪单个小型航空器或空飘物，实时计算其当前的三维坐标并存储在三维坐标数据库中，组成该单个小型航空器或空飘物目标的历史运行轨迹，并计算其的当前速度；

（d2）预测未来运行轨迹

对于单个小型航空器或空飘物，设当前帧为第n帧，从第n-1帧中的三维坐标指向第n帧中的三维坐标的向量，即为该小型航空器或空飘物的当前瞬时速度为矢量vn，当前加速度矢量为an=vn-vn-1，vn-1为该小型航空器或空飘物的前一时刻瞬时速度矢量，保持当前瞬时速度与加速度不变，从该小型航空器或空飘物当前三维坐标点开始，以每一帧的间隔时间△t为步长，分别计算新的60/△t个位移点，将所有新的位移点连接，便预测了该小型航空器或空飘物的未来运行轨迹。

前述的一种用于小型航空器和空飘物的监测方法，其特征在于：步骤（d），若不存在单个小型航空器或空飘物的预计轨迹会经过管制区域，则返回步骤（a）。

一种用于小型航空器和空飘物的监测系统，其特征在于：为用于小型航空器和空飘物的监测方法的运行载体，包括

视频图像采集模块，用于实时获取监测区域内所有摄像机所拍摄的视频图像信息；

视频图像处理模块，用于识别视频图像信息中所有的小型航空器和空飘物，构建三维空间模型，并标定识别各小型航空器和空飘物的三维空间坐标；

目标轨迹分析模块，用于记录单个小型航空器或空飘物的历史运行轨迹，并计算预测其未来运行轨迹；

报警模块，用于单个小型航空器或空飘物的未来运行轨迹经过管制区域时，进行报警，

所述视频图像采集模块的数量与部署摄像机的数量一致，并通过无线传输方式与视频图像处理模块进行通信，所述视频图像处理模块与目标轨迹分析模块相连接，所述报警模块与目标轨迹分析模块相连接。

前述的用于小型航空器和空飘物的监测系统，其特征在于：还包括显示模块，用于将所述视频图像处理模块计算的三维空间模型、标定识别各小型航空器和空飘物的三维空间坐标；所述目标轨迹分析模块记录的单个小型航空器或空飘物的历史运行轨迹、未来运行轨迹，进行可视化显示，所述显示模块分别与视频图像处理模块、目标轨迹分析模块相连接。

前述的用于小型航空器和空飘物的监测系统，其特征在于：各视频图像采集模块均包括无线传输单元和摄像机，

所述摄像机被部署在管制区域的周边警戒区域现场，采用大广角摄像机以便实现空间的全覆盖；

所述无线传输单元，用于将与其连接的摄像机所拍摄的视频图像信息实时传输给所述视频图像处理模块。

前述的用于小型航空器和空飘物的监测系统，其特征在于：所述视频图像处理模块，包括

背景建模与前景提取单元，用于分别对单台摄像机拍摄的视频图像信息进行处理，对视频图像信息的背景进行建模，并对各视频图像信息进行前景提取；

外观特征比对数据库单元，用于提取的前景的外观特征在已知的小型航空器和空飘物数据库中进行比对，判定该前景特征对应的目标是否为小型航空器或者空飘物；

三维空间重构单元，根据部署的所有摄像机的位置信息，与各摄像机拍摄的视频图像信息进行计算，构建三维空间模型，并标定识别各小型航空器和空飘物的三维空间坐标。

前述的用于小型航空器和空飘物的监测系统，其特征在于：所述目标轨迹分析模块，包括

目标轨迹记录单元，用于记录单个小型航空器或空飘物从进入监测区域开始的历史轨迹线路；

目标轨迹预测单元，根据单个小型航空器或空飘物的历史轨迹线路及当前的位置信息，预测该单个小型航空器或空飘物的未来运行轨迹。

本发明的有益效果是：本发明的用于小型航空器和空飘物的监测方法及系统，能够可视化全方位不间断地对管制空域内的所有小型航空器和空飘物进行监测，对其实时空间位置及轨迹进行跟踪与预判，并能发出报警信息，以便管理人员采取相关反制措施，保证管制区域的安全，大大降低了安保方面的人力、物力和财力的投入，提高了对整个管制区域及周边警戒区域内小型航空器和空飘物监测的有效性，为实现相关部门对“黑飞”采取反制措施提供了必要的前提条件，保证了大型集会或活动庆典区域人员的安全，具有良好的应用前景。

附图说明

图1是本发明的用于小型航空器和空飘物的监测方法的流程图。

图2是本发明的用于小型航空器和空飘物的监测系统的系统框图。

图3是本发明的视频图像采集模块的系统框图。

图4是本发明的视频图像处理模块的系统框图。

图5是本发明的目标轨迹分析模块的系统框图。

图6是本发明的用于小型航空器和空飘物的监测方法一实施例的流程图。

图7是本发明的用于小型航空器和空飘物的监测方法一实施例识别小型航空器和空飘物的流程图。

图8是本发明的用于小型航空器和空飘物的监测方法一实施例分析运行轨迹的流程图。

具体实施方式

下面将结合说明书附图，对本发明作进一步的说明。

本发明的用于小型航空器和空飘物的监测方法，如图1所示，包括以下步骤，

步骤（a），实时获取监测区域内所有摄像机所拍摄的视频图像信息，包括以下步骤，

（a1）部署摄像机

根据当前管制区域的地理位置信息，确定周边警戒区域，计算得出所需部署摄像机的数量以及位置，并根据计算结果在管制区域的周边警戒区域现场进行摄像机的部署；

（a2）实时获取视频图像信息

采用无线传输方式，实时获取在管制区域的周边警戒区域现场部署的摄像机摄拍摄的视频图像信息；

步骤（b），对所获取的每台摄像机的视频图像信息进行单独分析处理，识别出其中所有的小型航空器和空飘物，包括以下步骤，

（b1）背景建模

分别对单台摄像机拍摄的视频图像信息进行处理，对视频图像信息的背景进行建模；

（b2）前景提取

分别对各视频图像信息进行前景提取；

（b3）外观特征比对

将提取的前景的外观特征在已知的小型航空器和空飘物数据库中进行比对，用于判定该前景对应的目标是否为小型航空器或者空飘物；

（b4）识别小型航空器和空飘物

识别出管制区域的周边警戒区域现场部署的摄像机摄拍摄的视频图像信息对应的小型航空器和空飘物；

步骤（c），对存在小型航空器和空飘物的视频图像信息进行三维空间重构，定位出所有的小型航空器和空飘物的三维坐标，并记录所有小型航空器和空飘物的运行轨迹，包括以下步骤，

c1）构建三维空间模型

对每台摄像机进行标定，建立摄像机模型，通过图像矫正方法在原有视频图像基础上生成新的视频图像，使得其中的极线与x轴平行，根据各台摄像机的位置信息进行图像立体匹配与场景重建，构建三维空间模型，此构建三维空间模型的过程为本领域技术人员的常规手段，这里就不做详细介绍了；

（c2）定位三维坐标

提取视频图像信息中的特征点，还原在对应的摄像机坐标系下的所有特征点坐标，并最终计算得出世界坐标系下的所有特征点坐标，标定出被识别的小型航空器和空飘物在各视频图像信息下对应的三维坐标，并实时记录在三维坐标数据库内；

（c3）得到运行轨迹

根据被识别的小型航空器和空飘物在各视频图像信息下对应的三维坐标，得到该小型航空器和空飘物对应的运行轨迹；

步骤（d），分析单个小型航空器或空飘物的运行轨迹，并预测其的未来运行轨迹，若存在单个小型航空器或空飘物的预计轨迹会经过管制区域，则发出报警信息，若不存在单个小型航空器或空飘物的预计轨迹会经过管制区域，则返回步骤（a），包括以下步骤，

（d1）记录历史运行轨迹

跟踪单个小型航空器或空飘物，实时计算其当前的三维坐标并存储在三维坐标数据库中，组成该单个小型航空器或空飘物目标的历史运行轨迹，并计算其的当前速度；

（d2）预测未来运行轨迹

对于单个小型航空器或空飘物，设当前帧为第n帧，从第n-1帧中的三维坐标指向第n帧中的三维坐标的向量，即为该小型航空器或空飘物的当前瞬时速度为矢量vn，当前加速度矢量为an=vn-vn-1，vn-1为该小型航空器或空飘物的前一时刻瞬时速度矢量，保持当前瞬时速度与加速度不变，从该小型航空器或空飘物当前三维坐标点开始，以每一帧的间隔时间△t为步长，分别计算新的60/△t个位移点，将所有新的位移点连接，便预测了该小型航空器或空飘物的未来运行轨迹。

如图2所示，本发明的用于小型航空器和空飘物的监测系统，为用于小型航空器和空飘物的监测方法的运行载体，包括

视频图像采集模块1，用于实时获取监测区域内所有摄像机所拍摄的视频图像信息；

视频图像处理模块2，用于识别视频图像信息中所有的小型航空器和空飘物，构建三维空间模型，并标定识别各小型航空器和空飘物的三维空间坐标；

目标轨迹分析模块3，用于记录单个小型航空器或空飘物的历史运行轨迹，并计算预测其未来运行轨迹；

报警模块4，用于单个小型航空器或空飘物的未来运行轨迹经过管制区域时，进行报警，

所述视频图像采集模块1的数量与部署摄像机的数量一致，并通过无线传输方式与视频图像处理模块2进行通信，所述视频图像处理模块2与目标轨迹分析模块3相连接，所述报警模块4与目标轨迹分析模块3相连接。

本发明的用于小型航空器和空飘物的监测系统，还包括显示模块5，用于将所述视频图像处理模块2计算的三维空间模型、标定识别各小型航空器和空飘物的三维空间坐标；所述目标轨迹分析模块3记录的单个小型航空器或空飘物的历史运行轨迹、未来运行轨迹，进行可视化显示，所述显示模块5分别与视频图像处理模块2、目标轨迹分析模块3相连接。

如图3所示，各视频图像采集模块1均包括无线传输单元101和摄像机102，

所述多台摄像机102被部署在管制区域的周边警戒区域现场，采用大广角摄像机以便实现空间的全覆盖；

所述无线传输单元101，用于将与其连接的摄像机所拍摄的视频图像信息实时传输给所述视频图像处理模块2。

如图4所示，所述视频图像处理模块2，包括

背景建模与前景提取单元201，用于分别对单台摄像机拍摄的视频图像信息进行处理，对视频图像信息的背景进行建模，并对各视频图像信息进行前景提取；

外观特征比对数据库单元202，用于提取的前景的外观特征在已知的小型航空器和空飘物数据库中进行比对，判定该前景对应的目标是否为小型航空器或者空飘物；

三维空间重构单元203，根据部署的所有摄像机的位置信息，与各摄像机拍摄的视频图像信息进行计算，构建三维空间模型，并标定识别各小型航空器和空飘物的三维空间坐标。

如图5所示，所述目标轨迹分析模块3，包括

目标轨迹记录单元301，用于记录单个小型航空器或空飘物从进入监测区域开始的历史轨迹线路；

目标轨迹预测单元302，根据单个小型航空器或空飘物的历史轨迹线路及当前的位置信息，预测该单个小型航空器或空飘物的未来运行轨迹。

下面根据图6-图8，具体介绍本发明的用于小型航空器和空飘物的监测方法的一实施例的具体过程，如图6所示，

s100：部署摄像机，

根据临时管制区域的地理位置信息，确定周边警戒区域，计算得出所需部署的摄像机的数量以及位置，并根据计算结果在现场部署摄像机；

s200：实时获取视频图像

采用无线传输方式，实时获取现场部署的所有摄像机拍摄的视频图像信息；

s300：识别小型航空器和空飘物；如图7所示，该步骤具体包括：

s301：背景建模

对单台摄像机拍摄的视频图像信息进行处理，对其背景进行建模；

s302：前景提取

在背景建模的基础上，将单台摄像机拍摄的视频图像信息的前景进行提取；

s303：外观特征比对

将提取出的前景在数据库中进行比对，已判定该目标是否为所需监测的小型航空器和空飘物；

s400：标定三维坐标

根据所有摄像机的位置信息，将其拍摄的二维视频图像进计算，构建出整个监测区域的三维空间模型，并标定出识别小型航空器和空飘物对应的各三维坐标；

s500：分析运行轨迹，如图8所示，该步骤具体包括：

s501：记录历史运行轨迹

跟踪目标，实时计算单个小型航空器和空飘物当前的三维坐标并存储在数据库中，组成该目标的历史运行轨迹，并计算其当前速度；

s502：预测未来运行轨迹

根据单个小型航空器和空飘物的历史运行轨迹、当前坐标、当前瞬时速度和当前加速度信息，计算该单个小型航空器和空飘物的未来运行轨迹；

s600：判断该单个小型航空器和空飘物的未来运行轨迹是否经过管制区域，若经过，则进入步骤s700；若不经过，则回到步骤s200；

s700：报警输出，以便提醒管理人员采取进一步反制措施。

综上所述，本发明的用于小型航空器和空飘物的监测方法及系统，能够可视化全方位不间断地对管制空域内的所有小型航空器和空飘物进行监测，对其实时空间位置及轨迹进行跟踪与预判，并能发出报警信息，以便管理人员采取相关反制措施，保证管制区域的安全，大大降低了安保方面的人力、物力和财力的投入，提高了对整个管制区域及周边警戒区域内小型航空器和空飘物监测的有效性，为实现相关部门对“黑飞”采取反制措施提供了必要的前提条件，保证了大型集会或活动庆典区域人员的安全，具有良好的应用前景。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。