专利名称：基于视频的智能飞行器追踪系统的制作方法
技术领域：
本发明属于视频监控技术领域，具体涉及一种智能飞行器追踪系统。
背景技术：
随着世界经济的迅速发展，航空技术的突飞猛进，不同地域之间人员的往来越来 越密切，需要快速、便捷、安全运输的物品越来越多，在此情况下，航空运输在整个运输体系 中所占比重越来越大。长期以来，空中运输的智能信息化管理一直是相关部门探索研究的 一个重要课题。航空运输的飞行器监控到至今仍停留在人工记录观测的水平上，这种传统的方式 存在两个不足一是管理上很难确保现场观测工作的实时性、有效性和完整性，直接影响 了机场观测数据的质量；二是人工观测的一手资料差异很大，后期整理处理分析过程手段 复杂，信息的再利用价值不高。近几年来，随着航空器数量的不断增加，以及重大航空事 故增多，飞行器管理工作越显重要，急需一种能够对飞行器起降进行精细化管理的技术手 段。智能视频监控系统的引入很好地解决了上述问题。通过安装在机场塔台上的监 控摄像头拍摄的实时监控视频画面来分析机场情况，主要优点在于其信号包含的画面完整 而不残缺，内容更加丰富而不单一，信息实时而不滞后，可以同时为计算机及工作人员所理 解，为人工快速预警和启动紧急措施提供了可能，因此大大提高了其可靠性以及发展前景。针对机场交通环境的视频监控系统的关键在于跑道上及半空的航空器的检测，主 要难点在于户外监控环境下的光线变化以及高速运动的背景画面中前景对象的提取和分 离，难以建立样本。本发明在这方面提出了很好的解决方案。
发明内容
本发明的目的在于克服上述难点，提供一种基于监控视频的智能交通监控系统， 即飞行器追踪系统。本发明提供的基于监控视频的智能交通监控系统，包括安装在机场塔台上的监控 摄像头及云台1，转换器3，视频分析模块5，云台控制与分析模块6，位于观察室中的显示屏 7 ；其中，视频分析模块5包括视频触发模块5. 1和视频跟踪模块5. 2，而视频触发模块5. 1 包括背景更新子模块5. 1. 1，前景提取子模块5. 1. 2，多框触发子模块5. 1. 3 ；视频跟踪模块
5.2包括特征点提取子模块5. 2. 1，光流跟踪子模块5. 2. 2，卡尔曼滤波子模块5. 2. 3 ；云台 控制与分析模块6包括速度估计子模块6. 1，云台控制子模块6. 2，飞行器行为分析子模块
6.3o该系统由监控摄像头拍摄实时图像，并送出模拟信号2，传送到位于观察室中的 显示屏7，显示屏7向工作人员8显示该摄像头所拍摄的实时图像；模拟信号2经由转换器 3转换成数字视频信号4，然后由视频分析模块5中的视频触发模块5. 1进行飞行器初始位 置获取，视频触发模块5. 1中的背景更新子模块5. 1. 1接收数字视频信号4，并根据其建立背景模型；前景提取子模块5. 1. 2接收数字视频信号4，并根据背景模型提取前景；多框触 发子模块5. 1. 3接收前景提取模块5. 1. 2输出的信息；特征点提取子模块5. 2. 1接收多框 触发子模块5. 1. 3输出的信息；光流跟踪子模块5. 2. 2接收特征点提取子模块5. 2. 1输出 的信息；卡尔曼滤波子模块5. 2. 3接收光流跟踪子模块5. 2. 2输出的信息；由视频分析模 ±夬5输出的飞行器坐标用于云台控制与分析模块6中速度估计子模块6. 1进行速度估计、 云台控制子模块6. 2进行云台控制；速度估计子模块6. 1处理后的实时速度用于飞行器行 为分析子模块6. 3进行后期飞行器行为分析。所述背景更新子模块5. 1. 1通过平均取出的帧图像对背景进行学习更新。所述前景提取子模块5. 1. 2根据背景学习模块5. 1. 1提供的背景信息，对取出的 中贞图像进行二值化处理，即与背景相似度(通过灰度值的差来衡量)高的像素点设为白色， 与背景差异性较大的设为黑色，从而提取出所需要的前景信息。所述多框触发子模块5. 1. 3，根据前景提取子模块5. 1. 2生成的二值化图像对图 像帧的前景部分进行检查，当前景按照预定次序通过多个触发框时，产生触发事件，获取前 景中飞行器的位置范围，传递给视频跟踪模块(5. 2)中的特征点提取子模块5. 2. 1。所述的特征点提取子模块5. 2. 1在多框触发子模块5. 1. 3输入的矩形范围内，寻 找特征点，此特征点为角点，并存储特征点坐标。所述光流跟踪子模块5. 2. 2，在前一帧获取的特征点周围基于光流金字塔，进行特 征点匹配，如果匹配成功的特征点数目少于指定数目，则重新检测特征点。否则，将获取的 特征点的中位数作为输出。所述的卡尔曼滤波子模块5. 2. 3，用于通过飞行器运动轨迹中柱形障碍物。飞行器 在通过柱形障碍物时，所有特征点都会被遮挡一次。为卡尔曼滤波器指定好飞行器运动模 型，如果滤波器预测值与实测特征点坐标值大于指定偏差，则在卡尔曼滤波器修正后的坐 标周围的指定范围内重新检测特征点。否则，将修正坐标传入云台控制与分析模块6。由视频分析模块5输出的信息进入云台控制与分析模块6。所述速度估计字模块6. 1采用马尔可夫链方法对速度计算预测，其主要思想是先 将前后两帧飞行器中心点的像素位置转化为实际位置(坐标系为右手三维坐标系)
其中，其中R11为第η时刻获得的飞行器在图像中的位置信息，-,Fn为第η时刻飞行器 在图像中的大小，P为标定位置同对象图像大小；左为第η时刻焦距参数，/为标定位置焦距参数； 为实测垂直距离向量；％为横向实测长度向量，i 为纵向实测长度向量;Py
为标定位一个像素对应实际长度，pz为标定位一个像素对应实际高度。
然后利用球极坐标系将其转换到实际速度
以摄像头所在位置为原点，其中F为原点到飞机位置的向量，θ为F在xy平面上投影 与χ轴夹角,一π < θ <π ;Φ为？在yz平面上投影与y轴夹角jcy +《兰。 通过机械运动的速度位移公式对视频中飞行器的实时速度F = ^进行计算
然后将实际速度与马尔可夫模型中的经验速度进行对比，利用时间和位置信息与m种 状态相匹配
所述云台控制子模块(6. 2)根据上述匹配出的最合适速度vn+1 i，计算 所述行为分析子模块(6. 3)通过将得到的一系列即时速度与历史大量数据进行对
其中《(k)为飞行器起降各个阶段权重，可以对飞机各个阶段取不同权值而分别突出 要分析的阶段，在起飞时当绝对值距离大于阶段阈值Tt时，则可判断飞行器有明显的离 地过早异常行为；而在降落时绝对值距离大于阶段阈值Tl时，则可判断飞行器有明显的 滑行过长异常行为。
图1是本发明的系统结构图。图2是本发明的自动监控模块的子模块结构示意图。
具体实施例方式下面根据图1-3给出本发明的较好实施例，并予以详细说明，使能更好地理解本 发明而不是用来限制本发明的范围。系统以及外围组成部分结构如图1所示，首先由安装在机场塔台上的监控摄像头 拍摄实时监控画面，监控画面以模拟信号的形式在线路上传送至监控室屏幕以及信号转换 器，信号转换器将模拟视频信号转化为数字视频信号，并作为视频分析模块的输入。视频分 析模块对输入的视频信号进行智能分析，并提供给云台控制与分析模块，分析速度，向云台 智能发送命令，输出分析结果等。图1中各个部分的释义及功能如下
监控摄像头及云台1 安装在机场塔台上，拍摄跑道与半空的实时视频。模拟信号2 由监控摄像头1拍摄的模拟信号视频流。转换器3 将模拟视频信号2转化为数字视频信号4。数字视频信号4 由数字信号编码的视频流。视频分析模块5 接收数字视频信号4，并基于数字视频信号4进行一系列分析来 得到运动的飞行器坐标
视频触发模块5. 1 基于背景学习和多框触发来获取飞行器的初始坐标。云台控制与分析模块6 根据视频分析模块5的输出进行分析和发送控制命令，分 为三个模块
速度估计子模块6. 1 通过马尔可夫模型中的速度与计算出的实时速度相匹配得到飞 行器飞行状态与预测速度。云台控制子模块6. 2 根据得到的预测速度指挥云台进行下一时刻进一步追踪。行为分析子模块6. 3 通过与历史以往数据的对比分析飞行器的行为是否异常。监控室屏幕7 监控室原有的监控屏幕，播放实时的监控视频。工作人员8 根据读取信息统计显示模块6信息得到相关数据采取对应规划。图1中编号为5的视频分析模块为本发明中的主要组成部分，其对数字视频的处 理如图2所示。
首先将数字视频信号4进行背景建模，从而使之拥有背景信息以作为提取飞行器 的依据模型。根据该模型，可以对监控视频进行前景提取来提出移动飞行器从而进行分析 监控。这个过程当中，飞行器依次经过多个触发框，产生触发事件，调用跟踪模块。跟踪模 块通过对特征点的跟踪和对坐标的滤波，获取准确的飞行器坐标输入给云台控制模块。图2中各个部分的释义及功能如下 数字视频信号4 其为由数字信号编码的视频流。基于视频的河道检测模块5. 1 基于背景学习方法，来检测飞行器前景。背景更新子模块(5. 1. 1)该模块通过平均取出的帧图像对背景进行学习更新。前景提取子模块(5. 1. 2)该模块根据背景学习模块(5. 1. 1)提供的背景信息对取 出的帧图像进行二值化处理，即与背景相似度(通过灰度值的差来衡量)高的像素点设为白 色，与背景差异性较大的设为黑色从而提取出了所需要的前景信息。多框触发子模块(5. 1. 3)，该模块根据前景模块(5. 1. 2)生成的二值化图像对图 像帧的前景部分进行检查，当前景依次通过多个触发框才产生触发事件，可以有效避免由 于噪声干扰产生的误触发。特征点提取子模块(5. 1. 4)，该模块在飞行器初始位置提取飞行器的特征点。光流跟踪子模块(5. 2. 2)，在前一帧获取的特征点周围基于光流金字塔，进行特征 点匹配，如果匹配成功的特征点数目少于指定数目，则重新检测特征点。否则，将获取的特 征点的中位数作为输出。所述的卡尔曼滤波子模块(5. 2. 3)，用于通过飞行器运动轨迹中柱形障碍物。飞行 器在通过柱形障碍物时，所有特征点都会被遮挡一次。为卡尔曼滤波器指定好飞行器运动 模型，如果滤波器预测值与实测特征点坐标值大于指定偏差，则在卡尔曼滤波器修正后的 坐标周围的指定范围内重新检测特征点。否则，将修正坐标传入云台控制与分析模块。具体跟踪效果和视频的质量和云台精确度有关。
权利要求
一种基于视频的飞行器追踪系统，其特征在于包括安装在机场塔台上的监控摄像头及云台(1),转换器(3)，视频分析模块(5)，云台控制与分析模块(6)，位于观察室中的显示屏(7)；其中，视频分析模块(5)包括视频触发模块(5.1)和视频跟踪模块(5.2)，而视频触发模块(5.1)包括背景更新子模块(5.1.1)，前景提取子模块(5.1.2)，多框触发子模块(5.1.3)；视频跟踪模块(5.2)包括特征点提取子模块(5.2.1)，光流跟踪子模块(5.2.2)，卡尔曼滤波子模块(5.2.3)；云台控制与分析模块(6)包括速度估计子模块 (6.1)，云台控制子模块(6.2)，飞行器行为分析子模块(6.3)；该系统由监控摄像头拍摄实时图像，并送出模拟信号(2)，传送到位于观察室中的显示屏(7)，显示屏(7)向工作人员(8)显示该摄像头所拍摄的实时图像；模拟信号(2)经由转换器(3)转换成数字视频信号(4)，然后由视频分析模块(5)中的视频触发模块(5.1)进行飞行器初始位置获取，视频触发模块5.1中的背景更新子模块(5.1.1)接收数字视频信号(4)，并根据其建立背景模型；前景提取子模块(5.1.2)接收数字视频信号(4)，并根据背景模型提取前景；多框触发子模块(5.1.3)接收前景提取模块(5.1.2)输出的信息；特征点提取子模块(5.2.1)接收多框触发子模块(5.1.3)输出的信息；光流跟踪子模块(5.2.2)接收特征点提取子模块(5.2.1)输出的信息；卡尔曼滤波子模块(5.2.3)接收光流跟踪子模块(5.2.2)输出的信息；由视频分析模块(5)输出的飞行器坐标用于云台控制与分析模块(6)中速度估计子模块(6.1)进行速度估计、云台控制子模块(6.2)进行云台控制；速度估计子模块(6.1)处理后的实时速度用于飞行器行为分析子模块(6.3)进行后期飞行器行为分析。
2.根据权利要求1所述的基于视频的飞行器追踪系统，其特征在于所述的背景更新子 模块(5. 1. 1)通过平均取出的帧图像对背景进行学习更新。
3.根据权利要求2所述的基于视频的飞行器追踪系统，其特征在于所述的前景提取子 模块(5. 1.2)根据背景学习子模块(5. 1. 1)提供的背景信息，对取出的帧图像进行二值化 处理，即与背景相似度高的像素点设为白色，与背景差异性较大的设为黑色，从而提取出所 需要的前景信息。
4.根据权利要求3所述的基于视频的飞行器追踪系统，其特征在于所述的多框触发子 模块(5. 1. 3)，根据前景提取子模块(5. 1. 2)生成的二值化图像对图像帧的前景部分进行 检查，当前景按照预定次序通过多个触发框时，产生触发事件，获取前景中飞行器的位置范 围，传递给视频跟踪模块(5. 2)中的特征点提取子模块(5. 2. 1)。
5.根据权利要求4所述的基于视频的飞行器追踪系统，其特征在于所述的特征点提取 子模块(5. 2. 1)在多框触发子模块(5. 1.3)输入的矩形范围内，寻找特征点，此特征点为角 点，并存储特征点坐标。
6.根据权利要求5所述的基于视频的飞行器追踪系统，其特征在于所述的光流跟踪子 模块(5. 2. 2)，在前一帧获取的特征点周围基于光流金字塔，进行特征点匹配，如果匹配成 功的特征点数目少于指定数目，则重新检测特征点；否则，将获取的特征点的中位数作为输 出ο
7.根据权利要求6所述的基于视频的飞行器追踪系统，其特征在于所述的卡尔曼滤波 子模块(5. 2. 3)，用于通过飞行器运动轨迹中柱形障碍物；为卡尔曼滤波器指定好飞行器 运动模型，如果滤波器预测值与实测特征点坐标值大于指定偏差，则在卡尔曼滤波器修正后的坐标周围的指定范围内重新检测特征点；否则，将修正坐标传入云台控制与分析模块 (6)。
8.根据权利要求7所述的基于视频的飞行器追踪系统，其特征在于所述的 速度估计字模块(6. 1)采用马尔可夫链方法对速度计算预测，其主要思想是将前后两帧飞行器中心点的像素位置转化为实际位置 其中，iC屮R:: m η时刻获得的飞行器在图像中的位置信息，-,Fn为第η时刻飞行器在图像中的大小，F为标定位置同对象图像大小；左为第η时刻焦距参数，/为标定位置焦距参数；为实测垂直距离向量&为横向实测长度向量，&为纵向实测长度向量为标定位一个像素对应实际长度，为标定位一个像素对应实际高度； 然后利用球极坐标系将其转换到实际速度 以摄像头所在位置为原点，其中F为原点到飞机位置的向量，θ为？在xy平面上投影 与χ轴夹角,一π < β < π ； Φ为？在yz平面上投影与y轴夹角，；<1通过机械运动的速度位移公式对视频中飞行器的实时速度进行计算<4>然后将实际速度与马尔可夫模型中的经验速度进行对比，利用时间和位置信息与m种 状态相匹配<5>。
9.根据权利要求8所述的基于视频的飞行器追踪系统，其特征在于所述的云台控制 子模块(6. 2)根据上述匹配出的最合适速度Vn+1,i，计算ω为云台横向角速度，<J为云台纵向角速度，然后将下一步指令发往摄像头及云台(1)。
10.根据权利要求9所述的基于视频的飞行器追踪系统，其特征在于所述的行为分析 子模块(6. 3)通过将得到的一系列即时速度与历史大量数据进行对比，记其中《(k)为飞行器起降各个阶段权重，根据对飞机各个阶段取不同权值而分别突出 要分析的阶段，在起飞时当绝对值距离Clij大于阶段阈值Tt时，则可判断飞行器有明显的离 地过早异常行为；而在降落时绝对值距离大于阶段阈值Tl时，则可判断飞行器有明显的 滑行过长异常行为。
全文摘要
本发明属于视频监控技术领域，具体为一种基于视频的智能飞行器追踪系统。包括安装在机场塔台上的监控摄像头及云台、转换器、视频分析模块、云台控制与分析模块、位于观察室中的显示屏；本发明利用计算机视觉特征构建实时视频监控检测模块，通过云台控制算法构建云台控制与分析模块。本发明可以自动追踪起降飞行器轨迹，降低机场对飞行器监控的人力资源的消耗，克服运动背景视频中对象提取与追踪的种种困难，利用监控视频，实现自动智能追踪录像分析，从而提高监控质量，可用于对机场中的飞行器进行起降全程追踪监控、录像和对起降行为异常分析。
文档编号G06T7/00GK101909206SQ20101024258
公开日2010年12月8日 申请日期2010年8月2日 优先权日2010年8月2日
发明者宋振中, 张德峰, 张文强, 薛向阳, 路红, 陈义东, 陈晨 申请人:复旦大学