专利名称：基于云台摄像头的飞行器起降跟踪算法及跟踪系统的制作方法
基于云台摄像头的飞行器起降跟踪算法及跟踪系统技术领域
本发明属于视频监控技术领域，具体涉及一种针对有固定起飞降落模式的飞行器 飞行领域的视频处理与应用，以及基于视频处理历史数据挖掘的云台控制和追踪目标技 术，尤其涉及基于云台摄像头的飞行器起降跟踪算法及跟踪系统。
背景技术：
随着世界经济迅速发展，航空技术突飞猛进，各地之间人员往来越来越密切，航空 服务和运输在人们日常生活中所占比重越来越大。长期以来，空中运输的智能信息化管理 以及航空安全一直是相关各界探索研究的一个重要课题。
飞行器起降的监控到至今仍停留在人工记录观测的水平上，这种传统的方式存在 两个不足一是观测工作的实时性、有效性和完整性，直接影响了机场观测数据的质量；二 是人工观测所得的资料标准偏差大，后期整理处理分析过程手段复杂，信息再利用价值不 高。随着飞行器数量不断增加，以及重大航空事故在起降阶段增多，飞行器管理监控工作 越显重要，需要一种能够对飞行器起降进行精细化、自动化跟踪的技术手段。
本发明的算法能够很好地解决了上述问题。通过安装在机场塔台上的监控摄像头 拍摄的实时监控视频画面来分析机场情况，主要优点在于其信号包含完整画面，内容更加 丰富，提供实时信息，也为计算机及相关工作人员所理解，为快速预警、启动紧急措施以及 智能录像监控与后期处理提供了可能，因此大大提高了监控的可靠性、准确性以及后续处 理分析的可操作性，具有极大地应用价值与前景。
针对在起降过程中，飞行器跟踪的关键在于检测跑道上及半空中飞行器，难点在 于户外监控环境下的光线变化以及高速运动的背景画面中前景对象的提取和分离，难以建 立样本。本发明在这方面提出了很好的解决算法。发明内容
本发明的目的在于克服上述难点，提出一种基于云台摄像头的智能飞机起降跟踪 算法及跟踪系统。
本发明的技术方案如下一种基于云台摄像头的飞行器起降跟踪算法和跟踪系统，通过安装在塔台上的监控摄 像头及云台，由监控摄像头送出的模和拟信号，经转换成为数字视频信号后，作为跟踪系 统的输入。该跟踪系统包括目标检测模块(1)、跟踪模块(2)和云台控制模块(3)；其中 所述目标检测模块(1)包括背景建模子模块(1. 1)、前景分析子模块(1.2)、目标提取 子模块(1. 3)及颜色特征提取子模块(1. 4)，由目标检测模块(1)检测出的飞行器坐标送往 跟踪模块(2)；所述跟踪模块(2)包括角点特征提取子模块(2. 1)、通过光流跟踪子模块(2. 2)、卡尔 曼滤波子模块(2. 3)、Mean-shift子模块(2. 4)、决策子模块(2. 5)；角点特征提取子模块 (2. 1)接收由目标检测模块(1)检测出的飞行器坐标；通过光流跟踪子模块(2. 2)输出，由卡尔曼滤波子模块(2. 3)得到一个预测值，Mean-shift子模块(2. 4)得出另一个预测值，由 决策子模块(2. 5)作出调整；跟踪模块(2)将飞行器预测坐标送往云台控制模块(3)；所述云台控制模块(3 )包括速度估计子模块(3.1)和指令发送子模块(3. 2 )；由速度估 计子模块(3. 1)根据飞行器预测坐标进行飞行器速度的计算与分析，得到相应的云台速度， 由指令发送子模块(3. 2)实施相应云台操作。 本发明中所述背景建模子模块(1.1)，该模块通过平均取出的帧图像对背景进行学习，建立混合 高斯模型以及更新。
所述前景分析子模块(1.2)，该模块根据背景建模子模块提供的背景信息对取出 的帧图像进行二值化处理，即与背景模型的灰度值的差在一定范围内的像素点设为黑色， 与背景差异性较大的设为白色从而提取出了所需要的前景信息。
所述目标提取子模块(1.3)，该模块根据前景分析子模块生成的二值化图像对图 像帧的前景部分进行检查，当前景按照预定次序通过若干指定区域触发框时，标志已获得 目标，产生触发事件，获取前景中飞行器的位置范围，传递给跟踪模块中的颜色特征提取子 模块。
所述的颜色特征提取子模块(1.4)，该模块提取输入矩形在原来帧中的颜色信息， 通过建立颜色直方图，提取主要的色彩，作为飞机色彩信息。
所述的角点特征提取子模块(2. 1)，在触发子模块输入的矩形范围内，寻找特征 点，此特征点为角点，存储特征点坐标。
所述光流跟踪子模块(2. 2)，在前一帧获取的特征点周围基于光流金字塔，进行特 征点匹配，如果匹配成功的特征点数目少于指定数目，则重新检测特征点。否则，将获取的 特征点的中位数作为输出。
所述的卡尔曼滤波子模块(2. 3)，用于通过飞行器运动轨迹中柱形障碍物。飞行器 在通过柱形障碍物时，所有特征点都会被遮挡，造成丢失。卡尔曼滤波器为飞行器建立运动 模型，如果滤波器预测值与实测特征点坐标值大于指定偏差，则在卡尔曼滤波器修正后的 坐标周围的指定范围内重新检测特征点。否则，将修正坐标传到决策子模块(2. 5)。
所述的Mean-shift子模块(2. 4)，通过在颜色特征提取子模块(1. 4)中得到的颜 色直方图，对每一帧进行背景投影，即在图中根据直方图中比例标记出相应区域，色彩近似 程度用灰度值表示，并滤去低灰度值。再由Mean-shift算法得到新的预测位置范围。所述 Mean-shift算法，通过迭代计算目标点集的最大概率偏移方向，收敛得到相应的位置范围， 送往决策子模块。
所述决策子模块(2. 5)，接受Mean-shift子模块和卡尔曼滤波子模块的目标位 置。若两者中心距离大于一定的值，则在Mean-shift的位置中心周围重新找角点特征。在 这里Mean-shift用于确定大致的飞机位置，因为颜色信息能够不受大的干扰影响，在干扰 之后迅速找到目标。而光流与卡尔曼相结合得到的结果能得到相对精确地目标位置，但是 易受到干扰而丢失，所以用Mean-shif做粗调，光流与卡尔曼滤波器做精调。
由跟踪模块(2)输出的飞行器坐标用于进行速度估计、云台指令发送。
所述速度估计子模块(3. 1)，采用马尔可夫链方法对速度计算 预测，其主要思想是先将飞行器中心点的速度转化为实际云台速度V =OT , Vi，、Vji分别代表前后两帧飞行器中心点的像素位置所得的飞机速度和实际C？* ·-· f的云台转动速度。ff为可以预先通过实验得到的经验因子。
通过对历史数据的挖掘，得到完整跟踪飞机的操作序列，以云台速度为单位，进行 曲线拟合，得到若干条不同机型的飞机的起降曲线。然后将实际速度与马尔可夫模型中的经验速度进行对比，利用时间和位置信息与m种 状态相匹配
权利要求
1.一种基于云台摄像头的飞行器起降跟踪系统，其特征在于通过安装在塔台上的监 控摄像头及云台，由控摄像头送出的模拟信号，经转换成为数字视频信号后，作为所述跟 踪系统的输入；该跟踪系统包括目标检测模块(1)、跟踪模块(2)和云台控制模块(3)；其 中所述目标检测模块(1)包括背景建模子模块(1. 1)、前景分析子模块(1.2)、目标提取 子模块(1. 3)及颜色特征提取子模块(1. 4)，由目标检测模块(1)检测出的飞行器坐标送往 跟踪模块(2)；所述跟踪模块(2)包括角点特征提取子模块(2. 1)、通过光流跟踪子模块(2. 2)、卡尔 曼滤波子模块(2. 3)、Mean-shift子模块(2. 4)、决策子模块(2. 5)；角点特征提取子模块 (2. 1)接收由目标检测模块(1)检测出的飞行器坐标；通过光流跟踪子模块(2. 2)输出，由 卡尔曼滤波子模块(2. 3)得到一个预测值，Mean-shift子模块(2. 4)得出另一个预测值，由 决策子模块(2. 5)作出调整；跟踪模块(2)将飞行器预测坐标送往云台控制模块(3)；所述云台控制模块(3 )包括速度估计子模块(3.1)和指令发送子模块(3. 2 )；由速度估 计子模块(3. 1)根据飞行器预测坐标进行飞行器速度的计算与分析，得到相应的云台速度， 由指令发送子模块(3. 2)实施相应云台操作。
2.根据权利要求1所述的基于云台摄像头的飞行器起降跟踪系统，其特征在于在目标 检测模块(1)中所述背景建模子模块(1. 1 )，通过平均取出的帧图像对背景进行学习，建立混合高斯模 型以及更新；所述前景分析子模块(1. 2)，根据背景建模子模块提供的背景信息对取出的帧图像进 行二值化处理，即与背景模型的灰度值的差在一定范围内的像素点设为黑色，与背景差异 性较大的设为白色从而提取出了所需要的前景信息；所述目标提取子模块(1.3)，根据前景分析子模块生成的二值化图像对图像帧的前景 部分进行检查，当前景按照预定次序通过若干指定区域触发框时，标志已获得目标，产生触 发事件，获取前景中飞行器的位置范围，传递给跟踪模块中的颜色特征提取子模块；所述的颜色特征提取子模块(1. 4)，提取输入矩形在原来帧中的颜色信息，通过建立颜 色直方图，提取主要的色彩，作为飞机色彩信息。
3.根据权利要求2所述的基于云台摄像头的飞行器起降跟踪系统，其特征在于在跟踪 模块(2)中所述的角点特征提取子模块(2. 1)，在触发子模块输入的矩形范围内，寻找特征点，此 特征点为角点，存储特征点坐标；所述光流跟踪子模块(2. 2)，在前一帧获取的特征点周围基于光流金字塔，进行特征点 匹配，如果匹配成功的特征点数目少于指定数目，则重新检测特征点；否则，将获取的特征 点的中位数作为输出；所述的卡尔曼滤波子模块(2. 3)，用于通过飞行器运动轨迹中柱形障碍物，卡尔曼滤波 器为飞行器建立运动模型，如果滤波器预测值与实测特征点坐标值大于指定偏差，则在卡 尔曼滤波器修正后的坐标周围的指定范围内重新检测特征点；否则，将修正坐标传到决策 子模块(2. 5);所述的Mean-shift子模块(2. 4)，通过在颜色特征提取子模块(1.4)中得到的颜色直方图，对每一帧进行背景投影，即在图中根据直方图中比例标记出相应区域，色彩近似 程度用灰度值表示，并滤去低灰度值，再由Mean-shift算法得到新的预测位置范围；所述 Mean-shift算法，通过迭代计算目标点集的最大概率偏移方向，收敛得到相应的位置范围， 送往决策子模块；所述决策子模块(2. 5)，接受Mean-shift子模块和卡尔曼滤波子模块的目标位置；若 两者中心距离大于一定的值，则在Mean-shift的位置中心周围重新找角点特征。
4.根据权利要求3所述的基于云台摄像头的飞行器起降跟踪系统，其特征在于在云台 控制模块(3)中所述速度估计子模块(3. 1)，采用马尔可夫链方法对速度计算 预测，其方法是先将飞行器中心点的速度转化为实际云台速度
5. 一种基于云台摄像头的飞行器起降跟踪算法，其特征在于通过安装在塔台上的监 控摄像头及云台，由控摄像头送出的模拟信号，经转换成为数字视频信号后，作为所述跟 踪系统的输入；该跟踪系统包括目标检测模块(1)、跟踪模块(2)和云台控制模块(3)；其 中所述目标检测模块(1)包括背景建模子模块(1. 1 )、前景分析子模块(1. 2)、目标提取 子模块(1. 3)及颜色特征提取子模块(1. 4)，由目标检测模块(1)检测出的飞行器坐标送往 跟踪模块(2)；所述跟踪模块(2)包括角点特征提取子模块(2. 1)、通过光流跟踪子模块(2. 2)、卡尔 曼滤波子模块(2. 3)、Mean-shift子模块(2. 4)、决策子模块(2. 5)；角点特征提取子模块 (2. 1)接收由目标检测模块(1)检测出的飞行器坐标；通过光流跟踪子模块(2. 2)输出，由 卡尔曼滤波子模块(2. 3)得到一个预测值，Mean-shift子模块(2. 4)得出另一个预测值，由 决策子模块(2. 5)作出调整；跟踪模块(2)将飞行器预测坐标送往云台控制模块(3)；所述云台控制模块(3 )包括速度估计子模块(3.1)和指令发送子模块(3. 2 )；由速度估 计子模块(3. 1)根据飞行器预测坐标进行飞行器速度的计算与分析，得到相应的云台速度， 由指令发送子模块(3. 2)实施相应云台操作。
6.根据权利要求5所述的基于云台摄像头的飞行器起降跟踪算法，其特征在于在目标 检测模块(1)中所述背景建模子模块(1.1 )，通过平均取出的帧图像对背景进行学习，建立混合高斯模 型以及更新；所述前景分析子模块(1. 2)，根据背景建模子模块提供的背景信息对取出的帧图像进 行二值化处理，即与背景模型的灰度值的差在一定范围内的像素点设为黑色，与背景差异 性较大的设为白色从而提取出了所需要的前景信息；所述目标提取子模块(1.3)，根据前景分析子模块生成的二值化图像对图像帧的前景 部分进行检查，当前景按照预定次序通过若干指定区域触发框时，标志已获得目标，产生触 发事件，获取前景中飞行器的位置范围，传递给跟踪模块中的颜色特征提取子模块；所述的颜色特征提取子模块(1. 4)，提取输入矩形在原来帧中的颜色信息，通过建立颜 色直方图，提取主要的色彩，作为飞机色彩信息。
7.根据权利要求6所述的基于云台摄像头的飞行器起降跟踪算法，其特征在于在跟踪 模块(2)中所述的角点特征提取子模块(2. 1)，在触发子模块输入的矩形范围内，寻找特征点，此 特征点为角点，存储特征点坐标；所述光流跟踪子模块(2. 2)，在前一帧获取的特征点周围基于光流金字塔，进行特征点 匹配，如果匹配成功的特征点数目少于指定数目，则重新检测特征点；否则，将获取的特征 点的中位数作为输出；所述的卡尔曼滤波子模块(2. 3)，用于通过飞行器运动轨迹中柱形障碍物，卡尔曼滤波 器为飞行器建立运动模型，如果滤波器预测值与实测特征点坐标值大于指定偏差，则在卡 尔曼滤波器修正后的坐标周围的指定范围内重新检测特征点；否则，将修正坐标传到决策 子模块(2. 5);所述的Mean-shift子模块(2. 4)，通过在颜色特征提取子模块(1.4)中得到的颜色 直方图，对每一帧进行背景投影，即在图中根据直方图中比例标记出相应区域，色彩近似 程度用灰度值表示，并滤去低灰度值，再由Mean-shift算法得到新的预测位置范围；所述 Mean-shift算法，通过迭代计算目标点集的最大概率偏移方向，收敛得到相应的位置范围， 送往决策子模块；所述决策子模块(2. 5)，接受Mean-shift子模块和卡尔曼滤波子模块的目标位置；若 两者中心距离大于一定的值，则在Mean-shift的位置中心周围重新找角点特征。
8.根据权利要求7所述的基于云台摄像头的飞行器起降跟踪算法，其特征在于在云台 控制模块(3)中所述速度估计子模块(3. 1 )，采用马尔可夫链方法对速度计算预测，其方法是先将飞行 器中心点的速度转化为实际云台速度vc = avr Vr分别代表前后两帧飞行器 中心点的像素位置所得的飞机速度和实际的云台转动速度，CC为可以预先通过实验得到的经验因子；
全文摘要
本发明属于视频监控技术领域，具体为基于云台摄像头的飞行器起降跟踪算法及跟踪系统。本发明通过安装在塔台上的监控摄像头及云台,由控摄像头送出的模拟信号，经转换成为数字视频信号后,作为所述跟踪系统的输入；该跟踪系统包括目标检测模块、跟踪模块和云台控制模块；本发明可以自动追踪起降飞行器轨迹。本发明可提高机场中有固定起降模式的飞行器监控的准确性与实时性，降低人力资源的消耗，克服大规模高速运动背景视频中对象提取与追踪的种种困难，实现自动智能追踪录像分析，从而提高了监控质量。
文档编号H04N7/18GK102043964SQ20101061465
公开日2011年5月4日 申请日期2010年12月30日 优先权日2010年12月30日
发明者何慧钧, 宋振中, 张建忠, 张德峰, 张文强, 张睿, 李志鹏, 李燕军, 池明旻, 陈晨, 陶睿 申请人:复旦大学