专利名称：一种机场监视视频目标鲁棒跟踪方法
技术领域：
本发明涉及一种目标跟踪方法，尤其涉及一种机场监控视频图像中的目标跟踪方
法。
背景技术：
目前，主要的机场场面活动目标监视手段是依靠场面监视雷达，同时以多点定位 (Multilateration,MLAT)的场面监视系统作为辅助。当前的场监雷达存在明显的缺点，诸 如昂贵、分辨能力不够(不能检测跑道异物)、雷达覆盖范围在盲区。若采用多部场监雷达 数据融合，可以实现对整个机场的完整监视，但将大大增加系统建设费用，且针对场监雷达 数据融合的成熟应用不多。相对于场监雷达而言，多点定位有成本低、可以全天候工作、数 据更新率快(1次/秒)、安装维护方便等优点，但多点定位技术只能针对合作目标，对于没 有安装机载设备的飞机，这种方法则无法监控。相对于场面监视雷达而言，基于视频图像融 合技术的场面监视系统具有成本低、被动监视、分辨率高和易于实现全天候监视的特点。基 于动态视频的机场场面目标监视系统已成为机场场面监控技术和计算机视觉领域中近年 来备受关注的前沿研究方向。运动目标跟踪作为一门跨学科的前沿技术，融合了图像处理、模式识别、人工智 能、自动控制等多种不同领域的理论知识。随着视觉理论和算法研究的发展，以及计算机硬 件性能的不断提高，如今已成为最活跃的研究课题之一。目标跟踪系统一般是基于对图像 序列的处理，对目标的运动规律加以预测，实现对目标的连续、准确的跟踪。其中特征提取 和目标跟踪算法是目标跟踪系统的关键。目前在、标特征提取中主要采用的有颜色特征、纹 理特征和形状特征。颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。一 般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。 由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图 像中对象的局部特征。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋 转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，其缺点是没有表 达出颜色空间分布的信息，无法描述图像中颜色的局部分布及每种色彩所处的空间位置， 即无法描述图像中的某一具体的对象或物体。纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性 质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利 用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的 特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征 具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常 具有旋转不变性，并且对于噪声有较强的抵抗能力。但是纹理特征一个很明显的缺点是当 图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光 照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。
基于形状特征的跟踪可以比较有效地利用图像中感兴趣的目标来进行检索，但它 们也有一些共同的问题，包括目前基于形状的检索方法还缺乏比较完善的数学模型；如 果目标有变形时结果往往不太可靠；许多形状特征仅描述了目标局部的性质，要全面描述 目标常对计算时间和存储量有较高的要求；许多形状特征所反映的目标形状信息与人的直 观感觉不完全一致，或者说，特征空间的相似性与人视觉系统感受到的相似性有差别。另 外，从2-D图像中表现的3-D物体实际上只是物体在空间某一平面的投影，从2-D图像中反 映出来的形状常不是3-D物体真实的形状，由于视点的变化，可能会产生各种失真。机场场景比较复杂，光照变化、相似物或干扰物较多。目前现有的跟踪方法利用颜 色、纹理、形状等低层特征进行目标建模，无法精确跟踪机场复杂环境中的目标。
发明内容
本发明的技术解决问题针对现有技术存在的不足，提供一种机场监视视频目标 鲁棒跟踪方法，结合奇异值分解建模和粒子滤波的目标跟踪技术，解决了光照变化和与目 标空间靠近的相似物干扰，难以实现复杂背景中的目标精确跟踪的问题。本发明的技术解决方案机场监视视频目标鲁棒跟踪方法，步骤如下步骤100、初始化，以目标状态的输入值加入高斯噪声生成包含N个粒子的粒子 群，并对要跟踪的目标进行奇异值分解，选取前K个最大值建立模板模型；步骤200、状态预测，由前一帧目标的位置根据勻速运动模型预测步骤100所产生 的粒子在当前帧中的坐标位置；步骤300、粒子权重更新，对步骤200中所产生的预测的粒子所对应的图像区域进 行奇异值分解，构建特征向量，并利用最小二乘准则衡量此候选区域与模板的相似度作为 粒子的权重；步骤400、粒子重采样，对步骤300所产生的粒子群保留原先权重大的粒子，丢弃 权重小的粒子，并由权重大的粒子派生新粒子，使粒子总数保持N不变，新一代粒子和下一 帧图像转到步骤200循环执行；步骤500、计算平均状态输出，将步骤300中权重更新后的粒子及其权重加权，得 出目标在当前帧的位置。本发明与现有技术相比的优点在于(1)本发明方法中的目标特征具有旋转和尺度不变性。旋转矩阵 cose sin$ 01|SX 0 0iMn§ ms& 和尺度变换矩阵% 01均为正交矩阵(0为旋转角度，Sx和 .0 0 11 10 0 11
sy为尺度系数)。若P为正交矩阵，则PA的奇异值与A是一样的。因此，当图像区域或目
标发生旋转或尺度变化，奇异值所表示的特征均具有不变性；(2)本发明方法中的目标特征具有较强的抵御噪声能力。若
步骤130、判断当前粒子数是否大于等于N，若是则执行步骤140，否则执行步骤 120 ；步骤140、建立目标模板，对目标区域的图像块做奇异值分解；步骤150、选取前K个最大的奇异值作为目标的特征向量；步骤160、将K个奇异值归一化作为目标模板，设0 mi为目标模板的奇异值，归一
化即 tv为归一化后的奇异值。图2为本发明状态预测流程图，在
图1所示的技术方案中，所述步骤200具体为步骤210、由前一帧目标的中心位置xt_i，yt_i根据勻速直线运动模型预测目标在本
=1,2, ，#，所述的AT为两帧间的时
帧的中心位置，;即
间差，由于两帧间的时间差很小，故采用勻速直线运动模型是合理的；步骤220、预测当前粒子中的目标速度，根据勻速运动模型，将目标看成速 度不变，由于两帧间隔时间很短，因此勻速直线模型是合理的，考虑到实际干扰的影响，本
帧预测速度为上一帧的速度加入高斯噪声，计算表达式为
, 此处 <，< 是高斯扰动；步骤230、i = i+1，判断i是否大于N，是则执行步骤240，否则执行步骤210 ；步骤240、将N个粒子作为预测粒子集丨1输出。图3为本发明粒子权重更新流程图，在图1所示的技术方案中，所述步骤300具体 为步骤310、对当前粒子表示的图像块做奇异值分解，所述的图像块为jx)，乂，妒，
即中心在X,',乂，长和宽分别为W，H的图像块，设分解所得的奇异值为丨<1，1彡i彡N，j = 1,2, -,rank(I), Ii为当前粒子表示的图像块；
a' 步骤320、选取前K个最大的奇异值，并按式
构建该粒子的特征向量 步骤330、根据最小二乘准则计算当前粒子的权重
,A是由目标模板的特征值拓展成的齐次矩阵，Y是当前粒子的特征向量，求解方程AX = Y的最小二乘解，得到b，显而易见，b越小，当前粒子的特征 向量与模板的特征向量的距离最小，即Σ -σ；) =min，因此，当前粒子的权重 步骤340、判断粒子数是否等于N，是则执行步骤350，否则执行步骤310 ；步骤350、完成粒子权重更新，得到粒子集jX丨。图4为本发明粒子重采样流程图，在图1所示的技术方案中，所述步骤400具体 为步骤410、将权值累加并归一化，<’(0 = 2<" = 1，2,···，"，..是累加后的权值， 步骤420、产生随机数r，0 < r < 1 ；步骤430、在累加后的权值中找出r所在的位置index，使得 π* {index) <r < π* {index + 1)步骤440、判断粒子数是否等于N，是则执行步骤450，否则执行步骤420 ；步骤450、进入下一帧跟踪。图5为本发明平均状态计算流程图，在图1所示的技术方案中，所述步骤500具体 为步骤510、开始进入平均状态计算；步骤520、判断是否为第一个粒子，是则执行步骤530，否则执行步骤540 ；步骤530、当前粒子的中心位置及速度分量乘以该粒子的权重，结果即为平均状态
并将结果保存为MeanStateJ^。《，彳。 ”如为弟
\MeanState.y = X .y-π [MeanState.vy = X .vy-π
一个粒子，MeanState. x, MeanState. y, MeanState. vx, MeanState. vy 分别为 MeanState 的 X，y方向的坐标和速度x°. X, X0. y，X0. vx, X0. vy分别为第一个粒子的x，y方向的坐标和速 度，π °为第一个粒子的权重；步骤540、当前粒子的中心位置及速度分量乘以该粒子的权重并将结果加上
分别为 MeanState 的 x， y方向的坐标和速度Xi. χ，Xi. y，Xi. vx, Xi. vy分别为第i个粒子的x，y方向的坐标和速度，^为第i个粒子的权重；步骤550、判断是否遍历完N个粒子，是则执行步骤570，否则执行步骤560 ；步骤560、继续访问下一个粒子；步骤570、输出MeanState作为跟踪的结果。本发明未详细阐述的部分属于本领域的公知技术。
权利要求
机场监视视频目标鲁棒跟踪方法，其特征在于实现步骤如下步骤100、初始化，以目标状态的输入值加入高斯噪声生成包含N个粒子的粒子群，并对要跟踪的目标进行奇异值分解，选取前K个最大值建立模板模型；步骤200、状态预测，由前一帧目标的位置根据匀速运动模型预测步骤100所产生的粒子在当前帧中的坐标位置；步骤300、粒子权重更新，对步骤200中所产生的预测的粒子所对应的图像区域进行奇异值分解，构建特征向量，并利用最小二乘准则衡量此候选区域与模板的相似度作为粒子的权重；步骤400、粒子重采样，对步骤300所产生的粒子群保留原先权重大的粒子，丢弃权重小的粒子，并由权重大的粒子派生新粒子，使粒子总数保持N不变，新一代粒子和下一帧图像转到步骤200循环执行；步骤500、计算平均状态输出，将步骤300中权重更新后的粒子及其权重加权，得出目标在当前帧的位置。
2.根据权利要求1所述的机场监视视频目标鲁棒跟踪方法，其特征在于所述步骤100 具体实现为步骤110、以目标的输入状态作为粒子的初始值，粒子的各分量选取为目标中心位置的 x, y坐标，目标窗的长、宽及目标的速度，初始速度置为0 ；步骤120、对粒子的各分量，即心位置的x，y坐标，目标窗的长、宽及目标的速度加上高 斯扰动，即采样按照高斯分布进行；步骤130、判断当前粒子数是否大于等于N，若是则执行步骤140，否则执行步骤120 ； 步骤140、建立目标模板，对目标区域的图像块做奇异值分解； 步骤150、选取前K个最大的奇异值作为目标的特征向量；步骤160、将K个奇异值归一化作为目标模板，设o mi为目标模板的奇异值，归一化即 cr* -u mik，Vo- i = l，…，K，为归一化后的奇异值。 Z-i "y*
3.根据权利要求1所述的机场监视视频目标鲁棒跟踪方法，其特征在于所述步骤200 具体实现为步骤210、由前一帧目标的中心位置xt_i，yt_i根据勻速直线运动模型预测目标在本帧的中心位置..即！ X； =X'~l+VX,~r^l + n ,i = 1,2, ...，N，AT为两帧间的时间差；步骤220、预测当前粒子中的目标速度vx^vY，vx丨，vy丨为第i个粒子在第t帧所对应的x方向和y的速度，％ = + ，i = 1，2，…，N，，，为高斯扰动，,,为第i个粒子在第t帧所对应的x方向和y的高斯噪声；步骤230、判断粒子总数是否等于N，是则执行步骤240，否则执行步骤210 ；步骤240、将N个粒子作为预测粒子集丨j输出。
4.根据权利要求1所述的机场监视视频目标鲁棒跟踪方法，其特征在于所述步骤300具体实现为步骤310、对当前粒子表示的图像块做奇异值分解，所述的图像块为乂，即中心在x;，y;，长和宽分别为W，H的图像块，设分解所得的奇异值为1≤i≤N，j = 1， 2，…，rankd)，〗1为当前粒子表示的图像块；步骤320、选取前K个最大的奇异值，并按式 ^ ,构建该粒子的特征向量 ；=i步骤330、根据最小二乘准则计算当前粒子的权重 ，A是由目标模板的特征值拓展成的齐次矩阵，Y是当前粒子的特征向量，求解方程AX = Y的最小二乘解，得到b，当前粒子的权重 为第i个粒子在第t巾贞的权重，N为粒子总数； 步骤340、判断粒子数是否等于N，是则执行步骤350，否则执行步骤310 ； 步骤350、完成粒子权重更新，得到粒子集fX丨，;r/1。
5.根据权利要求1所述的机场监视视频目标鲁棒跟踪方法，其特征在于所述步骤400 具体实现为i步骤410、将权值累加并归一化 是累加后的权值， 步骤420、产生随机数r，0 <r < 1 ；步骤430、在累加后的权值中找出r所在的位置index，使得 步骤440、判断粒子数是否等于N，是则执行步骤450，否则执行步骤420 ； 步骤450、进入下一帧跟踪。
6.根据权利要求1所述的机场监视视频目标鲁棒跟踪方法，其特征在于所述步骤500 具体实现为步骤510、开始进入平均状态计算；步骤520、判断是否为第一个粒子，是则执行步骤530，否则执行步骤540 ；步骤530、当前粒子的中心位置及速度分量乘以该粒子的权重，结果即为平均状态并将 结果保存为MemiState，即 为第一个粒子，MeanState. x，MeanState. y，MeanState. vx, MeanState. vy 分别为 MeanState 的 x，y 方向的坐标和速度x°. X, X°. y，X°. vx, X°. vy分别为第一个粒子的x，y方向的坐标和速度， ^为第一个粒子的权重；步骤540、当前粒子的中心位置及速度分量乘以该粒子的权重并将结果加上MeanState. x,MeanState. y,MeanState. vx,MeanState. vy 分别为 MeanState 的 x，y 方向的坐标和速度Xi. X, X1. y，X1. vx, X1. vy分别为第i个粒子的x，y方向的坐标和速度，n 1 为第i个粒子的权重；步骤550、判断是否遍历完N个粒子，是则执行步骤570，否则执行步骤560 ； 步骤560、继续访问下一个粒子； 步骤570、输出MeanState作为跟踪的结果。
全文摘要
机场监视视频目标鲁棒跟踪方法，结合了奇异值分解和粒子滤波目标跟踪技术，步骤如下步骤100、初始化，生成包含N个粒子的粒子群，并对要跟踪的目标进行奇异值分解，建立模板模型；步骤200、状态预测，由前一帧目标的位置预测目标在当前帧的位置；步骤300、粒子权重更新，对候选的图像区域进行奇异值分解，构建特征向量，并利用最小二乘准则衡量此候选区域与模板的相似度作为粒子的权重；步骤400、粒子重采样，保留原先权重大的粒子，丢弃权重小的粒子，并由权重大的粒子派生新粒子，使粒子总数保持N不变，新一代粒子和下一帧图像转到步骤200循环执行；步骤500、结果输出，将所有粒子及其权重加权，得出目标在当前帧的位置。本发明解决了机场监视视频场景复杂，光照变化频繁，背景相似物干扰严重等问题，达到了监视跟踪中的鲁棒性和精确性要求。
文档编号H04N7/18GK101877134SQ20101017213
公开日2010年11月3日 申请日期2010年5月7日 优先权日2010年5月7日
发明者罗喜玲, 黄雁 申请人:北京航空航天大学