专利名称：一种抗遮挡目标轨迹预测跟踪方法
技术领域：
本发明属于计算机视觉与模式识别技术领域，具体涉及一种抗遮挡目标轨迹预测 跟踪方法。
背景技术：
目标跟踪是计算机视觉的一个重要分支。在视频监控、物体识别、人机界面等应用 领域中，往往需要在各种复杂的环境下对运动物体进行有效的跟踪。跟踪系统不但要求能 够实时适应目标因各种运动导致的外观变化，而且要求对场景中存在的诸如遮挡、光照变 化等因素的影响不敏感。MeanShift目标跟踪算法是一种基于密度梯度的无参数估计方法，于1975年由 Fukunaga[1]提出，1995年Cheng[2]将它引入计算机视觉领域。近年来，MeanShift目标跟 踪算法[3’4]以其无需参数、快速模式匹配的特性引起国内外学者的关注并广泛应用到目标 跟踪领域[5_8]。MeanShift目标跟踪算法中核函数对于目标中心的象素赋予一个大权值，而 远离中心的象素赋予小权值，保证了 MeanShift目标跟踪算法本身对遮挡和背景的变化有 很好的鲁棒性[7]。这种算法在简单背景环境中能够取得较好的跟踪效果，但是在复杂背景 中，由于该算法对运动物体不做任何预测，不能解决大面积背景颜色干扰等问题，容易导致 跟踪失败，所以需引入估计器预测目标运动参数。Kalman滤波是一个在误差协方差最小准则下的最优估计方法，计算量小，实时 性高，能利用实际的运动参数不断修正未来运动状态的估计值，提高估计的精度。因此将 Kalman滤波预测技术融入到MeanShift算法中，提高了跟踪方法的抗干扰能力。然而，相对 于目标区域的面积而言，如果目标遭遇大比例的遮挡，MeanShift算法寻找到的目标位置点 是不准确的，由这个位置点信息组成的Kalman滤波器对当前帧的观测向量也不是正确的， 如果仍然由Kalman滤波器去预测目标在下一帧的可能位置，可信度显然很低。最小二乘支持向量机[9](Least Squares Support Vector Machines, LSSVM)是近 几年来应用于建模的一种新方法，LSSVM的最优求解基于结构风险最小化思想，因此具有比 其他非线性函数逼近方法具有更强的泛化能力。参考文献[1]K Fukunaga,L D Hostetler. The estimation of the gradient of a density functionwith application in pattern recognition. IEEE Trans Information Theory, 1975，21(1) 32-40[2]Y. CHENG. Mean shift, mode seeking, and clustering. IEEE Transactions onPattern Analysis and Machine Intelligence,1995,17 (8) :790_799[3]Comaniciu D,Ramesh V,Meer P. Real-time tracking of non-rigid objects usingmean shift[C]Proceedings of IEEE Conference on Computer Vision and PatternRecognition. Hihon Head Island. South Carolina :IEEE,2000,2 :142_149[4]Comaniciu D,Ramesh V. Mean shift and optimal prediction for efficientobj ecttracking[CProceedings of the 2000 IEEE International Conference on ImageProcessing. Vancouver, Canada :IEEE，2000，3 :70_73[5]Yilmaz A，Shafique K，Shah M. Target tracking in airborne forward lookinginfrared imagery[J]. Image and Vision Computing，2003，21 (7) :623_635[6]彭宁嵩，杨杰，刘志等.Mem Shift跟踪算法中核函数窗宽的自动选取[J].软 件学报，2005，16 (9) 1542-1550PENG Ning—song， YANG Jie, LIU Zh, et al. Automatic selection ofkerne1-bandwidth for mean-shift object tracking[J]. Journal of Software,2005, 16(9) : 1542-1550 (in CNnese)[7]Comaniciu D，Ramesh V. Meer P. Kernel-based object tracking[J]. IEEE TransOn Patern Analysis and Machine Intelligence. 2003,25(5) :564_575[8]Collins R T. Mean shift blob tracking through scale space[C]. IEEE InternatienalConference On Computer Vision and Pattern Reeognition. 2003，2 234-240[9] J. A. K. Suykens. Nonlinear modelling and support vector machines [C]// Instrumentation and Measurement Technology Conference. 2001 :287_294.[10]孙中森，孙俊喜，宋建中，等.一种抗遮挡的运动目标跟踪算法[J].光学精密 工程，2007，15(2) 267-27
发明内容
本发明的目的在于提出一种对部分遮挡以及全遮挡目标进行准确跟踪的抗遮挡 目标轨迹预测跟踪方法。本发明的目的是这样实现的(1).初始选定跟踪目标，Kalman参数初始化，计算目标的量化直方图。(2).读取图像，用MeanShift算法计算跟踪窗口的位置和大小，并将窗口的中 心位置作为Kalman滤波的测量值，校正目标的中心位置，同时更新目标的状态及方差阵， Kalman滤波器的预测结果用于设置下一帧图像搜索窗口的中心位置。(3).将目标位置输出给轨迹预报程序，与跟踪程序同时做下一帧目标位置的预 报。 (4).根据方程《 =
aU))，Pu(y0)^o
m
Yj^u ‘凡(少o) = 0 and qu^0
求遮挡因子
otherwise (5).根据设定的阈值判断目标被遮挡情况若a小于此阈值，返回步骤2继续下 一帧计算；若a大于此阈值，Kalman滤波器停止工作，跟踪转换为基于最小二乘支持向量
4机的轨迹预报，利用前一段时间MeanShift收敛点的位置用最小二乘支持向量机预测下一 帧可能起始点的值，然后在该起始点邻域内利用MeanShift目标预测算法对当前帧目标的 位置进行搜索(a)若未发现目标，继续进行基于最小二乘支持向量机的轨迹预报，若搜索超过已 设定的帧数仍未发现目标则认定跟踪失败；(b)若发现目标，继续启用MeanShif目标跟踪算法和Kalman滤波器进行跟踪，并 更新Kalman滤波器状态，返回步骤(2)开始下一帧计算。本发明还可以包括目标跟踪过程中，利用最小二乘支持向量机，将1到t_l时刻的轨迹坐标作为输 入，将本时刻t的坐标作为输出，训练最小二乘支持向量机，时刻修正最小二乘支持向量机 模型。其有益效果在于与现有目标跟踪方法相比，本发明将基于最小二乘支持向量机 LSSVM的轨迹预测融入MeanShift算法中，增强了算法的鲁棒性，保证了跟踪的稳定性，同 时解决了目标跟踪过程中由于大面积或全部遮挡造成的跟踪效果变差和目标丢失问题。
图1为目标跟踪与轨迹预报转换流程图。 图2为LSSVM预测目标u轴轨迹预测值与真实值的对比图。 图3为LSSVM预测目标v轴轨迹预测值与真实值的对比图。
具体实施例方式下面对本发明具体技术方案作进一步说明。1、MeanShift目标跟踪算法MeanShift目标跟踪算法是一种非参数的密度估计算法，由起始帧为被跟踪目标 建立直方图分布，用同样的方法计算第N帧对应的直方图分布，以两个分布的相似性最大 为原则。(1)目标区域距离加权建模假设模板中各个像素点为felu，模板中心是y。定义函数b :h2 — {1，. . .，m}，
像素点到模中心的归一化距离。k(x)是核函数，值越接近0，其值越大。S[x]是离散冲击 函数，当x = 0时其值为1，否则其值为0。由此可以得到如下计算模板直方图的公式(以
直方图中像素值为u的项为例，其中&为的归一化系数，使概率之和为1) 式中， (2)候选区域距离加权建模同目标区域距离加权建模相似，假设匹配对象中各个像素点为IxJh,..』，对象的 中心是y。对象的半径是h，则计算对象直方图的公式为(以直方图中像素值为u的项为例， 其中C为pu(y)的归一化系数，使概率之和为1) 式中， (3)目标与候选区域的相似性测度相似度采用Bhattacharyya系数表征，定义为
(3)可见，凡(力与分布越接近，p (y)值越大。由于归一化，当^^(力与I]礼
分布完全相同时，p (y)取得最大值1 ；否则，p (y)将介于0~1之间。(4)目标位置搜索为使p (y)达到最大，在当前帧中，以目标在上一帧中的位置yQ(目标区域的中 心位置)，作为目标在当前帧中的初始位置，然后在％邻域内寻找最优目标位置yi，使得 P (yi)最大。对(3)式在p(ytl)处进行泰勒展开，略去高阶项后相似性函数可近似为 式中， 由于式⑷中的第1项与y无关，为了使迭代得出的中心更接近实际的目标中心， 式(4)中的第2项必须要取最大值。通过MeanShift迭代可以使该项最大，即找到了最佳 中心。中心迭代公式如下
(6)2、融入Kalman滤波预测技术的MeanShift目标跟踪算法跟踪过程中，由于相邻两帧图像时间间隔较短，目标运动状态变化较小，可近似认 为目标在两帧图像时间间隔内做勻速运动，所以采用等速度运动模型，用Kalman滤波器预 测目标中心位置。定义状态向量A 凡,\，v%)T，观测状态向量Zk = (xk, yk)T，预测状态向量 尤=( ^，\,v)t)T。其中Xk，71;，\,丨分别表示目标中心在1轴和7轴上的位置和速度； x' k,y' pVyV；^分别表示Kalman滤波器预测的目标中心位置和速度。算法的核心思想是用MeanShift目标跟踪算法计算跟踪窗口的位置和大小，并把 窗口的中心位置作为Kalman滤波的测量值，校正目标的中心位置Zk，Kalman滤波器的预测 结果Xk+1/k用于设置下一帧图像搜索窗口的中心位置。3、遮挡因子在跟踪过程中，采用文献[10]中的遮挡因子来判断目标被遮挡程度。若yQ为当前目标位置，令 其中& G [1，①)，为遮挡程度参量。遮挡因子a G
，当0 < a < 1时，目 标被部分遮挡，a = 1时，目标被全部遮挡。设定一个阈值Y，如果a > Y，则判定目标 被大面积遮挡。4、基于最小二乘支持向量机LSSVM的目标轨迹预报技术当目标被遮挡时，采用最小二乘支持向量机LSSVM对目标轨迹预报。对于时间序列{X1，X2，X3，...，xn}，i= 1，2，...，n，{xn}为预报的目标值，将{x^， Xn-2' Xn-3' ，Xn-nJ 作为相关量，建立输入 X = {x^j, Xn_2, Xn_3, . . . , Xn_J 与输出 y = {xj 之 间的映射关系Rm — R，m为嵌入维数。在训练回归模型中，组成如下的训练样本对输入为Xl，x2，. . .，Xm，输出为Xm+1 ；输 入为x2，x3，. . .，Xm+1，输出为Xm+2，以此类推，由n个训练样本可以构建n-m个训练样本对，建 立初始训练模型。当模型训练完成后，对未来第一步的预报形式为 对未来第二步的预报形式为
后续各步以此类推，对未来第p步的预报形式为 式中，xn表示第n个数据的实际值，丸表示第n个数据的预报值。摄像机采集的图像为图像像素坐标，在图像上定义直角坐标系0。uv，原点0。在图像 平面的左上角，每一像素的坐标(U，v)分别是该像素在数组中的列数和行数，所以(u，v)是 以像素为单位的图像坐标系的坐标。目标轨迹预报是对目标的U轴和V轴坐标值预报。实施例摄像机采集图像分辨率为768 X 576的彩色图像。1、初始选定跟踪目标，Kalman参数初始化，根据Kalman状态方程和观测模型得状 态转移矩阵A和观测矩阵H为 式中，T是时刻tk与时刻tn的时间间隔。Kalman滤波分为预测和校正两阶段，首先初始化过程噪声方差矩阵Q、测量噪声 方差矩阵R、初始状态向量X(l和初始误差方差矩阵&，然后用预测状态向量X' k中的X' k， y' k分量设定MeanShift算法搜索窗口的中心位置，并把MeanShift算法输出的质心位置 作为测量值Zk校正预测状态向量X' k，得到X' k+1。试验中Q = diag(10101515)R = diag(0. 10. 2)P0 = diag(llll)。初始状态向量\中的X(1，y0分量取初始搜索窗口的中心位置，分量取零。根 据式⑴计算目标的量化直方图qu ；2、读取下一帧图像，计算当前帧方差Pk/吣目标状态Xkn，得到预测位置为ytl ；在 预测目标位置％处，利用MeanShift算法得到的目标窗口的中心位置作为Kalman滤波的 测量值Zk ；更新目标状态Xk/k及方差阵Pk/k，Xk/k即为当前帧目标窗口中心位置；3、跟踪时将目标位置输出给轨迹预报程序，与跟踪程序同时做下一帧目标位置的 预报；4、根据式(7)求遮挡因子a ；5、设定阈值Y = 0. 6，如果a < 0. 6返回步骤2开始下一帧的计算；如果a > 0. 6，Kalman滤波器停止工作，跟踪转换为基于LSSVM轨迹预报，在预报目标位置附近用 MeanShift算法搜索a.若无目标，继续预报，N帧以上则认为跟踪失败；b.若有目标，启用MeanShift算法和Kalman滤波器跟踪，并更新Kalman滤波器状 态，返回步骤2开始下一帧的计算。图2是用LSSVM预测目标u轴轨迹预测值与真实值的对比图。图中实线是实际值(线1)，点虚线是预测值(线2)。X轴表示预报步数，单位为帧；Y轴表示目标运动轨迹的u 轴坐标，单位为像素。 图3是用LSSVM预测目标v轴轨迹预测值与真实值的对比图。图中实线是实际值 (线1)，点虚线是预测值(线2)。X轴表示预报步数，单位为帧；Y轴表示目标运动轨迹的v 轴坐标，单位为像素。
权利要求
一种抗遮挡目标轨迹预测跟踪方法，其特征是具体步骤如下(1).初始选定跟踪目标，Kalman参数初始化，计算目标的量化直方图；(2).读取图像，用MeanShift算法计算跟踪窗口的位置和大小，并将窗口的中心位置作为Kalman滤波的测量值，校正目标的中心位置，同时更新目标的状态及方差阵，Kalman滤波器的预测结果用于设置下一帧图像搜索窗口的中心位置；(3).将目标位置输出给轨迹预报程序，与跟踪程序并行做下一帧目标位置的预报；(4).根据方程求遮挡因子α；(5).根据设定的阈值判断目标被遮挡情况若α小于此阈值，返回步骤2继续下一帧计算；若α大于此阈值，Kalman滤波器停止工作，跟踪转换为基于最小二乘支持向量机的轨迹预报，利用前一段时间MeanShift收敛点的位置用最小二乘支持向量机预测下一帧可能起始点的值，然后在该起始点邻域内利用MeanShift目标预测算法对当前帧目标的位置进行搜索(a)若未发现目标，继续进行基于最小二乘支持向量机的轨迹预报，若搜索超过已设定的帧数仍未发现目标则认定跟踪失败；(b)若发现目标，继续启用MeanShif目标跟踪算法和Kalman滤波器进行跟踪，并更新Kalman滤波器状态，返回步骤(2)开始下一帧计算。FSA00000121970700011.tif
2.根据权利要求1所述的一种抗遮挡目标轨迹预测跟踪方法，其特征是在目标跟踪过 程中，利用最小二乘支持向量机，将1到t-Ι时刻的轨迹坐标作为输入，将本时刻t的坐标 作为输出，训练最小二乘支持向量机，时刻修正最小二乘支持向量机模型。
全文摘要
本发明涉及计算机视觉和模式识别技术领域，提出了一种抗遮挡目标轨迹预测跟踪方法。本发明包括选定目标，Kalman参数初始化，计算量化直方图；读取图像，计算跟踪窗口的位置和大小，校正目标的中心位置，设置下一帧图像搜索窗口中心位置；轨迹预报程序进行目标位置预报；求遮挡因子；根据被遮挡情况选择Kalman滤波器工作或转换为基于最小二乘支持向量机的轨迹预报预报过程中若超过已定帧数仍未发现目标则认定跟踪失败；若发现目标，继续启用MeanShif目标跟踪算法和Kalman滤波器进行跟踪等。该方法能准确跟踪经过大面积遮挡后重新出现的目标，具有良好的实时性和抗干扰能力。
文档编号G06K9/66GK101853511SQ20101017289
公开日2010年10月6日 申请日期2010年5月17日 优先权日2010年5月17日
发明者傅荟璇, 刘胜, 孙枫, 李冰 申请人:哈尔滨工程大学