专利名称：针对目标尺度变化的视觉目标跟踪方法
技术领域：
本发明涉及的是一种计算机视觉领域中的视觉目标跟踪方法。具体地说，涉及的是针对目标尺度变化的视觉目标跟踪方法。
背景技术：
视频目标跟踪是对图像序列中视觉目标的位置进行估计，它一直是计算视觉中的热点课题。常常需要借助目标本身具有的边缘、颜色及纹理等特征来对目标进行识别并跟踪。除了对目标位置的确定外，尺度大小的估计也非常重要。它们间的关系就如蛋和鸡的关系。目标尺度估计过大或过小影响目标定位的精度，反过来，位置的估计偏差也影响尺度估计。视觉目标跟踪方法大致分为两类，确定性方法和统计性方法。Meanshift跟踪器 [D. Comaniciu,V. Ramesh,and P. Meer. Real-time tracking of non-rigid objects usingmean shift. CVPR，pp. 142-149，2000.]是确定性方法的代表，它通过巴氏系数的一阶近似求取每次迭代的可变步长，即mean shift向量。它通过Pazen核窗口估计函数使得离散的直方图描述连续化。这个窗宽应该为目标当前大小但实际上该目标尺度大小未知。优点是计算简单，有效。不足是1)该算法本身没有窗口自适应的机制，需要借助外部的方法获得目标尺度° 如文[D. Comaniciu, V. Ramesh, and P. Meer. Real-time tracking of non-rigidobjects using mean shift. CVPR, pp. 142-149, 2000.]米用 ± 10% 窗口选取巴氏系数最大的那个。2)容易陷入目标的局部最小点，3)不能从目标丢失后恢复。粒子滤波[K.Nummiaroa, E. Koller-Meierb, and L. V. Gool. An AdaptiveColor-Based Particle Filter[J]. Image and Vision Computing, vol.21, pp. 99-110,2003.] [P.Perez, C.Hue, J. Vermaak and M.Gangnet, Color-Based ProbabilisticTracking, ECCV. pp. 661-675，2002.]为统计方法的代表，它通过维持多个假设目标来获得更多的鲁棒性，如实现目标跟丢后的恢复问题。它可以通过设计不同的采样策略来设计目标的搜索区域。它是利用一组带权重的粒子来近似目标位置及尺度的后验密度，可以处理非线性非高斯问题。它通过对目标位置及尺度变化进行采样得到多个粒子候选者，然后设计观测算法决定每个粒子候选者的似然度，从而根据MMSN或MAP准则估计目标的位置及尺度。这些文献利用颜色直方图特征为全局特征，而颜色直方图对目标旋转变化具有不变性。但因没有保留空间信息，对尺度变化不敏感。目标模板保存空间及颜色信息，它反映目标的空间信息，这有助于目标尺度大小估计。模板匹配的代价函数通常选取误差的平方和或归一化的互相关系数。但利用穷举法搜索无疑是耗时的，特征是对大的图像来说。因为除了位置搜索，尺度变化的搜索范围也很大。对目标更复杂的仿射运动就不现实了。[S. Baker and I. Matthews, Lucas-Kanade 20Yea rs On A Unifying Framework, IJCV, vol. 56 (3), pp. 221-255, 2004.]对误差的平方和这样的优化函数，以上一帧跟踪结果为初始值，通过梯度下降法迭代计算得到当前的位置，此为经典的Kanade-Lucas-Tomasi算法。当运动假定为平移运动时，就是一般的光流法。但对复杂的仿射运动，即存在尺度及旋转变化时，该算法就力不从心了。文[R. Liu, Z. Jing, H. Pan, A novel algorithm based on nonnegativeleast-square estimation for visual object tracking, Optical Engineering,51 (3),PP. 037201-1-037201-7,2012.]发现基于误差平方和的模板匹配可以从另外一个角度来解释。即模板可以用所用候选粒子对应区域的向量化信息线性表出，系数添加非负约束，也就是模板用这些候选者来线性拟合。所设计的优化目标函数为非负约束最小二乘问题，它对噪声具有一定的抑制作用。该估计系数可直接用来反映对应粒子的权重，无需引入观测参数。该文对目标的复杂运动如尺度变化、旋转运动等没有考虑到位。而粒子滤波通过对目标的尺度及旋转空间进行采样，得到多个候选目标，然后根据设计的观测似然函数，得到最优的结果。基于粒子滤波的目标仿射运动跟踪的常用方法是利用局部坐标集合以向量形式表示仿射变换，并确保传统粒子滤波方法在向量空间上的表述。然而，我们都知道仿射变换集合不是向量空间，而是一个具有Lie群结构的curved 空间。选择一个局部坐标集合及利用已有向量空间方法多半(more often than not)得到的结果依赖于局部坐标选取。更主要的是，这样一个基于局部坐标方法的性能很大程度上依赖于内在空间的几何有没适当考虑到。文[R. Liu, Z. Jing, H. Pan, A novel algorithm based on nonnegativeleast-square estimation for visual object tracking, Optical Engineering,51 (3),pp. 037201-1-037201-7,2012.]是基于向量空间的粒子滤波进行的，对复杂运动考虑不足。文[J. Kwon and F. C. Park, Visual tracking via particle filtering on the affinegroup,International Journal of Robotics Research,vol. 29,pp. 198-217, 2010]视2_D仿射运动的跟踪问题为Aff (2)空间上的滤波问题，Aff (2)空间上的滤波问题称为几何粒子滤波。在Aff (2)上的状态方程在几何上有非常好的定义。视觉跟踪问题是通过Aff (2)空间上的粒子滤波实现的。
发明内容
本发明的目的是针对现有技术的不足，提出的针对尺度变化的基于几何粒子滤波的视觉目标跟踪方法，主要创新点是模板基于候选粒子集的非负最小二乘估计在几何粒子滤波框架下的应用。它可以很好地对目标的尺度及旋转变化进行跟踪。本发明通过以下步骤来实现的第一步在初始帧，手动或通过检测方法得到目标子图像及初始状态。该子图像经过分辨率调整后，以列的方式堆成一个向量，记为t e Rd，作为模板。初始状态即仿射变换
C5 6
矩阵，为X11= €4#'(2)，其中Gtl为2X2的可逆实矩阵，eQ GR2为平移向量。置N
L
I
个粒子X丨,=Xq We =万》第二步粒子传播或预测。在第k帧，对上一帧粒子集根据一阶自回归运动
V ' I
方程Xt =Xm *exp(AM.Ajm =0 ο§(χ,;ι,χλ ,)得到 N 个新粒子0第三步粒子权重估计对每个粒子对应区域提取特征，即向量化的灰度或RGB特征,记为I； 模板t用候选特征{切二线性近似表出 利用非负最小二乘方法求解。每个粒子对应的权重为=PI a第四步:重采样。对丨重采样得到
权利要求
1.一种针对目标尺度变化的视觉目标跟踪方法，其特征在于包括步骤如下 第一步在初始帧，手动或通过检测方法得到目标子图像及初始状态；该子图像经过分辨率调整后，以列的方式堆成一个向量，记为t e Rd，作为模板；其中，初始状态即仿射变 换矩阵，为
2.根据权利要求I所述的针对目标尺度变化的视觉目标跟踪方法，其特征是，在第一步中，通过人工或自动方法得到目标模板及仿射变换的初始粒子集合
3.根据权利要求I所述的针对目标尺度变化的视觉目标跟踪方法，其特征是，在第二步中，所述的在Aff (2)上的一阶自回归运动模型，即预测模型，以此对上一帧粒子集进行传播。
4.根据权利要求I所述的针对目标尺度变化的视觉目标跟踪方法，其特征是，在第三步中，利用目标模板特征在候选特征张成的空间上的非负投影系数来估计粒子权重，即
5.根据权利要求I所述的针对目标尺度变化的视觉目标跟踪方法，其特征是，在第四步中，通过重采样去除权重小的粒子,复制权重大的粒子。
6.根据权利要求I所述的针对目标尺度变化的视觉目标跟踪方法，其特征是，在第五步中，采用最小平方误差估计目标状态，即样本的均值就为目标的状态，所述均值是在Aff (2)上的均值。
全文摘要
本发明涉及的是一种计算机视觉领域中的视觉目标跟踪方法。具体地说，涉及的是针对目标尺度变化的视觉目标跟踪方法。1)在几何粒子滤波框架内，在Aff(2)空间中定义目标的仿射变换，建立目标仿射变换的一阶自回归运动模型。2)对目标的观测模型采用模板的向量化特征用候选区域的向量化特征线性近似表出，系数受非负性约束。所得到的优化问题就是非负最小二乘问题。表出的系数反映候选者与目标模板的相似性，因此可用于定义候选目标的观测似然度。最后跟踪结果利用在Aff(2)空间上定义的样本均值来计算得到。本发明可以对目标在存在尺度或旋转变化时进行较好的跟踪。
文档编号G06T7/00GK102881012SQ20121032439
公开日2013年1月16日 申请日期2012年9月4日 优先权日2012年9月4日
发明者敬忠良, 刘荣利, 王勇 申请人:上海交通大学