专利名称：一种针对视频运动目标的尺度方向自适应Mean-shift跟踪方法
技术领域：
本发明属于机器视觉、视频图像处理领域，特别涉及尺度方向自适应的 Mean-shift跟踪方法，主要用于智能监控系统中。
背景技术：
运动目标跟踪是智能视频监控的关键步骤，在交通监测、公共安防等系统中均有 广泛应用。其主要目的是在视频序列的每一帧中定位感兴趣的运动目标，进而提炼目标的 运动参数，如质心轨迹、方向变化、尺度变化等。Mean-shift算法最初由文献⑴提出，是一种无参密度梯度上升算法，用于寻找概 率密度函数的极值。2003年Comaniciu等2将其应用于目标跟踪，以目标色彩直方图作 为特征，以巴氏系数作为相似性度量，以Mean-shift迭代方式定位目标，实时性、有效性甚 好，获得广泛推崇。Mean-shift跟踪方法中尺度、方向自适应机制一直是重要问题。传统的 Mean-shift算法采用固定带宽和方向的核函数，不能自适应跟踪目标的缩放、旋转等多自 由度变化，且容易导致定位不准。当所选择的带宽过大时，所提取的候选区域特征概率分布 将包含背景干扰，影响定位；反之，则只能获得目标局部的特征概率分布，同样会导致定位 误差。运动物体往往具有长短轴，通常情况下需采用椭圆拟合目标区域，当物体发生旋转 时，如果椭圆区域没有随之改变方向，则定位将受干扰。一些学者针对该问题也提出一些解决方案=Collins3在二维空间的基础上增加 一维尺度空间，进行三维Mean-shift迭代求取极值点，计算量较大，且本质上同文献2；文 献4采用带宽矩阵替代单一的带宽变量后再进行迭代，可以同时求取尺度、方向信息，但本 质上也同文献2;文献5提出一种后向跟踪、形心配准的尺度自动选取算法，用于解决目标 不断变大时Mean-shift定位不准的问题，但是通常目标尺度变化未知，如果目标尺度正当 变小，则用文中算法将导致后向跟踪定位不准，从而给前向跟踪带来根本性误差。SIFT (Scale Invariant Feature Transform)特征检测是近年较为流行的一种点 特征提取方法。SIFT算法依据其提出的DOG (Difference of Gaussian)算子6提取图像 在不同尺度上的特征点，并利用特征点邻域内采样点的梯度信息构成特征描述符。其对图 像旋转、缩放、仿射变换、光照变化等均保持一定不变性，独特性、稳定性较好，精度较高，常 用于图像配准、图像检索、目标跟踪。SIFT特征检测过程中可产生两个中间产物特征点所在尺度以及特征点主方向。 目前基于SIFT特征的目标跟踪方法往往仅利用SIFT特征描述符以及特征点位置信息，而 忽略了特征点所在尺度以及特征点主方向信息这两个信息。SIFT特征点的尺度参数对应于其所采用的高斯滤波函数的均方差参数。对视频序 列中的一个运动目标，当摄像机与其距离较远时，目标成像较小，此时利用较小的尺度参数 即可获得目标的轮廓概貌特征，或者说轮廓概貌特征处于较小的尺度参数上；随着距离减小，目标成像越来越大，细节信息也将越来越多，需要较大的尺度参数才能获取到轮廓概貌 特征，相对之前，轮廓概貌特征位于一个更大的尺度参数上，不仅是轮廓概貌特征，随着距 离拉近，目标上所有特征所处的尺度都将相应增大。因此，视频序列中目标的尺度变化与目 标上某一特征所在尺度的变化应存在一定联系。这种联系将有助于利用SIFT特征点尺度 变化进行目标尺度自适应检测。SIFT特征点邻域梯度信息用于构建特征点主方向。通过构建特征点邻域内所有像 素的梯度方向直方图，寻找其峰值作为该特征点的主方向。确定主方向后，特征描述符中的 梯度方向信息将以此为标杆，从而保证SIFT特征的旋转不变性。显然，特征点主方向变化 与目标旋转角度一致。参考文献1、Fukunaga K, Hostetler L. Estimation of gradient of a density-function with applications in pattern recognition[J]. IEEE Trans on Information Theory, 1975,21(1) :32-40.2、Comaniciu D., Ramesh V, Meer P. Kernel-based object tracking[J]. IEEE Trans on Pattern Analysis and Machine Intelligence,2003,25(5) :564-577.3、Collins R T. Mean-shift blob tracking through scale space[C]. Proc of IEEE Computer Society Conf on Computer Vision and Pattern Recognition. Washington DC,2003 :234-240.4、Qi S M, Huang X W. Hand tracking and gesture gecogmton by anisotropic kernel mean shift[C]Proc of Int Conf on Neural Networks and Signal Processing. China =ZhenJiang,2008 :581-585.5、彭宁嵩，杨杰.Mean-Shift跟踪算法中核函数窗宽的自动选取[J].软件学报， 2005，16(9) :1542-1550.6、Lowe D G. Distinctive image features from scale-invariant keypoints[J], Int J of Computer Vision,2004,60(2) :91-110.
发明内容
本发明的目的在于针对现有的Mean-shift跟踪方法的不足，提出一种针对视 频运动目标的尺度方向自适应的Mean-shift跟踪方法，挖掘SIFT特征信息用于调整 Mean-shift算法中核函数的带宽和方向，实现对运动目标位置位移、尺度变化、方向变化的 多自由度联合跟踪。本发明通过以下技术方案实现针对视频运动目标的尺度方向自适应的 Mean-shift跟踪方法在视频序列的图像帧中，先通过Mean-shift算法为SIFT特征检测提供预测区域， 缩小搜索范围；再利用SIFT特征检测时获得的当前帧特征点相对于参考帧特征点的尺度变化信 息，来跟踪目标尺度变化；利用SIFT特征检测时获得的当前帧特征点相对于参考帧特征点的主方向变化信 息，来跟踪目标旋转运动；
将所获得的所述目标尺度和目标方向用于调整Mean-shift算法中核函数的带宽 和方向，重新进行Mean-shift跟踪，对目标位置进行更新求精的定位；当目标尺度变化超过一定阈值时，则进行参考帧目标模板直方图和SIFT特征点 集的更新；具体步骤如下1)目标初始化将初始帧作为参考帧，以其初始的尺度和方向参数构建目标色彩 直方图分布，作为Mean-shift跟踪的模板；构建参考帧的目标SIFT特征点集，作为SIFT特 征点匹配的模板；2)目标位置预测根据前一帧中计算得到目标的尺度和方向信息，在当前帧中进 行基于色彩直方图分布的Mean-shift跟踪，初步对目标进行定位；3) SIFT特征匹配以第2)步中Mean-shift初步定位结果为中心，利用前一帧的 目标的尺度和方向信息构建目标预测区域，在此区域中进行SIFT特征检测，并将检测结果 与参考帧的SIFT特征点集进行匹配；4)目标尺度修正根据第3)步得到的SIFT特征点匹配对，计算每个特征点的尺 度变化比例，统计该信息，排除误匹配对的干扰，计算当前帧目标尺度；5)目标方向修正根据第3)步得到的SIFT特征点匹配对，计算每个特征点的主 方向旋转角度，统计该信息，排除误匹配对的干扰，计算当前帧目标方向；6)目标精确定位利用第4)步获得的目标尺度和第幻步获得的目标方向，重新 进行Mean-shift跟踪，对目标位置进行更新求精的定位；7)参考帧更新当目标尺度变化超过阈值时，触发参考帧更新如果当前帧跟踪结果中目标色彩直方图和原参考帧直方图的相似性即巴氏系数 大于设定的阈值！^，则将当前帧设置为新的参考帧，根据当前帧目标位置、尺度和方向计算 结果重新构建模板直方图qu和模板SIFT特征点集F ；巴氏系数不大于设定的阈值，则继续进行Mean-shift跟踪。本发明有益效果是在Mean-shift跟踪方法框架内，结合SIFT特征检测技术，实 现目标位置、尺度、方向的多自由度跟踪，其主要特点是利用SIFT特征点检测过程中的 尺度和主方向两个中间产物，解决传统的Mean-shift跟踪方法不能自适应调整核函数带 宽和方向的问题。SIFT特征检测在灰度域进行，其实代表的是图像纹理、结构的信息，而 Mean-shift跟踪方法采用目标的颜色直方图，二者结合是为目标完整的描述。得益于SIFT 特征检测算法高度的稳定性、独特性、高精度以及Mean-shift算法的高效率，本发明算法 可以取得较好效果。
图1本发明跟踪方法流程图；图2Mean-shift跟踪结果为SIFT特征检测提供的预测区域示意图；图3实际目标尺度变化与特征点尺度变化的关系示意图；图4本发明跟踪方法和文献2中算法跟踪效果对比示意图，分别截取3帧代表性 图像(照片)；其中图4(a)、4(b)、4(c)是本发明跟踪方法的处理结果，图4(d)、4(e)、4(f) 是文献2跟踪方法对应的处理结果。
图5本发明算法获得的目标的尺度变化示意图；图6本发明算法获得的目标的方向变化示意图；图7文献2Mean-shift算法获得的目标尺度变化示意图。
具体实施例方式下面结合附图与具体实施方式
对本技术方案作进一步说明。本发明跟踪方法流程如图1所示，详细实施方式如下1、构建目标色彩直方图模板qu，如式⑴所示；提取模板目标的SIFT特征点集F， 采用1 维的特征点描述符向量，并记录每个特征点i所在尺度参数σ mi和主方向Rmi。设 置目标位置、尺度、方向初始值分别为14和0m。假设目标横纵方向的半径长度分别为hx、 hy，则以目标横向半径长度代表目标尺度，即^11 = hx，在后续操作中先求解目标横向半径长 度hx，纵向半径长度可通过hx和hy的比值获得。
权利要求
1.一种针对视频运动目标的尺度方向自适应的Mean-shift跟踪方法，其特征在于 在视频序列的图像帧中，先通过Mean-shift算法为SIFT特征检测提供预测区域，缩小搜索范围；再利用SIFT特征检测时获得的当前帧特征点相对于参考帧特征点的尺度变化信息， 来跟踪目标尺度变化；利用SIFT特征检测时获得的当前帧特征点相对于参考帧特征点的主方向变化信息， 来跟踪目标旋转运动；将所获得的所述目标尺度和目标方向用于调整Mean-shift算法中核函数的带宽和方 向，重新进行Mean-shift跟踪，对目标位置进行更新求精的定位；当目标尺度变化超过一定阈值时，则进行参考帧目标模板直方图和SIFT特征点集的 更新；具体步骤如下1)目标初始化将初始帧作为参考帧，以其初始的尺度和方向参数构建目标色彩直方 图分布，作为Mean-shift跟踪的模板；构建参考帧的目标SIFT特征点集，作为SIFT特征点 匹配的模板；2)目标位置预测根据前一帧中计算得到目标的尺度和方向信息，在当前帧中进行基 于色彩直方图分布的Mean-shift跟踪，初步对目标进行定位；3)SIFT特征匹配以第2)步中Mean-shift初步定位结果为中心，利用前一帧的目标 的尺度和方向信息构建目标预测区域，在此区域中进行SIFT特征检测，并将检测结果与参 考帧的SIFT特征点集进行匹配；4)目标尺度修正根据第幻步得到的SIFT特征点匹配对，计算每个特征点的尺度变 化比例，统计该信息，排除误匹配对的干扰，计算当前帧目标尺度；5)目标方向修正根据第3)步得到的SIFT特征点匹配对，计算每个特征点的主方向 旋转角度，统计该信息，排除误匹配对的干扰，计算当前帧目标方向；6)目标精确定位利用第4)步获得的目标尺度和第幻步获得的目标方向，重新进行 Mean-shift跟踪，对目标位置进行更新求精的定位；7)参考帧更新当目标尺度变化超过阈值时，触发参考帧更新如果当前帧跟踪结果中目标色彩直方图和原参考帧直方图的相似性即巴氏系数大于 设定的阈值，则将当前帧设置为新的参考帧，根据当前帧目标位置、尺度和方向计算结果重 新构建模板直方图和模板SIFT特征点集；巴氏系数不大于设定的阈值，则继续进行Mean-shift跟踪。
2.根据权利要求1所述的针对视频运动目标的尺度方向自适应的Mean-shift跟踪方法，其特征是，所述步骤1)中，初始化时，构建的参考帧的目标色彩直方图分布qu，如式 ⑴
3.根据权利要求1所述的针对视频运动目标的尺度方向自适应的Mean-shift跟踪方 法，其特征是，步骤幻中Mean-shift跟踪的方法是利用前一帧获得目标尺度Slffev和方向 0PMV，采用式(2)计算当前帧中位置％处的色彩直方图分布Pu，如式(2):
4.根据权利要求1所述的针对视频运动目标的尺度方向自适应的Mean-shift跟踪方 法，其特征是，步骤幻中所述预测区域的构建方法为以Mean-shift预测的目标位置为中 心构建一椭圆，其主轴方向为Oprev，主半轴长为Sprev+Δ s，主副轴比例为hx/hy，Δ s是为提高 算法鲁棒性设置的增量。
5.根据权利要求1所述的针对视频运动目标的尺度方向自适应的Mean-shift跟踪方 法，其特征是，步骤4)、步骤幻中排除误匹配对采用的方法设特征点i在当前帧的尺度参数为Oei，对于oci/omi, i = 1,2,3,……1，1为 匹配上的特征点对数，如果
6.根据权利要求1所述的针对视频运动目标的尺度方向自适应的Mean-shift跟踪方 法，其特征是，利用当前帧特征点相对于参考帧特征点的尺度变化计算当前目标尺度S。，如 式(6)
7.根据权利要求1所述的针对视频运动目标的尺度方向自适应的Mean-shift跟踪方 法，其特征是，利用当前帧特征点相对于参考帧特征点的主方向变化计算当前帧目标方向 Oc，如式(7)
8.根据权利要求1所述的针对视频运动目标的尺度方向自适应的Mean-shift跟踪方 法，其特征是，步骤6)中Mean-shift跟踪的方法同步骤幻，但是采用步骤4)中获得的当前 帧目标尺度S。和步骤5)中获得的当前帧目标方向0。替代公式2)中的Spmv和0prev。
9.根据权利要求1所述的针对视频运动目标的尺度方向自适应的Mean-shift跟踪方 法，其特征是，模板直方图的更新，如式(8)
全文摘要
针对视频运动目标的尺度方向自适应的Mean-shift跟踪方法，在视频序列的图像帧中，先通过Mean-shift算法为SIFT特征检测提供预测区域，缩小搜索范围；再利用SIFT特征检测时获得的当前帧特征点相对于参考帧特征点的尺度变化信息，来跟踪目标尺度变化；利用SIFT特征检测时获得的当前帧特征点相对于参考帧特征点的主方向变化信息，来跟踪目标旋转运动；将所获得的所述目标尺度和目标方向用于调整Mean-shift算法中核函数的带宽和方向，重新进行Mean-shift跟踪；当目标尺度变化超过一定阈值时，则进行参考帧目标模板直方图和SIFT特征点集的更新；实现目标位置、尺度、方向多自由度跟踪。
文档编号G06T7/20GK102117487SQ201110045978
公开日2011年7月6日 申请日期2011年2月25日 优先权日2011年2月25日
发明者丁文, 吴聪, 张潇, 李勃, 江登表, 董蓉, 陈启美, 陈抒容, 顾昊 申请人:南京大学