专利名称：基于均值偏移的视频目标跟踪方法
技术领域：
本发明涉及一种视频目标跟踪的方法，尤其涉及一种快速的、鲁棒性较强的基于 Mean Shift的视频目标跟踪方法，属于物体识别和跟踪领域。
背景技术：
视频目标跟踪在安全监控、汽车辅助驾驶、人体运动分析以及视频压缩等领域有 着广泛应用。由于视觉目标本身及周边环境复杂多变，因此获得鲁棒而高效的跟踪方法目 前仍旧是计算机视觉中一个极具挑战性的研究课题。视频目标跟踪就是利用图像处理、模式识别的方法发现视频序列中与指定目标图 像最相似的部分，是计算机视觉领域内的一个典型问题。根据当前研究，跟踪方法可以简单 的分为基于假设的跟踪方法和基于特征的跟踪方法。基于假设的跟踪方法，通过分析被跟 踪物体和背景环境的特殊性，找到一些可以利用的条件作为假设，根据这些假设条件，对跟 踪问题进行建模，获得对目标的跟踪。这种方法具有较高的准确性，但是算法需要大量的采 样，实时性略低于基于特征的跟踪方法。选择一种好的特征可以很好地表示一个物体。基于特征的跟踪方法，则是通过在 连续帧图像中检测关于目标的制定特征来完成对目标的跟踪。基于特征的跟踪方法计算量 小，实时性高。Mean Shift算法就是典型代表。Mean Shift (均值偏移)是一种无参密度估计方法，是由Fukunage和Hostetler 在1975年一篇关于概率密度梯度函数的估计中提出来的。Comaniciu等人首先将Mean Shift算法应用到目标跟踪来，把跟踪问题近似为一个MeanShift最优化问题，使得跟踪 可以实时进行。文志强，蔡自兴在前人的基础上近一步论证Mean Shift算法具有收敛性。 Mean Shift跟踪方法具有快速模板匹配和无参数密度估计等优点，被广泛用于跟踪领域。 传统的Mean Shift跟踪方法是基于跟踪目标的空间色彩直方图特征来实现目标的识别与 跟踪的。但在跟踪目标出现尺度变化、物体遮挡、旋转、噪声干扰、光照变化等复杂情况下， 空间色彩直方图便无法显著区分颜色相近的背景和目标，这时Mean Shift跟踪方法会出现 跟踪误差，甚至跟踪丢失。因为传统Mean Shift不能完全解决这些问题，又有人提出了基 于边缘方向直方图的Mean Shift视频目标跟踪方法，解决跟踪目标尺度变化问题，但是没 有考虑到跟踪目标的旋转问题。
发明内容
本发明的目的是提供一种基于Mean Shift的视频目标跟踪方法，以解决传统的 Mean Shift方法在跟踪目标出现尺度变化、旋转、噪声干扰等复杂情况下，无法得到准确的 跟踪结果这一难题，不仅在运算速度上达到实时性的要求，同时也解决了跟踪准确性的问 题，具有很强的鲁棒性。为了达到以上目的，本发明采用的技术方案是一种基于Mean Shift的视频目标 跟踪方法，首先根据尺度不变特征变换(Scale Invariant FeatureTransform, SIFT)算子计算跟踪目标附近的关键点位置和尺度，并获取该尺度空间下关键点邻域的特征向量， 接着根据关键点邻域的特征向量得到目标区域的模值-方向分布直方图用以来表示目标 区域，最后使用Mean Shift算法对目标区域进行跟踪；所述用目标区域的特征向量的模 值-方向分布直方图跟踪目标的方法为，在标定所需要跟踪的目标以后，按下列步骤处理[1]将一幅图像通过不同尺度的高斯核函数滤波，形成高斯金字塔图像。并将相邻 尺度的两个高斯图像相减得到高斯差分金字塔多尺度空间。[2]首先运用SIFT算子在尺度空间进行特征检测，确定跟踪目标的关键点，并确 定关键点的位置、尺度。然后使用关键点的邻域梯度方向为主方向作为该点的方向特征。[3]根据得到的关键点的位置、尺度、方向三个信息，确定一组特征向量区域。[4]根据确定的一组特征向量区域，提取到目标区域的特征向量的模值-方向分 布直方图。[5]基于提取到的特征向量的模值-方向分布直方图，运用Mean Shift算法实现 对目标的跟踪。上述技术方案中，所述步骤[1]中的高斯差分金字塔多尺度空间为把图像在不 同尺度的尺度空间可表为L(x, y, o ) = G(x, y, o ) XI(x, y)其中，x为图像中点的横坐标，y为图像中点的纵坐标，L(x，y，o)为变换后尺度空 间在点(X，y)的值，I(x, y)是图像在(x，y)处的灰度值，G(x, y，o )是二维高斯核函数， o代表了高斯正态分布的方差，定义为变化尺度。通过不同尺度的高斯高斯核函数滤波，形成高斯金字塔图像，相邻尺度的两个高 斯图像相减得到高斯差分金字塔多尺度空间。上述技术方案中，所述步骤[2]中的确定跟踪目标的关键点，首先应该构造高斯 金字塔和高斯差分金字塔，然后对高斯差分金字塔尺度空间每个点与相邻位置的点逐个进 行比较，得到局部极值位置，即得到关键点所处的位置和对应的尺度。由于高斯差分算子会 产生较强的边缘响应，必须去除低对比度的关键点和不稳定的边缘响应点，以增强跟踪稳 定性、提高抗噪声能力。上述技术方案中，所述步骤[2]中的确定关键点的方向，利用关键点邻域像素的 梯度方向分布特征为每个关键点指定方向参数，使算子具备旋转不变性。其中，x为图像中点的横坐标，y为图像中点的纵坐标，m(x，y)为(x，y)处的模值 公式，0 (x,y)为(x，y)处的方向公式。其中L所用的尺度为每个关键点各自所在的尺度。 在以关键点为中心的邻域窗口采样，并用直方图统计邻域像素的方向，取直方图的峰值所 对应的方向为关键点的方向。上述技术方案中，所述步骤[3]中的确定一组特征向量区域，是在确定关键点以
后，将坐标轴旋转为关键点的方向，以确保旋转不变性。再以关键点为中心取8X8的窗口， 得到每个像素点的方向和模值，这样一个关键点可以产生64个数据，最终形成64维的模 值-方向向量。上述技术方案中，所述步骤[4]中的目标区域的特征向量的模值-方向分布直方 图，是将方向的取值范围分为n等份，以便将方向量化。假设n = 8，即将方向分为8等份， 那么根据像素点的方向和模值，可以将目标区域内的特征点附近的像素点划分到所属的方 向范围内，从而形成特征向量的模值-方向分布直方图。上述技术方案中，所述步骤[5]中的实现对目标的跟踪，是用目标区域的模值-方 向分布直方图来表示运动目标。首先计算出来待跟踪目标的模值-方向分布直方图，然后 在下一帧视频图像候选区域的模值-方向分布直方图，比较得出目标区域和候选区域模 值-方向分布直方图的差值，如果差值在允许范围之内，则跟踪成功，否则根据差值确定下 一个候选区域，继续匹配其他候选区域，直到跟踪成功为止。上述技术方案中，所述步骤[5]中的实现对目标的跟踪，定义两个模值-方向分布 直方图之间的Bhattacharrya系数为相似度衡量指标，Bhattacharrya系数越大，两个物体 越相似。由于上述技术方案的运用，本发明与现有技术相比具有下列优点1.本发明利用SIFT算法提取到得特征向量具有(1)对旋转、尺度缩放、亮度变化 保持不变性；(2)独特性好，信息量丰富；(3)高速性，信息多量性和可扩展性等特征，结合 Mean Shift实现对目标物体的跟踪。2.实验证明，本发明的基于Mean Shift的视频目标跟踪方法是可行的，并且鲁棒 性较高。在跟踪目标尺度发生变化，或者发生旋转的情况下，也能实现很好的跟踪效果。3.本发明的抗噪性很好，在有噪声的情况下，能够对目标实现正确的跟踪，该发明 还能在跟踪目标被遮挡的情况下正确的跟踪目标，不会出现目标丢失的情况。4.本发明在安全监控、汽车辅助运动、人体运动分析和机器人视觉等领域有着广 阔的应用前景和发展潜力。实时性较好，Mean Shift算法具有较快的收敛性，应用于上述 系统中时，能够提高目标跟踪的效率和准确性。
附图1本发明实施例中基于Mean Shift的视频目标跟踪方法的流程图；附图2实施例中高斯金字塔和高斯差分金字塔图；附图3实施例中关键点邻域中的特征向量方向；附图4实施例中特征向量方向分布直方图，其中，(a)小尺度图像，(b)大尺度旋转 图像，(c)特征向量分布直方图；附图5实施例中序列图像迭代曲线图，其中，(a)基于SIFT-Mean Shift跟踪方法 的效果图，(b)序列图像加入椒盐噪声后基于SIFT-Mean Shift跟踪方法的效果图；附图6实施例中有噪声情况下跟踪效果图，其中，(a)基于空间色彩直方图的Mean Shift跟踪方法效果图，(b)基于SIFT-Mean Shift跟踪方法效果图；附图7实施例中有遮挡情况下跟踪效果图。
具体实施例方式为了更好的理解本发明的技术方案，下面结合附图及实施例对本发明作进一步描述实施例图1为本发明实施的基于Mean Shift的视频目标跟踪方法的流程图，数 据文件为包含运动目标的视频文件。方法如下(1)构建高斯金字塔图像和差分金字塔尺度空间根据特征点提取的要求，我们 首先要对读入的视频图像构建高斯金字塔图像，将一幅二维图像在不同尺度的尺度空间可 表示为 其中，X，y分别为图像中点的横坐标和纵坐标，I (X，y)是图像在(X，y)处的灰度 值，G(x，y，o)是二维高斯核函数，o代表了高斯正态分布的方差，定义为变化尺度。如图 2所示，图像通过不同尺度的高斯核函数滤波，形成高斯金字塔图像。相邻尺度的两个高斯 图像相减得到高斯差分(DOG :Difference-of-Gaussian)金字塔多尺度空间。(2)确定关键点对高斯差分金字塔尺度空间每个点与相邻位置的点逐个进行比 较，得到局部极值位置即为关键点所处的位置和对应的尺度。由于高斯差分算子会产生较 强的边缘响应，必须去除低对比度的关键点和不稳定的边缘响应点，以增强跟踪稳定性、提 高抗噪声能力。(3)确定关键点的方向本方法利用关键点邻域像素的梯度方向分布特征为每个 关键点指定方向参数，使算子具备旋转不变性。
—(、lmx+l,y)-L(x-l,y))2 其中，x、y分别为变换空间中点的横坐标和纵坐标，m(x, y)为(x，y)处的模值公 式，0 (X，y)为(X，y)处的方向公式。其中L所用的尺度为每个关键点各自所在的尺度。 在以关键点为中心的邻域窗口采样，并用直方图统计邻域像素的方向，取直方图的峰值所 对应的方向为关键点的方向。(4)确定一组特征向量区域经过以上步骤，每个关键点具有三个信息位置、 所在尺度、方向。由此可以确定一组特征向量区域。如图3所示，首先将坐标轴旋转为关 键点的方向，以确保旋转不变性。再以关键点为中心取8X8的窗口，对于每个像素点，运 用步骤(3)中的公式得到像素点的方向e (x，y)和模值m(x，y)，将方向的取值范围分 成n等份，以便将方向量化。假设n = 8 (n值越大跟踪越精确，时间复杂度越高)，即各
个取值区间为f&，fR + 1)其中k = 0，l，...，7。对每个0 (x，y)进行量化计算，若
LJ 9
则e (x,y)对应量化后的值k+i。今后用e (x,y)代表像素点量化
后的方向值。黑色箭头代表像素的模值方向，箭头的长度代表像素点的模值。一个关键点就可以产生64个数据，最终形成64维的模值-方向特征向量。每个特征向量可表示为<x， 1，e，m>，其中(x，y)代表特征向量所属关键点的位置，0代表方向，m为归一化模值。此 时模值-方向向量已经去除了尺度变化、旋转等几何变形因素的影响。如图4所示，图4(b) 是图4(a)顺时针旋转35度，焦距扩大两倍后得到的。图中箭头的出发点表示跟踪物体的 关键点位置，图4(c)为两个跟踪物体特征向量的方向分布直方图，从图中可以看到两个直 方图分布具有很大的相似性。这证明本方法对尺度变化、旋转等几何因素具有鲁棒性。(5)确定目标区域内的特征向量的模值-方向分布直方图以e为直方图的横坐 标生成直方图h = {Ht 11 = 1，2，. . . T}，其中，t表示直方图被几等分，Ht表示模值_方向特 征在第t个区间中的特征点个数。 其中，5 [x]是离散冲击函数。 e (i，j)代表跟踪目标上的第i个关键点附近的第j个像素点的方向，c为归一化 系数。对彩色图像来说，可以将每个颜色通道分别运用上述方法计算即可。(6)使用Mean Shift算法实现跟踪用目标区域的模值_方向分布直方图来表 示运动目标。首先计算出来待跟踪目标的模值_方向分布直方图，然后在下一帧视频图像 候选区域的模值-方向分布直方图，比较得出目标区域和候选区域模值_方向分布直方图 的相似度，定义两个模值-方向分布直方图之间的Bhattacharrya系数(巴氏系数)为相 似度衡量指标，Bhattacharrya系数越大，两个物体越相似。如果相似度在允许范围之内， 则跟踪成功，否则根据两个模值-方向分布直方图之间的差值确定下一个候选区域，继续 匹配其他候选区域，直到跟踪成功为止。如图5所示，本跟踪方法在视频中混入椒盐噪声 时，也能够准确的实现运动目标的跟踪，这证明本方法具有很强的抗噪性。本方法对遮挡具 有很好的鲁棒性，如图6所示，在跟踪目标被遮挡的情况下，传统的基于空间色彩直方图的 Mean Shift目标跟踪方法会出现跟踪丢失或跟踪不准确的情形，而本方法在出现遮挡的情 况下能够实现对于运动目标的正确跟踪。同时，本方法能够提高跟踪目标的速度，减少Mean Shift算法的迭代次数，如图7所示，传统的基于空间彩色直方图的Mean Shift方法平均迭 代次数为2. 23次，本方法的平均迭代次数为1. 54次，从而提高了跟踪的速度。
权利要求
一种基于Mean Shift的视频目标跟踪方法，读入包含待跟踪目标的视频图像，确定跟踪目标区域并获取其特征，基于该特征采用Mean Shift算法在视频图像序列中进行跟踪，其特征在于获取跟踪目标区域特征的方法是，根据尺度不变特征变换算子计算跟踪目标区域的关键点位置和尺度，并获取该尺度空间下关键点邻域的特征向量，用跟踪目标区域内的特征向量的模值 方向分布直方图表示该目标；具体跟踪的方法为，在标定所需要跟踪的目标以后，按下列步骤处理[1]将一幅视频图像通过多尺度的高斯核函数滤波，形成高斯金字塔图像，并将相邻尺度的两个高斯图像相减得到高斯差分金字塔多尺度空间；[2]运用尺度不变特征变换算法在尺度空间进行特征检测，确定跟踪目标的关键点；[3]对每一个关键点，确定关键点的位置、尺度，然后使用关键点的邻域梯度方向为主方向作为该点的方向特征，根据得到的关键点的位置、尺度、方向三个信息，确定一个特征向量区域；[4]根据各个关键点可以确定一组特征向量区域，根据确定的这组特征向量区域，提取到目标区域的特征向量的模值 方向分布直方图；[5]基于提取到的特征向量的模值 方向分布直方图，运用Mean Shift算法实现对目标的跟踪。
2.根据权利要求1所述的基于MeanShift的视频目标跟踪方法，其特征在于所述步 骤[1]中的高斯差分金字塔多尺度空间为把图像在不同尺度的尺度空间中，通过不同尺度 的高斯核函数滤波，形成高斯金字塔图像，相邻尺度的两个高斯金字塔图像相减得到高斯 差分金字塔多尺度空间。
3.根据权利要求1所述的基于MeanShift的视频目标跟踪方法其特征在于所述步 骤[2]中的确定跟踪目标的关键点，是对高斯差分金字塔尺度空间每个点与相邻位置的点 逐个比较，得到局部极值位置，该位置对应的点即为关键点。
4.根据权利要求1所述的基于MeanShift的视频目标跟踪方法，其特征在于所述步 骤[3]中的确定一个特征向量区域，是在确定关键点以后，将坐标轴旋转为关键点的方向， 以确保旋转不变性，再以关键点为中心取nXn的窗口，得到每个像素点的方向和模值，这 样一个关键点可以产生n2个数据，最终形成n2维的模值_方向向量，根据模值-方向向量 得到以方向为横坐标的直方图，其中，n为大于或等于6的整数。
5.根据权利要求1所述的基于MeanShift的视频目标跟踪方法，其特征在于所述步 骤[5]中的运用Mean Shift算法实现对目标的跟踪，是用目标区域的模值-方向分布直方 图来表示运动目标，首先计算出待跟踪目标的模值-方向分布直方图，然后在下一帧视频 图像候选区域的模值-方向分布直方图，比较得出目标区域和候选区域模值-方向分布直 方图的差值，如果差值在允许范围之内，则跟踪成功，否则根据差值确定下一个候选区域， 继续匹配其他候选区域，直到跟踪成功为止，差值的允许范围根据跟踪精度要求确定。
全文摘要
本发明公开了一种基于Mean Shift的视频目标跟踪方法，先提取跟踪目标的SIFT特征，然后用Mean-Shift算法对目标的SIFT特征进行匹配，从而实现对目标的跟踪。本方法充分利用SIFT所具有的对旋转、尺度缩放、亮度变化保持不变性，对噪声具有很好的抗干扰性等特征。本发明不仅考虑到算法的实时性，同时也能很好的解决尺度变换、物体遮挡、旋转、光照变化等问题。这一技术在安全监控、汽车辅助运动、人体运动分析和机器人视觉等领域有着广阔的应用前景和发展潜力，可以提高目标跟踪的实时性和准确性。
文档编号G06T7/20GK101924871SQ20101011065
公开日2010年12月22日 申请日期2010年2月4日 优先权日2010年2月4日
发明者吴健, 崔志明, 陈建明 申请人:苏州大学