的目标存在较大的尺度变化，图中从左到右分别是视频序 列的第1、40、60、120、170帧。图4a至图4c分别是采用本发明方法、传统的SIFT方法及传 统MeanShift方法对视频序列进行跟踪的结果图，其中输入的视频序列的目标存在遮挡， 图中从左到右分别是视频序列的第13、15、22、27、30帧。图5a是采用本发明方法与SIFT 方法及传统MeanShift方法的跟踪误差对比图；图5b是采用本发明方法与核函数带宽增 加± 10%增量的MeanShift方法及传统MeanShift方法的跟踪误差对比图；图5c是采 用本发明方法与SIFT方法即传统MeanShift方法的跟踪误差对比图。由上述对比图可以 看出，本发明对目标存在遮挡、快速运动及尺度变化等情况时均具有较强的跟踪鲁棒性。
[0120] 以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽 然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人 员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰 为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质 对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
【主权项】
1.基于特征匹配和Mean Shift算法的目标跟踪方法，其特征在于，包括以下步骤：输 入图像序列， 步骤1、采用基于RGB颜色模型的方法对图像序列进行背景重构，然后采用背景差分法 获得初始时刻的目标区域，并对初始时刻的目标区域采用Mean Shift算法进行建模，得到 初始时刻的目标区域模型； 步骤2、对初始时刻的目标区域模型进行SIFT特征提取，将初始时刻的目标区域模型 的SIFT特征点作为特征库的初始特征点； 步骤3、从图像序列中输入单帧图像，通过SIFT特征匹配计算当前帧目标的初始位置、 尺度参数和旋转参数，步骤如下： 步骤3-1、在当前帧的候选目标搜索区域提取SIFT特征点； 步骤3-2、将SIFT特征点与特征库中的特征点进行匹配，并消除误匹配对，获得正确匹 配对； 步骤3-3、采用仿射变换模型，通过正确匹配对计算当前帧的候选目标搜索区域与前一 帧初始时刻的目标区域模型之间的变换参数； 仿射变换矩阵目标区域与候选目标搜索区域间的点坐标变换关系其中，[x，y]T和[又订分别表示前一帧和当前帧匹配的点的坐标，HjPH5为前一帧初 始时刻的目标区域模型相对当前帧候选目标搜索区域的平移量，Η。、^、H3、H4为尺度参数和 旋转参数； 步骤3-4、利用目标区域和候选目标搜索区域间的点坐标关系计算当前帧目标的初始 位置以及相对于前一帧目标的尺度参数和旋转参数，进行目标初步定位； 步骤4、对当前帧目标进行精确定位； 步骤4-1、在步骤3-4获得的当前帧目标的初始位置处采用Mean Shift算法建立候选 目标模型； 步骤4-2、计算初始时刻的目标区域模型与候选目标模型的相似性系数P :其中，P(x_，y_)为候选目标模型的颜色特征概率密度分布，q为目标模型的颜色特 征概率密度分布，pu(X。％，y_)为候选目标模型在颜色特征值为u时的概率密度，q u表示目 标模型在颜色特征值为u时的概率密度，p(X(]，y。）为中心坐标在点（X(]，y。）处的目标模型 的颜色特征概率密度分布，Ch为候选目标模型在颜色特征值为u时的概率密度中的归一化 常数，Wi是权值系数，u为颜色直方图的颜色索引，（X。％，y_)为候选目标模型的中心坐标， (X' i，/ J为候选目标模型中第i个像素的坐标，Ucyc)为初始时刻的目标区域模型的 中心坐标，nh为候选目标模型的总像素点数； 步骤4-3、采用Mean Shift算法对目标进行精确定位； 步骤5、计算当前帧目标的遮挡因子，判断目标的遮挡程度，确定目标的跟踪模式； 步骤5-1、计算目标的遮挡因子，其中，λ为遮挡程度参 量； 步骤5-2、根据目标的遮挡因子occ判断目标的遮挡程度，当occ <阈值thl时执行步 骤5-2-1，否则执行步骤5-2-2 ; 步骤5-2-1、当occ <阈值thl时，认为目标没有被遮挡，对特征库和目标模板进行更 新；更新后，如果图像序列中还有图像要继续跟踪，则读入下一帧图像，返回执行步骤3 ; 步骤5-2-2、当occ >阈值thl时，认为目标被遮挡，进入遮挡跟踪模式，当跳出遮挡 跟踪模式时，对特征库和目标模板进行更新；更新后，如果图像序列中还有图像要继续跟踪 时，读入下一帧图像，返回执行步骤3 ; 步骤6、图像序列中的所有图像跟踪完毕，结束目标跟踪。2. 如权利要求1所述的基于特征匹配和Mean Shift算法的目标跟踪方法，其特征在 于：所述步骤1中基于RGB颜色模型进行背景重构的方法如下：从连续的Μ帧图像序列中 抽取Ν帧图像构成图像子序列，Μ ;分别对图像子序列的每帧图像在每个点（x，y)处的 RGB分量按照递增的顺序进行排序，形成数列RIr(x，y)、 RfU，y)及RIB(x，y);分别取数列的中间值作为背景图像的 RGB分量在该点的像素值。3. 如权利要求1所述的基于特征匹配和Mean Shift算法的目标跟踪方法，其特征在 于：所述步骤1中采用背景差分法获得初始时刻的目标区域的步骤如下：对背景重构后的 图像中每个像素点的R、G、B分量分别进行处理，得到三个通道的差分图像：其中，;^(1，7)、产(1，7)、;^(1，7)为图像;^1，7)的1^^分量，（1，7)为像素点的空间坐 标； 对差分图像进行阈值化处理得到初始时刻的目标区域： RGB三个通道的平均差分图像阈值化处理结果图像」其中，ΤΗ为目标检测阈值。4. 如权利要求1所述的基于特征匹配和Mean Shift算法的目标跟踪方法，其特征在 于：所述步骤1中采用Mean Shift算法进行目标建模的步骤如下：将初始时刻的目标区域 的颜色直方图划分为m个子区间，计算目标模型的颜色特征概率密度分布，进行初始时刻 的目标区域建模； 目标模型的颜色特征概率密度分布 其中，u为颜色直方图的颜色索引，qu表示目标模型在颜色特征值为u时的概率密度。5. 如权利要求1所述的基于特征匹配和Mean Shift算法的目标跟踪方法，其特征在 于：所述步骤3-1中用Kalman滤波法预测出当前帧的目标区域，以该目标区域的中心为中 心、长宽按比例扩大后得到的矩形区域作为当前帧的候选目标搜索区域。6. 如权利要求1所述的基于特征匹配和Mean Shift算法的目标跟踪方法，其特征在 于：所述步骤3-2中采用随机抽样一致算法消除误匹配对。7. 如权利要求1所述的基于特征匹配和Mean Shift算法的目标跟踪方法，其特征在 于：所述步骤5-2-1中更新特征库的步骤如下： 将初始时刻的目标区域模型的SIFT特征点作为特征库的初始特征点，对特征库中每 个特征点的可信度赋予一个初始值； 若当前帧的候选目标搜索区域提取的SIFT特征点在特征库中能找到正确匹配点，则 用当前帧中相应的特征点替换其在特征库匹配的特征点，并使该特征点的可信度加1 ;若 候选目标区域提取的SIFT特征点在特征库中未找到相匹配的特征点，则将该特征点添加 至特征库中，并对该特征点的可信度赋予初始值； 若特征库中的某特征点在当前帧的候选目标搜索区域未找到相匹配的特征点，则使该 特征点的可信度减1，当特征库中某特征点的可信度为〇,将该特征点丢弃； 目标模板更新是指将当前帧通过Mean Shift算法精确定位后所获得的目标区域作为 新的目标模板。。8. 如权利要求1所述的基于特征匹配和Mean Shift算法的目标跟踪方法，其特征在 于：所述步骤5-2-2中遮挡跟踪的步骤如下： 采用Kalman滤波估计目标被遮挡时在当前帧的位置，得到候选目标区域； 计算Kalman滤波预测的候选目标区域与进入遮挡模式时的前一帧的目标区域的归一 化互相关系数； 当归一化互相关系数的最大值大于设定阈值时，认为目标离开遮挡区域，跳出遮挡跟 踪模式，以归一化互相关系数的最大值对应的目标位置为当前帧目标位置，对特征库和目 标模板进行更新，进入下一帧的跟踪。
【专利摘要】基于特征匹配和Mean？Shift算法的目标跟踪方法，步骤如下：输入图像序列，对图像序列进行背景重构，获得初始时刻的目标区域，并采用MeanShift算法进行建模；对初始时刻的目标区域模型进行SIFT特征提取，将初始时刻的目标区域模型的SIFT特征点作为特征库的初始特征点；通过SIFT特征匹配计算当前帧目标的初始位置、尺度参数和旋转参数；采用Mean？Shift算法对目标进行精确定位；计算目标的遮挡因子，判断目标的遮挡程度，确定目标的跟踪模式；图像序列中的所有图像跟踪完毕，结束目标跟踪。本发明将Mean？Shift算法和SIFT特征匹配算法结合起来，充分发挥二者的优势，实现目标的稳定跟踪。
【IPC分类】G06T7/20
【公开号】CN105335986
【申请号】CN201510573979
【发明人】王炳健, 李敏, 牛卫, 易翔, 郝静雅, 吴飞红, 赖睿, 周慧鑫
【申请人】西安电子科技大学
【公开日】2016年2月17日
【申请日】2015年9月10日