基于特征块优选的运动目标跟踪方法与流程

本发明属于计算机技术领域，更进一步涉及计算机视觉跟踪技术领域中的一种基于特征块优选的运动目标跟踪方法。本发明可以用于对视频场景中的车辆、坦克、行人等运动目标进行实时跟踪。

背景技术：

运动目标跟踪方法主要分为单目标跟踪与多目标跟踪。单目标跟踪主要对视频场景中感兴趣的单个目标持续跟踪，获得目标在视频每一帧中的位置。多目标跟踪只要对视频场景中多个目标进行跟踪。近几年，跟踪性能比较高的运动目标跟踪方法主要有struck、kcf、stc等跟踪方法。struck将跟踪问题转化为分类问题，在线训练样本来更新目标模型，然而训练的样本和实际目标并不一定一致，从而影响分类效果。kcf跟踪器采用核化相关滤波方法，利用循环矩阵和傅里叶变换完成样本的训练，获得高效的目标分类器，然而该方法不能应对目标遮挡，在目标发生遮挡时，容易造成跟踪失败。stc跟踪算法对目标和它上下文的空间关系进行建模，该方法可以很好的应对目标遮挡问题。视觉目标跟踪普遍存在场景光照复杂、目标遮挡、尺度变化、目标形变等问题，导致跟踪算法的精度、鲁棒性不高。

浙江生辉照明有限公司在其申请的专利文献“一种基于核化相关滤波高速自动多目标跟踪”(专利申请号201410418797.7，公开号cn104200237a)中公开了一种基于核化相关滤波高速自动多目标跟踪方法。该方法采用岭回归训练方案，通过加速傅里叶变换训练目标样本获得分类器，完成对大量样本的快速训练，获得高性能的目标分类器。但是，该方法依然存在的不足之处是，没有考虑在连续帧上目标发生遮挡的问题，在目标发生遮挡时，容易造成跟踪失败，从而不能长时间持续跟踪目标。

山东大学在其申请的专利文献“一种新型的基于分块策略的视频跟踪方法”(专利申请号201510471102.6，公开号cn105139418a)中公开了一种新型的基于分块策略的视频跟踪方法。该方法将目标区域分成若干个小块，利用每一个小块的颜色直方图与周围的小块的颜色直方图来比较，判断目标是否发生遮挡，当发生遮挡时，在后面的粒子滤波算法中降低该块的权重，降低遮挡对目标跟踪造成的影响。但是，该方法依然存在的不足之处是，颜色直方图的鲁棒性不高，在发生关照变化时，容易丢失目标，造成跟踪失败。

技术实现要素：

本发明的目的在于克服上述现有技术存在的不足，提出了一种基于特征块优选的运动目标跟踪方法。

实现本发明的思路是，基于特征点并利用光流跟踪获得特征点对，根据两个特征点判断准则筛选特征点，从而获得有效块。利用核化相关滤波kcf得到响应图、峰值旁瓣比psr以及目标分类器，以响应图作为特征点的权重，进而得到平移变化和尺度变化。通过峰值旁瓣比psr判断，获得目标的遮挡状态，依据遮挡状态采用相应不同的策略，从而完成对目标持续鲁棒性跟踪，提高算法应对遮挡和尺度变化的能力，增强算法的鲁棒性和精度。

为了实现上述目的，本发明的具体步骤如下包括：

(1)从视频摄像头中读取待跟踪的运动目标视频：

(2)初始化：

(2a)从待跟踪的运动目标视频中读入第一帧图像；

(2b)在待跟踪的第一帧图像上用鼠标框出待跟踪的运动目标；

(2c)利用分块方法，对待跟踪的运动目标区域进行分块，得到运动目标区域的子块区域；

(2d)利用特征检测器fast，从待跟踪的第一帧图像运动目标区域的每一个子块中检测特征点，将检测到的所有特征点作为初始化特征点；

(2e)采用核化相关滤波跟踪器kcf训练样本的方法，训练目标区域样本，得到第一帧图像上运动目标区域的分类器，将目标区域分类器作为初始化运动目标区域分类器；

(3)检测特征点：

(3a)从待跟踪的运动目标视频中任意读入一帧图像；

(3b)利用分块方法，在所读入帧图像上对得到的运动目标区域进行分块，得到所读入帧图像上运动目标区域的子块区域；

(3c)利用特征检测器fast，检测运动目标区域的每一个子块区域，得到每一个子块区域的特征点；

(4)筛选特征点：

(4a)利用光流向前跟踪方法，在当前读入的图像帧上的所有特征点中，找到与上一次读入的图像帧上特征一一对应的特征点，组成一个特征点对，将所有的特征点对构成一个特征点集，存到当前读入的图像帧中；

(4b)按照下式，计算特征点集中的每一对特征点的向前向后误差：

其中，表示当前读入的图像帧中第l子块区域第k个特征点对的向前向后误差，表示当前读入的图像帧c中第l子块区域第k个特征点，表示与对应的在上一次读入的图像帧b中第l子块区域第k个特征点，与形成一对特征点，l＝1，2，…，m，k＝1，2，…，ql，c表示当前帧，b表示上一帧，m表示运动目标区域所分的子块总数，ql表示第l子块区域中特征点的总数；

(4c)按照下式，计算特征点集中的每一对特征点归一化误差：

其中，表示当前读入的图像帧上第l子块区域第k个特征点对的归一化误差，ql表示第l子块区域特征点的总数，μb(l)和δb(l)表示上一次当前读入的图像帧b上的第l子块区域内所有特征点像素的均值和标准差，μc(l)和δc(l)表示当前读入的图像帧c上的第l子块区域内所有特征点的像素的均值和标准差；

(4d)按照下式，计算所有特征点的归一化误差均值；

其中，μ表示所有特征点的归一化误差均值，m表示运动目标区域所分的子块区域数目，ql表示第l子块中的跟踪点对的数目总数；

(4e)从特征点中选取所有满足划分条件的的特征点，将满足划分条件的特征点归入可靠特征点集；

(5)获得优选特征块：

(5a)从子块区域中选取所有满足精度条件的子块，将子块归入优选块集中；

(5b)合并优选块集中的所有特征点，获得优选特征点集；

(6)计算目标区域的响应图和峰值旁瓣比：

(6a)利用目标区域分类器检测目标区域，得到目标区域的响应图，以该响应图作为特征点的权重；

(6b)按照下式，计算目标区域的响应图的峰值旁瓣比；

其中，psr(o)表示目标区域o的响应图的峰值旁瓣比，max(r(o))表示响应图r(o)的最大值，μ(r(o))表示响应图r(o)的均值，标准差σ(r(o))表示响应图r(o)的标准差；

(7)更新目标区域状态；

(7a)按照下式，计算目标区域的尺度变化；

其中，s(ic)表示当前读入的图像帧上目标区域的尺度变化，和表示当前读入的图像帧上优选特征点集中的特征点，和表示上一次读入的图像帧上优选特征点集中的特征点，wi、wj表示优选特征点集中的特征点的权重；

(7b)按照下式，计算目标区域的尺寸；

wc＝wb*s(ic)

hc＝hb*s(ic)

其中，wc表示当前读入的图像帧上目标区域的宽，hc表示当前读入的图像帧上目标区域的高，wb表示上一次读入的图像帧上目标区域的宽，hb表示上一次读入的图像帧上目标区域的高；

(7c)按照下式，计算目标区域的平移变化：

其中，d(ic)表示当前所读入的图像帧上目标区域的平移变化，η表示变换因子一般取0.35，d(ib)表示上一次读入的图像帧上目标区域的平移变化，wi表示对应可靠特征点的权值，表示对应于当前读入的图像帧上第i个可靠特征点的坐标，u表示特征点的横坐标，v表示特征点的纵坐标，表示对应于上一次读入的图像帧上第i个可靠特征点的坐标；

(7d)按照下式，计算目标区域位置：

cc＝cb+d(ic)

其中，cc表示当前读入图像帧上目标的位置，cb表示上一次读入图像帧上目标的位置；

(7e)利用目标区域的尺寸和目标区域位置，更新当前读入图像帧上的目标区域状态；

(8)更新目标区域分类器；

(8a)使用核化相关滤波方法kcf训练目标区域样本，得到当前读入的图像帧上运动目标区域的分类器；

(8b)判断目标区域分类器是否满足更新条件，若是，则执行(8c)，否则，执行(8d)；

(8c)目标区域未发生遮挡，更新目标区域分类器，用步骤(8a)得到的当前读入的图像帧上目标区域的分类器替换上一次读入的图像帧上得到的目标区域分类器；

(8d)目标区域发生遮挡，不更新目标分类器，保持上一次读入的图像帧上得到的目标区域分类器不变；

(9)将目标区域状态信息，以矩形框的形式输出到所读入帧图像中；

(10)判断是否读完待跟踪视频的所有帧，若是，则执行步骤(11)，否则，执行步骤(3)；

(11)结束运动目标的跟踪。

本发明与现有技术相比具有以下优点

第一，由于本发明采用特征检测器fast检测特征点，克服了现有技术特征点描述能力不足，检测速度慢的问题，使得本发明在运动目标跟踪过程中具有很好的实时性。

第二，由于本发明采用目标区域分块方法，克服了现有技术中不能应对目标遮挡下的跟踪，使得本发明能够在遮挡下很好的跟踪运动目标。

第三，由于本发明采用目标区域分类器检测图像获得特征点权重的方法，客服了现有技术中特征点权重不精确描述的问题，使得本发明获得能够获得高精度的目标尺寸。

第四，由于本发明采用光流向前跟踪方法，客服现有技术中特征点跟踪精度低的问题，使得本发明能够高精度的运动目标位移。

附图说明

图1为本发明的流程图；

图2为本发明仿真实验中对davidce3视频序列中运动目标跟踪的中心位置误差曲线对比图；

图3为本发明仿真实验中对davidce3视频序列中运动目标跟踪的重叠率曲线对比图；

图4为本发明仿真实验中对jogging视频序列中运动目标跟踪的中心位置误差曲线对比图；

图5为本发明对仿真实验中jogging视频序列中运动目标跟踪的重叠率曲线对比图；

图6为本发明仿真实验中对car视频序列中运动目标跟踪的中心位置误差曲线对比图；

图7为本发明仿真实验中对car视频序列中运动目标跟踪的重叠率曲线对比图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，对本发明的具体步骤做进一步的描述。

步骤1，从视频摄像头中读取待跟踪的运动目标视频。

步骤2，初始化。

从待跟踪的运动目标视频中读入第一帧图像。

在待跟踪的第一帧图像上用鼠标框出待跟踪的运动目标。

利用分块方法，对待跟踪的运动目标区域进行分块，得到运动目标区域的子块区域。

第一步，依据目标区域能够分成整数个子块区域的标准，子块区域边长是大于等于10个像素，将待跟踪的运动目标区域的四个边界同时扩展，得到扩展运动目标区域。

第二步，对扩展运动目标区域分块，得到运动目标区域的子块区域，子块区域是边长大于等于10个像素的正方形区域，且每一个子块区域大小相同。

利用特征检测器fast，从待跟踪的第一帧图像运动目标区域的每一个子块中检测特征点，将检测到的所有特征点作为初始化特征点。

采用核化相关滤波跟踪器kcf训练样本的方法，训练目标区域样本，得到第一帧图像上运动目标区域的分类器，将目标区域分类器作为初始化运动目标区域分类器。

步骤3，检测特征点。

从待跟踪的运动目标视频中任意读入一帧图像。

利用分块方法，在所读入帧图像上对得到的运动目标区域进行分块，得到所读入帧图像上运动目标区域的子块区域。

第一步，依据目标区域能够分成整数个子块区域的标准，子块区域边长是大于等于10个像素，将待跟踪的运动目标区域的四个边界同时扩展，得到扩展运动目标区域。

第二步，对扩展运动目标区域分块，得到运动目标区域的子块区域，子块区域是边长大于等于10个像素的正方形区域，且每一个子块区域大小相同。

利用特征检测器fast，检测运动目标区域的每一个子块区域，得到每一个子块区域的特征点。

步骤4，筛选特征点。

利用光流向前跟踪方法，在当前读入的图像帧上的所有特征点中，找到与上一次读入的图像帧上特征一一对应的特征点，组成一个特征点对，将所有的特征点对构成一个特征点集，存到当前读入的图像帧中。

按照下式，计算特征点集中的每一对特征点的向前向后误差：

其中，表示当前读入的图像帧中第l子块区域第k个特征点对的向前向后误差，表示当前读入的图像帧c中第l子块区域第k个特征点，表示与对应的在上一次读入的图像帧b中第l子块区域第k个特征点，与形成一对特征点，l＝1，2，…，m，k＝1，2，…，ql，c表示当前帧，b表示上一帧，m表示运动目标区域所分的子块总数，ql表示第l子块区域中特征点的总数。

按照下式，计算特征点集中的每一对特征点归一化误差：

其中，表示当前读入的图像帧上第l子块区域第k个特征点对的归一化误差，ql表示第l子块区域特征点的总数，μb(l)和δb(l)表示上一次当前读入的图像帧b上的第l子块区域内所有特征点像素的均值和标准差，μc(l)和δc(l)表示当前读入的图像帧c上的第l子块区域内所有特征点的像素的均值和标准差。

按照下式，计算所有特征点的归一化误差均值；

其中，μ表示所有特征点的归一化误差均值，m表示运动目标区域所分的子块区域数目，ql表示第l子块中的跟踪点对的数目总数。

从特征点中选取所有满足划分条件的的特征点，将满足划分条件的特征点归入可靠特征点集，所述的划分条件是指：

ncc(pl^k)＞μ且fb(pl^k)＜qfb

其中，qfb表示特征点的先前向后误差阈值，根据目标移动速度或者相机移动速度而定，可取8～12中的整数，移动速度小，该值越小，反之，该值越大。

步骤5，获得优选特征块。

从子块区域中选取所有满足精度条件的子块，将子块归入优选块集中。

合并优选块集中的所有特征点，获得优选特征点集。

步骤6，计算目标区域的响应图和峰值旁瓣比。

利用目标区域分类器检测目标区域，得到目标区域的响应图，以该响应图作为特征点的权重。

按照下式，计算目标区域的响应图的峰值旁瓣比。

其中，psr(o)表示目标区域o的响应图的峰值旁瓣比，max(r(o))表示响应图r(o)的最大值，μ(r(o))表示响应图r(o)的均值，标准差σ(r(o))表示响应图r(o)的标准差。

步骤7，更新目标区域状态。

按照下式，计算目标区域的尺度变化；

其中，s(ic)表示当前读入的图像帧上目标区域的尺度变化，和表示当前读入的图像帧上优选特征点集中的特征点，和表示上一次读入的图像帧上优选特征点集中的特征点，wi、wj表示优选特征点集中的特征点的权重；

按照下式，计算目标区域的尺寸；

wc＝wb*s(ic)

hc＝hb*s(ic)

其中，wc表示当前读入的图像帧上目标区域的宽，hc表示当前读入的图像帧上目标区域的高，wb表示上一次读入的图像帧上目标区域的宽，hb表示上一次读入的图像帧上目标区域的高；

按照下式，计算目标区域的平移变化：

其中，d(ic)表示当前所读入的图像帧上目标区域的平移变化，η表示变换因子一般取0.35，d(ib)表示上一次读入的图像帧上目标区域的平移变化，wi表示对应可靠特征点的权值，表示对应于当前读入的图像帧上第i个可靠特征点的坐标，u表示特征点的横坐标，v表示特征点的纵坐标，表示对应于上一次读入的图像帧上第i个可靠特征点的坐标。

按照下式，计算目标区域位置：

cc＝cb+d(ic)

其中，cc表示当前读入图像帧上目标的位置，cb表示上一次读入图像帧上目标的位置；

利用目标区域的尺寸和目标区域位置，更新当前读入图像帧上的目标区域状态。

步骤8，更新目标区域分类器。

使用核化相关滤波方法kcf训练目标区域样本，得到当前读入的图像帧上运动目标区域的分类器；

(8b)判断目标区域分类器是否满足更新条件，若是，则执行(8c)，否则，执行(8d)，所述的更新条件是指：

psr(o)≥t

其中，t表示更新阈值，根据目标大小和在相机视场中的移动速度决定，取20～30中的整数，目标越小，该值越小，目标越大，该值越大，目标运动速度越快，该值越大，目标运动速度越慢，该值越小；

(8c)目标区域未发生遮挡，更新目标区域分类器，用当前读入的图像帧上目标区域的分类器替换上一次读入的图像帧上得到的目标区域分类器；

(8d)目标区域发生遮挡，不更新目标分类器，保持上一次读入的图像帧上得到的目标区域分类器不变；

步骤9，输出目标区域状态信息。

将目标区域状态信息，以框的形式输出到当前所读入的一帧图像上。

步骤10，判断是否读完所有的帧，若是，则执行步骤3，否则，执行步骤11。

步骤11，运动目标跟踪结束。

下面结合本发明的仿真实验对本发明扥效果做进一步的说明。

1、仿真条件：

本发明的仿真实验是在amda10-6700，4gb内存的电脑上采用vs2010和opencv2.4.4软件进行的。仿真实验采用的视频是，标准测试视频集visualtrackerbenchmarkdataset2013。

2、仿真内容：

将本发明的跟踪器our与三个现有技术进行仿真，该三个现有技术采用的目标跟踪算法是kcf方法、struck方法、stc方法，分别进行了三组仿真。

第一组仿真实验，利用本发明和三个现有技术对davidce3视频进行中心位置误差和重叠率的仿真，得到四条目标中心位置误差曲线如图2所示，得到四条目标区域重叠率曲线如图3所示。

第二组仿真实验，利用本发明和三个现有技术对jogging视频进行中心位置误差和重叠率的仿真，得到四条目标中心位置误差曲线如图4所示，得到四条目标区域重叠率曲线如图5所示。

第三组仿真实验，利用本发明和三个现有技术对carscale视频进行中心位置误差和重叠率的仿真，得到四条目标中心位置误差曲线如图6所示，得到四条目标区域重叠率曲线如图7所示。

3、仿真结果分析：

图2，图3，图4，图5，图6，图7中以标示的曲线表示kcf方法的跟踪结果的精度曲线，以“+++”标示的曲线表示struck方法的跟踪结果的精度曲线，以“______”标示的曲线表示stc方法的跟踪结果的精度曲线，以“”标示的曲线表示本发明的跟踪结果的精度曲线。图2，图4，图6的横坐标表示帧数，纵坐标表示中心位置误差值。图3，图5，图7的横坐标表示帧数，纵坐标表示目标区域重叠率。

由图2可见，本发明和kcf方法一直保持较低的目标中心位置误差率，struck方法的目标中心位置误差经历一个增大和降低的过程，stc方法的目标中心位置误差逐渐增大。由图3可见，本发明、struck方法和kcf方法的目标区域重叠率都经历一个降低又回升过程，stc方法的目标重叠率一直降低。本发明和现有三个技术跟踪的运动目标是视频中的行人，由于在第100帧到第160帧行人经过电线杆发生了遮挡，struck方法直接跟踪失败，但是在后面又逐渐恢复跟踪，stc方法发生跟踪失败，并且没有恢复跟踪，综合来看，本发明的跟踪精度较高，能够更好的应对目标遮挡。

由图4可见，本发明和kcf方法维持较低中心位置误差持续跟踪，stc方法和struck方法的中心位置误差逐渐增大。由图5可见，本发明和kcf方法的目标区域重叠率维持较高水平，但是kcf方法的中心位置误差有一个降低和回升的过程，stc方法和struck方法的目标区域重叠率逐渐降低，一直降低到0。本发明和现有三个技术跟踪的运动目标是视频中穿白色短袖的人，由于在第48帧时，行人被电线杆完全遮挡，导致stc方法和struck方法迅速发生跟踪失败，并且从失败没有恢复，kcf方法的跟踪精度也出现了暂时的降低，而本发明则以低的目标中心位置误差和高的目标重叠率持续跟踪，综合来看，本发明的抗目标遮挡能力最强，能够更好的应对目标遮挡下的跟踪问题。

由图6可见，本发明和现有三个技术的目标中心位置误差逐渐增大，但是本发明的目标中心位置误差一直是最低的。由图7可见，本发明和现有三个技术的目标区域重叠率均逐渐下降，但是本发明的目标区域重叠率降低速度最慢，在四条曲线中维持较高目标区域重叠率。本发明和现有三个技术跟踪的运动目标是一辆由远到近行驶的车辆，由于车辆由远到近行驶，尺度变化明显，随着镜头离车辆越来越近，目标也越来越大，在第150帧以后，本发明和现有三个技术的目标中心位置误差都逐渐变大，目标区域重叠率逐渐降低。跟踪精度都有所降低，但是本发明的跟踪依然是四个算法中性能最好的，本发明能够更好应对目标尺度变化剧烈下跟踪的问题。