一种基于TLD算法的目标跟踪方法与流程

文档序号:16002641发布日期:2018-11-20 19:39阅读:333来源:国知局

本发明涉及一种基于TLD算法的目标跟踪方法,特点是利用了当前帧跟踪结果置信度对目标模型进行加权,从而获得更具有表征能力的目标模型。应用于计算机视觉、目标检测、目标跟踪等,属于计算机视觉中的目标跟踪领域。



背景技术:

TLD跟踪算法是由Zdenka Kalal提出的一种单目标长时间跟踪算法。该算法由跟踪模块、检测模块、学习模块三个模块组成。单纯的跟踪算法很难校正跟踪的漂移误差并且会不断累积跟踪的误差,而且一旦目标从视野中消失,跟踪就不可避免地产生失败。单纯的检测算法需要大量的样本进行离线的监督训练,不能应用于未知目标的跟踪任务,并且由于目标模型是离线建立的,所以如果一旦目标出现较大变化,跟踪就很容易产生失败。TLD将检测算法和跟踪算法结合起来并且通过学习来实时更新目标模型。

TLD算法融合了检测模块、跟踪模块和学习模块,其中检测模块和跟踪模块通过学习模块来交流信息,不断更新目标模型,同时对检测模块进行更新。基于标签空间Y的取值,P-N学习所训练的分类器为二分类器。而在二分类过程中,因为涉及到的是非正即负的判断,阈值的设定十分关键,需要结合实际问题和场景来进行判断。经过大量实验与分析,TLD算法的默认阈值在跟踪场景下性能优良,因此本发明采用TLD算法的默认阈值。当被分类样本在阈值附近时,任何一点小的影响都有可能改变该样本的分类结果,特别是目标模型。

TLD算法中的目标模型会在跟踪的过程中通过P-N约束不断更新,而添加进目标模型中的正样本,TLD算法都认为是绝对正确的;添加进目标模型中的负样本,TLD算法都认为是绝对错误的。事实上这种目标模型是非常粗糙的。而目标模型越粗糙,P-N学习产生的错误就越会降低目标模型的表征能力。



技术实现要素:

本发明要解决技术问题为:针对TLD算法目标模型粗糙的问题,提出使用跟踪结果置信度加权来获得更加精细化、更具有表征能力的目标模型,实现对目标的持续、稳定跟踪。

在公开视频数据集上进行的实验表明,该方法可以在一定程度上提高跟踪的鲁棒性和精度。

本发明解决上述技术问题采用的技术方案为:一种基于TLD算法的目标跟踪方法,在待跟踪视频的起始帧,由用户指定跟踪窗口形成正负样本对检测模块进行初始化训练。在跟踪过程中,检测模块和跟踪模块独立工作:检测模块扫描当前帧图像获得图像块并依次通过方差分类器、合并分类器、最近邻分类器。跟踪模块采用中值光流法通过上一帧跟踪预测当前帧目标位置。整合模块综合检测模块和跟踪模块进行跟踪结果的输出。并且对当前更新后的目标位置,产生新的正负样本,从而更新检测模块。

其中,在待跟踪视频的起始帧中,由用户指定跟踪窗口,然后对距离指定的跟踪窗口最近的扫描网格窗口中选取若干个窗口进行一系列的仿射变换形成初始的正样本,并对远离指定的跟踪窗口随机搜选获得初始的负样本。所获得的正负初始样本用来对检测模块进行初始化训练。

其中,在跟踪过程中,检测模块对当前帧图像进行网格扫描获得图像块后,首先计算各图像块的方差,方差小于某个阈值的图像块被接受,进入合并分类器。通过若干个不同的基本分类器进行的像素比较后得到的平均后验概率值,大于某个阈值的图像块被接受,进入最近邻分类器。通过对进入最近邻分类器的图像块进行灰度的零均值归一化处理,与目标模型中的图像块进行互相关归一化的相似度计算,如果相似度大于某个阈值,则判定当前图像块为目标区域,否则判定为背景。

其中,在跟踪过程中,利用了当前帧跟踪结果置信度对目标模型进行加权,从而获得更具有表征能力的目标模型。

其中,在跟踪过程中,跟踪模块和检测模块独立运行,并将检测结果与跟踪结果融合输出目标跟踪结果。在每一帧中对当前更新后的目标位置,产生新的正负样本。在利用这些正负样本进行目标模型更新的过程中采用当前帧跟踪结果置信度对目标模型进行加权。

与现有技术相比,本发明的有益效果是:

这种方法能够有效提高TLD算法的目标模型的表征能力,并对P-N学习产生的不可避免的误差有一定的纠正作用,在一定程度上提高了TLD算法的鲁棒性和精度,使其能够对目标进行持续、稳定的跟踪。

附图说明

图1为本发明基于TLD算法的目标跟踪方法框图;

图2为P-N学习算法框图;

图3为BlurFace数据集的中心误差(Distance Score)对比图;

图4为BlurFace数据集的成功率(Pascal Score)对比图。

具体实施方式

下面结合附图以及具体实施方式进一步说明本发明。

如图1所示,在待跟踪视频的起始帧,由用户指定跟踪窗口形成正负样本对检测模块进行初始化训练。在跟踪过程中,检测模块和跟踪模块独立工作:检测模块扫描当前帧图像获得图像块并依次通过方差分类器、合并分类器、最近邻分类器。跟踪模块采用中值光流法通过上一帧跟踪预测当前帧目标位置。整合模块综合检测模块和跟踪模块进行跟踪结果的输出。并且对当前更新后的目标位置,产生新的正负样本,从而更新检测模块。

其中,在待跟踪视频的起始帧中,由用户指定跟踪窗口,然后对距离指定的跟踪窗口最近的扫描网格窗口中选取若干个窗口进行一系列的仿射变换形成初始的正样本,并对远离指定的跟踪窗口随机搜选获得初始的负样本。所获得的正负初始样本用来对检测模块进行初始化训练。

其中,在跟踪过程中,检测模块对当前帧图像进行网格扫描获得图像块后,首先计算各图像块的方差,方差小于某个阈值的图像块被接受,进入合并分类器。通过若干个不同的基本分类器进行的像素比较后得到的平均后验概率值,大于某个阈值的图像块被接受,进入最近邻分类器。通过对进入最近邻分类器的图像块进行灰度的零均值归一化处理,与目标模型中的图像块进行互相关归一化的相似度计算,如果相似度大于某个阈值,则判定当前图像块为目标区域,否则判定为背景。

其中,在跟踪过程中,利用了当前帧跟踪结果置信度对目标模型进行加权,从而获得更具有表征能力的目标模型。

其中,在跟踪过程中,跟踪模块和检测模块独立运行,并将检测结果与跟踪结果融合输出目标跟踪结果。在每一帧中对当前更新后的目标位置,产生新的正负样本。在利用这些正负样本进行目标模型更新的过程中采用当前帧跟踪结果置信度对目标模型进行加权。

本发明使用TLD算法跟踪结果的置信度Conf对当前帧判定添加到的目标模型的正负样本进行加权后再添加到目标模型中。首先对每一帧经过P-N约束生成的待添加样本定性:即这一待添加样本是目标模型中的正样本还是负样本;然后对这些待添加样本定量:使用当前帧i跟踪结果的置信度Confi对其加权,Confi即为当前帧i中所有待添加样本的权重,这也就描述出了当前帧i的这些待添加样本有多大的可能性是正确分类样本;最后将这些经过加权的样本添加到目标模型中。

在TLD算法进行目标跟踪的过程中,第一帧的正样本至关重要,因为这是在由用户直接指定的唯一正确的跟踪目标框中生成的正样本。TLD算法初始化的正样本即是由这唯一一个绝对正确的跟踪目标框中选取并经过随机的仿射变换形成的。而后所有的跟踪目标框都有可能出现各种各样的错误。而每一帧的跟踪结果置信度可以很好地反映这一可能的错误程度。注意到Confi≤1,所以这种方法也在一定程度上加强了初始帧样本的在目标模型中的影响。这样,即使P-N学习训练的分类器出现了错误,即对样本进行了错分,经过当前帧的跟踪结果置信度加权,会在一定程度上纠正这种错误。图2为P-N学习算法框图。

基于上述认识,本发明对TLD算法的学习模块进行了改进,提出了一种基于TLD算法的目标跟踪方法,以期生成更具表征能力的目标模型。

本发明采用BlurFace数据集进行对比实验,其中包括了平面内旋转、快速运动、运动模糊等挑战。

图3清晰地展示了本发明提出的方法与TLD算法在BlurFace数据集中每一帧的中心位置误差,并给出了两种方法的平均中心误差。显然,本发明提出的方法在中心位置误差上比TLD算法有更加优秀的表现。

图4清晰地展示了本发明提出的方法与TLD算法在BlurFace数据集中每一帧的成功率,并给出了重叠度阈值为50%时的成功率。虽然本发明提出的方法和TLD算法在上述阈值下成功率均为100%,但是若把重叠度s阈值更改为65%,即在每一帧中跟踪结果框与数据集标定框的重叠度s>0.65才判定当前帧跟踪成功,那么TLD算法的成功率应该在50%左右,而本发明的方法仍然可以达到接近100%的成功率。图4非常清晰地展示了这一点。

本发明未详细阐述部分属于本领域技术人员的公知技术。

本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本发明,而并非用作为对本发明的限定,只要在本发明的实质精神范围内,对以上所述实施例变化、变型都将落在本发明权利要求书的范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1