一种面向实际工程应用的长期视觉跟踪方法与流程

本发明属于机器视觉技术领域，更为具体地讲，涉及一种面向实际工程应用的长期视觉跟踪方法。

背景技术：

目标跟踪是机器视觉领域的一个重要研究课题，其研究的问题是：给定跟踪目标在视频流第一帧图像中的矩形框位置，要求在后续视频流中估计出目标新的矩形框位置。2013年发布的otb50和otb100使得目标跟踪领域有了一个统一权威的评价标准，同年开始的一年一度的视觉目标跟踪大赛vot(visual-object-trackingchallenge)则推动着这一领域产生着持续不断的创新与突破，涌现出kcf、dsst、fdsst等基于相关滤波技术的优秀视觉目标跟踪算法。

然而以上算法均为短期跟踪算法，无法处理跟踪目标消失在视野画面中随后又回到视野的情况，而这种长期跟踪能力对于实际工程应用至关重要。目前实际工程应用中使用最广泛的仍然是2010年出现的tld，该算法计算量较大且位置及尺度跟踪精度较差，后续出现的lct(long-termcorrelationtracking)在位置跟踪精度上有了较大提升但算法计算量仍然较大，并且也仅具备局部的出视野后重新跟踪目标的能力，比如当跟踪目标从画面右侧消失而后出现在画面左侧并且尺度发生明显变化时，lct无法正常进行跟踪，但这种情况在实际工程应用中是普遍存在的。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种面向实际工程应用的长期视觉跟踪方法，对于跟踪目标出视野后还具有很好的处理能力，实现长期视觉跟踪。

为实现上述发明目的，本发明一种面向实际工程应用的长期视觉跟踪方法，其特征在于，包括以下步骤：

(1)、选取跟踪目标

利用目标检测算法在当前帧图像中检测并框出跟踪目标，显示出目标类别，然后用鼠标单击检测到的跟踪目标框区域，框选出跟踪目标；如果目标检测算法未检测出跟踪目标，则通过手动画出跟踪目标框，然后再用鼠标单击跟踪目标框选出跟踪目标；

(2)、训练跟踪器

(2.1)、在当前帧图像中，以跟踪目标框为提取中心，提取目标框长宽p倍大小区域的fhog特征作为位置滤波器的训练样本，再利用提取的训练样本训练得到初始位置滤波器；

(2.2)、提取跟踪目标框区域的fhog特征作为外观滤波器的训练样本，再利用提取的训练样本训练得到外观滤波器；

(2.3)、对跟踪目标框按缩放比例λ进行处理，然后提取缩放后的目标框区域在l个尺度上的fhog特征，并作为尺度滤波器的训练样本，最后利用提取的训练样本训练得到尺度滤波器；

(2.4)、提取在当前帧图像的fhog特征；

(2.5)、将跟踪目标框区域的fhog特征进行仿射变换，得到4个新fhog特征，再将提取的跟踪目标框区域的fhog特征和仿射变换后4个新fhog特征作为正样本，通过随机函数在当前帧图像内非跟踪目标框区域随机选取20个负样本，共25个正负样本作为svm分类器的训练样本，训练得到初始svm分类器；

(3)、获取采样尺度窗

对跟踪目标框进行不同尺度系数kⁿ的缩小和放大，k、n均为常数，生成一系列不同大小的采样尺度窗；

(4)、正常跟踪阶段

(4.1)、在当前帧图像上以前一帧的跟踪目标框中心位置pt-1为基准，按照步骤(2.1)所述方法提取位置滤波器样本；

(4.2)、计算步骤(2.1)(4.1)中所得训练样本与位置滤波器之间的相关性响应图，取相关性响应图中最大值对应位置为pt,temp；

计算相关性响应图的平均峰值相关能量apce，如果apce小于预设阈值，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤(5.1)；否则继续判断新目标框位置是否超出当前帧图像的边界，如果出界则不更新尺度滤波器，令当前帧跟踪结果的尺度st＝st-1，直接跳转至步骤(4.5)；如果不出界，则直接进入步骤(4.3)；

(4.3)、在当前帧图像上pt,temp处以前一帧跟踪目标的尺度st-1为基准，按照步骤(2.3)所述方法提取尺度滤波器样本；

(4.4)、计算步骤(4.3)所得样本与尺度滤波器之间的相关性响应图，取相关性响应图中最大值对应的尺度作为当前帧跟踪结果的尺度st；

(4.5)、在当前帧图像上pt,temp处以尺度st为基准，按照步骤(2.2)所述方法提取外观滤波器样本；

(4.6)、先计算步骤(4.5)所得样本与外观滤波器相关性响应图，再计算相关性响应图的平均峰值相关能量apce，如果apce或相关性响应图中最大响应值fmax小于重定位阈值tr，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤(5.1)；否则，直接进入步骤(4.7)；

(4.7)、根据外观滤波器的相关性响应图中最大响应值fmax对应的位置，以0.1的加权值对pt,temp进行漂移校正，得到当前帧跟踪结果的位置pt；

(4.8)、在当前帧图像上pt处以尺度st计算矩形框大小，提取矩形框内图像的fhog特征得到待分类样本；

(4.9)、将提取的svm分类器样本输入至svm分类器，然后计算svm分类器的分类响应分数，若分类响应分数大于0，则分类结果为负样本，那么将步骤(4.8)提取的样本存储为一个高质量正样本，并将高质量正负训练样本计数值加1，然后再进入步骤(4.10)；若分类响应分数小于0，则直接进入步骤(4.10)；

(4.10)、在当前帧图像上pt处以尺度st为基准，用svm分类器执行局部单尺度滑窗检测，若检测出的正样本与本帧跟踪结果矩形框的面积重叠率iou低于0.1，则将该样本存储为高质量负样本，并将高质量正负训练样本计数值加1；

(4.11)、若高质量正负训练样本计数值大于t，则触发一次svm分类器的增量训练，并将高质量正负训练样本计数值清0；然后更新位置滤波器和尺度滤波器；并判断步骤(4.6)所得相关性响应图的apce和相关性响应图中最大响应值fmax是否都满足apce,fmax∈tu，如果满足，则对外观滤波器和svm分类器进行一次增量训练，并将跟踪失败计数器清零，等待下一帧图像到来后，跳转至步骤(4.1)；

(5)、重定位阶段

(5.1)、读取跟踪失败计数器的计数值，若计数值小于阈值m帧，则进行入步骤(5.2)，否则跳转至步骤(5.3)；

(5.2)、局部单尺度搜索重定位

在当前帧图像上以pt-1为中心，按尺度st-1计算svm分类器样本提取的矩形框大小，在两倍跟踪目标矩形框宽高区域内按计算出的矩形框大小滑动检测正样本，选取最大分类响应正样本，再转至步骤(5.5)，若没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤(5.1)；

(5.3)、全帧全尺度概率滑窗搜索重定位a阶段

根据步骤(3)获取的一系列采样尺度窗的大小，以从大到小的顺序和某一指定的选中概率分别对当前帧图像进行概率滑窗采样，采样结果使用svm分类器检测正样本，当在某一个尺度上检测到了正样本，则停止检测，并跳转至步骤(5.4)，若所有尺度窗都没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤(5.1)；

(5.4)、全帧全尺度概率滑窗搜索重定位b阶段

在当前帧图像上以步骤(5.3)中分类响应最大正样本为检测中心，按照采样尺度窗中更小一级的尺度执行一次步骤(5.2)来得到一个分类响应最大的正样本与(5.3)中所得分类响应最大正样本进行比较，若本次检测得到的正分类响应分数比步骤(5.3)所得样本的分类响应分数高出阈值ζ以上，则选择本次分类响应最大的正样本，进入步骤(5.5)，否则，使用步骤(5.3)中分类响应最大正样本，进入步骤(5.5)；

(5.5)、计算前一步骤中选定的正样本与外观滤波器之间的相关性响应图，然后再计算相关性响应图的平均峰值相关能量apce；

如果相关性响应图的最大响应值fmax和计算得到的apce都大于相应的接受阈值ta时，则重定位成功，并将跟踪失败计数器清零，等待下一帧图像到来后，跳转至步骤(4.1)；否则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤(5.1)。

本发明的发明目的是这样实现的：

本发明一种面向实际工程应用的长期视觉跟踪方法，先选取跟踪目标并训练跟踪器，再根据跟踪目标框进行不同尺度系数的缩小和放大，生成一系列不同大小的采样尺度窗，然后结合采样尺度窗对跟踪目标实行正常跟踪，当跟踪目标离开视野后一段时间后，并以较大的尺度及位置变化回到视野时，能够有效的对跟踪目标进行重定位并继续跟踪，保证跟踪精确。

同时，本发明一种面向实际工程应用的长期视觉跟踪方法还具有以下有益效果：

(1)、本发明能够做到跟踪目标离开视野后一段时间以较大的尺度及位置变化回到视野时仍然能有效进行重定位并继续跟踪。

(2)、本发明在正常跟踪阶段或是跟踪失败进入重定位阶段中，都只需要计算一次fhog特征图，使得本发明算法能够高速运行。

(3)、本发明充分考虑和利用了实际工程应用中视频图像连续的特点，通过全帧全尺度概率滑窗搜索及局部单尺度搜索等策略既保证了跟踪算法的鲁棒性又能保证算力消耗在合理范围，从而保证算法运行的实时性。

附图说明

图1是本发明一种面向实际工程应用的长期视觉跟踪方法流程图；

图2是位置滤波器长期跟踪过程中位置漂移现象示例图；

图3是相邻两帧概率滑窗采样结果示例图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种面向实际工程应用的长期视觉跟踪方法流程图。

在本实施例中，如图1所示，本发明一种面向实际工程应用的长期视觉跟踪方法，包括以下步骤：

s1、选取跟踪目标

利用目标检测算法在当前帧图像中检测并框出跟踪目标，显示出目标类别，然后用鼠标单击检测到的跟踪目标框区域，框选出跟踪目标；如果目标检测算法未检测出跟踪目标，则通过手动画出跟踪目标框，然后再用鼠标单击跟踪目标框选出跟踪目标；

s2、训练跟踪器

s2.1、在当前帧图像中，以跟踪目标框为提取中心，提取目标框长宽1.5倍大小区域(即采样引入背景图像的倍数padding值取0.5)的fhog特征作为位置滤波器的训练样本，再利用提取的训练样本训练得到初始位置滤波器；

s2.2、提取跟踪目标框区域的fhog特征作为外观滤波器的训练样本，再利用提取的训练样本训练得到外观滤波器；

s2.3、对跟踪目标框按1.03缩放比例进行处理，然后提取缩放后的目标框区域在33个尺度上的fhog特征，并作为尺度滤波器的训练样本，最后利用提取的训练样本训练得到尺度滤波器；

s2.4、提取在当前帧图像的fhog特征；

s2.5、将跟踪目标框区域的fhog特征进行仿射变换，得到4个新fhog特征，再将提取的跟踪目标框区域的fhog特征和仿射变换后4个新fhog特征作为正样本，通过随机函数在当前帧图像内非跟踪目标框区域随机选取20个负样本，共25个正负样本作为svm分类器的训练样本，训练得到初始svm分类器；

s3、获取采样尺度窗

对跟踪目标框进行不同尺度系数1.5ⁿ的缩小和放大，生成一系列不同大小的采样尺度窗；缩小的极限是短边小于8个像素点，放大的极限则是长宽都不能超出图像大小；

s4、正常跟踪阶段

s4.1、在当前帧图像上以前一帧的跟踪目标框中心位置pt-1为基准，按照步骤s2.1所述方法提取位置滤波器样本；

s4.2、步骤s4.1中所得训练样本与位置滤波器之间的相关性响应图，取相关性响应图中最大值对应位置为pt,temp；

计算相关性响应图的平均峰值相关能量apce，如果apce小于预设阈值7，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤s5.1；否则继续判断新目标框位置是否超出当前帧图像的边界，如果出界则不更新尺度滤波器，令当前帧跟踪结果的尺度st＝st-1，直接跳转至步骤s4.5；如果不出界，则直接进入步骤s4.3；

其中，平均峰值相关能量apce的计算公式为：

其中，fmax、fmin为相关性响应图中的最大值和最小值，fw,h对应相关性响应图中每个像素位置(w,h)的响应值大小；

s4.3、在当前帧图像上pt,temp处以前一帧跟踪目标的尺度st-1为基准，按照步骤s2.3所述方法提取尺度滤波器样本；

s4.4、计算步骤s4.3所得样本与尺度滤波器之间的相关性响应图，取相关性响应图中最大值对应的尺度作为当前帧跟踪结果的尺度st；

s4.5、在当前帧图像上pt,temp处以尺度st为基准，按照步骤s2.2所述方法提取外观滤波器样本；

s4.6、先计算步骤s4.5所得样本与外观滤波器相关性响应图，再计算相关性响应图的平均峰值相关能量apce，如果apce或相关性响应图中最大响应值fmax小于设定的重定位阈值tr(此处tr设定为在成功跟踪期间所有帧的apce与fmax平均值的0.4倍)，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤s5.1；否则，直接进入步骤s4.7；

s4.7、根据外观滤波器的相关性响应图中最大响应值fmax对应的位置，以0.1的加权值对pt,temp进行漂移校正，得到当前帧跟踪结果的位置pt；

s4.8、在当前帧图像上pt处以尺度st计算矩形框大小，提取矩形框内图像的fhog特征得到待分类样本；

s4.9、将提取的svm分类器样本输入至svm分类器，然后计算svm分类器的分类响应分数，若分类响应分数大于0，则分类结果为负样本，然后将步骤s4.8提取的样本存储为一个高质量正样本，并将高质量正负训练样本计数值加1，然后再进入步骤(4.10)；若分类响应分数小于0，则直接进入步骤s4.10；

s4.10、在当前帧图像上pt处以尺度st为基准，用svm分类器执行局部单尺度滑窗检测，若检测出的正样本与本帧跟踪结果矩形框的面积重叠率iou低于0.1，则将该样本存储为高质量负样本，并将高质量正负训练样本计数值加1；

s4.11、若高质量正负训练样本计数值大于20，则触发一次svm分类器的增量训练，并将高质量正负训练样本计数值清0；然后更新位置滤波器和尺度滤波器；并判断步骤s4.6所得相关性响应图的apce和相关性响应图中最大响应值fmax是否都满足apce,fmax∈tu(区间阈值tu设定为在成功跟踪期间所有帧的apce与fmax平均值的0.8倍到1.0倍之间)，如果满足，则对外观滤波器和svm分类器进行一次增量训练，并将跟踪失败计数器清零，等待下一帧图像到来后，跳转至步骤s4.1；

s5、重定位阶段

s5.1、读取跟踪失败计数器的计数值，若计数值小于阈值50帧，则进行入步骤s5.2，否则跳转至步骤s5.3；

s5.2、局部单尺度搜索重定位

在当前帧图像上以pt-1为中心，按尺度st-1计算svm分类器样本提取的矩形框大小，在两倍跟踪目标矩形框宽高区域内按计算出的矩形框大小滑动检测正样本，选取最大分类响应正样本，再转至步骤s5.5，若没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤s5.1；

s5.3、全帧全尺度概率滑窗搜索重定位a阶段

根据步骤s3获取的一系列采样尺度窗的大小，以从大到小的顺序和0.3的选中概率分别对当前帧图像进行概率滑窗采样，采样结果使用svm分类器检测正样本，当在某一个尺度上检测到了正样本，则停止检测，并跳转至步骤s5.4，若所有尺度窗都没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤s5.1；

s5.4、全帧全尺度概率滑窗搜索重定位b阶段

在当前帧图像上以步骤s5.3中分类响应最大正样本为检测中心，按照采样尺度窗中更小一级的尺度执行一次步骤s5.2来得到一个分类响应最大的正样本与s5.3中所得分类响应最大正样本进行比较，若本次检测得到的正分类响应分数比步骤s5.3所得样本的分类响应分数高出0.2以上，则选择本次分类响应最大的正样本，进入步骤s5.5，否则，使用步骤s5.3中分类响应最大正样本，进入步骤s5.5；

全帧全尺度概率滑窗搜索策略中，通过调整随机概率函数的概率阈值，即可很好的控制计算量，有效降低算法重定位过程中的算力消耗。

s5.5、计算前一步骤中选定的正样本与外观滤波器之间的相关性响应图，然后再计算相关性响应图的平均峰值相关能量apce；

如果相关性响应图的最大响应值fmax和计算得到的apce都大于相应的接受阈值ta(此处ta设定为在成功跟踪期间所有帧的apce与fmax平均值的0.7倍)时，则重定位成功，并将跟踪失败计数器清零，等待下一帧图像到来后，跳转至步骤s4.1；否则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤s5.1。

图2是位置滤波器长期跟踪过程中位置漂移现象示例图；

在本实施例中，类似算法(如fdsst和lct)中位置跟踪器在使用过程中存在一种不易平衡的矛盾：当跟踪目标快速运动时，位置滤波器需要使用较大的padding值，但是padding值增大意味着引入更多背景信息，在进行较长时间的跟踪后跟踪框会逐渐漂移到背景上，如图2所示。本发明借助外观滤波器将跟踪过程分为粗跟踪与细跟踪两个阶段，在增大位置滤波器padding值的同时利用外观滤波器细跟踪来纠正过程中产生的缓慢漂移。

图3是相邻两帧概率滑窗采样结果示例图。

图3展示了本发明某一时刻以0.3的概率在相邻两帧上按某个相同尺度窗大小进行概率滑窗采样的结果。通过简单的计算即可知道，即使该概率阈值仅设为0.3，当目标出现在相机视野中并保持不动时，12帧内将其重定位成功的概率高达98.62％。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。