一种高鲁棒性相关滤波目标跟踪方法

本发明涉及目标跟踪与模式识别，尤其是一种高鲁棒性相关滤波目标跟踪方法。

背景技术：

1、视觉目标跟踪始终是计算机视觉领域与模式识别领域的重要研究分支，作为信号处理中的一种方法，相关滤波器被广泛地用于目标识别、目标检测、人机交互、智能交通等领域，并获得了十分显著的效果。相关滤波器通过计算两个信号之间的相关性来度量两者之间的相似程度，相关性越大，则表明这两个信号之间的相似度越高，通过寻找一种滤波器模板，使其作用在跟踪目标上能获取到最大的响应值，以此判断当前帧目标所在位置。随着视觉跟踪方法的不断发展与计算机硬件性能的提升，传统的基于相关滤波器的目标跟踪方法已经无法适应真实环境中目标存在遮挡、尺度变换以及短暂丢失视野等复杂场景，目前仍迫切需要一种高精度、高鲁棒性的目标跟踪方法。

2、目前被广泛应用的目标跟踪方法可划分为三类：一类是基于生成式模型的目标跟踪方法，使用模式匹配的方式，搜索图像中与该目标最匹配的区域，将该区域判定为目标所在位置，该方法具有时效性好、操作简单的优点，但目标的背景信息在跟踪过程中会被忽略，代表方法包括meanshift、camshift等。一类是基于判别式模型的目标跟踪方法，通过训练分类器实现对目标前景和背景信息的有效区分，将跟踪问题转换为分类问题，比采用生成模型的跟踪方法更能适应跟踪过程中目标的复杂变化，但在实际跟踪过程中无法兼顾跟踪精度与效率，代表方法包括mosse、csk、kcf、dsst等。一类是基于深度学习的目标跟踪方法，引入区域搜索策略和干扰感知模型以提升跟踪器的性能，对硬件要求极高，实际工程上实现难度大，代表方法包括goturn、dasiamrpn等。

3、综上所述，各类方法均存在优势与不足，生成式跟踪方法易满足实时性要求，但忽略了背景信息，存在相似目标特征时易出现跟丢情况。判别式跟踪方法能有效区分目标与其背景信息，性能更加优秀，但对遮挡与尺度变换适应性较差。深度学习跟踪方法精度最高，但往往需要大量的特征样本进行训练，随着特征维度的增加，跟踪精度提升的同时，计算复杂度也大大增加，导致实时性较差，且对计算机硬件要求高。

4、上述问题都在不同程度上制约了目标跟踪与模式识别技术领域的发展。综合考虑后，本发明选择兼顾跟踪精度和实时性的判别式相关滤波跟踪方法进行研究。

技术实现思路

1、为解决现有目标跟踪方法所存在的抗目标遮挡、抗尺度变化能力差、短暂丢失视野之后无法进行复跟的技术问题，本发明提供了一种高鲁棒性相关滤波目标跟踪方法。

2、为达到本发明的目的，本发明提供的技术方案如下：一种高鲁棒性相关滤波目标跟踪方法，包括以下步骤：

3、步骤一、输入视频流并获取第i帧中被跟踪目标的位置；

4、步骤二、位置滤波器以第i-1帧目标位置为中心提取特征样本，构成d维特征数据，尺度滤波器以第i帧模板位置为中心提取特征样本，构成d维s层图像金字塔特征；

5、步骤三、使用pca方法对位置滤波器与尺度滤波器的训练样本进行降维压缩，最小化重构目标模板，得到压缩训练样本与压缩目标模板；

6、步骤四、将压缩后的训练样本与目标模板转化到傅里叶域内进行求解，得到对应的相关滤波器模板；

7、步骤五、计算前一帧相关滤波器模板与当前候选图像块之间的相关性，位置滤波器与尺度滤波器的响应最大值处为当前帧目标的最佳位置与尺度；

8、步骤六、设定置信度评估准则来进行目标被遮挡或干扰判定；

9、步骤七、若当前帧响应图满足置信度评估准则，则直接输出跟踪结果，若判定被跟踪目标受到遮挡或干扰，进入重检测环节；

10、步骤八、采用对全局播撒特征描述子的方式来对被遮挡或干扰的目标进行重检测；

11、步骤九、计算跟踪结果与检测结果之间匹配相似度，满足阈值设定要求时调整学习率；

12、步骤十、更新相关滤波器模板参数，重复步骤五-七，直至复合置信度评估准则时输出跟踪结果。

13、进一步的，上述步骤二中特征样本提取的具体过程为：

14、位置滤波器以前一帧目标位置为中心提取特征样本f，样本f中每个像素点的d维特征包括1维灰度特征和d-1维fhog特征；

15、尺度滤波器以当前帧目标位置为中心提取s尺度下的特征样本f*，对每个样本f*提取d维特征并串联为一个多维特征向量，构成s层图像金字塔特征，其中包括灰度、fhog和cn特征。

16、进一步的，上述步骤三中，使用主成分分析法(pca)分别对位置滤波器与尺度滤波器的训练样本进行降维压缩，通过正交分解以减少正相关矩阵的运算量

17、进行降维压缩的具体过程为：设计更新第t帧的位置滤波器的目标模板ut如式(1)所示

18、ut＝(1-η)ut-1+ηft   (1)

19、式中η表示学习率，ft表示第t帧时位置滤波器的训练样本；

20、采用一个目标模板ut来构建一个将特征投射到一个低维子空间的投影矩阵pt，投影矩阵pt是维度，其中“～”符号表示被压缩后的特征矩阵维度，最小化重构目标模板ε*的表达式(2)所示：

21、

22、式(2)中索引n的作用域包括了位置滤波器目标模板ut中的全部元素，通过正交性约束ptptt＝i的限制，可由自相关矩阵进行特征值分解获得其解为：

23、

24、投影矩阵pt的行被设置为对应于最大特征值ct的维特征向量；

25、使用投影矩阵pt分别与位置滤波器的训练样本ft与目标模板ut进行fft，得到位置滤波器的压缩训练样本和压缩目标模板

26、同样使用投影矩阵pt分别与尺度滤波器的训练样本ft，scale与目标模板ut，scale进行fft，可得到尺度滤波器的压缩训练样本和压缩目标模板

27、进一步的，上述步骤四中，使用压缩训练样本和压缩目标模板来分别重复迭代更新位置滤波器与尺度滤波器；

28、更新后的滤波器参数分别如式(8)与式(9)所示。

29、

30、

31、进一步的，上述步骤五中，所述位置滤波器与尺度滤波器的响应最大值处由响应得分yt的最大值来确定，样本区域ztl内响应得分yt的计算公式为：

32、

33、其中z l为二维傅里叶变化后的样本区域，yt的最大值处可视为当前帧目标的最佳位置与尺度。

34、进一步的，上述步骤六中，所述置信度评估准则：满足时,可判别为目标未被遮挡或受到干扰；

35、所述apce判据表达式如下：

36、

37、fw,h表示每一个像素点位置的响应值，fmax、fmin分别表示最大、最小响应值，mean为取均值，α与β分别为阈值参数。

38、进一步的，上述步骤八中，通过全局播撒特征描述子的方式对被遮挡或受到干扰的目标进行重检测，设置一组特征点集合q如式(12)所示：

39、

40、式中的每个特征点代表一个位置r∈r2和一个特征描述子f；

41、将第i帧图像记为i1，检测与描述图像it中的候选特征点方式如下所示：

42、

43、式中λ为该特征点位置，m为该特征点索引，二者与特征点集合q一一对应。

44、进一步的，上述步骤九中，计算跟踪结果与检测结果的匹配相似度以自适应调整学习率η*的具体步骤为：

45、对每个候选特征描述子和i1中所有特征描述子之间的欧式距离进行计算，如下式所示：

46、

47、设di为集合s中任一描述子分量，d1与d2为图像i1中最近邻与次近邻描述子的分量，依照最近邻特征点与次近邻点欧式距离的比值大于阈值t＝0.8的原则，将集合s与i1中的特征点进行匹配相似度计算：

48、

49、筛选掉欧式距离小于0.8的特征匹配点，将集合q与s中匹配成功的特征点子集放入集合m中，并将集合m中的每个点(a,m)向目标中心聚类一次，获得检测环节中目标所在位置，可得到一组聚类结果如下式所示：

50、

51、根据新的目标所在位置将学习率从η调整到η*，更新滤波器模板参数。

52、与现有技术相比，本发明的有益效果是：

53、(1)本发明在目标样本的提取阶段，引入降维的fhog特征、cn特征以及灰度特征的多维特征融合机制来实现对目标边缘、纹理以及颜色特征的有效描述，fhog特征保留了hog特征的绝大部分关键信息，降低了计算复杂度，兼顾了精度与效率。增添尺度滤波器与位置滤波器相结合，形成多维特征判别相关滤波器，并分别独立运行，对训练样本进行降维，通过正交分解以减少求解自相关矩阵的运算量，最小化重构目标模板，采用压缩训练样本和目标模板更新滤波器参数。该方法在不牺牲精确性与鲁棒性的前提下，减少了训练样本和搜索样本的大小，降低了冗余信息的干扰，使得更小分辨率的特征图也能参与运算，采用以上加速策略可以有效降低fft的大小和数量，从而在不降低实时性的前提下增加滤波器的目标搜索区域，而滤波器的扩展可以获得更多的被跟踪目标的上下文信息和更大范围的搜索空间，从而帮助解决跟踪中存在的目标遮挡和快速运动导致跟踪框漂移的问题。

54、(2)本发明设定置信度评估标准来反映响应图的尖锐程度与振荡强度，当目标被判定为遮挡或强干扰时，引入基于特征点检测的重匹配模块，采用全局播撒特征描述子和向目标中心聚类的方式以获得检测结果目标所在位置，计算跟踪结果与检测结果之间的匹配相似度以自适应调整学习率，能有效避免跟踪目标被遮挡或受到强干扰时更新模型所造成的滤波器污染。

55、(3)本发明的方法引入降维的多特征融合机制相较于单特征样本提取能更加有效地描述目标信息，增添的尺度滤波器能更好地捕捉运动目标的尺度改变，利用压缩的训练样本更新滤波器参数可降低冗余信息的干扰，根据运动目标的实际情况来自适应调节学习率，有效解决了跟踪过程中存在的目标遮挡或相似目标干扰所导致的跟踪框漂移问题，因此本发明具有更高的跟踪精度和更好的棒性，可有效推动目标跟踪与模式识别技术领域的发展。