基于多特征自适应融合和核相关滤波技术的目标跟踪方法与流程

本发明涉及计算机视觉领域，特别是一种基于多特征自适应融合和核相关滤波技术的目标跟踪方法。

背景技术：

目标跟踪是计算机视觉领域中的重要研究内容，目标追踪主要是根据目标在视频中第一帧或者前几帧的位置，估计后序序列目标出现的轨迹。目前，目标跟踪技术主要有两大类：

(1)生成式方法：该方法主要是运用生成模型描述目标的表观特征，在后序序列中找到与目标外观最相似的，也就是说，通过搜索候选目标来最小化重构误差。比较有代表性的算法有稀疏编码，在线密度估计和主成分分析(pca)等。生成式方法着眼于对目标外观的刻画，忽略背景信息，因此在目标外观变化剧烈或者被遮挡时容易产生漂移，跟踪失败。

(2)判别式方法：该方法主要是运用在线机器学习技术训练一个二分类器，然后在后序序列中运用该分类器进行目标检测，完成目标跟踪。近年来，各种机器学习算法被应用在判别式方法上，其中比较有代表性的有多实例学习方法,boosting和结构svm等。判别式方法因为显著区分背景和前景的信息，判别能力强，表现地更为鲁棒，逐渐在目标跟踪领域占据主流地位。值得一提的是，目前大部分深度学习目标跟踪方法也归属于判别式框架。

但是，传统的判别式方法有一个重要的缺陷，即为了增强判别能力，往往需要大量的训练样本，同时也加重了计算负担，使得这些判别式方法在跟踪的实时性上挣扎。

技术实现要素：

本发明目的在于提供一种判别能力强、在复杂场景和外观变化中目标跟踪鲁棒性高的基于多特征自适应融合和核相关滤波技术的目标跟踪方法，以在频域处理中降低计算复杂度，提高目标跟踪的实时性。

实现本发明目的的技术解决方案为：一种基于多特征自适应融合和核相关滤波技术的目标跟踪方法，包括以下几个步骤：

步骤1，输入第t帧图像，如果t＝1则进入步骤6，否则进入下一步；

步骤2，根据第t-1帧跟踪的目标位置pt-1和尺度st-1，获得目标运动的候选区域zt；

步骤3，提取候选区域zt的梯度方向直方图和颜色特征，将两种特征进行融合，然后进行快速傅立叶变换，得到特征图谱其中^表示离散傅立叶变换；

步骤4，根据目标前一帧的特征图谱计算核互相关

步骤5，分别检测位置滤波器和尺度滤波器的输出相应图谱中最大值对应的位置，确定目标在当前帧的位置pt和尺度st；

步骤6，根据第t帧的目标位置pt和尺度st，获得目标区域x；

步骤7，提取目标区域xt的梯度方向直方图和颜色特征，将两种特征进行融合，然后进行快速傅立叶变换，得到特征图谱

步骤8，根据特征图谱计算核自相关

步骤9，设计自适应的目标响应图谱训练位置滤波器和尺度滤波器模型；

步骤10，如果t＝1则进入步骤11，否则进入步骤12；

步骤11，使用线性插值方法更新特征图谱和相关滤波器并进入步骤12；

步骤12，输出目标跟踪结果，令t＝t+1然后返回步骤1进行下一帧图像的跟踪。

进一步地，步骤3和步骤7所述的将两种特征进行融合，具体如下：

(3.1)根据尺寸4m*4n的图像区域i，在9个方向提取梯度方向直方图，采用的单元尺寸4*4，然后经过主成分分析降维后，得到31维的尺寸m*n的特征图谱；

(3.2)将尺寸4m*4n的图像区域i缩放至m*n，提取11维的颜色特征；

(3.3)将(3.1)和(3.2)提取的特征融合，得到42维的尺寸m*n的特征图谱。

进一步地，步骤4所述的计算核互相关和步骤8所述的计算核自相关，具体如下：

(4.1)采用的是高斯核，公式如下：

其中，k(x,x′)表示为两个特征图谱x和x′计算的高斯核，exp(.)表示为e指数函数，σ为高斯函数的标准差，取值为0.5，||.||²表示为向量或矩阵的2范式；

(4.2)计算核相关，公式如下：

其中，k^xx′表示特征图谱x和x′的核相关，exp(.)为e指数函数，σ为高斯函数的标准差，取值为0.5，||.||²为向量或矩阵的2范式，为离散傅立叶变换的逆变换，*为复共轭，^为离散傅立叶变换，为两个矩阵对应元素相乘。

进一步地，步骤5所述的分别检测位置滤波器和尺度滤波器的输出相应图谱中最大值对应的位置，确定目标在当前帧的位置pt和尺度st，具体如下：

(5.1)从第t帧图像，以位置pt-1和尺度st-1提取位置估计的候选区域zt,trans；

(5.2)提取候选区域zt,trans特征图谱

(5.3)采用下面公式计算位置滤波器相关输出响应图谱ft,trans：

其中，ft表示为位置滤波器的输出相应图谱，为特征图谱和的核互相关，为前一帧训练得到的并且更新过的位置滤波器，为离散傅立叶变换的逆变换，^为离散傅立叶变换，⊙为两个矩阵对应元素相乘；

(5.4)第t帧检测到的目标位置pt为输出相应图谱ft,trans最大值对应的位置；

(5.5)从第t帧图像中，以位置pt和尺度st-1提取尺度估计的候选区域zt,sacle，构建尺度金字塔；

(5.6)计算尺度滤波器相关输出响应图谱ft,sacle；

(5.7)第t帧检测到的目标尺度st为输出相应图谱ft,sacle最大值对应的尺度。

进一步地，步骤9所述的设计自适应的目标响应图谱训练位置滤波器和尺度滤波器模型，具体如下：

(9.1)在第t帧图像中，从距上一帧目标位置设定范围内采样m个位置；

(9.2)计算m个位置的相关滤波响应图谱，取每个图谱的最大值；

(9.3)使用最大值填充目标响应图谱对应的m个位置，用高斯插值填充剩余的位置；

(9.4)训练模型公式如下：

其中，表示求得的相关滤波器模型，为特征图谱的核自相关，^为离散傅立叶变换，为两个矩阵对应元素相乘，ξ和λ为正则化参数，取值分别为0.01和0.001。

进一步地，步骤11所述的使用线性插值方法更新特征图谱和相关滤波器公式如下：

其中，和分别为前一帧的特征图谱和相关滤波器，η为学习率，取值为0.02。

本发明与现有技术相比，其显著优点为：(1)结合了梯度方向直方图和颜色特征，其中梯度方向直方图特征反映了目标的结构信息，而颜色特征关注于目标的外观信息，两种互补特征融合，有效地增强了模型的判别能力，提高了跟踪的稳定性；(2)采用自适应尺度估计方法，该方法实现快速，尺度估计准确，可以结合到任何判别式跟踪算法框架中；(3)采用自适应的目标响应设计技术，它结合了目标的外观信息和运动信息，设计了一个更加真实的目标响应，使得训练的相关滤波器有效避免了检测错误。

附图说明

图1为本发明基于自适应的多特征融合的核相关滤波技术的目标跟踪方法的流程图。

图2梯度方向直方图与颜色特征融合示意图。

图3为自适应尺度估计方法示意图。

图4为自适应目标响应设计技术示意图。

图5为本发明在标准视觉跟踪数据集上评测结果图，其中(a)是otb50数据集的准确度绘图，(b)是otb50数据集的正确率绘图，(c)是otb100数据集的准确度绘图，(d)是otb100数据集的正确率绘图。

图6为本发明实际视频目标跟踪结果图，其中(a)是otb100数据集上human测试视频结果图，(b)是otb100数据集上carscale测试视频结果图，(c)是otb50数据集上jogging测试视频结果图，(d)是otb50数据集上jogging测试视频结果图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。本发明基于多特征自适应融合和核相关滤波技术的目标跟踪方法，该方法主要分为四大步，第一步为多种特征提取融合；第二步目标检测，包括位置估计和尺度估计；第三步根据当前检测的目标位置和尺度，训练模型；第四步，采用简单的线性插值方法更新模型。结合图1，具体步骤如下：

步骤1，输入第t帧图像，如果t＝1则进入步骤6，否则进入下一步；

步骤2，根据第t-1帧跟踪的目标位置pt-1和尺度st-1，获得目标运动的候选区域zt；

步骤3，提取候选区域zt的梯度方向直方图和颜色特征，将两种特征进行融合，然后进行快速傅立叶变换，得到特征图谱其中^表示离散傅立叶变换；

步骤4，根据目标前一帧的特征图谱计算核互相关

步骤5，分别检测位置滤波器和尺度滤波器的输出相应图谱中最大值对应的位置，确定目标在当前帧的位置pt和尺度st；

步骤6，根据第t帧的目标位置pt和尺度st，获得目标区域x；

步骤7，提取目标区域xt的梯度方向直方图和颜色特征，将两种特征进行融合，然后进行快速傅立叶变换，得到特征图谱

步骤8，根据特征图谱计算核自相关

步骤9，设计自适应的目标响应图谱训练位置滤波器和尺度滤波器模型；

步骤10，如果t＝1则进入步骤11，否则进入步骤12；

步骤11，使用线性插值方法更新特征图谱和相关滤波器并进入步骤12；

步骤12，输出目标跟踪结果，令t＝t+1然后返回步骤1进行下一帧图像的跟踪。

如图2所示，给出了基于自适应的多特征融合的核相关滤波技术的目标跟踪方法的多特征融合机制的示意图。本发明基于自适应的多特征融合的核相关滤波技术的目标跟踪方法，其特征在于多种特征融合方法，近些年，梯度方向直方图在目标检测和目标跟踪领域表现出色，它主要反映目标的结构信息。颜色特征在图像检索，目标检测，目标识别等领域效果突出，与梯度直方图结合增强了该方法的判别能力，步骤3和步骤7所述的将两种特征进行融合，具体如下：

(3.1)根据尺寸4m*4n的图像区域i，在9个方向提取梯度方向直方图，采用的单元尺寸4*4，然后经过主成分分析降维后，得到31维的尺寸m*n的特征图谱；

(3.2)将尺寸4m*4n的图像区域i缩放至m*n，提取11维的颜色特征；

(3.3)将(3.1)和(3.2)提取的特征融合，得到42维的尺寸m*n的特征图谱。

步骤4所述的计算核互相关和步骤8所述的计算核自相关，具体如下：

(4.1)采用的是高斯核，公式如下：

其中，k(x,x′)表示为两个特征图谱x和x′计算的高斯核，exp(.)表示为e指数函数，σ为高斯函数的标准差，取值为0.5，||.||²表示为向量或矩阵的2范式；

(4.2)计算核相关，公式如下：

其中，k^xx′表示特征图谱x和x′的核相关，exp(.)为e指数函数，σ为高斯函数的标准差，取值为0.5，||.||²为向量或矩阵的2范式，为离散傅立叶变换的逆变换，*为复共轭，^为离散傅立叶变换，⊙为两个矩阵对应元素相乘。

如图3所示，给出了基于自适应的多特征融合的核相关滤波技术的目标跟踪方法的自适应尺度估计方法的示意图。本发明基于自适应的多特征融合的核相关滤波技术的目标跟踪方法，其特征在于自适应尺度估计方法。传统的核相关滤波方法目标的模型尺寸固定，无法处理目标尺度的变化，因此容易导致跟踪失败。本发明提出了一种自适应尺度估计方法，具体是训练一个独立的尺度滤波器，通过尺度滤波器相关响应最大时对应的尺度来估计，这种方法应用快速傅立叶变换，简单而高效，可以集成到传统的判别式目标跟踪方法中，步骤5所述的分别检测位置滤波器和尺度滤波器的输出相应图谱中最大值对应的位置，确定目标在当前帧的位置pt和尺度st，具体如下：

(5.1)从第t帧图像，以位置pt-1和尺度st-1提取位置估计的候选区域zt,trans；

(5.2)提取候选区域zt,trans特征图谱

(5.3)采用下面公式计算位置滤波器相关输出响应图谱ft,trans：

其中，ft表示为位置滤波器的输出相应图谱，为特征图谱和的核互相关，为前一帧训练得到的并且更新过的位置滤波器，为离散傅立叶变换的逆变换，^为离散傅立叶变换，为两个矩阵对应元素相乘；

(5.4)第t帧检测到的目标位置pt为输出相应图谱ft,trans最大值对应的位置；

(5.5)从第t帧图像中，以位置pt和尺度st-1提取尺度估计的候选区域zt,sacle，构建尺度金字塔；

(5.6)计算尺度滤波器相关输出响应图谱ft,sacle；

(5.7)第t帧检测到的目标尺度st为输出相应图谱ft,sacle最大值对应的尺度。

如图4所示，给出了基于自适应的多特征融合的核相关滤波技术的目标跟踪方法的自适应目标响应设计方法的示意图。本发明基于自适应的多特征融合的核相关滤波技术的目标跟踪方法，其特征在于自适应的目标响应设计方法。传统的核相关滤波方法目标响应是固定不变的，目标响应由第一帧目标位置为中心，通过高斯函数产生，这样一旦在检测阶段发生错误，由于模型的更新机制，错误会一直传播下去，直到跟踪失败。本发明为了解决该问题，采用了一种自适应的目标响应设计方法，使得目标响应在每一帧中是变化的，结合了目标的外观信息和运动信息，提高了跟踪方法的鲁棒性，步骤9所述的设计自适应的目标响应图谱训练位置滤波器和尺度滤波器模型，具体如下：

(9.1)在第t帧图像中，从距上一帧目标位置设定范围内采样m个位置；

(9.2)计算m个位置的相关滤波响应图谱，取每个图谱的最大值；

(9.3)使用最大值填充目标响应图谱对应的m个位置，用高斯插值填充剩余的位置；

(9.4)训练模型公式如下：

其中，表示求得的相关滤波器模型，表示特征图谱的核自相关，^表示离散傅立叶变换，⊙表示两个矩阵对应元素相乘，ξ和λ是正则化参数，为了防止训练的模型过拟合，在本发明中ξ和λ取值分别为0.01和0.001。

如图5所示，展示了本发明在标准视觉追踪数据集otb50和otb100上评测结果图，其中(a)是otb50数据集的准确度绘图，(b)是otb50数据集的正确率绘图，(c)是otb100数据集的准确度绘图，(d)是otb100数据集的正确率绘图。otb50数据集有50个视频序列，总共拥有29000帧，而otb100数据集拥有100个视频序列，总共拥有58897帧，它们每帧都有目标的标记。评测指标主要有两种：准确度和成功率。在准确度绘图(a)和(c)中，准确度定义为算法检测位置与目标标定位置之间的距离不超过20像素的帧数占总评测帧数的百分比；在成功率绘图(b)和(d)中，重叠率指的是算法检测目标包围盒与目标标定包围盒两者之间重叠部分面积(交运算)占总面积(并运算)的百分比超过50％的帧数占总评测帧数的百分比。从评测结果可以看出，本发明在目标追踪任务中表现出色。

如图6所示，展示了本发明与近年来一些出色的算法在实际视频中目标追踪结果比较图，其中(a)是otb100数据集上human测试视频结果图，(b)是otb100数据集上carscale测试视频结果图，(c)是otb50数据集上jogging测试视频结果图，(d)是otb50数据集上jogging测试视频结果图。总体来看，本发明追踪效果最好，由于使用颜色和梯度方向直方图融合特征，尺度检测机制，自适应目标相应机制，本发明能够在目标发生遮挡，尺度变化，目标变形以及目标快速运动等不利因素条件下准确追踪目标。