基于深度特征核相关滤波器的尺度自适应目标跟踪方法与流程

本发明涉及计算机视觉技术领域，特别是一种基于深度特征核相关滤波器的尺度自适应目标跟踪方法。

背景技术：

近年来，随着大规模标注数据集的出现，以及计算机计算能力的提升，深度学习方法尤其是卷积神经网络成功应用于图像分类、目标检测、目标识别以及语义分割等计算机视觉领域，这主要归功于卷积神经网络强大的目标表示能力。与传统的图像特征不同，深度卷积特征从大量的数千个类别的图像数据学习得到，所以高层的卷积特征表示目标的语义特征，适用于图像分类问题。由于高层的卷积特征分辨率很低，所以并不适合确定目标的位置，而且由于训练数据的缺失，在跟踪开始的前几帧训练一个深度模型困难重重。

最近，基于相关滤波器的判别式跟踪方法由于跟踪效果高效而准确，引起很多研究者的兴趣。基于相关滤波器的跟踪方法通过将输入特征回归为目标高斯分布在线训练一个相关滤波器，并在后续的跟踪过程中寻找相关滤波器输出相应图谱的峰值确定目标的位置。相关滤波器在运算中巧妙应用快速傅里叶变换，降低了计算复杂度，使得跟踪速度大幅度提升。但是，核相关滤波器算法使用传统的梯度方向直方图特征，当目标外观表示发生变化时，跟踪算法容易漂移；另外，该算法不能估计目标的尺度变化，而且采用简单的线性插值更新模型，这样当目标追踪发生错误的时候，由于更新机制的最终导致跟踪算法漂移。

技术实现要素：

本发明的目的在于提供一种基于深度特征核相关滤波器的尺度自适应目标跟踪方法，从而提高目标在复杂场景和外观变化中的目标跟踪的鲁棒性，高效准确地处理目标尺度变化，尽可能地减少因错误检测而导致的模型跟踪漂移。

实现本发明目的的技术解决方案为：一种基于深度特征核相关滤波器的尺度自适应目标跟踪方法，包括以下几个步骤：

步骤1，输入目标的初始位置p0和尺度s0，设置窗口大小为目标初始包围盒的2.0倍；

步骤2，根据第t-1帧的目标位置pt-1，获得目标区域xt-1，尺寸为窗口大小；

步骤3，提取目标区域xt-1的深度卷积特征，并进行快速傅立叶变换，得到特征图谱其中^表示离散傅立叶变换；

步骤4，根据特征图谱计算核自相关

步骤5，训练位置和尺度相关滤波器；

步骤6，根据第t-1帧目标的位置pt-1，获得目标在第t帧的候选区域zt，尺寸为窗口大小；

步骤7，提取候选区域zt的深度卷积特征，并进行快速傅立叶变换，得到特征图谱其中^表示离散傅立叶变换；

步骤8，根据目标前一帧的特征图谱计算核互相关

步骤9，分别检测位置滤波器和尺度滤波器的输出图谱中最大值对应的位置，来确定目标在当前帧的位置pt和尺度st；

步骤10，采用自适应的模型更新策略更新核相关滤波器。

进一步地，步骤3和步骤7所述深度卷积特征的提取方法，具体如下：

(3.1)预处理，将窗口区域i缩放到卷积神经网络规定的输入尺寸224×224；

(3.2)特征提取，提取卷积神经网络第3、4和5个卷积层的特征图谱；

(3.3)双线性插值，将提取的3层卷积特征上采样到同等尺寸大小。

进一步地，步骤4所述计算核自相关和步骤8所述计算核互相关具体方法如下：

(4.1)采用高斯核，公式如下：

其中，k(x,x′)表示两个特征图谱x和x′计算的高斯核，exp(.)表示e指数函数，σ是高斯函数的标准差，σ取值为0.5，||.||²表示向量或矩阵的2范式；

(4.2)计算核相关，公式如下：

其中，k^xx′表示特征图谱x和x′的核相关，exp(.)表示e指数函数，σ是高斯函数的标准差，σ取值为0.5，||.||²表示向量或矩阵的2范式，表示离散傅立叶变换的逆变换，*表示复共轭，^表示离散傅立叶变换，⊙表示两个矩阵对应元素相乘。

进一步地，步骤5所述的训练位置和尺度相关滤波器，具体如下：

根据步骤3所提取的深度卷积特征，对每层特征图谱分别训练1个核相关滤波器，采用如下公式训练模型：

其中，表示根据第l层深度卷积特征图谱求得的相关滤波器模型，表示特征图谱的核自相关，^表示离散傅立叶变换，λ是正则化参数，防止训练的模型过拟合，λ取值为0.001。

进一步地，步骤9所述分别检测位置滤波器和尺度滤波器的输出图谱中最大值对应的位置，来确定目标在当前帧的位置pt和尺度st，具体如下：

(9.1)从第t帧图像，以位置pt-1和窗口大小选取候选区域zt,trans；

(9.2)提取候选区域zt,trans的3层深度卷积特征图谱

(9.3)对第l层特征图谱计算位置滤波器相关输出置信度图谱ft,trans^(l)：

其中，ft^(l)表示第l层特征图谱的位置滤波器的输出相应图谱，表示特征图谱和的核互相关，是前一帧训练得到的并且更新过的位置滤波器，表示离散傅立叶变换的逆变换，^表示离散傅立叶变换，表示两个矩阵对应元素相乘；

(9.4)从输出相应图谱ft⁽³⁾开始由粗到细估计目标位置，第l层的目标位置pt^(l)为输出相应图谱ft,trans^(l)最大值对应的位置；

(9.5)从第t帧图像中，以位置pt和尺度st-1提取尺度估计的候选区域zt,sacle，构建尺度金字塔；

(9.6)提取候选区域的梯度方向直方图特征计算尺度滤波器相关输出置信度图谱ft,sacle；

(9.7)第t帧检测到的目标尺度st为输出相应图谱ft,sacle最大值对应的尺度。

进一步地，步骤10所述采用自适应的模型更新策略更新核相关滤波器，具体如下：

(10.1)在完成估计目标位置和尺度之后，计算两种跟踪结果置信度度量准则，其一是相关相应输出图谱的峰值：

fmax＝maxf

其中，f为核相关滤波器与候选区域相关输出相应图谱，fmax是该图谱的峰值；

另一种是平均峰值相关能量apce：

其中，fmax和fmin分别是输出图谱f的最大值与最小值，mean(.)表示求均值函数，fi,j表示输出图谱f的第i行第j列数值；

(10.2)如果fmax和apce均大于fmax和apce历史平均值，则模型进行更新，否则，不进行更新；对每一深度卷积层，使用线性插值方法更新，公式如下：

其中，和分别表示第l层的前一帧的特征图谱和相关滤波器，η为学习率，η越大模型更新越快，η取值为0.02。

本发明与现有技术相比，其显著优点为：(1)使用深度卷积特征，深度卷积特征是从大量的数千类别的图像数据中学习得到，具有强大的目标表示能力，使得算法在目标外观发生变化时以及外部因素如光照变化时具有较强的鲁棒性；(2)采用自适应尺度估计方法，该方法与位置估计类似，训练一个单独的尺度滤波器，巧妙使用快速傅里叶变换，实现高效，尺度估计准确，可以结合到任何判别式跟踪算法框架中；(3)采用自适应的高置信度的模型更新策略，当在目标追踪阶段发生错误时，目标检测的置信度较低，此时模型不应更新，这种策略有效地降低了跟踪算法漂移的危险。

附图说明

图1为本发明基于深度特征核相关滤波器的尺度自适应目标跟踪方法的流程图。

图2为提取深度卷积特征示意图。

图3为目标位置和尺度估计示意图，其中(a)是由粗到细的目标位置估计示意图，(b)是自适应的目标尺度估计示意图。

图4为自适应的高置信度的模型更新示意图。

图5为本发明在标准视觉跟踪数据集上评测结果图，其中(a)是otb50数据集的准确度绘图，(b)是otb50数据集的正确率绘图，(c)是otb100数据集的准确度绘图，(d)是otb100数据集的正确率绘图。

图6为本发明实际视频目标跟踪结果图，其中(a)是otb100数据集上human测试视频结果图，(b)是otb100数据集上walking测试视频结果图，(c)是otb50数据集上tiger测试视频结果图，(d)是otb50数据集上dog测试视频结果图。

具体实施方式

为使本发明的结构特征以及所达成的功效有进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

结合图1，本发明基于深度特征核相关滤波器的尺度自适应目标跟踪方法，包括以下几个步骤：

步骤1，输入目标的初始位置p0和尺度s0，设置窗口大小为目标初始包围盒的2.0倍；

步骤2，根据第t-1帧的目标位置pt-1，获得目标区域xt-1，尺寸为窗口大小；

步骤3，提取目标区域xt-1的深度卷积特征，并进行快速傅立叶变换，得到特征图谱其中^表示离散傅立叶变换；

步骤4，根据特征图谱计算核自相关

步骤5，训练位置和尺度相关滤波器；

步骤6，根据第t-1帧目标的位置pt-1，获得目标在第t帧的候选区域zt，尺寸为窗口大小；

步骤7，提取候选区域zt的深度卷积特征，并进行快速傅立叶变换，得到特征图谱其中^表示离散傅立叶变换；

步骤8，根据目标前一帧的特征图谱计算核互相关

步骤9，分别检测位置滤波器和尺度滤波器的输出图谱中最大值对应的位置，来确定目标在当前帧的位置pt和尺度st；

步骤10，采用自适应的模型更新策略更新核相关滤波器。

作为一种具体示例，步骤3和步骤7所述深度卷积特征的提取方法，具体如下：

(3.1)预处理，将窗口区域i缩放到卷积神经网络规定的输入尺寸224×224；

(3.2)特征提取，提取卷积神经网络第3、4和5个卷积层的特征图谱；

(3.3)双线性插值，将提取的3层卷积特征上采样到同等尺寸大小。

作为一种具体示例，步骤4所述计算核自相关和步骤8所述计算核互相关具体方法如下：

(4.1)采用高斯核，公式如下：

其中，k(x,x′)表示两个特征图谱x和x′计算的高斯核，exp(.)表示e指数函数，σ是高斯函数的标准差，σ取值为0.5，||.||²表示向量或矩阵的2范式；

(4.2)计算核相关，公式如下：

其中，k^xx′表示特征图谱x和x′的核相关，exp(.)表示e指数函数，σ是高斯函数的标准差，σ取值为0.5，||.||²表示向量或矩阵的2范式，表示离散傅立叶变换的逆变换，*表示复共轭，^表示离散傅立叶变换，表示两个矩阵对应元素相乘。

作为一种具体示例，步骤5所述的训练位置和尺度相关滤波器，具体如下：

根据步骤3所提取的深度卷积特征，对每层特征图谱分别训练1个核相关滤波器，采用如下公式训练模型：

其中，表示根据第l层深度卷积特征图谱求得的相关滤波器模型，表示特征图谱的核自相关，^表示离散傅立叶变换，λ是正则化参数，防止训练的模型过拟合，λ取值为0.001。

作为一种具体示例，步骤9所述分别检测位置滤波器和尺度滤波器的输出图谱中最大值对应的位置，来确定目标在当前帧的位置pt和尺度st，具体如下：

(9.1)从第t帧图像，以位置pt-1和窗口大小选取候选区域zt,trans；

(9.2)提取候选区域zt,trans的3层深度卷积特征图谱

(9.3)对第l层特征图谱计算位置滤波器相关输出置信度图谱ft,trans^(l)：

其中，ft^(l)表示第l层特征图谱的位置滤波器的输出相应图谱，表示特征图谱和的核互相关，是前一帧训练得到的并且更新过的位置滤波器，表示离散傅立叶变换的逆变换，^表示离散傅立叶变换，表示两个矩阵对应元素相乘；

(9.4)从输出相应图谱ft⁽³⁾开始由粗到细估计目标位置，第l层的目标位置pt^(l)为输出相应图谱ft,trans^(l)最大值对应的位置；

(9.5)从第t帧图像中，以位置pt和尺度st-1提取尺度估计的候选区域zt,sacle，构建尺度金字塔；

(9.6)提取候选区域的梯度方向直方图特征计算尺度滤波器相关输出置信度图谱ft,sacle；

(9.7)第t帧检测到的目标尺度st为输出相应图谱ft,sacle最大值对应的尺度。

作为一种具体示例，步骤10所述采用自适应的模型更新策略更新核相关滤波器，具体如下：

(10.1)在完成估计目标位置和尺度之后，计算两种跟踪结果置信度度量准则，其一是相关相应输出图谱的峰值：

fmax＝maxf

其中，f为核相关滤波器与候选区域相关输出相应图谱，fmax是该图谱的峰值；

另一种是平均峰值相关能量(averagepeak-to-correlationenergy,apce)：

其中，fmax和fmin分别是输出图谱f的最大值与最小值，mean(.)表示求均值函数，fi,j表示输出图谱f的第i行第j列数值；

(10.2)如果fmax和apce均大于fmax和apce历史平均值，则模型进行更新，否则，不进行更新；对每一深度卷积层，使用线性插值方法更新，公式如下：

其中，和分别表示第l层的前一帧的特征图谱和相关滤波器，η为学习率，η越大模型更新越快，η取值为0.02。

本发明解决了由目标形变、光照变化、目标旋转和尺度变化等外观变化以及目标遮挡等导致跟踪失败的缺陷。借助深度卷积特征的强大目标表示能力，提高了目标在复杂场景和外观变化中的目标跟踪的鲁棒性；另外，本发明能够高效准确地处理目标尺度变化，最后，由于采用自适应的高置信度的模型更新策略，减少了因错误检测而导致的模型跟踪漂移。

下面结合具体实施例对本发明做进一步详细说明。

实施例1

本发明基于深度特征核相关滤波器的尺度自适应目标跟踪方法，该方法主要分为四步，第一步为提取深度卷积特征；第二步训练核相关滤波器；第三步估计目标在当前帧的位置和尺度；第四步，采用自适应的高置信度的模型更新策略。

步骤1，输入目标的初始位置p0和尺度s0，设置窗口大小为目标初始包围盒的2.0倍；

步骤2，根据第t-1帧的目标位置pt-1，获得目标区域xt-1,尺寸为窗口大小；

步骤3，提取目标区域xt-1的深度卷积特征，快速傅立叶变换，得到特征图谱其中^表示离散傅立叶变换；

步骤4，根据特征图谱计算核自相关

步骤5，训练位置和尺度相关滤波器；

步骤6，根据第t-1帧目标的位置pt-1，获得目标在第t帧的候选区域zt,尺寸为窗口大小；

步骤7，提取候选区域zt的深度卷积特征，并进行快速傅立叶变换，得到特征图谱其中^表示离散傅立叶变换；

步骤8，根据目标前一帧的特征图谱计算核互相关

步骤9，分别检测位置滤波器和尺度滤波器的输出相应图谱的最大值对应的位置来确定目标在当前帧的位置pt和尺度st；

步骤10，采用自适应的高置信度的模型更新策略更新核相关滤波器。

如图2所示，给出了基于深度特征核相关滤波器的尺度自适应目标跟踪方法的提取深度卷积特征的示意图。本发明基于深度特征核相关滤波器的尺度自适应目标跟踪方法，其特征在于提取深度卷积特征，深度卷积特征是从大量的数千类别的图像数据中学习得到，具有强大的目标表示能力，使得算法在目标外观发生变化时以及外部因素如光照变化时具有较强的鲁棒性，具体步骤如下：

(3.1)预处理，将窗口区域i缩放到卷积神经网络规定的输入尺寸224×224；

(3.2)特征提取，提取卷积神经网络第3、4和5个卷积层的特征图谱；

(3.3)双线性插值，将提取的3层卷积特征上采样到同等尺寸大小。

如图3所示，给出了基于深度特征核相关滤波器的尺度自适应目标跟踪方法的目标位置和尺度估计示意图，其中图3(a)是由粗到细的目标位置估计示意图，图3(b)是自适应的目标尺度估计示意图。本发明基于深度特征核相关滤波器的尺度自适应目标跟踪方法，其特征在于由粗到细的分层位置估计方法和自适应的目标尺度估计方法。传统的核相关滤波方法目标的模型尺寸固定，无法处理目标尺度的变化，因此容易导致跟踪失败。本发明提出了一种自适应尺度估计方法，它主要思想是训练一个独立的尺度滤波器，通过尺度滤波器相关响应最大时对应的尺度来估计，这种方法巧妙应用快速傅立叶变换，简单而高效，可以集成到传统的判别式目标跟踪方法中，具体步骤如下：

(9.1)从第t帧图像，以位置pt-1和窗口大小选取候选区域zt,trans；

(9.2)提取候选区域zt,trans的3层深度卷积特征图谱

(9.3)对第l层特征图谱计算位置滤波器相关输出置信度图谱ft,trans^(l)：

其中，ft^(l)表示第l层特征图谱的位置滤波器的输出相应图谱，表示特征图谱和的核互相关，是前一帧训练得到的并且更新过的位置滤波器，表示离散傅立叶变换的逆变换，^表示离散傅立叶变换，表示两个矩阵对应元素相乘。

(9.4)从输出相应图谱ft⁽³⁾开始由粗到细估计目标位置，第l层的目标位置pt^(l)为输出相应图谱ft,trans^(l)最大值对应的位置；

(9.5)从第t帧图像中，以位置pt和尺度st-1提取尺度估计的候选区域zt,sacle，构建尺度金字塔；

(9.6)提取候选区域的梯度方向直方图特征计算尺度滤波器相关输出置信度图谱ft,sacle；

(9.7)第t帧检测到的目标尺度st为输出相应图谱ft,sacle最大值对应的尺度。

如图4所示，给出了基于深度特征核相关滤波器的尺度自适应目标跟踪方法的自适应的高置信度的模型更新示意图。本发明基于深度特征核相关滤波器的尺度自适应目标跟踪方法，其特征在于自适应的高置信度的模型更新策略。传统的核相关滤波模型更新方法采用简单线性插值方法，没有进行跟踪错误检测，当跟踪时目标检测出现错误，模型更新会污染核相关滤波器，导致跟踪算法漂移。本发明提出了两种检测置信度准则，当确定目标跟踪正确时，则模型更新，否则，模型不更新，具体步骤如下：

(10.1)在完成估计目标位置和尺度之后，计算两种跟踪结果置信度度量准则,其一是相关相应输出图谱的峰值：

fmax＝maxf

其中，f为核相关滤波器与候选区域相关输出相应图谱，fmax是该图谱的峰值。另一种是平均峰值相关能量(averagepeak-to-correlationenergy,apce)：

其中，fmax和fmin是输出图谱f的最大值与最小值，mean(.)表示求均值函数。fi,j表示输出图谱f的第i行第j列数值。

(10.2)如果fmax和apce均大于fmax和apce历史平均值，则模型进行更新，否则，不进行更新。对每一深度卷积层，使用线性插值方法更新，公式如下：

其中，和分别表示第l层的前一帧的特征图谱和相关滤波器，η为学习率，η越大模型更新地越快，在发明中η取值为0.02。

如图5所示，展示了本发明在标准视觉追踪数据集otb50和otb100上评测结果图，其中(a)是otb50数据集的准确度绘图，(b)是otb50数据集的正确率绘图，(c)是otb100数据集的准确度绘图，(d)是otb100数据集的正确率绘图。otb50数据集有50个视频序列，总共拥有29000帧，而otb100数据集拥有100个视频序列，总共拥有58897帧，它们每帧都有目标的标记。评测指标主要有两种：准确度和成功率。在准确度绘图(a)和(c)中，准确度定义为算法检测位置与目标标定位置之间的距离不超过20像素的帧数占总评测帧数的百分比；在成功率绘图(b)和(d)中，重叠率指的是算法检测目标包围盒与目标标定包围盒两者之间重叠部分面积(交运算)占总面积(并运算)的百分比超过50％的帧数占总评测帧数的百分比。从评测结果可以看出，与经典的目标跟踪算法相比，本发明(fscf2)在目标追踪任务中表现出色。

如图6所示，展示了本发明与近年来一些出色的算法在实际视频中目标追踪结果比较图，其中(a)是otb100数据集上human测试视频结果图，(b)是otb100数据集上walking测试视频结果图，(c)是otb50数据集上tiger测试视频结果图，(d)是otb50数据集上dog测试视频结果图。总体来看，与经典的目标跟踪算法相比，本发明(fscf2)追踪效果最好，由于使用深度卷积特征，具有很强的目标表示能力，自适应尺度估计机制以及自适应的高置信度的模型更新策略使本发明能够在目标发生遮挡，尺度变化，目标变形以及目标快速运动等不利因素条件下仍然能够准确追踪目标。