一种尺度自适应的相关滤波对冲目标跟踪方法与流程

本发明属于图像处理技术领域，具体地涉及一种尺度自适应的相关滤波对冲目标跟踪方法。

背景技术：

目标跟踪技术是计算机视觉领域中的研究热点之一，是一项重要的任务，颇具挑战性。该技术结合了图像处理、模式识别、人工智能、自动控制等多种学科知识的技术。在给定图像序列第一帧图像中目标的初始状态(比如：位置和尺度)后，目标跟踪技术能估计出后续每帧中的目标状态，实现对目标的跟踪，然后进行进一步的处理和分析(比如目标的运动轨迹分析等)。

近年来，目标跟踪技术研究取得巨大的进步，提出了很多的目标跟踪算法。其中，基于相关滤波的跟踪方法备受关注。在这种框架下，先通过给定的目标区域来在线学习一个相关滤波器，然后根据滤波器在许多的目标候选区域上的响应值得大小来定位目标，响应值最大的即为目标。这类方法的优点是计算效率高，因为根据卷积定理可知函数互相关的傅里叶变换等于函数傅里叶变换的乘积，把目标在频域中表示进行计算，能够大大的提高计算效率。

为了进一步提高基于相关滤波的跟踪方法的跟踪性能，许多学者从特征改进方面进行了大量研究。先前的许多基于相关滤波的跟踪方法，常常利用纹理、颜色等特征来表达目标，如方向梯度直方图(histogramoforientedgradient,hog)特征、颜色空间(colornames：cn)特征，或者两者融合进行目标表达。这些手工特征表达能力有限，从而约束了跟踪的精度。最近，随着深度学习的快速发展，深度特征对物体的表达能力明显优于手工特征，故许多学者将深度神经网络引入核相关滤波跟踪框架中，提高了跟踪的性能。但是，大多数学者只使用单层的提取的深度特征进行，由于深层卷积特征包含目标语义信息，浅层卷积特征包含目标空间信息，在不同的场景下不同层特征的跟踪效果不同，因此仅仅使用单层的深度特征仍然限制了跟踪方法的性能，有研究者提出了一种深度对冲跟踪方法，该方法先提取6层cnn特征图来训练核相关滤波跟踪方法得到的6个弱跟踪方法，再引入自适应对冲算法将它们组合成一个强跟踪方法。该方法结合了多层深度卷积特征的特点，提高了跟踪性能，但是该方法在跟踪过程中使用固定大小的目标框，不能处理处理尺度变化的问题。

技术实现要素：

本发明的目的在于针对现有技术的缺陷，提供一种能够提高跟踪准确度的尺度自适应的相关滤波对冲跟踪方法。

本发明的技术方案如下：一种尺度自适应的相关滤波对冲目标跟踪方法，包括如下步骤：

一、确定视频帧中的待跟踪目标的初始位置和初始尺度，以初始位置为中心，根据初始尺度提取待跟踪目标的图像块，利用深度卷积神经网络分别提取不同层的卷积特征图；

二、对每一层提取的所述卷积特征图，利用核相关滤波跟踪方法进行跟踪，并得到一个跟踪结果；

三、利用自适应对冲算法将所有的所述跟踪结果组合得到一个最终跟踪结果，作为所述待跟踪目标的最终位置，以定位视频帧中所述待跟踪目标；

四、获得所述待跟踪目标的最终位置后，利用尺度金字塔策略估计所述待跟踪目标的最终尺度；

五、得到的所述待跟踪目标的最终位置和最终尺度后，以最终位置为中心，根据最终尺度提取所述待跟踪目标图像块，来重新训练每个所述核相关滤波跟踪方法，以更新系数和模板。

优选地，在步骤一中，利用不同层的所述卷积特征图来更详细地描述所述待跟踪目标。

优选地，在步骤二中，所述核相关滤波跟踪方法具体包括如下步骤：

训练过程，根据目标的最终位置和最终尺度信息提取视频帧中目标模板，学习分类器的系数；

目标检测过程，确定新的视频帧中待跟踪目标的位置；

更新过程，实现对分类器的系数和所述待跟踪目标的外观模板的更新。

优选地，在训练过程中，以最终位置为中心，根据最终尺度来提取视频帧中的所述待跟踪目标图像块，利用深度卷积神经网络分别提取不同层的卷积特征图，第m层的卷积特征图作为基样本x^m，x^m经过循环移位得到多个训练样本，并给每个所述训练样本赋予对应的标签y^m；

而且，为找到分类器系数w^m，并使得分类器f(z)＝w^mtz最小化:

其中：w^m为分类器系数；λ为正则化参数；i,j为正整数。

对于非线性可分模型，引入核函数将样本从低维空间映射到高维空间进行训练，分类器系数w^m转化为高维空间中的系数α^m，得到最优解系数α^m的公式如下：

其中：表示离散傅里叶变换，矩阵y^m为标签矩阵。

优选地，在所述目标检测过程中，检测新视频帧中的所述待跟踪目标时，将所述核相关滤波跟踪方法的前一帧位置作为初始位置，选取和前一帧的模板相同大小的图像块z^m，z^m通过循环移位得到多个候选样本，使用如下公式计算响应值：

其中，表示傅里叶逆变换，α^m是训练得到的分类器系数，表示上一帧学习得到的目标外观模板，表示矩阵点乘，计算所得响应值最大的位置作为新视频帧中所述待跟踪目标的跟踪结果，即第m层的卷积特征图训练得到的所述核相关滤波跟踪方法输出的新视频帧中所述待跟踪目标的跟踪结果为：

优选地，在步骤三中，具体包括如下步骤：

提取m层的所述卷积特征图来训练所述核相关滤波跟踪方法，给第m层的所述卷积特征图训练得到的所述核相关滤波跟踪方法的跟踪结果赋予一个权重ω^m，其中，m为正整数，且m∈[1,2,…,m]，则第t帧中目标的最终位置为：

其中，t为视频帧的帧号，记每一个所述核相关滤波跟踪方法的损失值为

对冲算法引入后悔度

通过最小化来生成新的权重分布：

优选地，在步骤四中，具体包括如下步骤：

在确定当前帧中待跟踪目标的最终尺度过程中，尺度金字塔模型先以所述待跟踪目标的最终位置为中心提取s个不同尺度的图像区域：

其中：wt-1×ht-1是前一帧目标的尺度，r是尺度系数，s为正整数；

再将s个图像块调整到统一尺寸后进行特征提取，然后分别计算每个图像块的尺度响应值，找到响应值最大的n′对应的尺度：

即为当前帧目标的最终尺度。

优选地，在步骤五中，具体包括如下步骤：

以最终位置为中心，重新读取图像块z^mt进行分类器训练，得到系数α^mt，更新目标外观模板x^mt和系数α^mt：

其中：η为学习率。

优选地，在所述步骤五之后还包括步骤六，所述步骤六具体包括如下步骤：

判断是否结束帧，如果是，则跟踪结束；

如果否，则进行下一帧中待跟踪目标的检测，返回所述步骤一。

本发明提供的技术方案具有如下有益效果：

所述尺度自适应的相关滤波对冲目标跟踪方法把尺度金字塔模型和深度对冲跟踪方法相结合，对运动目标进行跟踪，可克服深度对冲跟踪方法不能处理目标尺度变化的问题，进一步提高了跟踪的性能。

附图说明

图1是本发明实施例提供的尺度自适应的相关滤波对冲目标跟踪方法的流程框图；

图2是图1所示尺度自适应的相关滤波对冲目标跟踪方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非上下文另有特定清楚的描述，本发明中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。

请同时参阅图1和图2，本发明实施例提供的尺度自适应的相关滤波对冲目标跟踪方法具体地包括如下步骤：

s1、确定视频帧中的待跟踪目标的初始位置和初始尺度，以初始位置为中心，根据初始尺度提取待跟踪目标的图像块，利用深度卷积神经网络分别提取不同层的卷积特征图。

具体的，在步骤s1中，利用不同层的所述卷积特征图来更详细地描述所述待跟踪目标。在本实施例中，利用深度卷积神经网络vgg-net19分别提取不同层的特征。所述vgg-net19卷积神经网络由imagenet数据集中的130万张图像训练得到，大量的实验证明，不同层的深度卷积特征图能够从不同方面来更细节的描述目标。

需要说明的是，起始帧的初始位置和初始尺度通过指定给出，且可视为起始帧最终位置和最终尺度；而后续帧的最终位置和最终尺度通过深度对冲跟踪方法和尺度金字塔模型得到。

s2、对每一层提取的所述卷积特征图，利用核相关滤波跟踪方法进行跟踪，得到一个跟踪结果。

具体地，在步骤s2中，将所有的所述卷积特征图调整为相同的尺度，然后用所述核相关滤波跟踪方法进行目标跟踪。其中，所述核相关滤波跟踪方法具体包括如下步骤：

训练过程，根据目标的最终位置和最终尺度信息提取视频帧中目标模板，学习分类器的系数；

目标检测过程，确定新的视频帧中待跟踪目标的位置；

更新过程，实现对分类器的系数和所述待跟踪目标的外观模板的更新。

而且，在训练过程中，以最终位置为中心，根据最终尺度来提取视频帧中的所述待跟踪目标图像块，利用深度卷积神经网络分别提取不同层的卷积特征图，第m层的卷积特征图作为基样本x^m，x^m经过循环移位得到多个训练样本，并给每个所述训练样本赋予对应的标签y^m；

而且，为找到分类器系数w^m，并使得分类器f(z)＝w^mtz最小化:

其中：w^m为分类器系数；λ为正则化参数；i,j为正整数。

对于非线性可分模型，引入核函数将样本从低维空间映射到高维空间进行训练，分类器系数w^m转化为高维空间中的系数α^m，得到最优解系数α^m的公式如下：

其中：表示离散傅里叶变换，矩阵y^m为标签矩阵。

在所述目标检测过程中，检测新视频帧中的所述待跟踪目标时，将所述核相关滤波跟踪方法的前一帧位置作为初始位置，选取和前一帧的模板相同大小的图像块z^m，z^m通过循环移位得到多个候选样本，使用如下公式计算响应值：

其中，表示傅里叶逆变换，表示上一帧学习得到的目标外观模板，计算所得响应值最大的位置作为新视频帧中所述待跟踪目标的新位置，第m层的卷积特征图训练得到的所述核相关滤波跟踪方法输出的新视频帧中所述待跟踪目标的新位置为：

s3、利用自适应对冲算法将所有的所述跟踪结果组合得到一个最终跟踪结果，作为所述待跟踪目标的最终位置，并定位所述待跟踪目标。

在步骤s3中，具体包括如下步骤：

提取m层的所述卷积特征图来训练所述核相关滤波跟踪方法，给第m层的所述卷积特征图训练得到的所述核相关滤波跟踪方法赋予一个权重ω^m，其中，m为正整数，且m∈[1,2,…,m]，则第t帧中目标的最终位置为：

其中，t为视频帧的帧号，记每一个所述核相关滤波跟踪方法的损失值

对冲算法引入后悔度

通过最小化来生成新的权重分布：

s4、获得所述待跟踪目标的最终位置后，利用尺度金字塔策略估计所述待跟踪目标的最终尺度。

在步骤s4中，具体包括如下步骤：

在确定当前帧中待跟踪目标的最终尺度过程中，尺度金字塔模型先以所述待跟踪目标的位置为中心提取s个不同尺度的图像区域：

其中：wt-1×ht-1是前一帧目标的尺度，r是尺度系数，s为正整数；

再将s个图像块调整到统一尺寸后进行特征提取，然后分别计算每个图像块的尺度响应值，找到响应值最大的n′对应的尺度：

即为当前帧目标的最终尺度。

s5、得到的所述待跟踪目标的最终位置和最终尺度后，以最终位置为中心，根据最终尺度提取所述待跟踪目标图像块，来重新训练每个所述核相关滤波跟踪方法，以更新系数和模板。

所述步骤s5具体包括如下步骤：以最终位置为中心，重新读取图像块z^mt进行分类器训练，得到系数α^mt，更新目标外观模板x^mt和系数α^mt：

其中：η为学习率。

s6、判断是否结束帧，如果是，则跟踪结束；如果否，则进行下一帧中待跟踪目标的检测，返回所述步骤s1。

在本发明提供尺度自适应的相关滤波对冲目标跟踪方法中，所述步骤s1包含初始化过程，所述步骤s2和所述步骤s3为目标定位过程，所述步骤s4为尺度估计过程，所述步骤s5为模板更新过程。

而且，在所述初始化过程中，需要进行参数设定。例如：正则化参数设为λ＝10^-4，尺度数目设为s＝27，尺度系数设为r＝1.03，学习率设为η＝0.01，6个核相关滤波跟踪方法的初始权重设为(1,0.2,0.2,0.02,0.02,0.01)；手动确定起始帧中的目标边框(位置和尺度)；以目标的位置为中心，提取2.2倍于目标尺度大小的图像块，然后调整大小为224×224作为预训练好的深度卷积神经网络vgg-net19的输入。

相较于现有技术，本发明提供的技术方案具有如下有益效果：

所述尺度自适应的相关滤波对冲目标跟踪方法把尺度金字塔模型和深度对冲跟踪方法相结合，对运动目标进行跟踪，可克服深度对冲跟踪方法不能处理目标尺度变化的问题，进一步提高了跟踪的性能。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。