一种基于上下文信息及多特征融合的相关滤波目标跟踪方法与流程

本发明涉及一种基于上下文信息及多特征融合的相关滤波目标跟踪方法，属于视频目标跟踪技术领域。

背景技术：

在计算机视觉领域中，目标跟踪具有广阔的应用前景，主要包括人机交互、军事制导、运动员比赛分析、智能视觉导航等。虽然近年来目标跟踪问题已经取得了很大的突破，但由于在目标在跟踪过程中存在形态变化及背景杂波等情况，完成精确的目标跟踪，仍是一个极大的挑战。

根据目标外观模型的建模方式差异，可将目标跟踪模型分成两类：生成式模型和判别式模型。基于生成式模型的目标跟踪算法，使用生成式模型描述目标的表观特征，通过采样搜索出来的候选目标实现重构误差最小化，再对比候选目标和模型的相似程度，找到最大相似目标作为跟踪结果。判别式表观模型则是通过训练各种各样的分类器来区分被跟踪的目标物体和背景区域，有效地利用了目标的上下文背景信息，由于效果较好得到广泛应用。其中具代表的是基于相关滤波的staple-ca算法，该算法有效融合目标及上下文的hog特征和颜色直方图特征，分成两个独立的岭回归解决目标跟踪问题。该算法能够解决一般的目标外型变化，如目标外观遇到变化以及光照的不连续性等，对复杂环境下的目标变化容易跟踪失败。由于该算法采用的是传统特征，不能有效提取目标的语义信息，当跟踪目标发生遮挡时，容易丢失目标，出现模型漂移和失败的情形。

技术实现要素：

本发明要解决的技术问题是提供一种基于上下文信息及多特征融合的相关滤波目标跟踪方法，用于解决在视觉目标跟踪过程中，因遮挡、尺度变化、光照等、背景杂波因素造成的跟踪漂移状况的情形，实现准确且鲁棒的目标跟踪。

本发明的技术方案是：一种基于上下文信息及多特征融合的相关滤波目标跟踪方法，首先从目标和上下文背景中提取方向梯度直方图(hog)特征和目标颜色直方图特征，通过固定权重策略融合这两种传统特征的相关滤波响应，然后利用用深度学习中的卷积网络提取目标和上下文背景的卷积特征，采用自适应权重融合策略融合传统特征响应和卷积特征响应，基于融合后的响应图得到估计目标位置并采用尺度估计方法解决目标尺度变化问题，具体为：

step1、获取目标的初始位置信息以及尺度信息；

step2、根据step1获取的初始信息提取目标及上下文背景信息的传统特征：hog特征和颜色直方图特征；

step3、根据step2提取的hog特征和颜色直方图特征和分别建立相关滤波模型，并采用固定系数融合的方式融合两种传统特征得到相关滤波响应；

step4、利用深度学习中的卷积网络获取初始目标及上下文背景信息的卷积特征；

step5、利用根据step4提取的卷积特征建立相关滤波模型，并采用自适应融合方式融合step3得到传统特征响应以得到最后的滤波响应，并预测目标位置；

step6、利用step5得到的目标位置信息，添加尺度滤波器预测目标的尺度变化；

step7、得到目标的位置信息和尺度信息后，更新相关滤波模型进行跟踪，直到最后一帧。

所述步骤step3和step5中利用目标及上下文信息提取的传统特征和卷积特征建立相关滤波模型的具体步骤如下：

记当前提取图像块特征x，通过循环移位得到矩阵x，在目标样本x周围上下左右采取大小相同的n个上下文信息得到xi，其对应的循环移位矩阵为xi，采样得到的n个上下文信息样本作为负样本来训练分类器，使得该滤波器在目标样本处具有较高的响应值，在上下文信息处响应值接近为零，加入上下文信息后目标函数的岭回归为：

式(1)中，λ和λ1为正则化参数，w为滤波器，y表示相关滤波期望输出，将式中的背景样本与目标样本的循环矩阵进行合并，可得：

式(2)中，β为分块循环矩阵，所有循环矩阵在傅式空间中可以使用离散傅里变换(dft)矩阵进行对角化，得到以下公式：

滤波器w利用傅里叶快速求解为：

本发明的有益效果是：有效利用了目标周围的背景信息，利用背景信息辅助定位，跟踪精度有所提升。高效融合了传统特征和卷积特征，能够有效减少在跟踪过程中因部分遮挡导致的模型漂移现象的发生。在准确追踪目标位置和尺度变化的同时，能够以较高的执行速度跟踪目标。

附图说明

图1是本发明的流程示意图；

图2是本发明的具体流程示意图。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步说明。

实施例1：如图1-2所示，一种基于上下文信息及多特征融合的相关滤波目标跟踪方法，首先从目标和上下文背景中提取方向梯度直方图(hog)特征和目标颜色直方图特征，通过固定权重策略融合这两种传统特征的相关滤波响应，然后利用用深度学习中的卷积网络提取目标和上下文背景的卷积特征，采用自适应权重融合策略融合传统特征响应和卷积特征响应，基于融合后的响应图得到估计目标位置并采用尺度估计方法解决目标尺度变化问题。

具体步骤如下：

step1、获取目标的初始位置信息以及尺度信息。

所述step1中由于本发明是在公开测试集otb-2013上验证发明有效性，所以跟踪目标第一帧的位置信息和尺度信息在测试集中都有标注。通过读取测试集的标注文件，即可以得到目标初始信息。

step2、根据step1获取的初始信息提取目标的hog特征和颜色直方图特征。

step3、根据step2提取目标及上下文信息的hog特征和颜色直方图特征和卷积特征分别建立相关滤波模型，并采用固定系数融合的方式得到传统特征相关滤波响应。建立相关滤波模型的具体步骤如下：

记当前提取图像块特征x，通过循环移位得到矩阵x，在目标样本x周围上下左右采取大小相同的n个上下文信息得到xi，其对应的循环移位矩阵为xi。采样得到的n个上下文信息样本作为负样本来训练分类器，使得该滤波器在目标样本处具有较高的响应值，在上下文信息处响应值接近为零。加入上下文信息后目标函数的岭回归为：

式(1)中，λ和λ1为正则化参数，w为滤波器，y表示相关滤波期望输出。将式中的背景样本与目标样本的循环矩阵进行合并，可得：

式(2)中，β为分块循环矩阵。所有循环矩阵在傅式空间中可以使用离散傅里变换(dft)矩阵进行对角化，得到以下公式：

滤波器w利用傅里叶快速求解为：

step4、利用深度学习中的卷积网络获取初始目标及上下文背景信息的卷积特征。采用的卷积网络结构为vgg-19，由于低层卷积包含更多的位置信息，而深层卷积包含更多的语义信息。所以用vgg-19提取conv3-4,conv4-4,conv5-4这三层的特征，进行线性加权得到最终的卷积响应。

step5、采用自适应融合的方法融合step3得到的相关滤波响应和step4得到的卷积特征响应得到最后的响应：flast＝kconvfconv+ktradftrad，并预测目标位置。利用视频帧的峰值旁瓣比(psr)来衡量各模型对跟踪模型的贡献度，动态分配模型响应图融合权重。

各自的自适应权重由下式计算：

ktrad＝1-kconv

其中，cconv表示传统特征psr，ctrad表示卷积特征psr，计算公式为：

c＝psr(ft)-psr(ft-1)

式中，t为当前帧的序列号，μ为均值，δ为方差。

权重kt的更新策略为：

kt＝(1-ηk)kt-1+ηkkt

其中，ηk为权重更新系数。

step6、利用step5得到的目标位置信息，添加尺度滤波器预测目标的尺度变化。

在之前预测到的跟踪位置进行尺度“金字塔”采样。用于尺度评估的目标样本尺寸选择原则为：

其中，p、r分别为目标在上一帧的宽、高，a是尺度因子，s为尺度总级数。然后将得到的不同尺度的目标样本统一缩放为p×r的大小，再和一维尺度相关滤波器进行相关操作获得尺度响应图，其最大响应值位置即为对应目标最佳尺度。

step7、得到目标的位置信息和尺度信息后，更新相关滤波模型进行跟踪，直到最后一帧。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。