一种结合特征融合与模型更新的目标跟踪方法与流程

本发明涉及计算机视觉研究技术领域，具体涉及一种结合特征融合与模型更新的目标跟踪方法。

背景技术：

目标跟踪作为计算机视觉研究领域的重要分支，相关研究成果广泛应用在人机交互、安防监控、智能医疗等方面，在人类生产生活中产生重大的经济效益和社会效益，具有重要的工程意义与研究价值。

然而，受环境干扰、目标自身运动状态多变等客观因素影响，目标表观动态变化，研究能够自适应动态复杂变化场景的实时鲁棒跟踪方法还存在巨大挑战。国内外学者也相继提出了许多方法用于解决现有问题，其目的均是为了更好地适应目标表观变化，提高运动目标检测和跟踪技术在不同应用条件下的准确性、实时性、鲁棒性。

近年来，基于相关滤波框架的目标跟踪技术发展迅速，在计算效率和性能方面具有诸多优势，其基本思想就是通过找到一个滤波模版，让视频序列中下一帧图像与滤波模版进行卷积，得到的置信图最大响应区域即为目标的最佳预测位置。最早出现的典型研究成果为平方误差最小和算法，该方法在傅立叶域中利用基图像块和虚拟循环块训练滤波器，依据初始化的单帧信息给出稳定的基于相关滤波的跟踪算法，采用的峰值旁瓣比可以进行目标遮挡检测与重新找回。为了解决脊回归问题，基于核的循环结构的方法在对偶空间中引入核理论，给出了基于多种类型核函数的封闭式解决方法，可以取得类似于线性分类器一样的计算效率。

通过分析模型数据与核矩阵的循环性，典型核相关滤波方法给出了基于线性回归模型的线性相关滤波器与基于核脊回归模型的对偶相关滤波器，并指出利用离散傅立叶变换进行循环矩阵对角化可以有效减小存储空间和计算时间，但该方法不能适应尺度变化。自适应颜色属性的跟踪方法将颜色作为有效特征用于目标跟踪，扩展了以往的单通道颜色特征学习框架，给出的关于颜色属性的自适应低维变形表述可以在保证计算性能的情况下有效降低计算时间。针对尺度变化问题，多特征尺度自适应滤波的方法利用尺度池解决了核相关滤波跟踪算法中模板尺寸固定的问题，判别性尺度空间跟踪的方法基于尺度空间特征金字塔描述学习得到了相对独立的状态转移和尺度估计滤波器。在贝叶斯框架下，时空上下文学习的方法建立了目标与其周围区域的时空上下文关系，通过目标位置似然函数的最大化求解得到目标最佳位置，引入的傅里叶变换操作有效提高了算法运行效率。

现有典型方法虽然在计算性能和实时性有所提高，但在互补信息利用、尺度自适应和遮挡问题处理等方面的设计与实现还有待进一步完善。因此，本方法以动态复杂场景为应用背景，着重分析在目标表观发生变化时，如何充分利用多种互补特征信息进行目标表观描述，并针对目标尺度变化与外界遮挡干扰等问题给出解决方案，最终设计给出一种结合特征融合与模型更新的目标鲁棒跟踪方法。

技术实现要素：

为了解决现有技术中存在的上述问题，本发明提供了一种结合特征融合与模型更新的目标跟踪方法。本发明要解决的技术问题通过以下技术方案实现：

一种结合特征融合与模型更新的目标跟踪方法，包括以下步骤：

步骤一：对视频序列的第一帧，初始化核相关滤波跟踪器与卡尔曼滤波跟踪器，并标记出跟踪目标矩形框位置，并设置样本循环移位操作的矩形框区域；

步骤二：对目标图像分别提取降维的方向梯度直方图和颜色特征后，将方向梯度直方图和颜色特征串联融合，并进行余弦窗滤波处理；

步骤三：建立跟踪模型，并将步骤二中处理信息导入跟踪模型，求解得到目标最佳状态估计值，并进行尺度自适应处理；

步骤四：对跟踪模型进行更新；

步骤五：重复上述步骤二至步骤四的过程，直至跟踪结束。

进一步的，所述步骤二中方向梯度直方图和颜色特征串联融合方法为，在提取目标图像方向梯度直方图特征后利用主成分分析方法进行降维，再提取降维后的方向梯度直方图与颜色特征，得到描述这两种特征的特征向量，将这两组特征向量串联起来得到组合的新的特征向量。

进一步的，所述步骤二中余弦窗滤波处理过程为：

其中，为融合后图像块，m0＝0,1,…,m0-1，n0＝0,1,…,n0-1，m0×n0为图像块大小。

进一步的，所述步骤三中建立跟踪模型的步骤为：

(1)构建脊回归模型：

其中，xm,n为通过循环偏移图像块x得到训练样本，ym,n为依据偏移距离由高斯函数求得的对应样本标签，ym,n∈[0,1]，m＝0,1,…,m-1，n＝0,1,…,n-1，m×n表征图像块的大小，λ为正则化参数，λ≥0，w为模型参数矩阵，φ(·)代表针对希尔伯特空间的映射，αm,n为相关性系数；

(2)通过引入高斯核函数，图像块x与x′的核相关性可表示为

其中，σ为高斯核函数带宽，^表示离散傅里叶转换操作，f^-1(·)表示逆离散傅里叶变换操作，⊙表示矩阵对应元素相乘的操作，(·)^*代表复共轭操作，x′表征图像块x对应的循环偏移图像块；

(3)依据循环结构与卷积定理，求得系数矩阵表达式为：

其中，α为系数矩阵，y为样本标签矩阵；

(4)利用傅里叶逆变换得到响应矩阵f(z)：

其中，最大响应位置对应的样本块记为目标最佳预测位置。

进一步的，所述步骤四中，对跟踪模型的更新依次包括：更新卡尔曼滤波跟踪器、遮挡情况判定和更新核相关滤波跟踪器；并用跟踪结果对跟踪器进行训练。

进一步的，所述尺度自适应处理方法为，在核相关滤波跟踪器初始化时，设定提取金字塔图像的固定步长并且初始化高斯核，在跟踪模型发生更新时，在尺度不变的时候检测高斯核函数峰值，然后利用固定比率扩大和缩小目标图像的比例，得到两个新的图像层，同样也可以得到这两个图像对应的核函数峰值，找出最大峰值对应的图像即为最适合目标的尺度；通过对初始目标进行尺度缩放和尺度扩大，在跟踪模型发生模型更新的时候使用融合特征检测目标所在位置处的子像素峰值，并求和得到目标所在区域的总体峰值，然后通过改变多尺度的步长，得到三个尺度和三个尺度对应的峰值；通过比较各个三个尺度的响应峰值的大小，找到最大的一个尺度响应峰值，此时的尺度响应峰值所对应的检测出来的目标位置即为合适大小并且是正确的目标位置。

进一步的，所述遮挡情况判定的方法为，若依据遮挡阈值判定为目标受遮挡影响严重，则利用卡尔曼滤波理论进行目标位置预测，否则，依据插值方法实施模型更新，即：

其中，z表示当前预测位置采集得到的图像块，为先前帧模型系数，β为模型学习率。

与现有技术相比，本发明的有益效果：

本方法以动态复杂场景为应用背景，着重分析在目标表观发生变化时，如何充分利用多种互补特征信息进行目标表观描述，并针对目标尺度变化与外界遮挡干扰等问题给出解决方案，并且结合特征融合与模型更新的目标跟踪方法能够在一定程度上动态适应目标表观变化，可以有效处理存在尺度变化、遮挡干扰、光照变化等复杂因素影响的目标跟踪情况。

附图说明

图1是本跟踪方法原理示意图。

图2是walking2测试序列跟踪效果示意图。

图3是freeman4测试序列跟踪效果示意图。

图4是singer1测试序列跟踪效果示意图。

图5是redteam测试序列跟踪效果示意图。

图6是典型测试序列集上的性能评价结果示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

如图1所示，一种结合特征融合与模型更新的目标跟踪方法，包括以下步骤：

步骤一：对视频序列的第一帧，初始化核相关滤波跟踪器与卡尔曼滤波跟踪器，并标记出跟踪目标矩形框位置，并设置样本循环移位操作的矩形框区域；

步骤二：对目标图像分别提取降维的方向梯度直方图和颜色特征后，将方向梯度直方图和颜色特征串联融合，并进行余弦窗滤波处理；

步骤三：建立跟踪模型，并将步骤二中处理信息导入跟踪模型，求解得到目标最佳状态估计值，并进行尺度自适应处理；

步骤四：对跟踪模型进行更新；

步骤五：重复上述步骤二至步骤四的过程，直至跟踪结束。

步骤二中为充分利用不同特征信息在表观描述方面的有效性，引入互补特征融合的思想，并通过降维处理保证计算效率；在提取目标方向梯度直方图(histogramoforientedgradient,hog)特征后利用主成分分析(principalcomponentanalysis,pca)方法进行降维，得到特征通道数目减少的hog特征；同时为更大程度地利用图像色彩信息，采用lab(luminosity为照明度，a，b分别表示色彩三维空间的两个轴)颜色模型进行表观描述，该颜色特征对于色彩比较敏感，但是对于形变和运动模糊敏感度却比较低，可以适用于在目标发生形变或快速运动情况下的跟踪。

通过提取目标图像样本块区域中降维的hog特征和lab颜色特征，得到描述这两种特征的特征向量，最后将这两组特征向量串联起来得到组合的新的特征向量，用于后续的模型训练与目标跟踪过程。

步骤二中余弦窗滤波处理过程为：

其中，为融合后图像块，m0＝0,1,…,m0-1，n0＝0,1,…,n0-1，m0×n0为图像块大小。

步骤三中建立跟踪模型的步骤为：

(1)构建脊回归模型：

其中，xm,n为通过循环偏移图像块x得到训练样本，ym,n为依据偏移距离由高斯函数求得的对应样本标签，ym,n∈[0,1]，m＝0,1,…,m-1，n＝0,1,…,n-1，m×n表征图像块的大小，λ为正则化参数，λ≥0，w为模型参数矩阵，φ(·)代表针对希尔伯特空间的映射，αm,n为相关性系数；

(2)通过引入高斯核函数，图像块x与x′的核相关性可表示为

其中，σ为高斯核函数带宽，^表示离散傅里叶转换操作，f^-1(·)表示逆离散傅里叶变换操作，⊙表示矩阵对应元素相乘的操作，(·)^*代表复共轭操作，x′表征图像块x对应的循环偏移图像块；

(3)依据循环结构与卷积定理，求得系数矩阵表达式为：

其中，α为系数矩阵，y为样本标签矩阵；

(4)利用傅里叶逆变换得到响应矩阵f(z)：

其中，最大响应位置对应的样本块记为目标最佳预测位置。

步骤四中，对跟踪模型的更新依次包括：更新卡尔曼滤波跟踪器、遮挡情况判定和更新核相关滤波跟踪器；并用跟踪结果对跟踪器进行训练。

尺度自适应处理方法为，在核相关滤波跟踪器初始化时，设定提取金字塔图像的固定步长并且初始化高斯核，在跟踪模型发生更新时，在尺度不变的时候检测高斯核函数峰值，然后利用固定比率扩大和缩小目标图像的比例，得到两个新的图像层，同样也可以得到这两个图像对应的核函数峰值，找出最大峰值对应的图像即为最适合目标的尺度；通过对初始目标进行尺度缩放和尺度扩大，在跟踪模型发生模型更新的时候使用融合特征检测目标所在位置处的子像素峰值，并求和得到目标所在区域的总体峰值，然后通过改变多尺度的步长，得到三个尺度和三个尺度对应的峰值；通过比较各个三个尺度的响应峰值的大小，找到最大的一个尺度响应峰值，此时的尺度响应峰值所对应的检测出来的目标位置即为合适大小并且是正确的目标位置。

遮挡情况判定的方法为，若依据遮挡阈值判定为目标受遮挡影响严重，则利用卡尔曼滤波理论进行目标位置预测，否则，依据插值方法实施模型更新，即：

其中，z表示当前预测位置采集得到的图像块，为先前帧模型系数，β为模型学习率。

复杂环境下的目标表观持续发生变化，需要适时进行模型的更新，但是不恰当的更新处理容易引入背景等干扰信息，尤其当目标受到遮挡影响或出现跟踪漂移时，合理的更新策略显得尤为重要。

当给定的相关滤波模型进行第一帧初始化处理时，同时也利用第一帧标定的目标位置对卡尔曼滤波跟踪器进行初始化，设置卡尔曼滤波器中相应的参数信息，并持续记录后续帧跟踪目标的状态信息，用来对下一帧目标的位置进行预测。

当目标发生严重遮挡时，即用于预测适合目标大小的最佳尺度返回的峰值小于一个指定的阈值时，停止模型更新处理，基于之前使用核相关滤波模型获得的目标状态信息，在被判定遮挡的图像帧中采用卡尔曼滤波器对目标位置信息进行预测，然后重复这个过程，直到目标峰值恢复正常，不再受遮挡干扰影响，之后继续更新模型，利用模型预测结果对目标进行定位跟踪。

实施例2：

本方法的实现平台为intelcore(tm)i5-7200u2.50ghz处理器，windows10操作系统，具有8gb内存，实现的程序语言是c++和matlab，在集成了opencv3.4.1和opencv-contrib开发库的visualstudio2012以及matlab2018b软件上进行编程实现。

在实验验证阶段，选取otb数据集中典型测试序列进行测试，其中各测试序列大多受多种复杂因素影响，包括背景干扰、光照变化、低分辨率、尺度变化、快速运动、运动模糊、形变与遮挡等，同时，为验证本设计方法mulitplekcf的有效性，选取六种滤波类跟踪方法进行对比分析，即上下文跟踪器(contexttracker,cxt)，核相关滤波(kernelizedcorrelationfilter,kcf)，基于核的结构输出(structuredoutputtrackingwithkernels,struck)，利用核的循环结构(circulantstructureoftracking-by-detectionwithkernels,csk)，判别性尺度空间跟踪(discriminativescalespacetracking,dsst)和时空上下文学习(spatio-temporalcontextlearning,stc)。

参数设置情况：正则化参数为0.0001，高斯核函数带宽为0.5，元胞数组大小为4*4，目标扩展区域比例为2.5，尺度步长取0.95、1.02，遮挡判断的阈值为0.28，模型更新学习率为0.02。

定性评价

为直观评价不同算法的性能情况，选取并给出明显受尺度变化与遮挡干扰等因素影响的walking2、freeman4、singer2、redteam测试序列依据不同跟踪方法得到的部分时刻跟踪效果，具体如图所示。

(1)walking2序列

对于walking2测试序列，描述的是在视频监控的环境下，跟踪目标在行走过程中受到了短时的部分遮挡，并且伴随尺度变化。根据图2所示，当目标发生遮挡的情况下，除了文中设计的方法之外，其他跟踪方法的跟踪框都发生了不同程度上的漂移，只有新提出的mulitplekcf方法从视频序列开始到结束一直都能够对目标的尺度进行很好的描述，并且在发生遮挡之后对目标仍然能够准确地跟踪，设计给出的尺度自适应与遮挡情况处理具有一定的有效性。

(2)freeman4序列

对于freeman4测试序列，跟踪目标在移动的过程中身体发生了平面内外旋转的情况，并且目标同时也被晃动的外界报纸遮挡。各种方法在部分时刻的跟踪效果如图3所示，可以看出，在整个跟踪过程中只有mutiplekcf方法在跟踪目标被遮挡或者是部分走出视野的情况下能够对目标进行鲁棒并且精准的跟踪，而其他方法受到遮挡的干扰影响对原始标定目标的跟踪均发生了不同程度的偏移，均未能准确地跟踪目标。

(3)singer1序列

对于singer1测试序列，摄像头中跟踪目标存在明显的尺度变化，并且持续受到舞台灯光照射强度变化的影响。根据跟踪效果图4可以观察到在整个跟踪过程中只有dsst和本文multiplekcf方法实现了对目标尺度的变换，能够准确地对视频中跟踪目标的大小进行准确地框定，但是当跟踪目标受到光照变化的影响后，只有本文提出的新方法依然能够准确并且精准地跟踪目标，可以看出，本文算法对于光照变化情况下也具有一定的鲁棒性。

(4)redteam序列

对于redteam测试序列，目标车辆在快速移动，目标尺寸存在明显变化，且在尺寸较小时分辨率明显降低。根据图5跟踪效果来看，只有本文提出的multiplekcf方法能够对车辆移动过程中发生的尺度变化进行准确地描述，可以得出，设计给出的多尺度变换能够对目标进行准确地跟踪。

定量评价

文中采用传统的跟踪算法评估方法(one-passevaluation,ope)完成定量评价，针对不同算法在各典型视频序列上的跟踪结果绘制成功率和精确率曲线。对于成功率图来说，拥有两个坐标轴，横坐标轴上具体的数字代表的是边界框重叠率的阈值，变化的范围从0到1；纵坐标表示的是随着横坐标边界框重叠率的变化，不同算法在同一视频测试序列集中平均成功率。平均成功率的变化随着横坐标边界框重叠率阈值的变化而发生变化；每当在横坐标上确定一个阈值以后，对于一个跟踪算法，测试工具程序就会去针对测试集中每一个视频序列去统计在运行这个算法的时候序列中边界框重叠率小于阈值的帧数占据当前这个视频序列的总帧数的比率，最后针对测试集中的所有序列的比率取平均值，得到的数值就是这个算法图像上某个阈值对应的成功率。对于准确率图来说，横坐标代表的是中心位置误差的阈值，变化范围从0到50，纵坐标代表的是跟踪的准确度，变化范围从0到1，其计算思想和方法都与成功率图中的成功率计算方法类似；计算得到的不同跟踪算法总体成功率和准确率结果如图6所示。

如图6所示，通过对比分析不同算法的性能曲线，可以看出，随着横坐标阈值的变化，本文算法的曲线位置均在其他典型跟踪类算法之上，其跟踪的精确度和成功率均优于其他算法。同时，依据成功率图中给出的阈值为0.6时的各算法综合成功率值，以及准确率图中给出的阈值为20像素时各算法综合准确率值，可知，文中所设计的新方法的跟踪性能具有明显优势。

综合以上定性定量评价结果可以得出，文中新提出的结合特征融合与模型更新的目标跟踪方法能够在一定程度上动态适应目标表观变化，可以有效处理存在尺度变化、遮挡干扰、光照变化等复杂因素影响的目标跟踪情况。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。