一种基于多特征的融合的长时运动目标跟踪方法与流程

本发明涉及一种基于多特征的融合的长时运动目标跟踪方法，属于复杂场景下对运动目标的实时跟踪技术领域。

背景技术：

视频跟踪是机器视觉领域的基础问题之一，它是目标识别，行为识别等后续应用的基础，在航空和航天，社会安全等重大项目中有着广阔的应用前景；视频跟踪可以用在自动监控、视频索引、人机交互、交通监控、车辆导航等方面。然而，由于物体的突然运动、目标或者背景外观的改变、目标遮挡、非刚性形变以及摄像机的抖动等外在因素的变化，进行鲁棒的跟踪仍然面临着很大的挑战。

由于相关滤波方法的高效性，bolme等提出了最小输入平方误差和(minimumoutputsumofsquareerror,mosse)算法，采用灰度特征进行跟踪，它克服了目标尺度形变的情况，对目标外观的变化有着较强的鲁棒性。henriques等[1]提出了循环结构的检测跟踪(circulantstructureoftracking-by-detectionwithkernel，csk)算法，采用正则化最小二乘分类器实现对目标的跟踪。之后henriques等又提出了基于核相关滤波器(kernelcorrelationfilter)的跟踪算法，使用目标的方向梯度(histogramoforientedgradients)特征来替代了csk算法中所使用的灰度特征，对跟踪效果有了进一步提升。kzhang等人提出基于时空上下文的快速跟踪方法(fastvisualtrackingviadensespatio-temporalcontextlearning)，融合目标周围的空间信息进行跟踪。上述的算法都仅采用了一种特征进行特征描述，对于有着多种特征的目标跟踪的结果并不是很精确，而且在目标发生遮挡或者丢失的时候并不能做出很好的处理，容易将错误信息一直累计导致目标彻底丢失。

技术实现要素：

本发明要解决的问题为提供一种基于多特征的融合的长时运动目标跟踪方法，用已解决现有的仅利用单一特征跟踪对目标发生形变等情况的表现不够好，并且在丢失目标后很难再跟回的缺点。

本发明采用的技术方案为：首先在第一帧初始化目标所在的区域与目标周围的上下文信息区域，用方向梯度直方图(histogramoforientedgrandient，hog)特征融合hsv颜色特征来训练位置滤波器；然后在下一帧的目标区域中提取特征与上一帧进行对比，计算得出置信值，得到响应图，选取响应值最大的位置即为目标所在的位置；定义一个阈值，在目标发生丢失的时候，激活重检测的功能，使用在线随机蕨分类器，在满足最大置信分数小于这个阈值的时候，就开始在整幅图像上重新检测目标。

所述方法的具体步骤如下：

step1：初始化目标并选取目标区域以及上下文空间区域；

step2：提取目标区域以及上下文空间区域的方向梯度直方图特征以及hsv颜色特征进行融合作为训练样本，训练出一个位置滤波器模型；

step3：计算比较新一帧与前一帧的置信分数，得到特征的响应图，选取置信值最大的位置为目标所在位置；

step4：在最大置信分数小于预定义的阈值时，激活重检测功能，使用在线随机蕨分类器，开始在整幅图像上重新检测目标。

step5：更新模型，更新在线随机蕨检测器，直到视频序列结束。

所述步骤step1的具体步骤如下：

step1.1、初始化目标，采用循环位移的方法采集样本，使用循环矩阵训练分类器，把数据矩阵转换成一个循环矩阵。

step1.2、根据第一帧目标框两倍的大小选取目标的上下文信息区域。

所述step2的具体步骤为：

step2.1、提取目标框两倍大小区域的上下文信息的hog和hsv颜色特征进行融合，采用特征向量的多通道的特征串联表示，由于核相关函数只需要计算点积和向量的范数，所以就可以通过多通道提取图像特征，假设数据表示的多个通道用一个向量d＝[d1,d2,...,dc]表示，可以对多个特征进行融合采用的高斯核函数可以表示为：

式中k^dd’表示所求的高斯核函数的结果；σ表示带宽，控制高斯核函数的局部作用范围；d与d’分别代表两个多通道向量；||d||表示二范数；f^-1表示逆傅里叶变换；^代表离散傅里叶变换，⊙代表矩阵元素级的乘法，而*代表复共轭。

所述step3的具体步骤为：

step3.1、在已知第一帧目标位置情况下，建立一个滤波器rc，考虑目标的特征与背景的特征，并且用下式进行逐帧更新

其中和分别代表当前帧目标模型和上下文模型的滤波模板，t代表当前帧，η为学习率。

step3.2、当输入新一帧的图像时，计算其置信图，找到置信图最大的位置即为新一帧目标的中心位置。其中响应值最大位置为：

其中z表示新一帧的输入；可以由式(1)计算得出；且k^xx表示核矩阵的第一行，x表示一个样本的特征向量的一行样本矩阵，y表示x对应的每个回归值组成的列向量，^代表离散傅里叶变换，λ是防止过拟合的正则化参数。

所述step4的具体步骤为：

step4.1、在最大置信分数小于预定义的阈值гr时，激活重检测功能，使用在线随机蕨分类器，当满足max(f(z))<гr的情况时，开始在整幅图像上重新检测目标。在满足max(f(z))＞гr的情况时，设这个点的位置为目标新的位置。令ci，i∈{0,1}为类别标签，fj,j∈{1,2，…，n}为一系列的二元特征，它们组合在一起被称为蕨。每个蕨的特征的联合分布为：

其中fk＝{fσ(k,0),fσ(k,2),...,fσ(k,n)}代表第k个蕨，σ(k,n)是随机惩罚函数。对于每一个蕨fk，它的条件概率可以写为为第k个蕨的ci类训练样本的个数，根据贝叶斯的角度来看，最优类ci可由如下公式所得：

所述step5的具体步骤为：

step5.1、用式(2)与式(3)更新滤波器，更新在线随机蕨分类器。算法结束，下一帧进入时，重复step3，若激活了重检测功能，重复step3与step4直至视频序列结束。

本发明的有益效果是：

1、使用特征融合的方法：

如果仅采用单一特征对需要跟踪的目标进行跟踪，目标的大部分特征都不能很好地被采用，例如：在单独使用hog特征时，跟踪器对目标的运动模糊或者光照变化时的鲁棒性虽然还不错，但是在发生形变或者快速运动的情况时，却容易跟丢目标。而hsv颜色空间特征在目标发生形变或者快速运动的情况下受到的影响比较小，因为目标在这些干扰下，目标的颜色特征并不会发生太大的变化，所以这两种特征可以进行互补，提升整体的跟踪效果。因此，本发明将这两种特征进行融合用于描述目标特征，在目标处于形变或者是快速运动等负面因素的影响下，还是可以精确地跟踪到目标，极大地提高了跟踪的准确性。

2、考虑目标周围的上下文信息：

大部分的相关滤波方法在跟踪目标的时候，没有把目标周围的相关信息考虑进去，而在连续的帧间，目标周围的局部场景还是存在着很强烈的时空关系，在目标在某一帧发生遮挡的情况下，局部空间上下文信息并不会发生太大的改变，并且有助于把目标与背景信息区分开。本文考虑了目标周围的上下文空间信息，在目标发生局部遮挡的情况下，还是能通过目标周围的上下文时空信息来判断目标是否还处于原位置，以此来提高跟踪的稳定性。

3、采用在线随机蕨分类器进行重检测：

一般的相关滤波方法，采用逐帧更新方法，在目标发生丢失的情况下，还是继续更新模型，导致目标距离跟踪框越来越远，最终再也跟不上，导致失败。本发明采用重检测方法，使用在线随机蕨分类器，在目标发生丢失的情况下，既当满足max(f(z))<гr的情况时，开始在整幅图像上重新检测目标。在满足max(f(z))＞гr的情况时，设这个点的位置为目标新的位置。以此提高算法的稳定性。

附图说明

图1为本发明中方法流程图；

图2为本发明具体实施例中连续视频在70帧时与现有方法的状态对比结果图。

图3为本发明具体实施例中连续视频在100帧时与现有方法的状态对比结果图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步的说明。

实施例1：如图1-3所示，基于多特征融合的长时运动目标跟踪方法，所述方法的具体步骤如下：

step1：初始化目标并选取目标区域以及上下文空间区域；

step2：提取目标区域以及上下文空间区域的方向梯度直方图特征以及hsv颜色特征进行融合作为训练样本，训练出一个位置滤波器模型；

step3：计算比较新一帧与前一帧的置信分数，得到特征的响应图，选取置信值最大的位置为目标所在位置；

step4：在最大置信分数小于预定义的阈值时，激活重检测功能，使用在线随机蕨分类器，开始在整幅图像上重新检测目标。

step5：更新模型，更新在线随机蕨检测器，直到视频序列结束。

所述步骤step1的具体步骤如下：

step1.1、初始化目标，采用循环位移的方法采集样本，使用循环矩阵训练分类器，把数据矩阵转换成一个循环矩阵。

step1.2、根据第一帧目标框两倍的大小选取目标的上下文信息区域。

所述step2的具体步骤为：

step2.1、提取目标框两倍大小区域的上下文信息的hog和hsv颜色特征进行融合，采用特征向量的多通道的特征串联表示，由于核相关函数只需要计算点积和向量的范数，所以就可以通过多通道提取图像特征，假设数据表示的多个通道用一个向量d＝[d1,d2,...,dc]表示，可以对多个特征进行融合采用的高斯核函数可以表示为：

式中k^dd’表示所求的高斯核函数的结果；σ表示带宽，控制高斯核函数的局部作用范围；d与d’分别代表两个多通道向量；||d||表示二范数；f^-1表示逆傅里叶变换；^代表离散傅里叶变换，⊙代表矩阵元素级的乘法，而*代表复共轭。

所述step3的具体步骤为：

step3.1、在已知第一帧目标位置情况下，建立一个滤波器rc，考虑目标的特征与背景的特征，并且用下式进行逐帧更新

其中和分别代表当前帧目标模型和上下文模型的滤波模板，t代表当前帧，η为学习率。

step3.2、当输入新一帧的图像时，计算其置信图，找到置信图最大的位置即为新一帧目标的中心位置。其中响应值最大位置为：

其中z表示新一帧的输入；可以由式(1)计算得出；且k^xx表示核矩阵的第一行，x表示一个样本的特征向量的一行样本矩阵，y表示x对应的每个回归值组成的列向量，^代表离散傅里叶变换，λ是防止过拟合的正则化参数。

所述step4的具体步骤为：

step4.1、在最大置信分数小于预定义的阈值гr时，激活重检测功能，使用在线随机蕨分类器，当满足max(f(z))<гr的情况时，开始在整幅图像上重新检测目标。在满足max(f(z))＞гr的情况时，设这个点的位置为目标新的位置。令ci，i∈{0,1}为类别标签，fj,j∈{1,2，…，n}为一系列的二元特征，它们组合在一起被称为蕨。每个蕨的特征的联合分布为：

其中fk＝{fσ(k,0),fσ(k,2),...,fσ(k,n)}代表第k个蕨，σ(k,n)是随机惩罚函数。对于每一个蕨fk，它的条件概率可以写为为第k个蕨的ci类训练样本的个数，根据贝叶斯的角度来看，最优类ci可由如下公式所得：

所述step5的具体步骤为：

step5.1、用式(2)与式(3)更新滤波器，更新在线随机蕨分类器。算法结束，下一帧进入时，重复step3，若激活了重检测功能，重复step3与step4直至视频序列结束。

下面通过选取otb(onlineobjecttracking:abenchmark)上的23段具有一定挑战性的视频对本算法进行评估，包含的干扰因素有遮挡、形变、背景杂波、旋转、快速运动等。

将本发明的算法与其它几种现有算法进行对比，对比结果如表1所示：

表1:

表1中数据粗体的为最优结果，从表1中可以看出，本算法的平均中心位置误差cle,pixels)相对于kcf，cn，dsst，csk分别提高29.51，43.13，28.29，50.06。平均距离精度(dp,％)分别提高23.87，34.96，20.72，40.04。

如图2所示，目标在70帧左右被完全遮挡，目标响应值小于预定的阈值，激活了重检测模块，如图3所示，当后续帧中，目标再度出现的时候，当响应值大于预定阈值时，重新检测到目标。本发明方法可以较好地处理类似情况，并且跟上目标。其它几个算法中，因为没有重检测的模块，所以在目标发生遮挡或者丢失等情况下不能很好的进行处理。

本发明在基于kcf算法的基础上，考虑了目标周围的上下文时空信息，加入hsv颜色特征与hog特征进行融合，对目标特征的描述更加细致，提高了跟踪的精确度；并且采用重检测的方法，当目标发生丢失的时候，到达一定的阈值，便激活重检测功能，在整幅图像上重新定位目标所在的位置，极大地提高目标跟踪的稳定性。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。