一种基于分块的抗遮挡目标跟踪方法与流程

本发明属于计算机视觉技术领域，更具体地，涉及一种基于分块的抗遮挡目标跟踪方法。

背景技术：

目标跟踪一直以来都是计算机视觉领域的研究热点，可应用于军事领域、医学领域、视频监控系统、虚拟现实、以及人机交互等场景。目标跟踪的主要作用是对视频流中的目标进行定位跟踪，通过计算机自动标注出目标在视频序列中每一帧中的位置，可以节省大量人力物力。但当前目标跟踪面临着许多难题，特别是复杂的场景(如目标遮挡、图像序列低分辨率、复杂背景、目标快速运动、目标形变等)会使目标跟踪准确率降低，影响使用效果。同时，要想把目标跟踪更多的投入到实际使用中，还需要目标跟踪方法具有实时性。因此研究对这些问题具有鲁棒性且能达到实时的目标跟踪算法也是目标跟踪领域的一大难题。

目前基于深度学习方法的目标跟踪方法和基于深度特征的相关滤波目标跟踪方法对目标的特征提取较好，因此在对抗复杂环境干扰时具有较好的鲁棒性，但是现有的大多数该类方法速度都非常慢，难以达到实时。而极少数高速的该类方法跟踪效果却又很差。传统方法中，由于核相关滤波(kernelcorrelationfilter，kcf)方法具有优秀的跟踪效果，同时跟踪速度也非常快，因此该方法在近几年使用得较多。

基于核相关滤波目标跟踪方法主要过程为：

(1)初始化阶段：根据给定的目标初始位置，对目标周围一定区域进行循环采样，根据与中心样本的距离给定连续的高斯值作为样本的标签值，提取样本特征得到目标表观模型，同时进行线性方法或岭回归方法，训练得到分类器模型。

(2)跟踪阶段：在待跟踪帧的搜索区域进行特征提取，将目标模型与搜索区域特征映射到傅里叶域，然后进行相关滤波，响应值最高点即认为是目标中心位置。

(3)模型更新阶段：跟踪到目标后，利用跟踪到的目标特征信息以一定的学习率更新表观模型和分类器参数。

该方法巧妙的对初始样本进行循环位移采样，解决了之前样本不足的问题，同时利用循环矩阵在傅里叶域的性质，大大加快了跟踪的速度。但是该方法也具有一些缺陷。初始版本的kcf跟踪框尺寸固定，无法应对目标尺寸变化，而改进版的kcf也只是预先设定了一系列尺寸的跟踪框然后分别进行匹配，在速度上自然下降了不少，另外，由于每一帧都会对模型进行更新，因此该方法在跟踪的过程中，模型会发生漂移，特别是当目标发生完全遮挡后，跟踪就完全失败了。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明的目的在于提供了一种基于分块的抗遮挡目标跟踪方法，由此解决现有的kcf方法无法应对目标尺寸变化以及在跟踪过程中出现的复杂场景导致的跟踪漂移或跟踪失败的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于分块的抗遮挡目标跟踪方法，包括：

(1)输入图像序列的第一帧，设置帧数t＝1，对第t帧图像中待跟踪目标所处的目标区域建模得到外观模型和分类器，并对目标区域进行分块，对每块分别进行建模得到各分块对应的外观模型和分类器；

(2)若视频序列没有结束，则继续读入图像序列，并更新t，若t≤第一预设值，则进入步骤(3)；否则进入步骤(5)；

(3)对目标区域进行跟踪并更新各分块对应的外观模型参数和分类器参数，计算每一个分块的置信度，若t＝第一预设值，则进入步骤(4)，否则进入步骤(2)；

(4)分别计算前预设帧中相同位置处的所有分块的置信度和，选择置信度和处于前n位所对应的n个位置，将选择的n个位置对应的n个分块的分块跟踪器确定为目标分块跟踪器，进入步骤(2)，n为正整数；

(5)计算当前帧中与选择的n个位置对应的n个分块的置信度，若该n个分块的置信度均小于第二预设值，则进入步骤(6)，否则进入步骤(7)；

(6)将当前帧中待跟踪目标所处的目标区域的位置信息设置为上一帧中待跟踪目标所处的目标区域的位置信息，进入步骤(2)；

(7)利用n个目标分块跟踪器的跟踪结果确定待跟踪目标的整体位置，并更新目标分块跟踪器，进入步骤(2)。

优选地，所述对第t帧图像中待跟踪目标所处的目标区域建模得到外观模型和分类器，包括：

设置窗口大小为待跟踪目标所处的目标区域的m倍，窗口中心位置与目标区域中心位置相同，在窗口内对目标区域所形成的目标框进行平移得到不同的样本，根据样本与目标区域中心位置的距离，为各样本分配连续的高斯标签值，m为第三预设值；

对窗口所处的区域提取方向梯度直方图hog特征，并对提取的hog特征进行快速傅里叶变换得到窗口的外观模型xf，由对xf自身进行高斯相关滤波，其中为傅里叶逆变换，为xf的傅里叶变换，*为复共轭，δ为高斯分布的尺度参数，κ^xx为核函数；

由得到分类器的参数，其中，λ为正则项系数，为y的傅里叶变换，y为对应的xf的回归值，为核函数κ^xx的回归值。

优选地，所述对目标区域进行分块，包括：

将目标块尺寸设置为待跟踪目标所处的目标区域尺寸的l倍，在待跟踪目标所处的目标区域内进行滑动选取目标块，横向移动步长设定为分块宽度的l倍，纵向移动步长设定为分块高度的l倍，l为第四预设值。

优选地，所述对目标区域进行跟踪并更新各分块对应的外观模型参数和分类器参数，包括：

以第t-1帧图像的目标区域中心位置为中心，对窗口区域建立表观模型zf，将zf与xf进行高斯相关滤波，并利用分类器参数计算得到窗口区域响应：其中，为核函数κ^xz的回归值，为zf的傅里叶变换；

根据得到的响应函数，将响应值最高点暂定为跟踪到的中心位置，计算响应函数的平均相关峰差比apcdr：其中，分别为响应函数的最大值和最小值，为响应函数在窗口区域的坐标点(x,y)处的值，以apcdr作为该帧跟踪的置信度；

根据apcdr对各分块对应的外观模型参数及分类器参数进行更新。

优选地，所述利用n个目标分块跟踪器的跟踪结果确定待跟踪目标的整体位置，包括：

在当前帧中的n个分块中，选取置信度高于第四预设值的分块，并计算所选取的分块在前一帧中与目标区域中心位置的位置矢量；

计算所选取的分块在当前帧中基于位置矢量的中心位置，并计算由所选取的分块计算得到的中心位置的几何中心，该几何中心表示待跟踪目标在该块的位置中心；

求出当前帧中所选取的块的中心位置与目标区域中心位置的距离总和以及前一帧中所选取的块的中心位置与目标区域中心位置的距离总和，利用两者的总和比值以及前一帧中目标框大小得到当前帧的目标框大小，将当前帧的目标框大小作为当前帧中待跟踪目标的位置信息。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明提出的基于高置信度的模型更新策略能够有效的解决kcf算法在遇到遮挡问题时，模型发生漂移问题。同时由于并不是每一帧都更新模型，因此跟踪速度也有一定程度的增加。而使用分块方法，充分利用目标跟踪过程中发生部分遮挡时，目标未被遮挡部分的位置信息和可靠性信息，可以确定目标在该情况下的位置。由于将目标进行了分块，因此当目标尺寸发生变化时，通过分块信息结合成的目标尺寸信息能够适应目标尺寸的变化。

附图说明

图1为本发明实施例公开的一种基于分块的抗遮挡目标跟踪方法的流程示意图；

图2为本发明实施例公开的一种对目标进行分块操作的方法；

图3为本发明实施例公开的一种在数据集otb-100上测试结果中的在遮挡情况下的基于定位错误阈值的精确度对比图；

图4为本发明实施例公开的一种在数据集otb-100上测试结果中的在遮挡情况下的基于覆盖率阈值的成功率对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明利用循环矩阵采样的方式，解决了之前的因为训练样本不足导致跟踪精度差的问题，并利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的哈达玛积，即元素的点乘，大大降低了运算量，提高了运算速度。并在此基础上对其进行改进，通过高置信度的模型更新策略，解决了kcf算法对遮挡的敏感性。同时通过将目标进行分块，在目标的跟踪过程中被部分遮挡后，合理利用未被遮挡部分的位置信息和可靠性，较为准确的确定了目标在遮挡后的位置信息，从而提高了跟踪对遮挡的鲁棒性。本发明的具体流程如图1所示。下面具体说明基于分块的抗遮挡目标跟踪方法的具体实施步骤。

(1)输入图像序列的第一帧，设置帧数t＝1，获取待跟踪目标位置信息(坐标x,y，宽高w,h)，对第t帧图像中待跟踪目标所处的目标区域建模得到外观模型和分类器，并对目标区域进行分块，对每块分别进行建模得到各分块对应的外观模型和分类器；

(2)若视频序列没有结束，则继续读入图像序列，并更新t，若t≤第一预设值，则进入步骤(3)；否则进入步骤(5)；

其中，第一预设值可以由实际情况进行确定，优选地，第一预设值取10。

(3)对目标区域进行跟踪并更新各分块对应的外观模型参数和分类器参数，计算每一个分块的置信度，若t＝第一预设值，则进入步骤(4)，否则进入步骤(2)；

(4)分别计算前预设帧中相同位置处的所有分块的置信度和，选择置信度和处于前n位所对应的n个位置，将选择的n个位置对应的n个分块的分块跟踪器确定为目标分块跟踪器，进入步骤(2)，n为正整数；

其中，n优选取值为5。

(5)计算当前帧中与选择的n个位置对应的n个分块的置信度，若该n个分块的置信度均小于第二预设值，则进入步骤(6)，否则进入步骤(7)；

其中，第二预设值可以由实际情况进行确定。

(6)将当前帧中待跟踪目标所处的目标区域的位置信息设置为上一帧中待跟踪目标所处的目标区域的位置信息，进入步骤(2)；

(7)利用n个目标分块跟踪器的跟踪结果确定待跟踪目标的整体位置，并更新目标分块跟踪器，进入步骤(2)。

作为一种可选的实施方式，在第1步中，对第t帧图像中待跟踪目标所处的目标区域建模得到外观模型和分类器，包括：

设置窗口大小为待跟踪目标所处的目标区域的m倍，窗口中心位置与目标区域中心位置相同，在窗口内对目标区域所形成的目标框进行平移得到不同的样本，根据样本与目标区域中心位置的距离，为各样本分配连续的高斯标签值，m为第三预设值；优选地，m取值为2.5。

对窗口所处的区域提取方向梯度直方图hog特征，并对提取的hog特征进行快速傅里叶变换得到窗口的外观模型xf，由对xf自身进行高斯相关滤波，其中为傅里叶逆变换，为xf的傅里叶变换，*为复共轭，δ为高斯分布的尺度参数，κ^xx为核函数；

由得到分类器的参数，其中，λ为正则项系数，为y的傅里叶变换，y为对应的xf的回归值，为核函数κ^xx的回归值。

作为一种可选的实施方式，在第(1)步中，对每块分别进行建模得到各分块对应的外观模型和分类器可以采用与目标区域建模相同的方式，在本发明实施例中将不再复述。

作为一种可选的实施方式，如图2所示，在第(1)步中，对目标区域进行分块可以采用以下方式实现：将目标块尺寸设置为待跟踪目标所处的目标区域尺寸的l倍(宽和高分别为目标区域宽和高的l倍)，在待跟踪目标所处的目标区域内进行滑动选取目标块，横向移动步长设定为分块宽度的l倍，纵向移动步长设定为分块高度的l倍，l为第四预设值。优选地，l取1/4。

作为一种可选的实施方式，在第(3)步中，对目标区域进行跟踪并更新各分块对应的外观模型参数和分类器参数，可以采用以下方式实现：

以第t-1帧图像的目标区域中心位置为中心，对窗口区域建立表观模型zf，将zf与xf进行高斯相关滤波，并利用分类器参数计算得到窗口区域响应：其中，为核函数κ^xz的回归值，为zf的傅里叶变换；

根据得到的响应函数，将响应值最高点暂定为跟踪到的中心位置，计算响应函数的平均相关峰差比apcdr：其中，分别为响应函数的最大值和最小值，为响应函数在窗口区域的坐标点(x,y)处的值，以apcdr作为该帧跟踪的置信度；

根据apcdr对各分块对应的外观模型参数及分类器参数进行更新。

其中，可以采用以下方式对各分块对应的外观模型参数及分类器参数进行更新：利用apcdr值来反映响应函数的波动情况，当apcdr值小于一定阈值时，就可以判断目标跟踪过程出现了复杂情况，比如遮挡或是离开视野等。根据该值对外观模型及分类器参数进行更新，策略为：

其中，表示第t帧的第i块对应的分类器参数，学习率其中w优选设置为0.1。threshold优选设定为0.098。表示第t帧的第i块对应的外观模型，表示表示第t帧的第i块对应的分类器的学习率。

作为一种可选的实施方式，在第(7)步中，利用n个目标分块跟踪器的跟踪结果确定待跟踪目标的整体位置可以通过以下方式实现：

在当前帧中的n个分块中，选取置信度高于第四预设值的分块，并计算所选取的分块在前一帧中与目标区域中心位置的位置矢量；其中，第四预设值可以根据实际需要进行确定。

计算所选取的分块在当前帧中基于位置矢量的中心位置，并计算由所选取的分块计算得到的中心位置的几何中心，该几何中心表示待跟踪目标在该块的位置中心；

求出当前帧中所选取的块的中心位置与目标区域中心位置的距离总和以及前一帧中所选取的块的中心位置与目标区域中心位置的距离总和，利用两者的总和比值以及前一帧中目标框大小得到当前帧的目标框大小，将当前帧的目标框大小作为当前帧中待跟踪目标的位置信息。

将本发明方法在otb-100上进行实验，同时与kcf、ct、dsst、csk、cpf、cxt这几个跟踪器进行比较。实验结果分别选取在遮挡情况中的基于定位错误阈值的精确度和基于覆盖率阈值的成功率，如图3和图4所示。

可以看出，本发明有在对遮挡的鲁棒性上有明显的优势。

同时，在处理器为core^tmi7-6700kcpu@4.00ghz，内存为8gb的电脑上，本实验处理otb-100中的jogging_1视频平均速度为38fps。可以满足实时性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。