基于相关滤波的抗遮挡目标跟踪方法与流程

本发明涉及的是一种机器视觉领域的技术，具体是一种基于相关滤波的抗遮挡目标跟踪方法。

背景技术：

目前，目标跟踪是机器视觉领域的热点，其主要分为生成性跟踪器和判别性跟踪器。前者是指对目标的外观建模，在接下来的帧中找到与目标外观相似程度最高的区域作为跟踪结果。这类跟踪器的模型在线构建，一般都能保证实时性(大于等于25fps)，然而容易受到噪声影响并且没有利用背景信息，容易导致跟踪框漂移。后者把跟踪视作一个分类问题，这类跟踪器同时考虑目标和背景信息，通过提取特征和训练分类器，分离目标和背景，然后更新分类器以适应目标变化。然而，判别性跟踪器没有考虑到目标的运动信息和连续帧之间的关系。尽管目标跟踪技术正在不断进步，但至今没有一个完美的跟踪能够实现在所有情况下的鲁棒跟踪。就遮挡而言，生成性跟踪器和判别性跟踪器也不能完美处理目标的全遮挡或者消失。因此一个好的跟踪器必须兼顾生成性和判别性跟踪器的优点，并实时应用于任何情况。

技术实现要素：

本发明针对现有基于相关滤波的跟踪器均没有很好地解决目标遮挡问题或者仅仅针对目标的部分遮挡(目标遮挡面积小于等于目标总面积50％)和短时全遮挡的缺陷和不足，提出一种针对目标长时间全遮挡情况的基于相关滤波的抗遮挡目标跟踪方法，在lct(long-termcorrelationtracking)跟踪器的基础上，加入了一个根据相关滤波响应值变化而设计的遮挡判据和一个重新检测器，本方法跟踪更具鲁棒性和精确性。

本发明是通过以下技术方案实现的：

本发明涉及一种基于相关滤波的抗遮挡目标跟踪方法，在手动选择跟踪目标之后先使用lct跟踪器中的运动相关滤波器和外观相关滤波器分别对目标的平移及目标的尺度进行估计并得到目标跟踪结果，并在丢失目标时分别采用在线分类器的检测结果作为跟踪结果以恢复准确目标跟踪或采用重新检测器和lct跟踪器进行交替继续跟踪。

所述的lct跟踪器是指：在第一帧手动选择目标后，在所选区域上训练相关滤波器来对目标外观建模，对于随后的帧，相关滤波器会在上一帧的位置附近对该帧的图像块卷积，卷积后的输出对应一个灰度响应图，该灰度反映了相关程度，灰度值越高，则相关程度越大，在响应图中拥有最大灰度的位置就是目标的新位置。

所述的丢失目标，包括：由于形变、亮度变化、快速运动和复杂背景导致跟踪丢失的目标以及由于全遮挡导致跟踪丢失的目标，其中：当当前帧目标外观相关滤波器响应值低于设定阈值，则启动在线分类器进行检测；当最近的连续5帧目标外观相关滤波器响应值满足目标遮挡判据时，则停止lct跟踪器跟踪并换用重新检测器从后一帧开始进行目标检测，当未检测到目标时进入下一帧，否则将检测到的目标信息，即目标框宽、高和目标框中心位置再次输入lct跟踪器进行跟踪，最终得到退出遮挡后的跟踪结果。

所述的相关滤波器的大小与选择的图像块大小相同，将输入的图像和相关滤波器进行快速傅里叶变换(fastfouriertransform，fft)转到傅里叶域，在该域中相关操作变为点积，即g＝f⊙h^*，其中：f＝f(fim)和h＝f(h)表示为图像fim和滤波器h转至傅里叶域，⊙和*分别为点乘操作和共轭转置；随后使用fft的逆变换f^-1将g变回到空间域，得到响应图。整个过程的计算复杂度仅为o(plogp)，其中：p为跟踪窗口中的像素数。

所述的运动相关滤波器是指：当手动选择的目标框大小为m×n，首先利用循环移位来增加样本数量，得到样本xm,n，其中：(m,n)∈{0,1,...,m-1}×{0,1,...,n-1}；通过岭回归最小化训练图像与回归目标之间的均方误差，得到运动相关滤波器w1∈r^m×n，其中：φ表示映射到核空间。根据移位量，给予训练图像高斯标签，当移位量越小，则标签值越接近1，否则接近0，λ为正则化参数。

所述的循环移位是指：对于一个n维列向量样本xn,1＝[x1,x2,...,xn]^t，p为对x做循环移位的置换矩阵，则移位后的样本为p^lx，故获取训练分类器的样本集合{p^lx|l＝0,1,...,n-1}，其中：置换矩阵：将n×1向量x的所有移位组合为循环矩阵其中：第一行是原列向量x，第二行是将x中的元素向右移动一位，其他行以此类推。

循环移位的目的是循环移位编码了向量的卷积。由于循环特性，每移位n次，可以周期性获得基准样本。同样，可以等效地看成循环矩阵x的前半部分对向量x元素沿正方向移位，后半部分则反向移位。

所述的目标的平移估计，通过以下方式得到：通过映射和离散傅里叶变换之后，运动相关滤波器w1的解表示成样本的线性组合，即：w1＝∑m,na(m,n)φ(xm,n)，其中：系数a满足a经离散傅里叶变换后为a，使用高斯核定义核映射φ为k(x,x')＝φ(x)·φ(x')，当处理下一帧时，运动相关滤波器w1会在上一帧的目标位置附近和m×n大小的图像块z进行相关操作，通过离散傅里叶逆变换到空间域后会得到一幅响应图，即其中：表示学习的目标外观特征，取值范围为[0,1]，0表示黑色，1表示白色，在中拥有最大值的位置就是所得到的目标在新一帧中的目标位置。

所述的外观相关滤波器是指：在目标框上提取k个尺度图像的hog特征xhog(k)，通过岭回归最小化训练图像与回归目标之间的均方误差，得到外观相关滤波器w2∈r^m×n，其中：y(k)为二值标签，目标框恰好包围目标的标签为1，其余为0。

所述的目标的尺度估计，通过以下方式得到：在新的一帧得到目标位置之后，使用外观相关滤波器w2对目标的尺度进行估计，即先将图像块分成k个尺度：每个尺度的图像块大小为sm×sn(s∈s)；随后在每个尺度的图像块上提取hog特征构建尺度金字塔，在对每一层进行外观相关滤波之后获得k个外观滤波响应图，选择拥有最大值的结果作为目标的最终尺度，即

所述的目标跟踪结果包括两个最大的响应值，即运动相关滤波器w1和外观相关滤波器w2的响应值。

优选地，所述的运动相关滤波器w1和目标外观特征采用以下方式进行更新：其中：α为更新率，t与t-1分别为当前帧与上一帧，分别为a在当前帧以及上一帧的离散傅里叶变换。

使用31bins的hog特征，8bins的强度特征直方图，8bins亮度通道的非参数局部秩变换，总计拥有47通道特征的特征向量并设定阈值τa：当最大外观相关滤波响应值则w2的更新满足：除此之外，在目标外观特征提取后，使用余弦窗口进行加权，以消除响应图的边界效应。

所述的在线分类器采用在线支持向量机，即当lct跟踪器由于形变、亮度变化、快速运动和复杂背景导致跟丢目标时，利用在线支持向量机的检测结果作为跟踪结果，恢复准确的目标跟踪。

所述的在线支持向量机由目标的颜色通道量化为四位特征进行训练，其中：0.5和0.1分别为正样本和负样本的iou阈值，通过设定外观相关滤波器响应值的阈值τr，当时，激活该在线支持向量机。

所述的目标遮挡判据是指：在基于连续5帧f＝{ft-4,ft-3,ft-2,ft-1,ft}图像的最大响应值y＝{yt-4,yt-3,yt-2,yt-1,yt}上，将全遮挡响应值曲线特性与目标形变、部分遮挡、背景复杂、快速运动、光照变化和尺度变化响应值曲线特性对比，设定：

目标遮挡判定条件①为连续5帧响应值下降，即yt-4＞yt-3＞yt-2＞yt-1＞yt；

目标遮挡判定条件②为相邻5帧中，第1帧响应值yt-4与第5帧响应值yt之差大于阈值τ1，即yt-4-yt≥τ1；

目标遮挡判定条件③为相邻5帧内，小于阈值τ2的个数大于等于2个，即y'＝{y'|yt-4＜τ2,yt-3＜τ2,yt-2＜τ2,yt-1＜τ2,yt＜τ2},|y'|≥2。

所述的换用重新检测器从后一帧开始进行目标检测是指：当最近连续5帧目标的外观相关滤波器响应值满足目标遮挡判据时lct跟踪器停止工作并启动重新检测器，即边界框检测(edgeboxes)直接根据目标的边缘生成目标的检测窗口，即物体边缘对应于物体轮廓，封闭的物体轮廓对应于一个物体。基于滑动窗口的框架，对于每一个滑动窗口计算分数，该分数代表着此滑动窗口对应区域包含物体的可能性，分值越大，则可能性越高。具体实现步骤为：

步骤i)使用结构边缘检测算子获得当前帧图像的初始边缘图；

步骤ii)设定滑动窗口的尺寸和滑动步长，并在滑动遍历完图像之后更新。

所述的滑动窗口的面积最小值σ＝1000像素，最大值为整幅图像像素；长宽比1/3至3；步长由活动前与滑动后的窗口重叠率决定，取0.65。

步骤iii)对于当前滑动窗口，合并窗口内具有相同方向的相邻边缘像素形成组s；

步骤iv)对于两个边缘段si,sj∈s，基于各边缘段的形心位置xi,xj和方向θi,θj计算相似度a(si,sj)，然后将相似度高于相似度阈值的组连成长的轮廓，其中：θij是xi,xj之间的夹角，γ用于调节方向变化的敏感度，相似度阈值为0.05。

步骤v)对于当前滑动窗口，计算窗口内所有边缘组的边缘强度来对滑动窗口打分：检测分数反映了存在物体的可能性，其中：wb(si)∈[0,1]为si在窗口b中的置信度，mi为组si中所有边缘的强度大小之和，bw和bh分别为窗口b的宽度和高度，κ为补偿拥有更多边缘的大窗口的偏差系数，κ＝1.5。

步骤vi)将当前滑动窗口的检测分数减去穿出该窗口的边缘组的强度分数：其中：窗口bⁱⁿ的宽和高是窗口b宽高的一半；

步骤vii)所有窗口滑动完毕后，得到的相应所有的检测分数从高到低排列

步骤viii)设定分数阈值，低于阈值的窗口舍弃。剩余的窗口即可能包含目标的检测框。

所述的再次输入lct跟踪器进行跟踪是指，首先通过设定阈值k并仅接受k个按检测分数由高到低排列的检测框；然后加入约束条件以滤除不合理的检测框；最后采用lct跟踪器中的运动相关滤波器和外观相关滤波器对目标进行平移及尺度估计，最终得到检测结果。

所述的加入约束条件以滤除不合理的检测框是指：为了剔除误检结果，结合目标在被遮挡前以及遮挡后的尺度变化情况，加入约束条件来滤除不合理的检测框，即：

其中：和是focc-4中跟踪框的框宽以及框高，满足目标遮挡判据的5帧分别为f＝{focc-4,focc-3,focc-2,focc-1,focc}，focc为当前帧。

所述的对目标进行平移及尺度估计是指：使用focc-4中的运动相关滤波器w1和外观相关滤波器w2对过滤后的所有检测框依次进行相关操作。当所有外观相关滤波器w2的响应值中的最高者大于阈值τ3，则将其采纳为最终的检测结果，否则进入下一帧进行检测。通过给予lct检测框的中心位置和检测框的宽高，最终的检测结果将重新启动跟踪器继续工作。

本发明涉及一种实现上述方法的系统，包括：输入模块、lct跟踪模块、重新检测模块以及输出模块，其中：输入模块与lct跟踪模块相连并传输图像、目标框的位置和宽高信息，lct跟踪模块与重新检测器相连并传输图像信息，lct模块与输出模块相连并传输图像、目标框的位置和宽高信息，重新检测模块与输出模块相连并传输图像、目标框的位置和宽高信息，重新检测器模块与lct跟踪模块相连并传输图像、目标框的位置和宽高信息。

附图说明

图1为本发明构建的基于相关滤波的抗遮挡目标跟踪方法的原理示意图；

图中：a为整体示意图；b和c为局部放大示意图；

图2为本发明涉及的目标完整情况下的lct跟踪响应图；

图3为本发明涉及的目标被遮挡情况下的lct跟踪响应图；

图4为本发明涉及的不同影响因素导致的相关滤波响应值曲线示意图；

图5为本发明涉及的重新检测结果以及目标检测框过滤结果示意图；

图6为本发明方法与其他12个鲁棒跟踪方法对遮挡目标的跟踪结果示意图；

图7为本发明与其他12个鲁棒跟踪方法在不同阈值条件下的精确度曲线示意图；

图8为本发明与其他12个鲁棒跟踪方法关于每帧的位置距离误差曲线示意图；

图9为本发明与其他12个鲁棒跟踪方法关于每帧的重叠率曲线示意图。

具体实施方式

如图1a～图1c所示，为本实施例涉及的一种基于相关滤波的抗遮挡目标跟踪方法，其具体步骤包括：

步骤1、手动选择跟踪目标；

步骤2、在目标框上训练运动相关滤波器w1和外观相关滤波器w2，进入下一帧，本实施例中λ＝10^-4，高斯核宽σ＝0.1；

步骤3、建立新一帧目标搜索区域，与上一帧目标框位置相同，面积为目标框的1.8倍；

步骤4、提取目标的特征向量并由余弦窗口加权，使用得到运动相关滤波响应图。选择拥有最大的位置，作为目标的平移估计结果。

步骤5、在平移估计结果的位置上将图像分成k个尺度，每一个尺度提取hog特征使用得到外观相关滤波响应图，选择拥有最大的尺度，作为目标的尺度估计结果。目标完整的情况下得到的响应图如图2所示。本实施例中k＝21，a＝1.08。

步骤6、更新w1。当则更新w2，均按公式本实施例中，α＝0.01，τa＝0.5。

步骤7、判断最近的连续5帧是否满足本实施例的遮挡判据，即：

1)yt-4＞yt-3＞yt-2＞yt-1＞yt

2)yt-4-yt≥τ1

3)y'＝{y'|yt-4＜τ2,yt-3＜τ2,yt-2＜τ2,yt-1＜τ2,yt＜τ2},|y'|≥2

本实施例中，τ1以及τ2分别为第二帧响应值的四分之一与二分之一(第一帧为手动选择目标，无响应值)。

目标被遮挡后的响应图如图3所示。

目标在全遮挡、目标形变、部分遮挡、背景复杂、快速运动、光照变化和尺度变化情况下的响应值变化曲线如图4所示。

步骤8、若目标未被判定遮挡，且则启动svm进行跟踪器校正。若svm分类结果则采纳并输出相应目标框，否则输出尺度估计结果的目标框。本实施例中，τr＝0.25，τt＝0.5。

步骤9、若目标未被判定遮挡，且则输出尺度估计结果的目标框。

步骤10、若目标被为判定遮挡成立：首先对接下来的5帧不做任何处理，目的是：1.使目标完全进入遮挡状态；2.防止模板被进一步污染；3.提升实时性。

步骤11、使用edgeboxes对每帧图像进行检测，本实施例选择前k＝200个拥有高打分值的检测框作为目标检测的候选框。再使用滤除大部分不合理的检测框。对于保留的检测框，使用和依次在上面进行相关滤波，当最终的最高者则输出该目标框，作为新的初始条件启动跟踪器；反之进入下一帧进行检测，直至检测到目标。最终检测结果、目标框过滤前以及目标框过滤后的图像，如图5所示。本实施例中，考虑到目标的外观变化，令τ3＝0.8×yocc-4。

步骤12、重复步骤2至步骤11，直至图像序列结束。

为验证本实施例的有效性，实验所使用的图像序列信息如表1所示。与本实施例比较的12个跟踪器分别为：ct，dcf，dsst，bit，kcf，l1apg，lct，mosse，mtt，sct，struck和tld。由于本实施例是在lct跟踪器上的改进，因此将其命名为ilct(improvedlct)。实验环境为inteli7-6500u2.5ghzcpu，8.00g内存，matlab2016b。

表1

由于视频均存在目标遮挡的情况，为了公平比较，将目标被遮挡的帧去除，并命名去除之后的帧为newframe。此外，对于目标存在于图像，但检测器没有检测到的情况，在本实施例中设定惩罚值来惩罚跟踪器，即令当前跟踪框的中心与实际目标的中心距离很大，并设定惩罚值为500像素。

所有跟踪器的跟踪结果如图6所示。

在carchase1中，由于在场景中只存在目标车辆这一个物体，因此在目标发生遮挡之前，所有的跟踪器都能够稳定跟踪如图6(a1)所示。然而在目标被桥梁遮挡后，大部分跟踪器发散，本实施例ilct和tld由于存在遮挡判定机制和跟踪器停止机制，因此在遮挡发生后仅仅进行检测，如图6(a3)所示。在目标离开遮挡后，ilct，sct和tld均能够跟踪到目标，其余跟踪器则漂移到四处。

在road1当中，目标在行驶过程当中被标志牌遮挡。由于车速较快，且标志牌的面积较小，因此此次遮挡属于短暂遮挡，大部分跟踪器的跟踪效果都很准确，除了ct，mtt和mosse。

在road2当中，大部分跟踪器在目标被树木遮挡之后发散，ilct在此时停止跟踪而进行检测。但是受到车辆行驶方向改变的影响，检测器在目标脱离遮挡后没有立即检测到目标，如图6(c3)所示。在检测到目标后恢复了跟踪，并且只有ilct跟踪上了目标。

carchase2的情况与carchase1的情况大致相同，然而在脱离遮挡之后只有ilct和tld恢复了跟踪，如图6(d4)所示。

在group当中，人物穿过了小棚，被小棚遮挡了一段时间。当人物从小棚出来后，ilct检测到了目标，恢复了跟踪，其余跟踪器丢失。

在jogging当中，目标人物正在跑步且电线杆细长，受到了短时全遮挡。大部分跟踪器能保持精确跟踪，除了struck，mtt，dsst，kcf，ct。

在person当中，目标人物会在树下行走一段时间，在此之前，所有跟踪器都稳定精确跟踪。当目标在树下，ilct停止跟踪进行检测，直至走出树荫。从图6(g3)中可以看到，ilct恢复了跟踪，之后tld也恢复到了目标身上。

在motorcycle当中，摩托快速运动，在大片树木遮挡后，一些跟踪器发散。ilct，dsst，bit，lct，mosse，sct能够准确跟踪。

在triumphal_arch当中，人物从墙的背后走过，此时大部分跟踪器发散。直至目标从右侧出现后，tld检测到了目标，ilct没有检测到，如图6(i3)所示。但在随后帧中ilct恢复了跟踪，且在目标转身行走时依旧能够稳定跟踪，如图6(i4)所示。

本实施例与其他12个跟踪器，关于跟踪结果的中心位置误差(centerlocationerror，cle)定量评价结果，如表2所示。cle是指输出目标框的中心位置与目标实际中心位置的欧氏距离r(单位像素)小于某一阈值的帧数，占总帧数的百分比，在本实施例中取r＝15。

表2

由于在所有的实验中ilct没有出现跟踪丢失的情况，因此整体实验的结果较好，获得了6次最佳结果和2次次优结果。剩余的1次实验结果虽然没有达到最优，但也实现了0.9255的精度，与第一名的精度只差了0.04。从cle的评价结果来看ilct最优。

按照每组序列，绘制了所有跟踪器在不同阈值下的cle精确度曲线，如图7所示。从图中可以看出，ilct曲线都保持着高准确度，尤其在road2，group和triumphalarch序列中。

本实施例与其他12个跟踪器，关于跟踪结果的平均位置误差(averagelocationerror，ale)定量评价结果，如表3所示。ale是指所有帧r的平均值。

表3

从图中可以看出，ilct取得了5次最优和1次次优的结果，除了carchase1，road1和motorcycle序列。原因是，在road1和motorcycle序列当中，目标运动速度快且受到的遮挡时间相对短暂，因此其余跟踪器并没有丢失目标且稳定跟踪，而ilct因没有在第一时间检测出目标而受到了距离惩罚，从而提升了平均值。在carchase1序列当中，与最优的tld平均距离仅仅差了大约7个像素。平均值和最优次数反映了ilct的性能是最佳的。

按照每组序列，绘制了所有跟踪器在newframe下的中心位置距离误差曲线，如图8所示。如上所述，惩罚距离会在曲线中产生一个阶跃并且影响平均位置误差。对于不存在惩罚距离的帧，可以看到ilct普遍具有很低的距离值。

本实施例与其他12个跟踪器，关于跟踪结果的平均重叠率(averageoverlaprate，aor)定量评价结果，如表4所示。

表4

aor是指输出目标框与实际目标框重叠部分的面积之比，计算公式如下：

overlaprate＝overlaparea/(trackedarea+groundtrutharea-overlaparea)，此处计算所有帧overlaprate的平均值。

以良好的跟踪精度为基础，ilct实现了不错的平均重叠率，分别获得了5次最优和2次次优的结果。由于目标在运动过程当中可能会发生尺度变化，而重叠率对目标框十分敏感，于是自适应的尺度估计能够提高重叠率。在比较的跟踪器中，bit，ct，dcf，kcf，mosse，mtt和sct都没有对目标进行尺度估计，因此在具有尺度变化的序列road2和motorcycle和triumphalarch中，均没有获得最优或次优名次。平均值、最优次数和次优次数反映了ilct的跟踪效果是最佳的。

按照每组序列，绘制了所有跟踪器在newframe下的重叠率曲线，如图9所示。由于存在少量漏检的帧，会产生重叠率阶跃降低，如carchase1。除此之外ilct的重叠率在每组序列中都保持着较高的值。

本实施例与其他12个跟踪器，关于跟踪结果的pascal精确度定量评价结果，如表5所示。

表5

pascal精确度是指重叠率大于一定阈值的帧数占总帧数的百分比，本实施例中该阈值取0.5。

pascal精确度越高，表明跟踪器的目标框与实际目标框的重叠率越高。ilct获得了4次最优和2次次优的结果。在其余的3组序列当中，ilct分别获得了0.9149，0.9895和0.9858的精确度。尽管ilct的排名既不是最优也不是次优，但与最佳精确度分别只差了大约0.03,0.01和0.02，差距很小。从平均值、最优次数和次优次数来看，ilct获得了最佳跟踪效果。

上述具体实施可由本领域技术人员在不背离本实施例原理和宗旨的前提下以不同的方式对其进行局部调整，本实施例的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本实施例之约束。