基于显著部位的目标抗遮挡跟踪方法与流程

本发明涉及计算机视觉领域，具体地说，是一种目标跟踪方法。

背景技术：

目标跟踪是视频监视工作中不可或缺的组成部分，扮演了连接目标检测任务与行为分析等高阶任务的重要角色。

目标跟踪是对对第一帧给定的矩形框内的目标进行持续的跟踪，在后续帧中给出目标的位置和尺寸大小。

虽然当前目标跟踪算法已经应用于安防、监控等领域，但是由于监视中存在目标特征较弱、易受遮挡等难点，导致目标跟踪仍然面临着不少的挑战。

目标跟踪算法主要分成生成类模型方法和判别类模型方法。生成类模型利用当前帧建立区域模型，并在下一帧寻找与区域模型最接近的区域。判别类方法则是训练一个目标识别器，以一种类似于目标分类的方法将目标与背景信息区分开。随着机器学习领域的不断进步，以相关滤波算法和深度学习算法作为代表的判别类模型成为了目标跟踪算法的主流。

当前绝大部分跟踪方法都是基于目标全局外形特征的跟踪算法，这类算法在面对目标受遮挡或目标变形的时候可能表现并不好。为了解决这个问题，基于分块的目标跟踪算法被提了出来。分块跟踪算法根据目标受遮挡或目标变形时部分块的特征仍保留了目标的信息的原理，对保留目标局部信息的块进行持续跟踪，并对各个块进行综合评估以确定目标的位置和尺寸。

现存的分块算法存在着分块粗糙，块跟踪器性能不够先进，尺度变化不准确等缺点。

技术实现要素：

提出一种更具针对性的分块方法：利用目标的协同显著性指导目标分块。这种方法借鉴了人眼的注意力机制，保证了分块的特征显著性和完整性。

提出一种全新的分块更新策略：基于协同显著性对目标进行分块，并对于健壮的旧分块之间重叠度较高的新分块进行剔除，该策略平衡了目标分块的显著性和片面性。

引入特征提取能力更强的滤波器，一方面提高了分块跟踪的准确率，另一方面抑制了由于显著性检测错误造成的干扰，在较少的跟踪器数量情况下保证了较高的准确度和鲁棒性。

借鉴粒子滤波和相关滤波处理目标尺度变化的思想，提出一种新颖的尺度变化方法，该方法既能反映目标尺寸的变化，又能解决以前分块方法导致的尺度变化较为剧烈的问题。

附图说明

图1为本发明实施流程图。

具体实施方式

使用eco-hc作为分块跟踪器。相对于基础的相关滤波算法，eco-hc算法对提取的特征进行降维，采用高斯混合模型对相似样本进行融合，并对滤波器的更新策略进行了调整，使得相关滤波器的准确率更高。最后检测目标的得分是：

s＝pf*j

这里s表示检测目标得分，j代表插值后的特征图，f表示滤波器。p是一个特征降维矩阵。经过特征映射后的最小化平方和误差函数的频域表示如下式所示：

在这个目标函数中，表示插值特征图，表示期望输出，表示二范式的平方，表示p的frobenius范数，表示空间约束，为了约束p在最后加了一项整定项β，q'表示滤波器索引。使用高斯-牛顿和共轭梯度法可求解上式。在传统的相关滤波算法中，对每个样本均添加到样本空间里，这可能会导致滤波器过拟合。eco-hc利用高斯混合模型将相似样本进行融合，提高了滤波器的鲁棒性。

当前分块跟踪算法中分块的划分往往比较随意，导致分块语意缺失和背景干扰太多。为了解决这个问题，一个直观的想法是利用目标最引人注意的部分引导分块，以提升分块的代表性。基于计算机视觉中对人类视觉注意力的研究基础，将分块优先聚焦到目标最能引起人眼注意的地方，即目标的显著性区域。目标显著性遵循单张图片里的视觉刺激原则，该原则可以将显著目标从背景里辨认出来。设输入图像为i，首先使用k均值聚类方法将图像中的像素划分成k'个聚类，然后计算每一个聚类的对比度和空间线索。最后将两种线索融合变成显著性特征图。对比度线索作为一种衡量视觉特征的独特性传统方法，被广泛应用于单张图片的显著性检测中。对比度线索衡量特征之间的差别，可以用下式表示：

这里u^k表示第k个聚类的中心，l2范式用于计算特征之间在特征空间的距离，nⁱ代表第i个类别的像素数，n'表示图像的总像素数。聚类越大权重影响越大。

对比度线索的优点是能使得稀疏聚类分配更高的显著性得分。但是这种线索遇到复杂的背景干扰的时候则效果较差，因此考虑利用空间线索来处理复杂背景的干扰。类似于相关滤波里的余弦窗操作，空间线索基于图像中心区域显著性高于其他区域显著性的假设对远离图像中心的区域的显著性进行抑制。空间线索可以用下式表示：

这里归一化系数n^k表示第k个聚类的像素数，g(·)表示高斯核，x′i表示像素，o'表示图像中心，方差σ²表示图像的归一化半径。δ(·)表示克罗内克函数，b'(ti)表示像素ti的聚类索引，c^'k表示第k个聚类。

将两个线索通过乘法操作进行融合。首先使用下式计算每个聚类的显著性概率，得到聚类级的显著性值：

pr(c^'k)＝ω^c(k)·ω^s(k)

为了得到像素级的显著性值，需要将像素与聚类联系起来。对于每个聚类里的像素，其显著性似然服从高斯分布：

这里v'x'代表像素x'的特征向量，σk代表聚类c^'k的方差。最终像素级的特征图可以表示为所有聚类显著性值的和：

利用上式对目标区域内的每一个像素点进行计算，得到了目标区域的显著性分布，即显著性特征图。基于聚类的显著性检测方法不仅可以计算得到像素级的显著性值，而且在某种程度上执行了目标不同区域的分割操作，使得其对于分块的指导更为合理。

在得到目标的显著性分布以后，对目标进行分块操作，本文的分块格式是指矩形框形式的分块。分块具体尺寸由目标决定，这里将分块尺寸确定为目标的0.7倍大小。首先按照滑动窗口遍历整个目标区域的原理，按照一定的步长使用矩形框覆盖整个目标区域。目标区域中第i个矩形框可以表示为其中表示矩形框里的像素，m∈{1,2,...,wⁱ×hⁱ}表示像素索引，wⁱ和hⁱ分别表示矩形框的宽和高，s^'i表示矩形框的显著性得分，该显著性得分由下式定义：

接着，采用类似于fasterr-cnn中的候选框淘汰机制，使用非极大值抑制对矩形框进行选择：首先按照显著性得分进行排序，然后依照排序结果计算矩形框之间的交并比，对交并比大于一定阈值的矩形框进行剔除。交并比θ的计算可由下式表示：

虽然矩形框初始化是遍布了整个图像块的，但是由于只对目标区域进行分块，因此对目标区域的矩形框的显著性得分计算量并不大。同时，非极大值抑制操作剔除了许多冗余的矩形框，使得分块在优先分布在显著性强的区域的基础上，广泛地覆盖整个目标区域，从而在侧重性和均匀性上面取得平衡。这种灵活的分块策略打破了传统的分块惯例，即固定分块位置和数量，节省了计算量，提高了分块的科学性。

设第t帧的目标的中心坐标为μc^t，第i个分块的中心坐标为分块总数为l'，则尺度变化的目标函数为：

其中常数λ表示梯度底数，本文将其设置为1.02。vr∈{-16,-15,…,16}表示梯度指数。通过最小化目标函数，得到候选尺度为了抑制分块跟踪误差对尺度变化的影响，引入一个判断系数η∈{0,1}：

当分块总面积与目标区域的交并比θ小于阈值0.3的时候，η＝0，否则，η＝1。设st表示第t帧的尺度，则最终的尺度变化如下式所示：

本发明的尺度变化方法介于粒子滤波和相关滤波之间，一方面粒子滤波尺度变化思想反映了目标分块与目标总体的尺度变化关系，另一方面相关滤波尺度变化方法抑制了尺度的剧烈变化。考虑到分块在目标上分布不均匀时分块的运动趋势无法准确反映目标总体的尺度变化趋势，在尺度变化里引入了分块与目标的重叠度的概念，当重叠度过低时认为分块跟踪误差较大，不执行尺度变化，从而避免了误差的累积。

在上面提出的分块策略和尺度变化方法基础上，提出一个算法流程以完成整个跟踪过程的自动迭代。跟踪器模型m是由多个分块跟踪模型hi组成的：采用霍夫投票的方法确定目标的中心坐标，但是没有将分块分类为正负，这是因为没有采用蒙特卡洛框架来生成分块(该框架采用随机产生分块的做法)，而是在目标显著性区域生成分块，因此可以将所有分块都视为正样本。目标的中心坐标可以由分块中心坐标采用霍夫投票方法确定：

这里的权值ω'由每个分块的置信度确定，具体地，是采用每个分块峰-旁瓣比(peak-to-sideloberatio,psr)的归一化值作为每个分块的投票权值。从式子中可以看出响应值大的分块对目标状态评估的影响较大，对应了分块跟踪中不同部分重要性不同的原理。最后可以得到此刻目标的状态：

随着分块的不断迭代，跟踪的误差也在累积，为了减少误差，需要对部分分块进行重采样操作。与传统的全部分块重采样和部分分块随机重采样的方法不一样，本发明对于分块的重采样是基于目标的显著性进行的。进一步还考虑了分块之间重叠度的影响，避免分块重复导致目标中心的偏移。对于需要重采样的分块的判断标准可以总结为以下三点：

(α)低置信度。删除置信度小于一定阈值的分块，重新采样一个新的分块。本发明的分块置信度采用psr作为评价标准，因此置信度也代表着跟踪器的响应值。响应值低意味着跟踪器当前的跟踪结果可信度较低，极有可能出现跟踪错误，因此首先将置信度低的分块进行重置；

(β)远离目标中心。随着时间的推移，一些跟踪误差较大的分块会逐渐远离目标中心，比如包含较多背景信息的分块停留在上一帧的背景区域。如果不对远离目标中心的分块进行重采样，那么一些置信度较高、远离目标中心的分块可能会严重影响目标中心的确定。将分块中心坐标超出目标尺寸1.5倍区域的分块认定为远离目标中心的分块；

(γ)与现存分块重叠度过高的新分块。由于本发明的分块策略是基于目标的显著性进行分块的，因此重采样策略仍旧遵循这一策略。然而在重采样过程中，如果添加的新分块与现存分块重叠度过高可能会造成分块的集聚，从而影响跟踪的准确性。当新分块与现存分块重叠度超过50％，那么该新分块将不会被添加。