基于小轨迹图关联模型的半在线视觉多目标跟踪方法与流程

本发明涉及计算机视觉领域，特别是一种基于小轨迹图关联模型的半在线视觉多目标跟踪方法。

背景技术

视觉跟踪是计算机视觉领域的重要研究课题，已经应用到视频监控、行为识别、机器人导航、自动驾驶、人机交互等多个领域，具有广泛的应用前景。通过视觉多目标跟踪系统，可以对序列图像包含的目标进行特征提取、识别及分析，进而获得相关目标的身份、位置、速度、轨迹等信息，为进一步的行为理解等高层任务做铺垫。

由于算法开始给定了每帧图像的目标检测结果，多目标跟踪本质上需要完成一个多个检测相关联的任务。由于实际场景中经常发生目标变形、目标被其他固定物体如路标、树木等遮挡、目标交互导致相互遮挡等情况，且目标背景的稳定程度、背景与目标间的可区分度也影响着跟踪结果，多目标跟踪成为一个极具挑战性的问题。

根据处理方式的不同，传统多目标跟踪方法分为离线跟踪和在线跟踪两大类。早期的跟踪算法主要是离线跟踪，这种方式以一段完整的视频及各帧检测作为输入，一次性处理所有帧的检测结果，并给出所有检测所属身份及位置。这种方式需考虑的目标较多，因此算法复杂度通常较高，不能实现实时应用。为了克服离线跟踪方式的不足，学者们提出了在线跟踪的处理方式，一般是在跟踪系统初始化后，通常基于多个目标的历史信息，建立外观模型和运动模型，结合当前帧中目标检测结果，对每个目标的状态进行判定和更新，依据这种方式对视频逐帧处理，确定多个目标的身份和位置，逐帧输出跟踪结果。这种方式可以实时应用，但在线跟踪的方式不能利用未来帧的目标检测信息，因此在目标频繁遮挡时在线跟踪系统的跟踪性能急剧下降。

技术实现要素：

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于小轨迹图关联模型的半在线视觉多目标跟踪方法，减少延时，提高目标跟踪精度。

为解决上述技术问题，本发明所采用的技术方案是：一种基于小轨迹图关联模型的半在线视觉多目标跟踪方法，包括以下步骤：

1)对于一段图像序列，从开始帧按顺序选取当前处理窗口，对于每帧图像，通过目标检测的宽高比及目标检测两两之间的重叠率，剔除不属于目标的虚假检测；

2)计算相邻帧图像目标检测之间的覆盖率，将相邻帧覆盖率大于0.4的检测关联成为长度不等的小轨迹；

3)对每段小轨迹计算首帧检测和末帧检测的hog特征和hsv颜色直方图特征，估计每段小轨迹的始端速度和末端速度；对所有小轨迹，估计其两两之间的吸引力得分；

4)利用图模型将小轨迹关联成为长轨迹；

5)计算所述长轨迹的置信度；

6)取置信度大于0.5的长轨迹，训练外观模型，找到一个最优判别矩阵；

7)处理窗口向前移动，寻找下一批处理的图像帧，相邻窗口之间的重叠率为50％，重复步骤3)至步骤6)。

步骤1)中，如果两个检测重叠面积与合并面积的比值大于0.4，则认为这里两个检测属于同一个目标，则将其中一个设定为虚假检测，剔除该虚假检测。

步骤3)中，所述吸引力包括外观吸引力和运动吸引力；所述吸引力得分为外观吸引力得分和运动吸引力得分的乘积。

计算所述外观吸引力得分的过程包括：对每段小轨迹的初始检测和结束检测，提取方向梯度直方图hog及hsv颜色直方图特征作为其首端特征和末端特征，各自组成一维向量，然后对每对小轨迹时间上的先后顺序进行判断，若两个小轨迹无重叠，取时间上最近的首端特征和末端特征，计算该首端特征和末端特征之间的距离，估算外观吸引力得分。

计算所述运动吸引力得分的过程包括：利用所述始端速度和末端速度对小轨迹之间的运动吸引力进行估计。

步骤4)的具体实现过程包括：将当前处理窗口内包含的小轨迹作为节点，小轨迹之间的连接作为边，两个小轨迹之间的吸引力得分作为其对应节点之间的吸引力权重，从而将当前处理窗口内的小轨迹建模为无向加权图，通过最大化无向加权图中各条边上权重的和，解决图分割问题，进而将属于相同目标的小轨迹关联为长轨迹。

步骤6)的具体实现过程包括：在每一帧图像的目标检测位置附近取n个图像块，将这些图像块归一化为128×64像素的大小，并提取hsv直方图特征和方向梯度直方图特征，通过线性判别分析方法，最大化训练样本的类间距离求解投影矩阵w，作为最优判别矩阵。

与现有技术相比，本发明所具有的有益效果为：本发明没有全局关联的计算复杂度，也不会有逐帧跟踪出现身份频繁跳变的情况，它首先在较短的时间窗口内将多个目标的多帧检测关联成为小轨迹，利用无向图模型将小轨迹进一步关联成为长轨迹，批处理后将部分结果输出，具有快速、简单、鲁棒等特点。本发明计算了小轨迹初始和终止的外观特征，并在小轨迹关联前对其时间先后顺序进行判断，选取时间较近的特征进行外观相似度分析，有效地降低了身份变换次数，不会产生太长的延时。同时通过建立目标的外观模型，目标的外观特征具有更高的判别性，使算法得到了较高的精度。

附图说明

图1为本发明方法总体流程；

图2为小轨迹运动相似度估计示意图；

图3为图分割模型示意图；

图4为图分割结果示例。

具体实施方式

第一步：选定当前处理窗口，剔除给定检测中的虚警

一段图像序列中，从开始帧按顺序选取长度为80的图像作为当前批处理帧，称为处理窗口，并选取最开始的80帧，提取属于当前处理帧的目标检测结果。对于每帧图像，计算目标检测的宽高比及目标检测两两之间的重叠率，如果两个检测重叠面积与合并面积的比值大于0.4，则认为这里两个检测属于同一个目标，剔除其中一个检测；

第二步：将窗口内包含的检测关联成为长轨迹

计算相邻两帧图像目标检测之间的检测重叠面积与合并面积的比值，作为交叠率，如果交叠率大于0.3，则认为这两个检测属于同一个目标，如果某个检测存在两个或多个相邻帧的检测与其交叠率大于0.3，则取交叠率大的那个检测与其关联；

第三步：对每段小轨迹进行首帧和末帧的特征提取

对每段小轨迹的首帧检测和末帧检测，提取方向梯度直方图(hog)及hsv颜色直方图特征。

a)方向梯度直方图(histogramoforientedgradient,hog)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。具体提取方法可参见：dalaln,triggsb.histogramsoforientedgradientsforhumandetection[c]//2005ieeecomputersocietyconferenceoncomputervisionandpatternrecognition(cvpr′05).ieee,2005,1:886-893。

b)颜色特征是用来弥补hog特征提取过程中丢失的颜色信息。通过vandeweijerj,schmidc,verbeekj,etal.learningcolornamesforreal-worldapplications[j].ieeetransactionsonimageprocessing,2009,18(7):1512-1523中的映射，可以将hsv的值转换为一个11维语义颜色的概率分布值。

第四步：估计每段小轨迹的始端速度和末端速度。

假设每段小轨迹的运动独立，且由于小轨迹通常较短，我们采用线性运动来近似小轨迹的速度。对每段小轨迹，分别计算两次速度，包括前向速度，即轨迹结束时的速度，方向沿实际运动方向，以及后向速度，即轨迹开始时的速度，方向沿运动方向的反方向；

其中p^s-p^e和t^e-t^s分别表示两帧图像中检测的位置差和时间差

第五步：对所有的小轨迹，估计其两两之间的外观吸引力和运动吸引力。外观吸引力的计算公式为

其中f(ti)和f(tj)分别为从两个小轨迹中提取的特征向量，w是从判别式外观模型中得到的投影矩阵。我们对每段小轨迹计算两次外观特征，分别为轨迹开始和终止的特征，在计算两个小轨迹的吸引力之前，先对小轨迹时间上的先后顺序进行判断，若两轨迹无重叠，取时间上最近的特征进行匹配。

假设每段小轨迹的运动独立，且由于小轨迹通常较短，我们采用线性运动来近似每段小轨迹的速度。两段小轨迹间的运动相似性定义为

即小轨迹预测位置和实际位置之间的差异服从正态分布，用n(·)表示，其中σδt表示正态分布的方差，δt是小轨迹ti和tj之间的时间差。和分别是tj的结束位置和前向速度，前向速度沿轨迹开始到结束的方向，和分别是ti的开始位置和后向速度，后向速度沿轨迹结束到开始的方向。小轨迹运动差异的示意图如图2所示。

则两个小轨迹ti和tj之间的吸引力得分为

a(ti,tj)＝aa(ti,tj)am(ti,tj)

得到小轨迹之间吸引力之后，将其映射到(-1,1)

其中λ控制转换曲线的梯度，在实验中我们取μ＝0.25。

第六步：利用图模型将小轨迹关联成为长轨迹。

将窗口内包含的小轨迹作为节点,表示为v，小轨迹之间的连接作为边，表示为e，对于v中的每对节点u,v∈v,用ωuv表示这两个节点之间的吸引力权重。ωu,v＞0表示两个节点可能属于同一个目标，反之，ωu,v＜0表明两个节点不属于同一个目标。如果两个节点属于同一个目标，我们其之间增加边，ei,j＝1，ei,j∈e.使用a作为各边对应权重的集合。因此当前窗口中小轨迹可以表示为图g＝(v,e,a),表示在图3中。在图3中，有很多关联节点的方式，经过跟踪算法之后，图分割问题的解如图4所示，其中相同有边连接的节点表示同一个目标。

图分割问题的具体解决方法是最大化图3中各条边上权重的和。其可公式化为二进制线性规划问题：

公式(2)的最优解对应于图3。问题(2)是np难的，s.bagonandm.galun,“largescalecorrelationclusteringoptimization,”arxivpreprintarxiv:1112.2903,2011.中提出了一种有效的最优化算法，即自适应标签迭代算法(adaptivelabeliterativeconditionalmodes(al-icm)algorithm)该算法可以解决大规模数据关联问题。

该算法具体求解过程为：将图中各个节点所涉及的身份信息用一个标签向量l＝{1,2,3,...,k}来表示，k表示分割后子图的数量。该算法可以将标签l分配给每个节点，通过迭代找到总的权重和最小的分配方式。在迭代过程中，保持其他节点的标签不变，剩余节点被分配到与它吸引力最强的节点的标签，如果这个节点被其他所有节点所排斥，则分配一个新的标签。这表明，当小轨迹属于一个新出现的目标时，该算法可以识别到新目标。给定标签向量l＝{1,2,3,...,k}后，该算法可以表示为随机场的能量

其中ωi,jxx表示两个节点i,j的吸引力权重，当li＝lj时，二进制值1＝1，否则1＝0。注意当两个节点间的吸引力大于0时，他们属于同一个目标时没有代价的，当他们分配到不同的标签时，就相应的分配代价，ωij越大，代价越大。因此，求解公式(5)后即得到公式(2)的解。

第七步：对于关联后的长轨迹，计算其置信度。根据

其中l＝|tⁱ|是小轨迹的长度，α是小轨迹涉及的帧数，β是与检测精度相关的控制参数。检测器性能比较好时,β应该被设置一个高的参数。公式(1)的第一项是小轨迹内各个检测的外观吸引力均值，是两个检测之间的吸引力。公式第二项描述了小轨迹的持续性。更小的α和更大的l对应了更高的置信度。

第八步：取置信度高的长轨迹，训练外观模型，找到一个最优判别矩阵。

轨迹置信度分布在0和1之间，认为置信度大于0.5的轨迹为高置信度轨迹。对于置信度高的轨迹，我们在每一帧图像的目标检测位置附近取n个图像块，将这些图像块归一化为128×64像素的大小，并提取hsv直方图特征。因此训练样本可以表示为x＝{(x1,y1),(x2,y2),...,(xm,ym)}，其中xi和yi分别是一个样本的3924维的hsv特征向量和身份标签，m表示样本的数量。

通过最大化类间距离求解投影矩阵w

其中表示矩阵a中主对角元素的乘积，投影矩阵w的维度为3924×d，是类间散度矩阵，mi是第i类样本的个数，ψi是第i类样本的均值向量，ψ是所有类别总的均值向量。

是类内散度矩阵。上式转化为

投影矩阵w的闭式解由的前d个特征值对应的特征向量组成。

第九步：处理窗口向前移动，寻找下一批处理的图像帧，相邻窗口之间的重叠率为50％，即40帧。重复步骤1至步骤9)。