一种基于数据关联与轨迹评估的多目标跟踪方法与流程

本发明涉及一种多目标跟踪算法，尤其涉及一种基于数据关联和轨迹评估的多目标跟踪方法，属于图像处理技术领域。

背景技术：

多目标跟踪技术是计算机视觉领域一个非常热点的课题。近年来，基于检测的跟踪方法主要分为两类：

(1)递归状态评估方法，即运动目标的未来状态只依赖于过去和当前的观测状态。

(2)非递归跟踪方法，即根据一系列图像帧中的信息预测所有目标的轨迹。然而，目前大部分工作都集中在数据关联上，即把每一个观测结果与特定的原始目标相关联。

因此，当前的大多数方法主要目的是寻找问题的近似解，或者局部最优解。卡尔曼滤波由于其简易性而广泛使用，但它只适用于线性模型以及高斯噪声分布模型。蒙特卡罗方法能够克服卡尔曼滤波的局限性，越来越多用于评估目标位置，但粒子数目会随着目标数目增加呈爆炸式增长，因此多模态维持变得越来越困难。这类递归状态评估方法有一个主要缺陷，即一旦产生误检，则很难修复。非递归跟踪方法主要集中在数据关联上，即把每一个观测结果与特定的原始目标相关联。基于网络流的跟踪方法使用最小成本流寻找最小多项式中一个相对简单的目标函数，并确定其全局最优解。当目标发生长时间遮挡时，不利于目标身份的确定。

技术实现要素：

本发明所要解决的技术问题是针对多目标跟踪问题背景技术中所涉及到的缺陷，提出一种基于数据关联和轨迹评估的多目标跟踪方法。

一种基于数据关联与轨迹评估的多目标跟踪方法，包括以下步骤：

步骤a)，利用ransac算法对每一个d∈d的观测进行直线拟合，得到目标的初始轨迹集t，同时利用时空关系对每一个d∈d的观测建立crf模型，并给出标号方式，d为观测的集合；

步骤b)，建立拟合模型、先验模型、互斥模型，在crf模型的基础上，利用拟合模型、先验模型、互斥模型构建目标函数，并利用梯度下降法与α-expansion算法求解目标函数的近似最小能量；

步骤c)，基于最小能量对初始轨迹集t进行分割与合并、添加与删除、增长与收缩，得到目标的最佳跟踪轨迹。

作为本发明一种基于数据关联与轨迹评估的多目标跟踪方法进一步的优化方案，所述步骤a)中利用ransac算法对每一个d∈d的观测进行直线拟合的具体步骤如下：

步骤a.1.1)，随机选择观测子集dk∈d中的目标i与j；

步骤a.1.2)，如果目标i与j之间的帧间间隔等于或小于4帧，并且帧间距离小于30cm,则连成一条直线，否则不连接；

作为本发明一种基于数据关联与轨迹评估的多目标跟踪方法进一步的优化方案，所述步骤a)中利用时空关系建立数据关联的crf模型与标号方式的具体步骤如下：

步骤a.2.1)，将每一个观测d∈d看成一个顶点v；

步骤a.2.2)，将同一帧图像中的不同观测用空间互斥边εx相互连接；

步骤a.2.3)，将相邻两帧图像中两两距离小于预设的阈值τ的观测用时间平滑边εs相互连接；

步骤a.2.4)，对于任一个d∈d的观测，给定所有目标的初始轨迹的标号集l＝{1,2,....,n，φ}；

步骤a.2.5)，给定有效轨迹tl^*的标号集l*，对于任意一个有效的标号ld∈l，

步骤a.2.6)，若某个观测目标d属于前景，则ld∈{1,2,....,n}；若为误报，则ld＝φ。

作为本发明一种基于数据关联与轨迹评估的多目标跟踪方法进一步的优化方案，所述步骤b)中的建立拟合模型、先验模型、互斥模型的步骤如下：

步骤b.1.1)，计算目标i与其轨迹ti之间的欧氏距离，小于预设的阈值τ，则将目标i与轨迹ti连成新的轨迹，否则继续将目标i与其他轨迹进行连接，；

步骤b.1.2)，设定目标i的线速度小于1.2m/s，角速度小于10rad/s，轨迹持久性为fi＝ei-si+1，线速度、角速度与轨迹持久性共同构成先验模型；

步骤b.1.3)，目标i与j的轨迹发生重叠，则构成互斥模型。

作为本发明一种基于数据关联与轨迹评估的多目标跟踪方法进一步的优化方案，所述步骤b)中的目标函数如下：

其中，β、γ、δ均为预先设定的权重阈值；

ed(ld,t)表示轨迹拟合模型的能量，表示空间互斥边εx的能量；es(ld,ld’)表示时间平滑边εs的能量；etr(ti)表示轨迹先验模型的能量，etr^x(ti，tj)表示轨迹互斥模型的能量。

作为本发明一种基于数据关联与轨迹评估的多目标跟踪方法进一步的优化方案，所述步骤b)中利用α-expansion算法与梯度下降法求解目标函数的具体步骤如下：

步骤b.2.1)，输入初始轨迹集t，观测的集合d；

步骤b.2.2)，输出带标号集l的观测的集合d，有效轨迹tl^*，

步骤b.2.3)，如果目标函数迭代求解的次数少于10次，则执行步骤b.2.4)；否则停止迭代，得到最终的标号集l与有效轨迹tl^*；

步骤b.2.4)，采用α-expansion算法优化标号集l，依次全部移除某个标号来检查能量是否进一步降低，直到目标函数的能量上升为止；

步骤b.2.5)，采用梯度下降法重新拟合轨迹集t；

步骤b.2.6)，重新确定轨迹空间t，转步骤b.2.3)。

作为本发明一种基于数据关联与轨迹评估的多目标跟踪方法进一步的优化方案，所述步骤c)中基于最小能量对初始轨迹集t进行分割与合并的具体步骤如下：

步骤c.1.1)，将连续超过10帧没有出现目标的轨迹片段分割成2条或3条轨迹片段，如果目标函数的能量是降低的，则将误检目标从轨迹集t中剥离，否则维持未分割前的轨迹片段；

步骤c.1.2)，将帧间间隔不超过10帧的2个或3个轨迹片段合并成一个新的轨迹，如果目标函数的能量是降低的，则将遮挡后出现的目标加入到合并后的轨迹集t中，否则维持未合并前的轨迹片段。

作为本发明一种基于数据关联与轨迹评估的多目标跟踪方法进一步的优化方案，所述步骤c)中基于最小能量对初始轨迹集t进行添加与删除的具体步骤如下：

步骤c.2.1)，对轨迹集t添加新的轨迹片段，如果目标函数的能量是降低的，则将新出现的目标添加到轨迹集t中，否则维持未添加前的轨迹片段；

步骤c.2.2)，将一帧或两帧轨迹片段从初始轨迹集t中删除，如果目标函数的能量是降低的，则保留删除后的轨迹集t，否则维持未删除前的轨迹片段。

作为本发明一种基于数据关联与轨迹评估的多目标跟踪方法进一步的优化方案，所述步骤c)中基于最小能量对初始轨迹集t进行增长与收缩的具体步骤如下：

步骤c.3.1)，将过去t0帧的轨迹片段的起始帧si向前移动、结束帧ei向后移动，如果目标函数的能量是降低的，则保留增长后的轨迹集t，否则维持未增长前的轨迹片段；

步骤c.3.2)，将过去t0帧的轨迹片段的起始帧si向后移动、结束帧ei向前移动，如果目标函数的能量是降低的，则保留收缩后的轨迹集t，否则维持未收缩前的轨迹片段。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1.分别从时间和空间的角度建立crf模型来实现多目标跟踪，这为实现多目标跟踪技术提供了前提和基础；

2.融合数据关联与轨迹评估建立目标函数，并利用α-expansion算法与梯度下降法求解目标函数，得到每个目标的近似最小能量与初始运动状态，与单纯的连续最小能量方法相比，本发明采用的方法可以有效处理目标的误报、漏报与目标的身份切换；

3.采用扩展轨迹假设空间的方式得到的跟踪目标轨迹更加持续、平滑，抑制了目标在长时间遮挡过程中形成的碎片轨迹。最后的跟踪结果也表明，本发明所提方法具有较好的跟踪效果。

附图说明

图1是本发明的跟踪流程示意图；

图2是本发明所采用的crf模型；

图3是本发明中不同目标发生遮挡时的模型示意图；

图4是本发明采用的α-expansion算法示意图；

图5是本发明轨迹假设空间的扩展过程的示意图；

图6是本发明中各部分能量所占的权重对跟踪性能的影响的示意图；

图7是本发明所得的部分跟踪结果。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所示，本发明的目的是提供一种基于数据关联和轨迹评估的多目标跟踪算法，其实现思路为：首先，利用ransac算法对每一个d∈d的观测进行直线拟合，得到目标的初始轨迹集t，同时利用时空关系对每一个d∈d的观测建立crf模型，并给出标号方式；其次，建立拟合模型、先验模型、互斥模型，在crf模型的基础上，利用拟合模型、先验模型、互斥模型构建目标函数，并利用梯度下降法与α-expansion算法求解目标函数的近似最小能量；最后，基于最小能量对初始轨迹集t进行分割与合并、添加与删除、增长与收缩，得到目标的最佳跟踪轨迹。

步骤a、利用ransac算法对每一个d∈d的观测进行直线拟合，得到目标的初始轨迹集t，并利用时空关系对每一个d∈d的观测建立crf模型，并给出标号方式。

ransac算法对每一个d∈d的观测的直线拟合过程如下：

(1)随机选择观测子集dk∈d中的目标i与j；

(2)如果目标i与j之间的帧间间隔等于或小于4帧，并且帧间距离小于30cm，则连成一条直线，否则不连接；

crf模型的构建步骤如下：

(1)将每一个观测d∈d看成一个顶点v；

(2)将同一帧图像中的不同观测用空间互斥边εx相互连接；

(3)将相邻两帧图像中两两距离小于特定的阈值τ的观测用时间平滑边εs相互连接；

通过以上环节得到完整的crf模型，如图2所示。

crf模型的标号方式，具体步骤如下：

(1)对于任一个d∈d的观测，给定所有假设轨迹的标号集l＝{1,2,....,n，φ}；

(2)给定有效轨迹的标号集l，对于任意一个有效的标号ld∈l，

(3)若某个观测目标属于前景，则ld∈{1,2,....,n}；若为误报，则ld＝φ。

步骤b、建立拟合模型、先验模型、互斥模型，在crf模型的基础上，利用拟合模型、先验模型、互斥模型构建目标函数，并利用梯度下降法与α-expansion算法求解目标函数的近似最小能量。

多目标跟踪的目标函数定义具体为：

其中，β、γ、δ均为预先设定的权重阈值，可以通过调节能量函数前的权重改变跟踪的效果，为了方便计算，将β的值固定为1。ed(ld,t)表示轨迹拟合的能量，表示同一帧图像中两个观测标号相同时产生的能量；es(ld,ld’)表示相邻两帧属于同一条εs的标号不同时的能量，；etr(ti)表示先验轨迹的能量，表示互斥轨迹的能量。

为了方便表示，公式中v{ed(ld,t)}＝ed(ld,t)，ε{es(ld,ld’),

1、拟合模型

ed(ld,t)表示某个观测目标d∈d属于该目标的轨迹拟合的能量，衡量标准为该观测与其轨迹之间的最短距离。此外，该项还能表示该观测目标是否属于误报。定义第t帧图像中的轨迹拟合成本如下：

其中wg^t表示观测目标的置信度值，pg^t表示该观测的位置，dis(.)表示距离函数，即观测目标距离其轨迹的最小距离。当某个检测结果的标号为l＝φ，表示误将背景当成目标。

为了使得等式(3)能基于梯度算法进行优化，本发明采用可微分的欧氏距离函数，同时为了防止微分后的分母为零，距离函数中加上一个很小的微调参数ε＝0.1，函数定义如下：

2、先验模型

目标i的轨迹先验能量函数由以下几个方面组成：

etr(ti)＝elin(ti)+eang(ti)+eper(ti)+λreg(4)

其中elin(ti)表示目标i的线速度能量，eang(ti)表示目标i的角速度能量，eper(ti)表示目标i轨迹的持久性能量，λreg为轨迹修正模型的能量，为了防止迭代过程中的过拟合。上式中的每一项都可微。

本发明所用的动态模型是建立在目标的角速度和线速度缓慢变化的基础上进行的。设x＝x(t)，y＝y(t)作为参考平面曲线的坐标，x’(t)，y’(t)为一阶导数，x”(t)，y”(t)为二阶导数。

假定行人以大约1.2米/秒的匀速移动。如果偏离这个速度，就进行二次惩罚。因此，目标i的线速度模型的表达式如下：

目标i的角速度模型的表达式如下：

其中ε＝0.1，通过以上变形，进一步得到目标i的角动态轨迹模型：

本发明通过以下“sigmoid”函数对轨迹的持久性进行修正，表达式如下：

其中b(ti¹)表示第i条轨迹的起点与最近的跟踪区域边界间的距离，表示第i条轨迹的终点与最近的跟踪区域边界间的距离。参数u＝1/s，试验中s＝35cm。该措施有利于目标遮挡后的轨迹恢复，有效地避免了因遮挡而发生跟踪轨迹突然中断的现象。

3、互斥模型

在所有的图像帧中，不同目标之间的轨迹在空间上不应该重叠。如果同一物理空间中的目标i与j轨迹发生重叠，则对该轨迹对进行一定的惩罚，如图3所示。针对每一对有效轨迹ti,则产生相应的二元成本etr^x(pairwisecost)。当两个目标比较接近时，对应的惩罚成本接近无穷大。

其中x(ti,tj)表示轨迹i与j在时间上的重叠，s＝35cm表示检测框的宽度。

4、crf模型的边

时间平滑边εs提供数据关联的时间平滑度。相邻两帧图像中，如果观测之间的两两距离小于特定的阈值τ，则使用时间平滑边εs连接，如图2所示，表达式如下：

其中f表示视频的帧数，该措施使得相邻两帧图像中同一个目标具有相同的标号。在能够保证足够的目标动态情况下，阈值τ尽可能的大。

在同一帧图像中，空间互斥边εx能够确保同一帧图像中每一个观测目标的标号唯一，如图2所示。

其中为观测的坐标(xi,yi)，s表示矩形检测框的宽度。

连接时间邻域(ld,ld’)∈εs，ld与ld’表示相邻两帧具有相同标号的观测。该时间平滑边εs的能量定义如下：

其中δ(.)表示冲激序列，当ld≠ld’时，则产生一定的惩罚λεs。

为了防止数据误读，空间互斥边(d,d’)∈εx确保同一帧图像中每个目标的标号唯一，空间互斥边εx的能量定义如下：

其中δ(.)表示冲激序列。同一帧图像中，如果相邻目标之间的标号相同，则进行一定的惩罚。

如图4所示，本发明采用α-expansion算法与梯度下降法求解目标函数，具体步骤如下：

(1)输入初始轨迹集t，观测的集合d；

(2)输出带标号集l的观测的集合d，有效轨迹tl^*，

(3)如果目标函数迭代求解的次数少于10次，则转(4)；否则停止迭代，得到最终的标号集l与有效轨迹tl^*；

(4)采用α-expansion算法优化标号集l，依次全部移除某个标号来检查能量是否进一步降低，直到目标函数的能量上升为止。

(5)采用梯度下降法重新拟合轨迹集t；

(6)重新确定轨迹空间t，转(3)；

步骤c、基于最小能量对初始轨迹集t进行分割与合并、添加与删除、增长与收缩，得到目标的最佳跟踪轨迹。

仅仅依赖于初始的轨迹假设，可能会在一定程度上限制能量的最优解。为了使得优化的过程更加灵活，因此在基于当前解决方案的基础上，在每一次连续优化迭代结束之后，对轨迹假设的搜索空间进行一定的扩展，如图5所示。本发明采用以下3种方法进行扩展轨迹假设空间：

方法1.分割与合并：将连续超过10帧没有出现目标的轨迹片段分割成2条或3条轨迹片段，如果目标函数的能量是降低的，则将误检目标从轨迹集t中剥离，否则维持未分割前的轨迹片段；将帧间间隔不超过10帧的2个或3个轨迹片段合并成一个新的轨迹，如果目标函数的能量是降低的，则将遮挡后出现的目标加入到合并后的轨迹集t中，否则维持未合并前的轨迹片段。

方法2.添加与删除：对轨迹集t添加新的轨迹片段，如果目标函数的能量是降低的，则将新出现的目标添加到轨迹集t中，否则维持未添加前的轨迹片段；将一帧或两帧轨迹片段从初始轨迹集t中删除，如果目标函数的能量是降低的，则保留删除后的轨迹集t，否则维持未删除前的轨迹片段。

方法3.将过去t0帧的轨迹片段的起始帧si向前移动、结束帧ei向后移动，如果目标函数的能量是降低的，则保留增长后的轨迹集t，否则维持未增长前的轨迹片段；将过去t0帧的轨迹片段的起始帧si向后移动、结束帧ei向前移动，如果目标函数的能量是降低的，则保留收缩后的轨迹集t，否则维持未收缩前的轨迹片段。

如图6所示，为了验证权重阈值β、γ、δ的变化的对行人跟踪性能的影响，本发明对每个参数进行固定调试。轮流固定公式(1)中β、γ、δ的值，改变另一个变量，判断对mota性能的影响，为了方便调试，β固定为1。当mota＝0时，说明参数的变化对mota指标的影响很小。能量函数中的调节系数β、γ、δ分别设置为{1，0.03，0.8}。

图7给出了本发明在tud-stadtmitte与pets2009数据集上的部分目标的跟踪结果。从跟踪结果可以看出，tud-stadtmitte(图7(上))数据集的跟踪结果比较理想，即使行人在运动过程中产生一定的遮挡，仍然能够跟踪到绝大部分行人，并确定他们的轨迹。而对于petss2l1(图7(中))视频序列，虽然行人间的相互遮挡造成了少部分轨迹的重合，由于行人相对较少，而且遮挡不是很明显，基本上能够锁定绝大部分目标位置，并且精确度也比较理想。即便在petss2l2(图7(下))这种比较拥挤的场景中，虽然存在少部分身份切换，以及行人之间相互遮挡而造成的目标暂时丢失，但是当目标重新出现时，依然能够比较快速的锁定目标。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。