基于运动信息的在线多目标跟踪方法及装置与流程

本发明涉及计算机技术领域，尤其涉及一种基于运动信息的在线多目标跟踪方法及装置。

背景技术：

多目标跟踪问题是计算机视觉领域的一个重要课题，它在机器人视觉导航、交通监测、智能交通系统、医疗诊断等领域有着重要的应用价值。

在线多目标跟踪，是指利用视频当前图像帧以及之前图像帧中的目标信息，对多个目标进行实时跟踪。随着检测技术的飞速发展，现有多目标跟踪方法大多采用基于检测的跟踪(tracking-by-detection,tbd)方法，利用在线目标检测器得到的目标特征信息实现跟踪，但是在跟踪过程中，仅是通过目标的外观信息作为相似度评价，若对于外观比较相似的多个目标，则会造成跟踪错误。

因此，采用现有的跟踪方法，使得多目标跟踪的准确度不高。

技术实现要素：

本发明提供一种基于运动信息的在线多目标跟踪方法及装置，以提高多目标跟踪的准确度。

本发明实施例提供一种基于运动信息的在线多目标跟踪方法，包括：

识别当前第t帧图像中的n个跟踪目标，t为大于等于3的整数，n为大于等于2的整数；

获取所述第t帧图像中n个所述跟踪目标的特征信息，所述特征信息包括位置信息和尺寸信息；

获取n个轨迹片段，每个所述轨迹片段对应一个跟踪目标在前t-1帧图像中运动轨迹；

根据所述每一个轨迹片段的置信度，将所述n个轨迹片段中的一个和所述n个特征信息中的一个进行关联，更新所述n个跟踪目标的轨迹片段，且所述轨迹片段的置信度满足多高斯不确定mgu理论。

在本发明一实施例中，所述根据所述每一个轨迹片段的置信度，将所述n个轨迹片段中的一个和所述n个特征信息中的一个进行关联之前，还包括：

确定所述每一个轨迹片段的置信度。

在本发明一实施例中，所述确定所述每一个轨迹片段的置信度，包括：

根据确定所述每一个轨迹片段的置信度；

其中，表示目标i的相对位置的标准差，表示目标i的相对速度的标准差，为目标i的mgu理论上界，l＝|tⁱ|为tⁱ的长度，λ为与检测器性能相关的系数，为所述轨迹片段和所述特征信息之间的相似度，tⁱ为所述轨迹片断，为所述特征信息，dt为第t帧图像的特征信息的集合。

在本发明一实施例中，所述根据所述每一个轨迹片段的置信度，将所述n个轨迹片段中的一个和所述n个特征信息中的一个进行关联之后，还包括：

对所述更新得到的所述n个跟踪目标的轨迹片段进行重关联。

在本发明一实施例中，所述对所述更新得到的所述n个跟踪目标的轨迹片段进行重关联之前，还包括：

对所述更新得到的所述n个跟踪目标的轨迹片段进行重关联判断；

确定所述更新得到的所述n个跟踪目标的轨迹片段满足重关联的条件。

在本发明一实施例中，所述对所述更新得到的所述n个跟踪目标的轨迹片段进行重关联判断，包括：

根据对所述更新得到的所述n个跟踪目标的轨迹片段进行重关联判断；

其中，fre-ass表示决策函数，ε为阶跃函数，为初步关联置信度，为从距离当前δf帧开始的置信度瞬时变化情况，为在δf帧内的累积变化情况，α,β,γ分别为相对应的阈值。

在本发明一实施例中，所述更新所述n个跟踪目标的轨迹片段之后，还包括：

更新所述每一个轨迹片段的置信度。

本发明实施例还提供一种基于运动信息的在线多目标跟踪装置，包括：

识别模块，用于识别当前第t帧图像中的n个跟踪目标，t为大于等于3的整数，n为大于等于2的整数；

获取模块，用于获取所述第t帧图像中n个所述跟踪目标的特征信息，所述特征信息包括位置信息和尺寸信息；

所述获取模块，还用于获取n个轨迹片段，每个所述轨迹片段对应一个跟踪目标在前t-1帧图像中运动轨迹；

关联模块，用于根据所述每一个轨迹片段的置信度，将所述n个轨迹片段中的一个和所述n个特征信息中的一个进行关联，更新所述n个跟踪目标的轨迹片段，且所述轨迹片段的置信度满足多高斯不确定mgu理论。

在本发明一实施例中，还包括：

确定模块，用于确定所述每一个轨迹片段的置信度。

在本发明一实施例中，所述确定模块，具体用于根据确定所述每一个轨迹片段的置信度；

其中，表示目标i的相对位置的标准差，表示目标i的相对速度的标准差，为目标i的mgu理论上界，l＝|tⁱ|为tⁱ的长度，λ为与检测器性能相关的系数，为所述轨迹片段和所述特征信息之间的相似度，tⁱ为所述轨迹片断，为所述特征信息，dt为第t帧图像的特征信息的集合。

本发明实施例提供的基于运动信息的在线多目标跟踪方法及装置，在实现多目标在线跟踪的过程中，通过识别当前第t帧图像中的n个跟踪目标；获取第t帧图像中n个跟踪目标的特征信息；获取n个轨迹片段，每个轨迹片段对应一个跟踪目标在前t-1帧图像中运动轨迹；根据每一个轨迹片段的置信度，将n个轨迹片段中的一个和n个特征信息中的一个进行关联，更新n个跟踪目标的轨迹片段，且轨迹片段的置信度满足多高斯不确定mgu理论。由此可见，本发明实施例提供的基于运动信息的在线多目标跟踪方法，通过将mgu理论引入多目标在线跟踪中，以利用一定时间段内的目标运动信息对关联进行约束，从而提高了多目标跟踪的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于运动信息的在线多目标跟踪方法的流程示意图；

图2为本发明实施例提供的另一种基于运动信息的在线多目标跟踪方法的流程示意图；

图3为本发明实施例提供的一种基于运动信息的在线多目标跟踪装置的结构示意图；

图4为本发明实施例提供的另一种基于运动信息的在线多目标跟踪装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图1为本发明实施例提供的一种基于运动信息的在线多目标跟踪方法的流程示意图，该基于运动信息的在线多目标跟踪方法可以由基于运动信息的在线多目标跟踪装置执行，示例的，该基于运动信息的在线多目标跟踪可以独立设置，也可以集成在处理器中。具体请参见图1所示，该基于运动信息的在线多目标跟踪方法可以包括：

s101、识别当前第t帧图像中的n个跟踪目标。

其中，t为大于等于3的整数，n为大于等于2的整数。

在实现多目标在线跟踪之前，需要预先确定该多个跟踪目标。示例的，在本发明实施例中，在线获取当前第t帧图像之后，就可以预先识别该第t帧图像中的n个跟踪目标，以便对该n个跟踪目标进行在线跟踪。

s102、获取第t帧图像中n个跟踪目标的特征信息。

其中，特征信息包括位置信息和尺寸信息。

在识别n个跟踪目标之后，就可以采用预先训练的目标检测器，对跟踪目标进行检测与定位，从而得到每一个跟踪目标的特征信息。示例的，该目标检测器可采用传统的svm检测器、adaboost检测器、或者基于深度学习的检测器等。

s103、获取n个轨迹片段，每个轨迹片段对应一个跟踪目标在前t-1帧图像中运动轨迹。

在获取每一个轨迹片段时，若第t帧图像之前存在跟踪目标的轨迹片段，则可以直接获取该跟踪目标在前t-1帧图像中运动轨迹。若第t帧图像之前不存在跟踪目标的轨迹片段，则需要对第t帧图像之前的每一帧图像中的未关联的特征信息，计算其与前一图像帧中未关联的特征信息之间的重叠率，从而根据该重叠率进行轨迹片段的初始化。

示例的，假设当前帧图像的特征信息对应的面积为scur，前一帧图像对应的特征信息的面积为spre，其重叠区域面积为sinter，则重叠率可以表示为：

roverlap＝sinter/(scur+spre-sinter)

若重叠率roverlap>rth(rth为预先设定的阈值，根据不同的应用场景可设置不同的值，例如，跟踪目标为行人时，通常设rth＝0.4)，则认为两个特征信息属于同一个目标，并将其进行标记。当连续3帧图像存在同一目标的特征信息时，可将其作为后续跟踪过程的轨迹片段输入，以完成轨迹片段的初始化，且其轨迹片断置信度初始化为0.75，从而获取每一个跟踪目标在前t-1帧图像中运动轨迹。

在获取到n个轨迹片段之后，该n个轨迹片段就可以组成一个轨迹片段集合。

需要说明的是，在本发明实施例中，s102和s103之间并无先后顺序，可以先执行s102，再执行s103，也可以先执行s103，再执行s102，当然，也可以同时执行s102和s103，在此，本发明实施例只是以先执行s102，再执行s103为例进行说明，但并不代表本发明仅局限于此。

s104、根据每一个轨迹片段的置信度，将n个轨迹片段中的一个和n个特征信息中的一个进行关联，更新n个跟踪目标的轨迹片段，且轨迹片段的置信度满足多高斯不确定mgu理论。

其中，mgu理论给出了服从多高斯分布的变量(位置)与其导数(速度)这对对偶量之间的关系，从不确定性原理角度给出了其不确定理论上界：

其中，k＝mass*v为目标动量，σz,σk分别为位置和动量的标准差，为普朗克常量，ξ为容差系数且1≤ξ≤4，(m为高斯个数)，分别为各高斯分量中与方差相关的参数最大值与最小值。

在本发明实施例中，进行关联时，若轨迹片段对应的置信度为高置信度，则可以直接将该高置信度对应的轨迹片段与特征信息进行关联，以更新跟踪目标的轨迹片段；若轨迹片段对应的置信度为低置信度，且轨迹片段集合中存在高置信度对应的轨迹片段，则可以将该低置信度对应的轨迹片段、高置信度对应的轨迹片段及特征信息进行关联；若轨迹片段对应的置信度为低置信度，且轨迹片段集合中不存在高置信度对应的轨迹片段，则可以直接将该低置信度对应的轨迹片段及特征信息进行关联，以更新跟踪目标的轨迹片段，从而实现对多目标的在线跟踪。

示例的，对于高置信度的轨迹片段，在进行关联时，可以假设存在h条轨迹片段与n个特征信息，它们之间的关联代价矩阵计算如下：

其中，由相似度定义公式计算，再利用匈牙利算法来实现轨迹片段和特征信息之间的二部图匹配。当一对轨迹片段和特征信息之间的关联代价小于预先定义的阈值-logθ时，就能与t^i(hi)关联起来。在关联建立之后，就可以根据的状态，利用置信度定义公式计算关联后的t^i(hi)置信度，从而根据每一个轨迹片段的置信度将轨迹片段和特征信息进行关联，得到每一个跟踪目标的运动轨迹。

对于低置信度的轨迹片段，在进行关联时，由于目标存在遮挡、运动状态出现变化，低置信度轨迹片段相对于高置信度轨迹片段更为碎片化，此时，可以假设存在l条低置信度t^i(lo)与h条高置信度t^j(hi)轨迹片段，m个在第一层关联中未关联的特征信息在这一阶段，需要考虑以下三种情况，第一种：t^i(lo)与t^j(hi)进行关联；第二种：t^i(lo)终止，例如目标离开视野；第三种：t^i(lo)与进行关联。以上三种情况的关联代价矩阵定义如下：

其中，a＝[aij],aij＝-log(λ(t^i(lo),t^j(hi)))计算t^i(lo)与t^j(hi)之间的关联代价；b＝diag[b1,...,bl],计算终止t^i(lo)的代价；c＝[cij],计算t^i(lo)与之间的关联代价。与高置信度轨迹片段处理相同，阈值θ用于确定关联对是否有效，得到代价矩阵g之后，再利用匈牙利算法得到最优匹配对，之后，再根据置信度公式计算关联后的t^i(lo)置信度，从而将n个轨迹片段中的一个和n个特征信息中的一个进行关联，更新n个跟踪目标的轨迹片段。

本发明实施例提供的基于运动信息的在线多目标跟踪方法，在实现多目标在线跟踪的过程中，通过识别当前第t帧图像中的n个跟踪目标；获取第t帧图像中n个跟踪目标的特征信息；获取n个轨迹片段，每个轨迹片段对应一个跟踪目标在前t-1帧图像中运动轨迹；根据每一个轨迹片段的置信度，将n个轨迹片段中的一个和n个特征信息中的一个进行关联，更新n个跟踪目标的轨迹片段，且轨迹片段的置信度满足多高斯不确定mgu理论。由此可见，本发明实施例提供的基于运动信息的在线多目标跟踪方法，通过将mgu理论引入多目标在线跟踪中，以利用一定时间段内的目标运动信息对关联进行约束，从而提高了多目标跟踪的准确度。

基于图1对应的实施例，在图1对应的实施例的基础上，进一步地，请参见图2所示，图2为本发明实施例提供的另一种基于运动信息的在线多目标跟踪方法的流程示意图，该基于运动信息的在线多目标跟踪方法还可以包括：

s201、识别当前第t帧图像中的n个跟踪目标。

其中，t为大于等于3的整数，n为大于等于2的整数。

s202、获取第t帧图像中n个跟踪目标的特征信息。

其中，特征信息包括位置信息和尺寸信息。

s203、获取n个轨迹片段，每个轨迹片段对应一个跟踪目标在前t-1帧图像中运动轨迹。

需要说明的是，此处s201-s203的描述可参见上述s101-s103的记载，在此，本发明不再进行赘述。

s204、确定每一个轨迹片段的置信度。

可选的，在本发明实施例中，可以根据确定每一个轨迹片段的置信度。

其中，表示目标i的相对位置的标准差，表示目标i的相对速度的标准差，为目标i的mgu理论上界，l＝|tⁱ|为tⁱ的长度，λ为与检测器性能相关的系数，为轨迹片段和特征信息之间的相似度，tⁱ为所述轨迹片断，为所述特征信息，dt为第t帧图像的特征信息的集合。示例的，可以根据λ(x,y)＝λ^a(x,y)λ^s(x,y)计算，x，y可以为轨迹片段或特征信息，λ^a(x,y)由两者颜色直方图的巴氏距离计算，由目标的宽w和高h计算，此处x为tⁱ，y为由于则当时为高置信度的轨迹片段，反之则为低置信度轨迹片段。

s205、根据每一个轨迹片段的置信度，将n个轨迹片段中的一个和n个特征信息中的一个进行关联，更新n个跟踪目标的轨迹片段，且轨迹片段的置信度满足多高斯不确定mgu理论。

由此可见，本发明实施例提供的基于运动信息的在线多目标跟踪方法，通过将mgu理论引入多目标在线跟踪中，以利用一定时间段内的目标运动信息对关联进行约束，从而提高了多目标跟踪的准确度。

进一步地，在本发明实施例中，s205根据每一个轨迹片段的置信度，将n个轨迹片段中的一个和n个特征信息中的一个进行关联之后，还可以包括：

s206、对更新得到的n个跟踪目标的轨迹片段进行重关联判断。

可选的，在本发明实施例中，对更新得到的n个跟踪目标的轨迹片段进行重关联判断，可以包括：

根据对更新得到的n个跟踪目标的轨迹片段进行重关联判断。

其中，fre-ass表示决策函数，ε为阶跃函数，为初步关联置信度，阈值。

s207、确定更新得到的n个跟踪目标的轨迹片段满足重关联的条件。

示例的，在本发明实施例中，当fre-ass值等于1时，则表示初步关联得到的n个跟踪目标的轨迹片段满足重关联的条件，即需要进行二次关联，当fre-ass值不等于1时，则表示初步关联得到的n个跟踪目标的轨迹片段不满足重关联的条件，即不需要进行二次关联。

s208、对更新得到的n个跟踪目标的轨迹片段进行重关联。

在对关联结果进行重关联时，需要打断运动轨迹的初步关联，对这些轨迹片段与特征信息进行重关联，从而输出满足全局目标函数的关联结果，这样可以纠正初步关联中可能存在的错误，以提高跟踪器的准确性与鲁棒性，从而进一步提高了多目标跟踪的准确性。

示例的，从全局角度考虑优化整体轨迹置信度的角度出发，定义重关联的全局目标函数。令时刻t需要进行重关联的轨迹片段为tⁱ,i∈{1,...,n}，特征信息为d^j,j∈{1,...,m}，重关联后的轨迹置信度为则可以得到重关联相较于初步关联的提升效果为以及所有得到提升的轨迹片段集合其中，全局目标函数定义如下：

其中，l＝|tre|为集合tre中元素的个数，a,b为权衡参数。

可选的，更新n个跟踪目标的轨迹片段之后，还包括：更新每一个轨迹片段的置信度。

示例的，可以通过关联结果对含有m个分量的多高斯假设(gaussianmixturemodel，gmm)模型的参数进行在线更新，以进行下一帧跟踪。对第m(∈{1,2,...,m})个高斯分量有：和其中，ρ＝0.1。

进一步地，为了简化计算，可以分别对x轴和y轴两个方向的相对位置t每一个高斯分量的权重由进行计算。其中α＝0.1，为利用mgu上界计算得到的每一个高斯分量的关联决策函数值，若满足mgu上界则该值为1，否则为0，从而更新每一个轨迹片段的置信度，以便在下一次的关联过程中，根据更新后的置信度将轨迹片段和特征信息进行关联，从而实现多目标在线跟踪。

图3为本发明实施例提供的一种基于运动信息的在线多目标跟踪装置30的结构示意图，请参见图3所示，当然，本发明实施例只是以图3为例进行说明，但并不代表本发明仅局限于此。该基于运动信息的在线多目标跟踪装置30可以包括：

识别模块301，用于识别当前第t帧图像中的n个跟踪目标，t为大于等于3的整数，n为大于等于2的整数。

获取模块302，用于获取第t帧图像中n个跟踪目标的特征信息，特征信息包括位置信息和尺寸信息。

获取模块302，还用于获取n个轨迹片段，每个轨迹片段对应一个跟踪目标在前t-1帧图像中运动轨迹。

关联模块303，用于根据每一个轨迹片段的置信度，将n个轨迹片段中的一个和n个特征信息中的一个进行关联，更新n个跟踪目标的轨迹片段，且轨迹片段的置信度满足多高斯不确定mgu理论。

可选的，请参见图4所示，图4为本发明实施例提供的另一种基于运动信息的在线多目标跟踪装置30的结构示意图，该基于运动信息的在线多目标跟踪装置30还包括：

确定模块304，用于确定每一个轨迹片段的置信度。

可选的，确定模块304，具体用于根据确定每一个轨迹片段的置信度。

其中，表示目标i的相对位置的标准差，表示目标i的相对速度的标准差，为目标i的mgu理论上界，l＝|tⁱ|为tⁱ的长度，λ为与检测器性能相关的系数，为轨迹片段和特征信息之间的相似度，tⁱ为所述轨迹片断，为所述特征信息，dt为第t帧图像的特征信息的集合。

可选的，关联模块303，还用于对更新得到的n个跟踪目标的轨迹片段进行重关联。

可选的，确定模块304，还用于对更新得到的n个跟踪目标的轨迹片段进行重关联判断；确定更新得到的n个跟踪目标的轨迹片段满足重关联的条件。

可选的，确定模块304，具体用于根据对更新得到的n个跟踪目标的轨迹片段进行重关联判断。

其中，fre-ass表示决策函数，ε为阶跃函数，为初步关联置信度，阈值。

可选的，该基于运动信息的在线多目标跟踪装置30还包括：

更新模块305，用于更新每一个轨迹片段的置信度。

本发明实施例所示的基于运动信息的在线多目标跟踪装置30，可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。