基于距离交并比排序匹配的多目标跟踪系统及应用的制作方法

1.本发明涉及多目标跟踪技术领域，尤其涉及一种基于距离交并比排序匹配的多目标跟踪系统及应用。


背景技术：

2.多目标跟踪(multiple objects tracking，简称mot)的目的是根据图像序列或视频中的身份估计目标轨迹。多目标跟踪因其学术和商业潜力，在计算机视觉中逐渐备受关注，是近年来计算机视觉领域中的重要研究内容，也取得了较大发展。随着多目标跟踪技术在智能安防领域上的应用，对多目标跟踪的实时性和准确性提出了更高的要求。
3.常见的多目标跟踪方法包括光流法、基于核相关滤波(kcf)的跟踪算法以及基于深度学习的跟踪算法等。其中，为了保证更稳定的检测距离和准确性，当前主流的多目标跟踪应用更多地使用基于深度学习的算法进行基础的目标检测，再使用跟踪算法进行辅助轨迹预测。具体的，参见图1所示，示例了当前基于深度学习的多目标跟踪算法的主要流程，通常包括检测和跟踪两部分，获取输入图像数据后，将图像数据输入到目标检测模块，通过目标检测模型检测出每个输入图像帧中出现的多个目标物体(获得目标物体的边界框)，然后将各个图像帧中出现的多个目标物体进行匹配，在匹配的过程中，需要对每个检测目标物体进行特征提取(通常是视觉和运动特征)和运动预测，然后通过特征的相似度计算进行目标匹配，得到每个目标物体的跟踪轨迹信息。
4.其中，在匹配过程中，一个关键的技术是根据历史数据对模型运动状态的估计，一般采用基于卡尔曼滤波的系统状态估计方法，通常包括预测和更新两个过程。首先，记每个对象的运动状态变量为：
5.x＝[x y s r v
x v
y vs]
t
[0006]
其中，x，y，s，r分别表示物体中心当前的x轴坐标值、y轴坐标值、边界框尺寸(面积)以及长宽比(即边界框的长度和宽度之比)，v
x
，vy，vs分别表示物体当前的x轴坐标的变化速度(即在x轴上的速度)、y轴坐标的变化速度(即在y轴上的速度)以及边界框尺寸(面积)的变化速度。相应的线性运动状态方程如下：
[0007]
x
k+1
＝fxk+wk[0008]
zk＝hxk+vk[0009][0010][0011]
其中，k为状态帧；xk表示第k帧时的系统预测运动状态，x
k+1
表示第k+1帧时的系统预测运动状态，f为状态转移矩阵，wk为近似高斯噪声(系统过程噪声)；zk表示第k帧时的实际观测状态(测量状态)，h为状态转移矩阵(测量矩阵)，vk为近似高斯噪声(测量噪声)；q、p为协方差矩阵，为xk的估计值，为x
k-1
的估计值，为pk的估计值，p
k-1
为第k-1帧时的协方差矩阵(对象的状态不确定性会在每个时刻间进行传递)。算法会根据预测值与实际
观测值之间的差距计算卡尔曼增益k(也称卡尔曼系数)，从而产生预测的目标位置，并计算其与实际观测目标(测量目标)的匹配度，从而匹配并修正已有的运动轨迹。其中，在匹配任意两个矩形目标以计算匹配度时，通常使用交并比iou(即intersection-over-union，简称iou))作为衡量指标。iou能够表示两个目标之间的重合程度，是指两个矩形的目标框的交集与并集的比值，结合图2所示，iou的计算公式如下：
[0012][0013]
其中，sa表示a目标框的覆盖区域，sb表示b目标框的覆盖区域，s0表示a目标框与b目标框的重合区域。iou的取值在[0，1]之间，当iou＝0时，两个矩形目标没有重叠；当iou＝1时，两个矩形目标重合。基于上述指标，能够判断上述预测目标与实际观测目标是否为同一目标。预测目标与实际观测目标是否足够接近，以及是否能够正确匹配，直接决定了算法的稳定性与召回率。
[0014]
传统多目标跟踪算法存在如下缺陷：
[0015]
1)在计算目标运动状态时通常采用线性模型预测，使得在输入帧率降低、物体呈变速或高速运动状态时预测目标与实际观测目标可能难以匹配。为了解决上述问题，现有技术也给出了引入加速度运动的预测模型，但由于iou的计算机制，还是会出现预测目标与实际观测目标计算的iou为零的情况，从而可能导致预测轨迹丢失等一系列问题。另外，使用基于iou阈值的目标框匹配时，当有多组预测目标同时匹配到实际观测目标，会导致目标身份(即目标id或目标id)重复匹配、目标身份交换(即跟踪目标身份交换，也称id switches)的现象。
[0016]
2)在使用深度学习进行目标检测的场景中，常常会出现单帧检测质量与轨迹预测效果相互制约的现象，比如：在对单帧图像进行目标检测时，为了提升单帧检测质量，倾向于使用更大参数量的神经网络模型(更大参数量的神经网络模型增加了单帧检测的计算开销)，此时，为了保证跟踪的实时性，通常会对视频进行间隔采样等操作以平衡额外的计算代价，上述操作会给输入预测的视频帧率带来一定损失，导致跟踪算法的预测难度增加，影响了轨迹预测质量。考虑到跟踪系统的整体表现，现有的多目标跟踪方法已难以在保证输出帧率的同时兼顾单帧检测质量和轨迹预测质量。


技术实现要素：

[0017]
本发明的目的在于：克服现有技术的不足，提供了一种基于距离交并比排序匹配的多目标跟踪系统及应用。本发明提供的多目标跟踪方案，在匹配模块采用距离交并比diou排序进行观测目标与预测目标的匹配，并利用diou排序匹配信息辅助轨迹预测模块进行轨迹预测，使得轨迹预测部分能够匹配到更大范围内的观测目标，并能够根据匹配信息调整最优目标，从而能够降低系统轨迹预测部分的帧率需求，实现了低输入帧率或高速运动场景下的稳定跟踪，提升了整体跟踪质量。
[0018]
为实现上述目标，本发明提供了如下技术方案：
[0019]
一种基于距离交并比排序匹配的多目标跟踪系统，包括目标检测模块、匹配模块和轨迹预测模块，所述匹配模块连接目标检测模块和轨迹预测模块；
[0020]
所述目标检测模块用于对输入的单帧图像进行目标检测以获得该单帧图像中的
观测目标的边界框信息，并去除冗余目标；
[0021]
所述匹配模块包括diou矩阵生成子模块、最优匹配筛选子模块和跟踪轨迹输出子模块；所述diou矩阵生成子模块连接目标检测模块，用于获取去除冗余目标后的所有观测目标信息，计算所有观测目标与当前所有的预测目标的距离交并比diou，并生成diou矩阵；所述最优匹配筛选子模块，用于根据前述diou矩阵进行排序匹配以筛选出匹配成功和未匹配成功的目标信息，对匹配成功的预测目标更新预测状态，对未匹配成功的预测目标衰减置信度，并将所有未匹配到的观测目标信息发送至轨迹预测模块；所述跟踪轨迹输出子模块，用于输出更新后的跟踪轨迹，并保留所有预测目标直到下一帧图像输入；
[0022]
所述轨迹预测模块，用于对每一个未匹配到的观测目标进行运动状态预测以得到预测的目标轨迹信息，并将预测的目标轨迹信息发送至前述跟踪轨迹输出子模块。
[0023]
进一步，所述轨迹预测模块包括目标初始化子模块、跟踪轨迹池子模块和目标轨迹预测模块；
[0024]
所述目标初始化子模块连接前述最优匹配筛选子模块，用于获取所有未匹配到的观测目标信息，对每一个未匹配到的观测目标，建立包含加速度的初始的运动模型，并对运动模型的参数进行初始化；
[0025]
所述跟踪轨迹池子模块，用于根据目标初始化子模块构建的运动模型更新跟踪轨迹池，以及，获取前述跟踪轨迹输出子模块反馈的跟踪轨迹更新信息后更新跟踪轨迹池；
[0026]
所述目标轨迹预测模块，用于针对观测目标建立运动方程并预测下一时刻的目标状态，得到预测的目标轨迹信息，以及，将所述预测的目标轨迹信息发送至前述跟踪轨迹输出子模块以更新对应目标的跟踪轨迹。
[0027]
进一步，所述目标检测模块包括固定参数的卷积神经网络目标检测模型；
[0028]
所述目标检测模型被配置为：接收单帧图像数据输入，对输入图像数据中的目标进行标识后输出观测目标的边界框坐标和大小信息(x，y，w，h)，然后进行非极大值抑制处理以去除冗余目标；所述x，y，w，h分别表示边界框中心的x轴坐标值、y轴坐标值、边界框宽度和边界框高度。
[0029]
进一步，所述diou矩阵生成子模块被配置为执行如下处理以生成diou矩阵：
[0030]
获取去除冗余目标后的所有观测目标am×4信息，以及当前所有的预测目标bn×4信息，式中，m为观测目标的总数量，n为预测目标的总数量，m和n为大于1的整数；
[0031]
对am×4中的每一个观测目标ai，计算该观测目标ai与bn×4中的每一个预测目标bj之间的diou值d
ij
，从而得到所有观测目标am×4与所有预测目标bn×4的diou矩阵dm×n，其中，
[0032][0033]
式中，i表示am×4中的第i个观测目标，i＝1，2，
……
，m；
[0034]
j表示bn×4中的第j个预测目标，j＝1，2，
……
，n；
[0035]
d表示观测目标ai与预测目标bj之间的质心连线长度；
[0036]
c表示观测目标ai与预测目标bj之间的外接矩形对角线长度；
[0037]dm
×n矩阵中包括m
×
n个元素。
[0038]
进一步，所述最优匹配筛选子模块被配置为执行如下处理以进行diou排序匹配：
[0039]
步骤1：获取diou矩阵dm×n中所有元素d
ij
，按d
ij
值从大到小进行排序得到集合h；
[0040]
步骤2：取出集合h中的第一个元素d
m，n
，删除diou矩阵dm×n中对应该元素d
m，n
的行与列dm，dn，同时删除集合h中对应的元素d
m，n
，得到更新后的集合h；
[0041]
步骤3：重复执行步骤2，直至diou矩阵dm×n中没有元素；此时，所有被取出集合h的元素的下标行列i，j即为匹配成功的观测目标与预测目标对的下标，集合h中剩下的元素的下标行列i，j即为未匹配成功的观测目标和预测目标的下标。
[0042]
进一步，对所有匹配成功的预测目标，使用对应的观测目标值更新该预测目标的卡尔曼增益k并更新预测状态，更新方法如下：
[0043][0044][0045][0046][0047]
式中，k为状态帧，f、h为状态转移矩阵，f
t
、h
t
分别为矩阵f、h的转置矩阵，p、q、r为协方差矩阵，k为卡尔曼增益；zk为第k帧时的观测目标值，xk为第k帧时的预测值，kk表示第k帧时的卡尔曼增益，pk为第k帧时的协方差矩阵，p
k-1
为第k-1帧时的协方差矩阵，为xk的估计值，为pk的估计值；
[0048]
对于所有未匹配成功的预测目标，基于预设的置信度衰减算法衰减该预测目标的置信度，所述置信度衰减算法由系统或用户设置。
[0049]
进一步，所述包含加速度的初始的运动模型中，将每一个未匹配到的观测目标的运动状态定义为：
[0050]
x＝[x y s r v
x v
y v
s a
x ay]
t
[0051]
式中，x，y，s，r分别表示观测目标当前的x轴坐标值、y轴坐标值、边界框面积和边界框长宽比，v
x
，vy，vs分别表示观测目标当前的x轴坐标、y轴坐标坐标以及边界框面积的变化速度，a
x
，ay分别表示观测目标在x轴、y轴方向上的加速度；
[0052]
所述目标初始化子模块被配置为：初始化运动模型的运动状态方程中的协方差矩阵p、q、r，以及状态转移矩阵f、h参数；上述参数均为静态参数，由系统或用户设置。
[0053]
进一步，所述目标轨迹预测模块被配置为：
[0054]
对每一个未匹配到的观测目标，根据运动状态方程预测下一时刻的目标状态，如下：
[0055]
x
k+1
＝fxk+wk[0056]
zk＝hxk+vk[0057][0058]
其中，k为状态帧，xk表示第k帧时的系统预测运动状态，x
k+1
表示第k+1帧时的系统预测运动状态，zk表示第k帧时的实际观测状态，f、h分别为状态转移矩阵，wk、vk为第k帧时的近似高斯噪声，为xk的估计值，为x
k-1
的估计值。
[0059]
进一步，所述匹配模块还包括匹配去重模块，此时，所述最优匹配筛选子模块能够
将观测目标和预测目标的匹配结果发送至匹配去重模块；
[0060]
所述匹配去重模块，用于接收最优匹配筛选子模块发送的匹配结果，根据匹配结果进行目标去重处理，并将去重后的观测目标和预测目标信息反馈到diou矩阵生成子模块；
[0061]
所述diou矩阵生成子模块，能够根据前述反馈的去重后信息更新diou矩阵。
[0062]
本发明还提供了一种基于距离交并比排序匹配的多目标跟踪方法，如下步骤：
[0063]
接收输入图像；
[0064]
对输入图像的每个图像帧进行如下步骤：通过目标检测模块对单帧图像进行目标检测以获得该单帧图像中的观测目标的边界框信息，并去除冗余目标后发送至匹配模块；匹配模块获取去除冗余目标后的所有观测目标信息，计算所有观测目标与当前所有的预测目标的距离交并比diou，并生成diou矩阵，根据前述diou矩阵进行排序匹配以筛选出匹配成功和未匹配成功的目标信息，对匹配成功的预测目标更新预测状态，对未匹配成功的预测目标衰减置信度，并将所有未匹配到的观测目标信息发送至轨迹预测模块，以及输出更新后的跟踪轨迹，并保留所有预测目标直到下一帧图像输入；其中，所述轨迹预测模块能够对每一个未匹配到的观测目标进行运动状态预测以得到预测的目标轨迹信息，并将预测的目标轨迹信息发送至前述匹配模块；
[0065]
输出输入图像中的目标身份信息。
[0066]
本发明由于采用以上技术方案，与现有技术相比，作为举例，具有以下的优点和积极效果：
[0067]
相比于传统的使用iou阈值做匹配处理的多目标跟踪算法，本发明提供了采用排序非极大值抑制筛选的匹配优化方案。该方案利用diou可计算无相交目标的特性，打破了传统算法中对相邻帧目标重合的硬性要求，从而降低系统轨迹预测部分的帧率需求。在此基础上，使用diou排序匹配辅助预测，可以使轨迹预测部分匹配到更大范围内的观测目标，并能够根据匹配信息调整最优目标，从而改善传统阈值筛选所导致的一系列问题，进一步提升整体跟踪质量，实现低输入帧率或高速运动场景下的稳定跟踪。
[0068]
另一方面，提出了一种基于加速度的目标速度模型，相比传统的线性速度模型，能够支持更复杂的运动场景，同时支持更高的目标初速或更低的输入帧率。
[0069]
本发明在优化预测目标匹配的基础上进一步提供了优化的加速度运动模型，可有效降低系统轨迹预测部分的帧率需求，提升整体跟踪质量。本发明与现有的多目标跟踪方案并无冲突，可在任意使用iou阈值匹配的系统上应用，以对目标匹配部分和轨迹预测部分进行优化。
附图说明
[0070]
图1为现有技术中提供的一种基于深度学习的多目标跟踪流程示意图。
[0071]
图2为现有技术中提供的交并比iou计算示意图。
[0072]
图3为本发明提供的基于diou排序匹配的多目标跟踪系统的逻辑结构示意图。
具体实施方式
[0073]
以下结合附图和具体实施例对本发明公开的基于距离交并比排序匹配的多目标
跟踪系统及应用作进一步详细说明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0074]
需说明的是，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响发明所能产生的功效及所能达成的目的下，均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现，其中可以不按所述的或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0075]
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
[0076]
实施例
[0077]
参见图3所示，为本实施例提供的一种多目标跟踪系统，具体为一种基于距离交并比排序匹配的实时多目标跟踪系统。所述多目标跟踪系统，能够针对输入的图像序列，找到输入的图像序列中运动的物体，并将不同图像帧的运动物体进行识别，得到物体身份信息(即物体id),这些物体可以是任意对象，比如可以是人、车辆、各种动物等，在此不做限制。
[0078]
所述多目标跟踪系统采用基于目标检测的多目标跟踪方案，主要包括目标检测模块、匹配模块和轨迹预测模块。所述匹配模块连接目标检测模块和轨迹预测模块。所述目标检测模块用于通过目标检测算法对输入的单帧图像进行目标检测，获得检测目标的边界框(bounding-box)和检测目标特征(通常利用深度神经网络提取各个检测目标的特征)。所述匹配模块和轨迹预测模块主要用于通过跟踪算法对目标进行辅助轨迹预测，对应每个目标设置有跟踪器，每个跟踪器中保存了各自目标的历史特征，预测当前图像帧中的目标位置时可以利用上一图像帧中的跟踪器信息。跟踪算法的主要流程为：使用卡尔曼滤波器(卡尔曼滤波可以基于目标前面时刻的位置来预测当前时刻的位置)预测当前图像帧中目标的位置以获得预测目标框；对当前图像帧的观测目标与预测目标进行匹配度计算，得到匹配结果；进行数据关联(常用算法比如匈牙利算法)，为每个目标分配目标id；输出目标id。本发明主要是对跟踪算法流程中的匹配部分和预测部分进行改进。
[0079]
本实施例中，所述目标检测模块用于对输入的单帧图像进行目标检测以获得该单帧图像中的观测目标的边界框信息，并去除冗余目标。具体的，所述目标检测模块优选地采用固定参数的卷积神经网络目标检测模型，模型体积和参数大小可以由系统或用户根据硬件效率需求和具体设备性能来设置，属于现有技术，在此不再赘述。所述目标检测模型接收单帧图像数据输入后，对输入图像数据中的目标进行标识，然后输出观测目标的边界框坐标和大小信息(x，y，w，h)，然后进行非极大值抑制处理(non-max-suppression，nms)以去除冗余目标。所述x，y，w，h分别表示边界框中心的x轴坐标值、y轴坐标值、边界框宽度和边界
框高度。非极大值抑制处理可以采用现有的各种nms算法来实现，在此不再赘述。
[0080]
作为优选，所述目标检测模型可以采用yolo目标检测模型、mask-rcnn目标检测模型、fast-rcnn目标检测模型或者faster-rcnn目标检测模型等各种目标检测模型。
[0081]
所述匹配模块可以包括diou矩阵生成子模块、最优匹配筛选子模块和跟踪轨迹输出子模块。
[0082]
所述diou矩阵生成子模块连接目标检测模块，用于获取去除冗余目标后的所有观测目标信息，计算所有观测目标与当前所有的预测目标的距离交并比diou，并生成diou矩阵。
[0083]
所述最优匹配筛选子模块，用于根据前述diou矩阵进行排序匹配以筛选出匹配成功和未匹配成功的目标信息——即筛选出匹配成功的预测目标和观测目标、未匹配成功的预测目标信息和未匹配成功的观测目标信息；对匹配成功的预测目标更新预测状态，对未匹配成功的预测目标衰减置信度，并将所有未匹配到的观测目标信息发送至轨迹预测模块。
[0084]
所述跟踪轨迹输出子模块，用于输出更新后的跟踪轨迹，并保留所有预测目标直到下一帧图像输入。
[0085]
本实施例中，所述diou矩阵生成子模块被配置为执行如下处理以生成diou矩阵。
[0086]
首先，获取去除冗余目标后的所有观测目标am×4信息，以及当前所有的预测目标bn×4信息，式中，m为观测目标的总数量，n为预测目标的总数量，m和n为大于1的整数。也就是说，am×4包括m个观测目标，bn×4包括n个预测目标，每个目标的输入信息为4个——即目标的边界框坐标和大小信息(x，y，w，h)，x，y，w，h分别表示边界框中心的x轴坐标值、y轴坐标值、边界框宽度和边界框高度。
[0087]
然后，对am×4中的每一个观测目标ai，计算该观测目标ai与bn×4中的每一个预测目标bj之间的diou值d
ij
，从而得到所有观测目标am×4与所有预测目标bn×4的diou矩阵dm×n，其中，
[0088][0089]
式中，i表示am×4中的第i个观测目标，i＝1，2，
……
，m；
[0090]
j表示bn×4中的第j个预测目标，j＝1，2，
……
，n；
[0091]
d表示观测目标ai与预测目标bj之间的质心连线长度；
[0092]
c表示观测目标ai与预测目标bj之间的外接矩形对角线长度；
[0093]dm
×n矩阵中包括m
×
n个元素。
[0094]
本实施例中，所述最优匹配筛选子模块被配置为执行如下处理以进行diou排序匹配。
[0095]
步骤1：获取diou矩阵dm×n中所有元素d
ij
，按d
ij
值从大到小进行排序得到集合h。作为举例而非限制，比如观测目标a2与预测目标b3计算得到的距离交并比diou值d
23
为所有d
ij
中的最大值，则d
23
排在集合h中的第一位，在集合h表示为d
2，3
，即d
i|i＝2，j|j＝3
。
[0096]
步骤2：取出集合h中的第一个元素d
m，n
，即d
i|i＝m，j|j＝n
，删除diou矩阵dm×n中对应该元素d
m，n
的行与列dm，dn，同时删除集合h中对应的元素d
m，n
，得到更新后的集合h。作为举例而非限制，比如集合h中的第一个元素d
2，3
——即m＝2，n＝3；在矩阵dm×n中对应该元素d
2，3
的行
与列为d2，d3——即dm×n的第2行和第3列；删除dm×n中对应d
2，3
的行与列d2，d3——即删除dm×n中第2行和第3列的所有元素；同时，删除集合h中对应的元素d
2，3
，集合h中的第一个元素调整为排在d
2，3
后的下一个元素。
[0097]
步骤3：重复执行步骤2，直至diou矩阵dm×n中没有元素。此时，所有被取出集合h的元素的下标行列i，j即为匹配成功的观测目标与预测目标对的下标，集合h中剩下的元素的下标行列i，j即为未匹配成功的观测目标和预测目标的下标。
[0098]
对所有匹配成功的预测目标，使用对应的观测目标值更新该预测目标的卡尔曼增益k并更新预测状态，更新的具体流程如下：
[0099][0100][0101][0102][0103]
式中，k为状态帧，f、h为状态转移矩阵，f
t
、h
t
分别为矩阵f、h的转置矩阵，p、q、r为协方差矩阵，k为卡尔曼增益；zk为第k帧时的观测目标值，xk为第k帧时的预测值，kk表示第k帧时的卡尔曼增益，pk为第k帧时的协方差矩阵，p
k-1
为第k-1帧时的协方差矩阵，为xk的估计值，为pk的估计值；
[0104]
对于所有未匹配成功的预测目标，则基于预设的置信度衰减算法衰减该预测目标的置信度，所述置信度衰减算法由系统或用户设置。具体设置时，用户可以根据实际应用环境选择对应的衰减算法，参考现有技术，在此不再赘述。
[0105]
本实施例中，所述轨迹预测模块，用于对每一个未匹配到的观测目标进行运动状态预测以得到预测的目标轨迹信息，并将预测的目标轨迹信息发送至前述跟踪轨迹输出子模块。
[0106]
具体的，所述轨迹预测模块可以包括目标初始化子模块、跟踪轨迹池子模块和目标轨迹预测模块。
[0107]
所述目标初始化子模块连接前述最优匹配筛选子模块，用于获取所有未匹配到的观测目标信息，对每一个未匹配到的观测目标，建立包含加速度的初始的运动模型，并对运动模型的参数进行初始化。
[0108]
具体的，运动模型中，将每一个未匹配到的观测目标的运动状态定义为：
[0109]
x＝[x y s r v
xvy v
s a
x ay]
t
[0110]
式中，x，y，s，r分别表示观测目标当前的x轴坐标值、y轴坐标值、边界框面积和边界框长宽比，v
x
，vy，vs分别表示观测目标当前的x轴坐标、y轴坐标坐标以及边界框面积的变化速度，a
x
，ay分别表示观测目标在x轴、y轴方向上的加速度。
[0111]
通过目标初始化子模块初始化运动模型的运动状态方程中的协方差矩阵p、q、r，以及状态转移矩阵f、h参数。上述参数均为静态参数，可以由系统或用户根据实际需要进行设置，参数的设置和选取可以参考现有技术，在此不再赘述。
[0112]
所述跟踪轨迹池子模块，用于根据目标初始化子模块构建的运动模型更新跟踪轨
迹池，以及，获取前述跟踪轨迹输出子模块反馈的跟踪轨迹更新信息后更新跟踪轨迹池。
[0113]
所述目标轨迹预测模块，用于针对观测目标建立运动方程并预测下一时刻的目标状态，得到预测的目标轨迹信息，以及，将所述预测的目标轨迹信息发送至前述跟踪轨迹输出子模块以更新对应目标的跟踪轨迹。
[0114]
具体的，所述目标轨迹预测模块被配置为：对每一个未匹配到的观测目标，根据运动状态方程预测下一时刻的目标状态，如下：
[0115]
x
k+1
＝fxk+wk[0116]
zk＝hxk+vk[0117][0118]
其中，k为状态帧，xk表示第k帧时的系统预测运动状态，x
k+1
表示第k+1帧时的系统预测运动状态，zk表示第k帧时的实际观测状态，f、h分别为状态转移矩阵，wk、vk为第k帧时的近似高斯噪声，为xk的估计值，为x
k-1
的估计值。
[0119]
参见图3所示，本实施例中，所述匹配模块还可以包括匹配去重模块。
[0120]
此时，所述最优匹配筛选子模块能够将观测目标和预测目标的匹配结果发送至匹配去重模块。所述匹配去重模块，用于接收最优匹配筛选子模块发送的匹配结果，根据匹配结果进行目标去重处理，并将去重后的观测目标和预测目标信息反馈到diou矩阵生成子模块。所述diou矩阵生成子模块，能够根据前述反馈的去重后信息更新diou矩阵。
[0121]
本发明采用排序非极大值抑制筛选的匹配优化方案，可以拓展预测目标的匹配范围，并能够筛选出最优的匹配模式，显著改善了传统多目标跟踪算法中仅采用iou阈值筛选以及高速目标预测偏差过大导致的身份重复匹配、交换、丢失等问题，同时还降低了系统轨迹预测部分的帧率需求，提升了整体跟踪质量。进一步，轨迹预测时采用基于加速度的目标速度模型，相比传统的不考虑加速度的线性速度模型，能够支持更复杂的运动场景，支持更高的目标初速或更低的输入帧率，提高了系统适应性。
[0122]
本发明的另一实施例，还提供了一种基于距离交并比排序匹配的多目标跟踪方法，所述多目标跟踪方法包括如下步骤。
[0123]
s100，接收输入图像。
[0124]
s200，对输入图像的每个图像帧进行如下步骤：
[0125]
通过目标检测模块对单帧图像进行目标检测以获得该单帧图像中的观测目标的边界框信息，并去除冗余目标后发送至匹配模块；匹配模块获取去除冗余目标后的所有观测目标信息，计算所有观测目标与当前所有的预测目标的距离交并比diou，并生成diou矩阵，根据前述diou矩阵进行排序匹配以筛选出匹配成功和未匹配成功的目标信息，对匹配成功的预测目标更新预测状态，对未匹配成功的预测目标衰减置信度，并将所有未匹配到的观测目标信息发送至轨迹预测模块，以及输出更新后的跟踪轨迹，并保留所有预测目标直到下一帧图像输入；其中，所述轨迹预测模块能够对每一个未匹配到的观测目标进行运动状态预测以得到预测的目标轨迹信息，并将预测的目标轨迹信息发送至前述匹配模块。
[0126]
s300，输出输入图像中的目标身份信息。
[0127]
具体实施时，所述匹配模块可以包括diou矩阵生成子模块、最优匹配筛选子模块和跟踪轨迹输出子模块。
[0128]
所述diou矩阵生成子模块连接目标检测模块，用于获取去除冗余目标后的所有观测目标信息，计算所有观测目标与当前所有的预测目标的距离交并比diou，并生成diou矩阵。
[0129]
所述最优匹配筛选子模块，用于根据前述diou矩阵进行排序匹配以筛选出匹配成功和未匹配成功的目标信息，对匹配成功的预测目标更新预测状态，对未匹配成功的预测目标衰减置信度，并将所有未匹配到的观测目标信息发送至轨迹预测模块。
[0130]
所述跟踪轨迹输出子模块，用于输出更新后的跟踪轨迹，并保留所有预测目标直到下一帧图像输入。
[0131]
所述轨迹预测模块包括目标初始化子模块、跟踪轨迹池子模块和目标轨迹预测模块。
[0132]
所述目标初始化子模块连接前述最优匹配筛选子模块，用于获取所有未匹配到的观测目标信息，对每一个未匹配到的观测目标，建立包含加速度的初始的运动模型，并对运动模型的参数进行初始化。
[0133]
所述跟踪轨迹池子模块，用于根据目标初始化子模块构建的运动模型更新跟踪轨迹池，以及，获取前述跟踪轨迹输出子模块反馈的跟踪轨迹更新信息后更新跟踪轨迹池。
[0134]
所述目标轨迹预测模块，用于针对观测目标建立运动方程并预测下一时刻的目标状态，得到预测的目标轨迹信息，以及，将所述预测的目标轨迹信息发送至前述跟踪轨迹输出子模块以更新对应目标的跟踪轨迹。
[0135]
其它技术特征参见在前实施例的描述，在此不再赘述。
[0136]
在上面的描述中，本发明的公开内容并不旨在将其自身限于这些方面。而是，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。