基于状态回归Transformer架构的多目标高精度连续跟踪方法

本发明属于雷达，具体涉及一种基于状态回归transformer架构的多目标高精度连续跟踪方法。

背景技术：

1、多目标跟踪技术(mtt)是单目标跟踪的一种复杂形式，该技术使用复杂的算法，结合传感器量测数据，对不同目标的位置、速度等进行实时推测和更新。目标跟踪通常在目标检测之后进行，其主要任务是在多帧量测中寻找并匹配来自同一目标的量测值，形成轨迹。

2、当目标运动模型与跟踪模型适配时，贝叶斯滤波可以在单目标场景中提供理论上的最优估计，然而当模型失配时，贝叶斯滤波无法实现目标的精确跟踪。在复杂场景下，目标数量的变化等不确定因素会导致计算量呈指数增长，从而严重降低跟踪精度。此外，贝叶斯滤波是一阶马尔可夫过程，每一个状态的转移只依赖于其之前的一个状态，这具有一定的局限性。为了解决这些问题，基于深度学习的无模型方法提供了一些新的解决思路。深度学习作为一项数据驱动的任务，可以自动提取深度特征，而不用过多考虑输入数据的统计特征，也无需人工设计和显式提取特征。具体的，在跟踪任务中，基于transformer架构的最新算法mt3(multitarget tracking transformer)提供了一种端到端的多目标跟踪方法，且在单帧预测任务中优于贝叶斯滤波器。然而，在切换到连续跟踪时，mt3算法需要逐帧单独训练以适应新任务。同时，它们的预测结果之间没有相关性，无法充分利用到所有的量测数据信息。多目标跟踪技术的典型应用包括行人跟踪、自动驾驶、车辆跟踪、空中侦察、水下作业等，为实现更智能、安全、高效的系统和服务提供支持。总之，多目标跟踪技术在民用领域都有着广阔与长足的发展空间。

3、文献“an efficient implementation of the generalized labeled multi-bernoulli filter，ieee trans.signal process.，vol.65，no.8，pp.1975-1987，2016.”和文献“poisson multi-bernoulli mixture filter：direct derivation andimplementation，ieee trans.aerosp.electron.syst.，vol.54，no.4，pp.1883-1901，2018.”提出了一种基于随机有限集来表述跟踪问题的方法，然而这些算法的关键在于数据关联，当目标数量较大且存在大量虚警时，关联会带来组合爆炸、计算量呈指数增长等问题，导致它们采用近似方法。同时，数据关联误差和状态估计误差是相互耦合的。数据关联误差会影响状态估计结果，降低目标跟踪精度。近年来，基于深度学习的mtt算法已经成为传统贝叶斯方法的有吸引力的替代品，通常通过最小化标记数据集上的经验风险来优化具有大量参数的模型。文献“next generation multitarget trackers:：random finite setmethods vs transformer-based deep learning，in proc.int.conf.inform.fusion.ieee，2021，pp.1-8.”提出了一种基于transformer架构的高性能、特定类型的mtt神经网络，称为multitarget tracking transformer(mt3)。mt3可以有效地学习当前帧和一些参考帧之间的关系，并通过可学习网络进行隐式数据关联。然而该算法是单帧预测算法，只能预测一段时间内的最后一帧，这意味着mt3算法需要一段时间的初始化才能完成航迹起始，违背了多目标跟踪的实时性要求。为了实现目标连续跟踪，我们必须逐帧单独训练，并且只能跟踪固定的帧数。即使使用窗口滑动法进行连续预测，mt3也不能使用固定窗口长度之前的量测值，因为窗口之间没有继承。这意味着，mt3算法无法充分利用所有的量测数据信息，在跟踪后期会出现精度下降的问题。总之，mt3算法无法进行连续跟踪、航迹起始缓慢问题以及后期跟踪精度下降等诸多问题限制了算法在更多领域的应用。因此上述方法都没有普适性地解决在复杂场景下的多目标连续高精度跟踪问题。

技术实现思路

1、为解决上述技术问题，本发明提供了一种基于状态回归transformer架构的多目标高精度连续跟踪方法，实现精确可靠的在线连续多目标跟踪。

2、本发明采用的技术方案为：一种基于状态回归transformer架构的多目标高精度连续跟踪方法，具体步骤如下：

3、s1、设计并获取雷达仿真数据，生成二维量测，通过场景预处理，从x-y坐标量测中提取特征到高维向量；

4、s2、构建sr-mt3网络模型；

5、s3、将步骤s1中预处理后得到的高维向量特征输入步骤s2构建好的模型中，进行网络模型训练；

6、s4、生成测试数据输入步骤s3训练好的网络模型中，得到多目标的估计跟踪结果。

7、进一步地，所述步骤s1具体如下：

8、首先通过标准的状态方程和量测方程生成大量雷达仿真数据作为深度学习网络的数据集。

9、把目标运动近似为匀速运动，目标i在第t帧处的状态向量为目标i在第t-1帧处的状态向量为则运动状态方程表示为：

10、

11、其中，ft表示状态转移矩阵，具体表示如式(2)；wt-1表示过程噪声矩阵，过程噪声为均值为零的高斯噪声，协方差为qt-1。

12、在二维场景中，协方差矩阵qt-1具体表示如式(3)，且

13、

14、

15、其中，分别表示目标i在第t帧处的x轴位置、y轴位置，分别表示目标i在第t帧处的x方向速度、y方向速度；qs表示过程噪声方差，t表示传感器采样周期，i2表示二阶单位矩阵，表示克罗内克积。

16、新目标根据泊松点过程到达，出生强度为λb，表示第t帧所有目标状态的集合。

17、然后使用一个模拟传感器，在二维笛卡尔坐标系中生成量测值，且每个存在的目标最多只能产生一个真实量测，则真实量测的观测方程为：

18、

19、其中，表示目标i在第t帧处的量测值，vt表示均值为零的量测噪声，方差为rt，h表示传感器的量测矩阵，具体表示为：

20、

21、杂波量测根据强度为λc的泊松点过程到达，独立于现有目标或真实量测，第t帧中的所有量测值的集合为：

22、

23、其中，ct表示第t帧中杂波的集合。

24、目标i在第t帧的估计为表示目标i在第t帧的x轴位置估计，表示目标i在第t帧的y轴位置估计，则在第t帧中的所有估计的集合为：

25、

26、最后进行场景预处理，首先将二维量测在视场范围下归一化，然后使用线性层将x-y坐标量测提取到高维特征向量。

27、进一步地，所述步骤s2具体如下：

28、s21、设计sr-mt3网络模型整体架构；

29、所述sr-mt3网络模型为编码器-解码器架构，使用编码器处理量测序列，使用改进的detr解码器隐式地执行数据关联，还使用交叉注意力与自注意力机制。

30、首先，将周期τ中的所有量测值收集在序列(8)当中：

31、

32、其中，表示第t-τ帧中的所有量测值的集合；表示第t帧中杂波量测值或目标量测值，表示在第t帧时的所有量测个数。表示总量测个数，即为周期τ内每一帧中的量测个数求和。

33、每个的元素按随机顺序添加在序列。当中当t小于τ时，周期τ等于跟踪长度t，或滑动窗口的窗口大小，否则τ为事先指定的固定值。

34、z1:n使用transformer的编码器转换成嵌入e1:n，然后将嵌入e1:n与查询o1:2k一起馈送到transformer的解码器，产生当前第t帧下目标的估计状态和相应的存在概率p1:2k并保存用于下一帧的预测。

35、其中，k表示预先设定好的值，即最多存在的目标个数，t表示总帧数。

36、s22、设计状态回归模块架构；

37、所述网络模型的输出由两种类型的查询转换而来，分别是：k个新生查询，它允许模型为上一帧中不存在的目标初始化轨迹；k个自回归查询，负责跟踪前一帧存在的轨迹。

38、其中，解码器查询o1:2k由新生查询n1:k与自回归查询r1:k在k的维度相结合得到，以共同预测当前帧的目标状态。

39、当目标数量未达到查询数量时，采用基于存在概率的掩码机制，构建状态回归模块产生新生查询n1:k，自回归查询r1:k，掩码m1:2k，形成一种全新的状态回归查询，具体如下：

40、(1)通过新生查询实现跟踪初始化：

41、每个嵌入使用静态和学习的目标编码初始化，当前帧中出现的新目标由固定数量的k个输出嵌入检测。在迭代过程中，每次输入解码器的新生查询均由n1:k表示。

42、(2)自回归查询在跟踪过程中迭代：

43、首先从最后一帧的存在概率pt-1,1:2k中选择k个最高存在概率然后选择具有相应top-k存在概率的状态作为查询的候选：

44、

45、其中，表示序列的长度为非负整数k，且r＝argsort(pt-1,1:2k)，argsort表示一个函数，它可以返回根据存在概率对输入数组进行排序的索引；ri即得到相应top-k存在概率的索引，表示根据索引ri从中选择到的查询候选。

46、根据视场范围进行归一化后，将选择的序列馈送到前馈神经网络层，进行非线性映射和特征提取，为解码器产生查询r1:k：

47、

48、其中，每个元素表示实数域，且d′＞dz表示一个超参数，d′比量测维度dz大。

49、(3)基于掩码的存在概率实现跟踪终止：

50、采用一种基于存在概率的掩码机制，根据top-k机制选择k个最高存在概率然后将其提供给线性层以计算存在阈值gt：

51、

52、其中，表示可学习参数。由于和是一一对应的，所以掩码mi可以根据gt计算：

53、

54、其中，表示中的第i个的概率；且新生查询没有相应的存在概率，它们的掩码总是为false。

55、s23、设计sr-mt3网络模型的损失函数；

56、给定在第t帧中所有目标的预测值及其存在概率a1:k和真实值表达式如下：

57、

58、其中，表示目标k的在第t帧的预测值及存在概率。

59、然后使用匈牙利算法给出最佳匹配σ*：

60、

61、其中，ai表示a1:k中的第i个值，σ表示一个排列函数：

62、

63、表示匹配损失，定义为：

64、

65、然后使用与真实值之间的损失来监督所有跟踪预测，具体为：

66、

67、其中，m表示输出目标的总数，表示输出目标的预测值及其存在概率，的定义是：

68、

69、进一步地，所述步骤s3具体如下：

70、整个网络模型的训练过程分为前向传播和反向传播，通过步骤s1获取大量训练数据输入网络模型，同时利用损失函数不断修正各单元权重。

71、进一步地，本发明的方法还包括步骤s5，使用最优子模式分配度量来评估模型的性能，具体如下：

72、

73、

74、dc(x,y)＝min{c,d(x,y)}    (21)

75、其中，dp,c表示ospa误差，表示预测结果，表示真实值，γ表示式(20)对应的一种赋值集合；p表示距离敏感性参数，c表示一个水平参数，即目标状态估计误差阈值，用于调节集合势的估计误差和位置误差之间的比重；d(·)表示求距离的函数。

76、本发明的有益效果：本发明的方法首先设计并获取雷达仿真数据，生成二维量测，通过场景预处理，从x-y坐标量测中提取特征到高维向量输入到构建好的sr-mt3网络模型中，进行网络模型训练，最后将测试数据输入训练好的网络模型中，得到多目标的估计跟踪结果。本发明的方法创新性的提出了新出生查询与自回归查询的机制，通过新出生查询来获取上一帧中不存在的目标初始化轨迹信息，使用自回归查询来跟踪上一帧中存在的轨迹信息，通过两种不同查询的循环迭代实现了对所有量测信息的充分有效利用。

77、本发明的方法从深度学习数据驱动的角度出发，跳出传统贝叶斯方法模型依赖、数据关联困难等局限性，解决了原mt3算法无法进行连续跟踪的问题、初始化时间长导致的航迹起始缓慢问题以及无法充分利用所有量测数据信息导致的跟踪后期精度下降问题，实现了对雷达多目标的高精度在线连续跟踪，拥有实时性、高精度、连续性等优点，可以应用在自动驾驶、车辆跟踪等诸多领域。