用于跟踪对象的方法、计算机程序、存储介质、设备与流程

在第一方面，本发明涉及一种用于跟踪对象的方法。在进一步的方面，本发明涉及对应的计算机程序、存储介质、设备。

背景技术：

1、de 102010029637a1公开了一种用于在具有波发射器和波传感器的定位系统中进行对象跟踪的方法。在此，该方法包括以下步骤：

2、-在第一测量周期内测量对象的第一距离和第一速度，其方式为，借助波发射器发射波，并且借助波传感器探测由该对象所反射的波；

3、-计算针对第二测量周期的对象的所预测的距离和所预测的速度，其方式为，基于第一速度和第一距离执行卡尔曼滤波，其中针对所述卡尔曼滤波而使用球面传感器坐标中的运动模型和辅助变量。

4、本发明的优点

5、此处，跟踪对象或对象跟踪可以理解为如下技术领域，其旨在基于环境传感器的传感器值而标识多个对象的集合，并分别推导出对象状态，将这些传感器值与所标识的对象相关联，以及基于新的传感器值持续更新对象状态。

6、在汽车领域中的对象跟踪具有固有问题，即主要基于环境传感机构的信号来跟踪通常经扩展的对象(通常是车辆)。在此，一项任务是将接收到的传感器信号分配给一个对象(关联步骤)。为此，特别是使用到传感器模型。

7、特别是，迄今为止，相应传感器模型的创建是非常耗费的。

技术实现思路

1、因此本发明的目的是学习传感器测量模型，即主要使用相应的ki模块，其中通过应用该ki模块可以根据所检测的传感器信号来校正所预测的对象状态。

2、在此背景下，在第一方面，本发明创建了一种利用环境传感器跟踪对象的方法。

3、此处，环境传感器可以理解为：检测波、尤其是电磁波并且必要时发射对应波的传感器或传感器系统。典型的环境传感器是视频传感器、雷达传感器、超声波传感器、红外线传感器和激光雷达传感器。

4、在汽车领域中，对象跟踪技术的应用领域是用于纵向和横向控制的驾驶员辅助系统(所谓的自适应的速度调控装置，adaptive cruise control(自适应巡航控制)，acc)。

5、为此，本发明的方法具有用于借助卡尔曼滤波器进行对象跟踪的方法的以下典型步骤：

6、检测环境传感器的传感器值。

7、预测对象的未来对象状态。

8、更新对象状态。

9、在此，预测和更新的步骤通常在贝叶斯滤波器内、特别是在卡尔曼滤波器、尤其是扩展卡尔曼滤波器内的处理的范畴内运行。

10、本发明的方法的特征在于，在更新步骤中使用ki模块。所述ki模块被这样训练，以将所检测的传感器值与对象相关联并且根据对象的未来对象状态和所检测的传感器值更新对象的对象状态。

11、本发明基于以下认识：可以基于传感器测量模型(英文sensor measurementmodel)训练ki模块，将所检测的传感器值与被跟踪对象相关联，并更新被跟踪对象的对象状态。在此，经学习的传感器测量模型解决的任务是：首先将存在于传感器测量值空间中的所检测的传感器测量值与被跟踪对象相关联，然后借助所关联的传感器测量值来更新存在于对象状态空间中的被跟踪对象的对象状态，其中所述对象状态空间通常与传感器测量值空间不同。

12、经训练的k1模块可以理解为一种虚拟传感器，所述虚拟传感器将测量值从测量值空间映射到抽象维度。该抽象维度应该与对象状态空间相关联。有利的是，使该抽象维度与对象状态空间相一致。

13、假定m为经训练的模型，zk为所检测的传感器测量值，则对于虚拟传感器测量值适用：

14、

15、可以利用贝叶斯滤波器、特别是卡尔曼滤波器而将该模型容易地用于对象跟踪器的已知更新步骤中：

16、

17、替代地，可以直接学习所预测的对象状态xk和所检测的传感器测量值zk之间的校正。为此，假定m为经训练的模型：

18、

19、可以利用贝叶斯滤波器、特别是卡尔曼滤波器而将该模型容易地用于对象跟踪器的已知更新步骤中：

20、

21、在此

22、xk：在时间步k中被跟踪对象的经更新的对象状态。

23、针对时间步k的被跟踪对象的所预测的对象状态。

24、kk：卡尔曼增益，它使后验误差协方差最小化并且表示如下值：基于传感器测量值zk或虚拟传感器测量值已将所预测的对象状态适配到何种程度。

25、hmeta：传感器测量值函数，其将对象状态映射到虚拟传感器测量值的抽象维度。有利的是：虚拟传感器测量值的抽象维度与对象状态空间相一致。

26、vk：传感器测量噪声。

27、ki模块可以是回归系统。

28、根据本发明方法的一个实施方式，ki模块包括基于网格的人工神经网络。在此处，基于网格的人工神经网络可以理解为是一种卷积神经网络，所述卷积神经网络基于数据网格(grid)作为输入来工作。可以借助于极性场来进行网格的转换。

29、在此，数据网格可以表示以被跟踪对象为中心的预定区域。在此，具有0.25m乘0.25m的单元尺寸的10m乘10m的区域和已被证明为是有用的。可以在输入网格的深度中绘制已处理的所记录的环境参量子集。在使用雷达传感器作为环境传感器的情况下，已作为环境参量而列出了属性：雷达传感器的径向速度和背散射横截面或背散射波束面积。

30、此外，在使用雷达传感器作为环境传感器的情况下，还证明为有帮助的是：当多于一个雷达反射落入一个单元时，仅考虑最强反射的属性。在此，可以借助传感器信号的属性“角度质量”来确定强度。替代地，可以使用雷达反射的平均值或通过角度质量对属性进行加权。

31、使用基于网格的人工神经网络作为ki模块的优势在于，与诸如l-shape(l形)模型或closest reflex(最近反射)模型这样的经典测量模型相比，可以由此提高该方法的鲁棒性。closes reflex模型是一种关联模型，其在基于距离的度量中使用最近的雷达反射。

32、根据本发明的方法的一个实施方式，ki模块包括人工神经网络，其基于自适应列表，例如具有从根据c.r.qi，h.su，k.mo和l.j.guibas在“ieee conference on computervision and pattern recognition，2017，第652-660页”中所述的“pointnet：deeplearning on point sets for 3d classification and segmentation”的t-net所推导出的架构，以下称为point t-net。

33、在此，point t-net如此构建，使得在使用雷达传感器作为环境传感器的情况下，首先为每个雷达反射独立学会第一层，然后将其结果组合成全局特征向量，所述全局特征向量适合表示整个所检测的场景。

34、网络直接学习对对象状态的修正的预测。

35、同样证实为有利的是，如此创建point t-net的输入，使得被跟踪对象代表输入参数坐标系的原点。

36、使用point t-net作为kl模块的优势在于，除了与诸如l-shape模型和closestreflex模型这样的经典模型相比而言提高了鲁棒性之外，point t-net鉴于准确性方面也明显优于已知方法。此外，通过自适应列表输入而更好地反映出具有不同反射次数的雷达自然测量原理。

37、根据本发明的方法的一个实施方式，ki模块被这样训练，以将所检测的传感器值从传感器测量空间映射到对象状态空间。

38、根据本发明的方法的一个实施方式，根据ki模块而推导测量噪声。

39、根据ki模块而对测量噪声的推导可以离线进行、即在执行该方法之前进行，或在线进行、即在执行该方法期间进行。

40、在离线情况下，通过计算协方差矩阵进行推导，协方差矩阵可以作为测量噪声被引入贝叶斯滤波器，特别是卡尔曼滤波器。对于离线情况，首先进行人工神经网络m的训练。

41、在神经网络m被训练完成后，将验证集gtk的数据点划分到上述单元中。通过归一化每个数据点连带着不同预测误差被输入到经训练的网络中。在这里，具有2500个偏移的噪声已被证明是有用的。通过下面的关系式为每个网格单元计算测量噪声的协方差矩阵。计算出的协方差矩阵被存储并在推理情况下被使用。

42、借助经相应训练的ki模块进行协方差矩阵的计算。可以针对卡尔曼滤波器的测量噪声进行协方差矩阵r的推导，其方式为，将传感器的扫描场划分成网格、例如极性场，并且对于该场的每个单元估算相应的协方差矩阵r。所述估算在此通过确定kl模块的预测与地面实况gtk之间的偏差根据以下关系式来进行：

43、

44、在由kl模块直接确定差值的替代方法的情况下类似地得出：

45、

46、这样估算的协方差矩阵可以以简单的方式和方法按照以下关系式被纳入卡尔曼滤波器：

47、

48、为了计算协方差矩阵而已证明为有利的是：将经训练的kl模块应用于2500个预测和测量情形。例如可以根据由于地面真值gtk的噪声引起的人工偏移而产生可能的预测情形。所计算的协方差矩阵被存储并在推理情况下、即在执行本发明的方法期间被使用。

49、一种确定测量不确定性的替代可能性是使用数字信号处理后的分布误差。由于每次反射都可以通过平均值(mean)和标准偏差(standard deviation)来表明，因此可以在推理步骤期间、即执行该方法期间从分布中对每次反射在线采样。这些样本被输送到经训练的人工神经网络。可以根据它们的误差来确定测量噪声。

50、另一替代实施方式是直接通过使用人工神经网络的输出不确定性来确定贝叶斯滤波器、特别是卡尔曼滤波器的测量噪声。所述人工神经网络已经在训练步骤中被训练以输出网络不确定性。这些可以在推理步骤中直接在线使用。该实施方式源于d.feng，l.rosenbaum，f.timm和k.dietmaye在ieee intelligent vehicles symposium，2019年，第1280-1287页中所述的“leveraging heteroscedastic aleatoric uncertainties forrobust real-time lidar 3d object detection”。

51、本发明的另一方面是根据前述权利要求中任一项所述的方法在用于机动车辆的纵向和/或横向控制的方法中的用途。

52、本发明的另一方面是一种计算机程序，其被设置为执行根据本发明的方法的所有步骤。

53、本发明的另一方面是一种机器可读存储介质，其上存储根据本发明一方面的计算机程序。

54、本发明的另一方面是一种设备，其被设置为执行根据本发明的方法的所有步骤。