用于确定相似场景的方法、训练方法和训练控制器与流程

本发明涉及一种用于提供机器学习算法以基于传感器数据的数据组的场景数据确定相似场景的计算机实现的方法。此外，本发明还涉及一种用于基于传感器数据的数据组的场景数据确定相似场景的计算机实现的方法。此外，本发明还涉及一种用于提供机器学习算法以基于传感器数据的数据组的场景数据确定相似场景的训练控制器。

背景技术：

1、可以借助多种多样的检验方法来验证或证实诸如自适应巡航控制系统和/或针对高度自动化驾驶的功能之类的驾驶员辅助系统。在此尤其可以使用仿真。

2、为了创建用于仿真的测试场景，需要进行测试行驶。然后将由此获得的传感器数据抽象为逻辑场景。

3、输入数据在此是原始数据，即来自真实的测量行驶的以雷达回波记录形式的传感器数据、来自激光雷达测量的3d点云和图像数据。结果数据是能仿真的行驶场景，所述行驶场景一方面包括周围环境并且另一方面也包括轨迹。紧接着将行驶机动动作分类成组。

4、《szenario-optimierung für die absicherung von automatisierten undautonomen fahrsystemen》(florian hauer，b.holzmüller，2019年)公开了用于验证和证实自动的和自主的行驶系统的方法、特别是寻找针对虚拟保护的合适的测试场景。

5、在此，测试方法规定了元启发式搜索的适配，以便优化场景。为此，必须创立匹配的搜索空间和合适的质量函数。以对系统的功能性和应用情形的抽象描述为出发点推导出参数化的场景。

6、它们的参数确定了一个搜索空间，要从该搜索空间中辨别出匹配的场景。但场景的生成是计算密集型的。因此令人感兴趣的是，最小化生成过程的数量并将其限制于相关场景。相关场景在此例如包括还无法或无法以足够的数量用作能仿真的场景的场景。

7、因此有需要改进基于传感器数据的数据组的场景数据来确定相似场景的现有方法，使得在使用较少的计算资源的情况下能辨别相关场景。

技术实现思路

1、因此本发明的任务是，提供一种用于基于传感器数据的数据组的场景数据确定相似场景的更为有效的方法。

2、该任务按照本发明通过一种带有权利要求1的特征的用于提供机器学习算法以基于传感器数据的数据组的场景数据确定相似场景的计算机实现的方法解决。

3、该任务按照本发明还通过一种带有权利要求13的特征的用于基于传感器数据的数据组的场景数据确定相似场景的计算机实现的方法解决。

4、该任务按照本发明还通过一种带有权利要求14的特征的用于提供机器学习算法以基于传感器数据的数据组的场景数据确定相似场景的训练控制器解决。

5、此外，该任务还通过一种带有权利要求15的特征的存储介质解决，以便当计算机程序在计算机上运行时执行按本发明的方法。

6、本发明涉及一种用于提供机器学习算法以基于传感器数据的数据组的场景数据确定相似场景的计算机实现的方法。

7、所述方法包括：提供自车的由车辆侧的多个周围环境识别传感器检测到的行驶的传感器数据的数据组；和产生传感器数据的数据组的第一增强和传感器数据的数据组的不同于第一增强的第二增强。

8、此外，所述方法还包括：将第一机器学习算法应用于传感器数据的数据组的第一增强以产生传感器数据的数据组的第一增强的特征表示、特别是降维的特征表示并确定被传感器数据的数据组的第一增强涵盖的第一类场景。

9、此外，所述方法还包括：将第二机器学习算法应用于传感器数据的数据组的第二增强以产生传感器数据的数据组的第二增强的特征表示、特别是降维的特征表示并确定被传感器数据的数据组第二增强涵盖的第二类场景。

10、所述方法还包括：将优化算法应用于传感器数据的数据组的第一增强的由第一机器学习算法输出的特征表示，其中，优化算法近似传感器数据的数据组的第二增强的由第二机器学习算法输出的特征表示。

11、本发明还涉及一种用于基于传感器数据的数据组的场景数据确定相似场景的计算机实现的方法。

12、所述方法包括：提供自车的由车辆侧的多个周围环境识别传感器检测到的行驶的传感器数据的数据组；和将按本发明训练的机器学习算法应用于传感器数据的数据组以确定、特别是聚类相似场景。

13、此外，本发明还涉及一种用于提供机器学习算法以基于传感器数据的数据组的场景数据确定相似场景的训练控制器。

14、训练控制器具有：用于接收自车的由车辆侧的多个周围环境识别传感器检测到的行驶的传感器数据的数据组的器件；以及用于产生传感器数据的数据组的第一增强和传感器数据的数据组的不同于第一增强的第二增强的器件。

15、此外，训练控制器还具有：用于将第一机器学习算法应用于传感器数据的数据组的第一增强的器件，以产生传感器数据的数据组的第一增强的特征表示、特别是降维的特征表示和确定被传感器数据的数据组的第一增强涵盖的第一类场景。

16、训练控制器还具有：用于将第二机器学习算法应用于传感器数据的数据组的第二增强的器件，以产生传感器数据的数据组的第二增强的特征表示、特别是降维的特征表示和确定被传感器数据的数据组的第二增强涵盖的第二类场景。

17、此外，训练控制器还具有：用于将优化算法应用于传感器数据的数据组的第一增强的由第一机器学习算法输出的特征表示的器件，其中，优化算法近似传感器数据的数据组的第二增强的由第二机器学习算法输出的特征表示。

18、本发明还涉及一种带有程序代码的计算机程序，以便当该计算机程序在计算机上运行时执行按本发明的方法。

19、本发明的构思在于：在使用机器学习算法的情况下由在连续的数据组中的轨迹和地图数据解决辨别相似的机动动作/交互机动动作聚类的问题。

20、地图数据尤其可以被机器学习算法用来学习轨迹的和地图数据的特征表示。

21、这种学习的特征表示可以被聚类算法使用，以便基于不同的机动动作对轨迹特征分组。这可以例如使用自车的轨迹特征和处于附近的对象的轨迹特征，以便基于交互机动动作对场景分组。

22、机器学习算法在此以自监督的方式从自车的轨迹、与自车交互的对象的轨迹以及要么作为地图信息要么在车辆轨迹中编码的车道信息学习交互机动动作的表示特征。

23、经训练的模型然后用于从未知的(测试)数据组产生交互机动动作的特征向量表示。所生成的特征向量之后被用于对相似的交互机动动作聚类。

24、创建传输给第一机器学习算法的第一增强和传输给第二机器学习算法的第二增强。编码器或编码装置在此将所述信息编码成低维度的特征向量。

25、为了两个网络的输出，计算训练期间要最小化的相似性损失。由此促使编码器学习能够区分相似的交互机动动作的重要特征。

26、经训练的编码器可以用于为表示数据组中的交互机动动作的所有轨迹生成特征向量。这又可以通过聚类算法，如分层聚类进行聚类，以形成数据组中的交互组。

27、机器学习算法的基础在于，使用统计学方法来训练数据处理设备，使得这种数据处理设备可以实施特定的任务，而无需在最初明确地针对所述任务对这种数据处理设备编程。在此，机器学习的目标在于，构建能从数据学习和进行预测的算法。这些算法创建了数学模型，用所述数学模型例如可以对数据分类。

28、本领域技术人员将降维的特征表示理解为数据从高维空间到低维空间的变换，因而低维的表示保留了最初的数据的一些合理的特性，理想情况下接近其固有维度。本发明的另外的实施方式是另外的从属权利要求和接下来参考附图的说明书的主题。

29、按照本发明的一种优选的扩展设计方案规定，通过优化算法最小化在由第一机器学习算法输出的被传感器数据的数据组的第一增强涵盖的第一类场景和由第二机器学习算法输出的被传感器数据的数据组的第二增强涵盖的第二类场景之间的相似性损失。这促使编码器学习能区分相似的交互机动动作的特征。

30、按照本发明的另一种优选的扩展设计方案规定，第一机器学习算法具有：第一编码器，其接收传感器数据的数据组的第一增强的自车的轨迹和/或速度数据；第二编码器，其接收传感器数据的数据组的第一增强的至少一个对象的轨迹、速度数据和/或类型id数据；和第三编码器，其接收传感器数据的数据组的第一增强的车道信息。因此可以以有利的方式生成传感器数据的数据组的第一增强的降维的特征表示。

31、按照本发明的另一种优选的扩展设计方案规定，第二机器学习算法具有：第四编码器，其接收传感器数据的数据组的第二增强的自车的轨迹和/或速度数据；第五编码器，其接收传感器数据的数据组的第二增强的至少一个对象的轨迹、速度数据和/或类型id数据；和第六编码器，其接收传感器数据的数据组的第二增强的车道信息。因此可以以有利的方式生成传感器数据的数据组的第二增强的降维的特征表示。

32、按照本发明的另一种优选的扩展设计方案规定，第一编码器、第二编码器和第三编码器分别输出特征向量，这些特征向量拼接成第一特征向量，并且其中，第四编码器、第五编码器和第六编码器分别输出特征向量，这些特征向量拼接成第二特征向量。因此可以以有利的方式产生相应的编码器网络的全部的输入数据的组合式表示。

33、按照本发明的另一种优选的扩展设计方案规定，第一机器学习算法在使用拼接的第一特征向量的情况下确定了被传感器数据的数据组的第一增强涵盖的第一类场景，并且第二机器学习算法在使用拼接的第二特征向量的情况下确定了被传感器数据的数据组的第二增强涵盖的第二类场景。因此可以以有利的方式产生相应的编码器网络的全部的输入数据的组合式表示。

34、按照本发明的另一种优选的扩展设计方案规定，第一至第六编码器具有lstm层。

35、相对于针对图像数据的2d折叠层，lstm层有利地更好地适用于轨迹数据。地图信息可以要么显明地要么隐含地作为经编码的信息和轨迹一起提供给相应的编码器网络。

36、按照本发明的另一种优选的扩展设计方案规定，自车的和/或对象的被传感器数据的数据组涵盖的轨迹数据与时步的数量有关地分别具有不同的特征参量，在所述时步中，对象处于车辆侧的多个周围环境识别传感器的检测范围中。

37、因此可以以有利的方式在相应不同的特征表示中表达持续时间，在所述持续时间期间，自车和/或对象处在车辆侧的多个周围环境识别传感器的检测范围中。

38、按照本发明的另一种优选的扩展设计方案规定，第一机器学习算法和第二机器学习算法使用不规则张量来处理自车的和/或对象的被传感器数据的数据组涵盖的轨迹数据。

39、轨迹的特征参量与时步的数量有关，在所述时步中，对象处在自车传感器的范围内。因为这个持续时间可能受到众多因素的影响，所以每个轨迹和相关的地图信息具有其它特征参量，这必须被考虑到。这要求使用不规则张量(在每个维度中带有不同数量的元素的张量)。

40、按照本发明的另一种优选的扩展设计方案规定，随机地产生用于创建传感器数据的数据组的不同的变型的第一增强和第二增强。由此可以以有利的方式达到对包括相应的数据组的参数的状态空间的有效覆盖。

41、按照本发明的另一种优选的扩展设计方案规定，场景具有自车的和/或伙伴车辆的行驶机动动作和/或自车与伙伴车辆和/或另外的对象的交互机动动作。

42、经训练的编码器因此可以用于，针对在数据组中表示交互机动动作的所有轨迹生成特征向量。这些特征向量可以通过聚类算法、例如分层聚类进行聚类，以便在数据组中形成交互组。

43、按照本发明的另一种扩展设计方案规定，由gps传感器检测自车的轨迹和/或速度数据，并且由相机传感器、激光雷达传感器和/或雷达传感器检测至少一个对象的轨迹、速度数据和/或类型id数据以及车道信息。

44、机器学习算法因此以有利的方式处理不同的传感器类型的数据，以便基于传感器数据的数据组的场景数据产生相似场景。

45、用于提供机器学习算法以基于传感器数据的数据组的场景数据确定相似场景的方法的在本文中所说明的特征，同样能应用于基于传感器数据的数据组的场景数据确定相似场景的按本发明的方法和/或训练控制器，反之亦然。