用于车辆核查和验证的危急场景识别的制作方法

本公开的各种实施例涉及提供一种用于增强自主和半自主车辆的安全性的系统和计算机实现的方法，并且特别涉及与其相关联的危急场景的识别。

背景技术：

1、在自主车辆(av)的安全性评估中采用的常规工业方法包括：英里驾驶仿真方法，其中仿真器仿真虚拟世界，av通过该虚拟世界被驾驶大英里数以开发足够的统计数据；脱离方法，其中由于av将要做出的可能已经导致事故的不安全决策而考虑av操作中的人类干预；以及基于场景的测试和专有方法。对于基于场景的核查，仿真各种可能的驾驶场景，并且av暴露于这些场景以评估与av做出的驾驶决策相关联的置信水平。基于场景的方法的挑战是包括实时车辆数据以及仿真车辆数据的数据的量，所述数据必须进行修剪，以便构建将具有重要性的场景。

2、从巨大量的实时和仿真车辆数据识别危急场景(诸如极端情况或边缘情况)是一个繁琐的过程。数据可能由原始输入以及来自多个传感器的处理数据组成，所述传感器诸如相机、lidar、radar、imu、gps传感器等。此外，数据的范围可能从几个小时到几天。因此，要处理的数据量是巨大的。从巨大量的车辆数据识别危急场景的过程传统上通过搜索通过整个数据集并找出其中违反安全性度量的场景来解决。存在定义这样的违反的各种危急性测试方法，例如，由荷兰b.v.公司开发的责任敏感安全性(rss)、由特拉华州的英伟达公司开发的nvidia safety force(sff)、和/或涉及回路中尖端模型或回路测试中软件的典型大规模场景测试，所有这些都提供了用于识别危急场景的安全性度量。然而，上述测试方法需要使用暴力或线性搜索算法来修剪通过巨大量的车辆数据以识别违规，从而致使它们成为不切实和/或不可行的选项。

技术实现思路

1、因此，本公开的目的是提供一种系统和计算机实现的方法，其以高效和有效的方式识别危急场景，以确保自主和/或半自主车辆导航的安全性和可靠性。

2、本文中公开了一种场景识别系统，用于从与(一个或多个)车辆相关联的车辆数据识别(一个或多个)危急场景。如本文中所使用的，“危急场景”指代与(一个或多个)车辆相关联的可能潜在地导致事故或对(一个或多个)车辆的物理损坏的不合期望的事件。危急场景包括例如车辆之间的碰撞、针对对象的碰撞、与车辆和/或对象的潜在碰撞、意外的车辆故障等。

3、(一个或多个)车辆指代至少一个自主车辆，所述自主车辆是其上安装有多个传感器的自我车辆。传感器包括例如高精度相机、激光雷达(lidar和ladar)、毫米波雷达、定位传感器、照明传感器、全球定位系统(gps)传感器、惯性测量单元(imu)传感器、环境条件监视传感器等。因此，这些传感器可以捕获以物理值的数据，诸如电压、电流、位置坐标、颗粒物浓度、风速、压力、湿度等和/或以媒体的形式，诸如由相机捕获的图像和/或视频。(一个或多个)车辆也指代在自我车辆附近的一个或多个目标车辆，并且能够在一点或另一点处影响自我车辆的驾驶。(一个或多个)目标车辆可以也可以不在其上安装有上述传感器。

4、根据本公开的一个方面，该场景识别系统可部署在云计算环境中。如本文中所使用的，“云计算环境”指代包括可配置的计算物理和逻辑资源(例如网络、服务器、存储、应用、服务等)以及通过通信网络(例如互联网)分发的数据的处理环境。云计算环境提供对可配置的计算物理和逻辑资源的共享池的按需网络访问。

5、根据本公开的另一方面，该场景识别系统可部署为安装在自我车辆上的边缘设备。根据本公开的又另一方面，该场景识别系统可部署为基于云的系统和边缘设备的组合，其中该场景识别系统的一些模块可部署在自我车辆上，并且剩余模块可部署在云计算环境中。

6、该场景识别系统包括存储由该场景识别系统的模块定义的计算机程序指令的非暂时性计算机可读存储介质。如本文中所使用的，“非暂时性计算机可读存储介质”指代除了暂时性传播信号外的所有计算机可读介质，例如，诸如光盘或磁盘之类的非易失性介质，诸如寄存器存储器、处理器高速缓存等之类的易失性介质，以及诸如构成耦合到处理器的系统总线的导线之类的传输介质。

7、该场景识别系统包括至少一个处理器，其通信地耦合到非暂时性计算机可读存储介质。处理器执行计算机程序指令。如本文中所使用的，术语“处理器”指代能够执行计算机程序或一系列命令、指令或状态转变的任何一个或多个微处理器、微控制器、中央处理单元(cpu)设备、有限状态机、计算机、微控制器、数字信号处理器、逻辑、逻辑设备、电子电路、专用集成电路(asic)、现场可编程门阵列(fpga)、芯片等、或其任何组合。

8、该场景识别系统包括数据接收模块、数据处理模块、数据分析模块、场景管理模块、图形用户接口(gui)和/或场景管理数据库。

9、数据接收模块接收与(一个或多个)车辆相关联的车辆数据。数据接收模块可操作地与(一个或多个)车辆和一个或多个交通建模设备通信，用于接收车辆数据。如本文中所使用的，“车辆数据”包括由安装在包括自我车辆和目标车辆的(一个或多个)车辆上的传感器记录的数据，以及由一个或多个其他道路用户和/或对象(诸如自我车辆附近的行人)记录的数据。车辆数据包括可能影响自我车辆驾驶的数据。有利的是，车辆数据可以跨越若干个小时(例如，日复一日的基础)，或者可以对应于进行的每次行程。根据一个方面，数据接收模块从本地存储装置接收车辆数据，所述本地存储装置诸如是连同(一个或多个)车辆上的传感器一起设置的数据库或存储器模块。此外，本文中使用的“交通建模设备”指代交通仿真器引擎，例如，prescan，它是由比利时的西门子工业软件n.v.公司开发的用于汽车工业的仿真平台。

10、数据处理模块从车辆数据获得预定义类型的数据。预定义类型的数据至少包括惯性测量单元(imu)数据。自我车辆的imu数据通常从安装在自我车辆上的imu传感器直接记录。有利的是，imu数据是以结构化格式可用的纯文本数据，包括例如记录数据的时间实例的时间戳、该时间实例的角速度和该时间实例的线性加速度。有利的是，imu数据还可以包括与(一个或多个)车辆相关联的角速率、比力和磁场。除了imu数据之外，预定义类型的数据还可以包括全球定位系统(gps)数据。例如，gps数据将是需要的、尤其是当存在对导出自我车辆的线速度的需求时。

11、根据本公开的一个方面，当存在安装在目标车辆上的传感器(例如imu传感器和/或gps传感器)时，数据处理模块以上述方式获得目标车辆的预定义类型的数据。

12、根据本公开的另一个方面，当不存在安装在目标车辆上的传感器并且因此没有记录imu数据和/或gps数据时，数据处理模块通过采用一种或多种多对象跟踪算法来获得目标车辆的预定义类型的数据。有利的是，多对象跟踪算法使用从自我车辆接收的车辆数据并执行传感器融合来计算每个目标车辆的准确位置。这些位置(也称为状态)然后使用自我车辆在该对应时间实例的gps数据转换到全球坐标系。根据目标车辆在一段时间内的位置，导出目标车辆的线速度和加速度信息，并用对应的时间戳映射，从而创建目标车辆的imu数据。

13、数据处理模块从预定义类型的数据导出一个或多个基于imu的驾驶参数。基于imu的驾驶参数可以是用户定义的。基于imu的驾驶参数包括例如车辆的加速度、车辆的速度和车辆的轨迹。该车辆是自我车辆和/或目标车辆。根据本公开的一个方面，数据处理模块使用加速度、速度和/或轨迹值导出辅助参数。例如，自我车辆与一个或多个目标车辆碰撞的时间是从自我车辆和目标车辆之间的相对速度导出的辅助参数。有利的是，数据处理模块在导出这些基于imu的驾驶参数和相关联的辅助参数(如果有的话)时，以带有时间戳的方式将它们存储到场景管理数据库中。该数据可以在将来被场景识别系统用于学习和性能增强的目的。

14、数据分析模块基于一个或多个预定义的阈值来分析(一个或多个)基于imu的驾驶参数，以用于识别(一个或多个)危急场景。对应于每个基于imu的驾驶参数来定义阈值。阈值可以是用户定义的，或者由数据分析模块基于存储在场景管理数据库中的历史数据来定义。

15、根据一个示例，当自我车辆的横向加速度大于2.5米/秒2并且自我车辆的横向减速度大于2.9米/秒2，则条件被称为危急。这里针对横向加速度和横向减速度定义的阈值表示自我车辆速度的突然改变。然而，本领域技术人员可以领会的是，这样的阈值可以基于自我车辆的类型、型号、条件而大幅变化。类似地，可以针对加速度定义阈值，该阈值是一段时间内从速度改变导出的值。

16、根据另一个示例，考虑在高速公路上以80公里/小时的恒定速度移动的自我车辆(诸如中型汽车)，并且速度在仅仅10秒的持续时间内突然下降到30公里/小时。然后，自我车辆的线性减速度变为大约5米/秒2，这远远高于阈值2.9米/秒2。这实质上意味着汽车已经应用了突然制动，并且因此，该场景可能是潜在的危急场景。

17、根据又另一个示例，可以从一段时间内的gps数据获得自我车辆轨迹的突然改变。如果需要，还可以使用由其他传感器(诸如(一个或多个)相机和(一个或多个)lidar)记录的车辆数据来获得车道改变信息。这样的场景通常将是切入或切出，涉及自我车辆和(一个或多个)目标车辆之间横向距离的突然变化。当横向距离小于0.5m时，该场景可以被称为潜在危急场景。

18、根据又另一个示例，可以针对从基于imu的驾驶参数导出的辅助参数定义阈值。当自我车辆和(一个或多个)目标车辆之间的碰撞时间小于或等于1.5秒时，该场景可以被称为潜在危急场景。

19、场景管理模块使用对应于超过预定义阈值的基于imu的驾驶参数和/或辅助参数的车辆数据生成(一个或多个)交通场景。场景管理模块使用诸如(一个或多个)相机、(一个或多个)lidar等之类的传感器的对应时间实例数据，生成被数据分析模块称为潜在危急的交通场景。场景管理模块针对危急性验证(一个或多个)交通场景。有利的是，为了交通场景的生成和验证，可以使用交通建模设备，例如prescan。验证可以基于包括但不限于责任敏感安全性(rss)、nvidia safety force(sff)和/或典型的大规模场景测试的一个或多个危急性测试标准来执行。

20、有利的是，场景管理数据库使得能够存储车辆数据、imu数据、gps数据、基于imu的驾驶参数、从其导出的辅助参数、对应于每个基于imu的驾驶参数和/或辅助参数的预定义阈值、和/或生成和验证的(一个或多个)交通场景。有利的是，交通场景连同与其相关联的危急性指数一起被存储。例如，当考虑与危急性相关联的安全性参数时，潜在碰撞与撞到路缘相比可能具有更高的危急性指数。在另一个示例中，当用于行人或对象的增强检测的软件/固件更新正被针对自我车辆核查和验证时，行人碰撞与车辆故障相比具有更高的危急性指数。因此，基于其中要在自我车辆上进行核查和验证的上下文，危急性指数

21、此外，本文中公开了一种用于从与一个或多个车辆相关联的车辆数据识别一个或多个危急场景的计算机实现的方法。有利的是，计算机实现的方法采用上述场景识别系统，该系统包括至少一个处理器，所述处理器被配置为执行用于执行该方法的计算机程序指令。该计算机实现的方法包括由数据接收模块接收与一个或多个车辆相关联的车辆数据，由数据处理模块从车辆数据获得预定义类型的数据，其中预定义类型的数据至少包括惯性测量单元(imu)数据，由数据处理模块从预定义类型的数据导出一个或多个基于imu的驾驶参数，至少包括车辆的加速度、速度和轨迹，以及由数据分析模块基于用于识别(一个或多个)危急场景的一个或多个预定义阈值来分析(一个或多个)基于imu的驾驶参数。该计算机实现的方法进一步包括由场景管理模块使用对应于超过预定义阈值的基于imu的驾驶参数的车辆数据生成一个或多个交通场景，以及由场景管理模块针对危急性验证(一个或多个)交通场景。

22、此外，本文中公开了一种计算机程序产品，其包括存储计算机程序代码的非暂时性计算机可读存储介质，所述计算机程序代码包括可由至少一个处理器执行的指令，并且包括用于从车辆数据获得预定义类型的数据的第一计算机程序代码，其中预定义类型的数据至少包括惯性测量单元(imu)数据、用于从预定义类型的数据导出一个或多个基于imu的驾驶参数的第二计算机程序代码、以及用于基于用于识别一个或多个危急场景的一个或多个预定义阈值来分析一个或多个基于imu的驾驶参数的第三计算机程序代码。该计算机程序进一步包括第四计算机程序代码和第五计算机程序代码，第四计算机程序代码用于使用对应于超过预定义阈值的基于imu的驾驶参数的车辆数据生成一个或多个交通场景，第五计算机程序代码用于针对危急性验证一个或多个交通场景。根据本公开的一个方面，包括计算机可执行指令的单片计算机程序代码执行本文中公开的用于识别危急场景的计算机实现的方法的一个或多个步骤。

23、此外，本文中公开了一种交通建模设备，包括具有仿真软件的计算机，该仿真软件应用计算机实现的方法，用于至少基于与一个或多个车辆相关联的imu数据来识别危急场景。

24、上面公开的场景识别系统、计算机实现的方法、计算机程序产品和交通建模设备使得能够通过从其中导出至少关于用于识别和验证危急场景的imu数据的数据子集来优化车辆数据的处理，从而节省处理基础设施、带宽、时间和成本，而不损害危急场景识别的准确性。

25、上面的
技术实现要素：
仅意图给出一些实施例和实现的一些特征的简要概览，而不应被解释为限制。其他实施例可以包括除上面解释的特征之外的其他特征。