自主车辆规划器性能测试工具的制作方法

本说明书涉及用于指示自主车辆中规划栈(或规划栈部分)的性能的系统及方法。

背景技术：

1、自主车辆领域取得了重大而迅速的发展。自主车辆是一种配备传感器和自主系统而能够在无人控制其行为的情况下运行的交通工具。本文中，术语“自主”涵盖半自主行为和全自主行为。传感器使车辆能够感知其物理环境，例如可包括摄像头、雷达和激光雷达。自主车辆配备适当编程的计算机，能够处理从传感器接收的数据，并根据传感器感知的环境做出安全且可预测的决策。测试特定自主车辆或某类自主车辆上传感器和自主系统的行为涉及不同方面。av测试可以在现实世界中进行，也可以基于模拟驾驶场景进行。正测试的自我车辆(现实或模拟)可以称为自我车辆。

2、业界的一种测试方法依赖于“影子模式(shadow mode)”操作。这种测试旨在使用人类驾驶作为评定自主决策的基准。自主驾驶系统(ads)在影子模式下根据从配备传感器但人类驾驶的车辆捕获的输入运行。ads处理人类驾驶车辆的传感器输入，并做出驾驶决策，就好像理论上控制车辆一样。然而，这些自主决策并未实际实行，而只是简单记录下来，目的是将它们与人类实际驾驶行为进行比较。如此累积“影子里程”，通常目的是证明ads可以比人类更安全高效地执行任务。

3、现有的影子模式测试存在许多缺点。影子模式测试可能会标记某些场景，其中可用的测试数据表明ads的表现与人类驾驶员不同。目前这需要对测试数据进行手动分析。每种场景的“影子里程”需要与相同场景的人类驾驶员里程进行比较来完成评估。

技术实现思路

1、本公开一方面解决了上述挑战。根据本发明一方面，提供了一种评估自我机器人规划器性能的计算机实现方法，该方法包括：接收第一运行的第一运行数据，生成运行数据是通过在该运行的场景中应用规划器来生成自我机器人在该场景中采取的自我轨迹；从第一运行数据中提取场景数据以生成定义场景的场景数据；将场景数据提供给模拟器，该模拟器配置为使用场景数据来执行模拟并实施第二规划器来生成第二运行数据；将第一运行数据与第二运行数据进行比较以确定至少一个性能参数的差异；生成与运行相关联的性能指标，该性能指标指示所确定的第一运行数据与第二运行数据之间差异的水平。

2、所述方法针对多个运行执行时，可以包括针对多个运行中每个运行生成相应的性能指标。

3、每个级别的性能指标相关联的视觉指示可以在视觉上不同于其他级别的性能指标。

4、所述方法还可以包括：将场景数据提供给模拟器，该模拟器配置为执行第三规划以及器来生成第三运行数据，其中，基于第一运行数据与第三运行数据之间的比较来生成性能指标。

5、所述方法还可以包括：在图形用户界面上渲染性能指标的视觉表示。本实施例中，所述方法还可以包括：为多个运行中每个运行分配唯一运行标识符，该唯一运行标识符与性能指标在图形用户界面上渲染时视觉表示的位置相关联。

6、第二规划器可以包括第一规划器的修改版本，该第一规划器的修改版本包括影响其感知能力、预测能力和计算机执行资源中一项或多项的修改。

7、视觉上不同的视觉指示可以包括不同的颜色。

8、一种进行性能比较的途径是使用交错点识别，如参阅本技术人的英国专利申请gb2107645.0，其内容通过引用归并本文。性能卡可以用在审查卡簇中，如本文进一步描述。

9、一些实施例中，所述方法包括：在图形用户界面上渲染多个审查卡，该多个审查卡中每个审查卡包括多个图块，其中每个图块提供关于相应不同运行的度量指标的视觉指示，其中，针对审查卡之一，该审查卡的图块提供性能指标的视觉表示。

10、一些实施例中，所述方法包括：在图形用户界面上渲染标识级别及其对应视觉指示的键。

11、一些实施例中，所述方法包括：将场景数据提供给模拟器，该模拟器配置为执行第三规划器来生成第三运行数据，其中，基于第一运行数据与第三运行数据之间的比较来生成性能指标。

12、一些实施例中，第二规划器包括第一规划器的修改版本，该第一规划器的修改版本包括影响其感知能力、预测能力和计算机执行资源中一项或多项的修改。

13、一些实施例中，将第一运行数据与第二运行数据进行比较以确定至少一个性能参数的差异包括：使用交错点识别来确定性能中是否存在交错点。

14、一些实施例中，运行数据包括如下一项或多项：传感器数据；一辆或多辆车辆上捕获/生成的感知输出；从外部传感器捕获的数据。

15、根据第二方面，提供了一种包括计算机可读指令集的计算机程序，这些指令被处理器执行时促使处理器进行根据第一方面或其任何实施例的方法。

16、根据第三方面，提供了一种存储有根据第二方面的计算机程序的非暂态计算机可读介质。

17、根据第四方面，提供了一种装置，包括处理器和代码存储器，该代码存储器配置为存储有计算机可读指令以供处理器执行以：从第一运行的第一运行数据中提取场景数据以生成定义场景的场景数据，生成运行数据是通过在该运行的场景中应用规划器来生成自我机器人在该场景中采取的自我轨迹；将场景数据提供给模拟器，该模拟器配置为使用场景数据来执行模拟并实施第二规划器来生成第二运行数据；将第一运行数据与第二运行数据进行比较以确定至少一个性能参数的差异；生成与运行相关联的性能指标，该性能指标指示所确定的第一运行数据与第二运行数据之间差异的水平。

18、一些实施例中，所述装置包括图形用户界面。

19、一些实施例中，处理器配置为执行计算机可读指令以：针对多个运行中每个运行执行提取场景数据和提供场景数据；针对多次运行中每次运行生成相应的性能指标。

20、一些实施例中，处理器配置为执行计算机可读指令以在图形用户界面上渲染性能指标的视觉表示。

21、一些实施例中，处理器配置为执行计算机可读指令以为多个运行中每个运行分配唯一运行标识符，该唯一运行标识符与性能指标在图形用户界面上渲染时视觉表示的位置相关联。

22、一些实施例中，处理器配置为执行计算机可读指令以在图形用户界面上渲染多个审查卡，该多个审查卡中每个审查卡包括多个图块，其中每个图块提供关于相应不同运行的度量指标的视觉指示，其中，针对审查卡之一，该审查卡的图块提供性能指标的视觉表示。

23、一些实施例中，每个级别的性能指标相关联的视觉指示在视觉上不同于其他级别的性能指标。

24、一些实施例中，视觉上不同的视觉指示包括不同的颜色。

25、一些实施例中，处理器配置为执行计算机可读指令以在图形用户界面上呈现识别级别及其对应视觉指示的键。

26、一些实施例中，处理器配置为执行计算机可读指令以在图形用户界面上渲染性能指标的视觉表示。

27、一些实施例中，处理器配置为执行计算机可读指令以为多个运行中每个运行分配唯一运行标识符，该唯一运行标识符与性能指标在图形用户界面上渲染时视觉表示的位置相关联。

28、一些实施例中，处理器配置为执行计算机可读指令以将场景数据提供给模拟器，该模拟器配置为执行第三规划器来生成第三运行数据，其中，基于第一运行数据与第三运行数据之间的比较来生成性能指标。

29、一些实施例中，第二规划器包括第一规划器的修改版本，该第一规划器的修改版本包括影响其感知能力、预测能力和计算机执行资源中一项或多项的修改。

30、一些实施例中，将第一运行数据与第二运行数据进行比较以确定至少一个性能参数的差异包括：使用交错点识别来确定性能中是否存在交错点。

31、一些实施例中，运行数据包括如下一项或多项：传感器数据；一辆或多辆车辆上捕获/生成的感知输出；从外部传感器捕获的数据。