自动驾驶性能验证的方法、系统、装置及存储介质与流程

本发明涉及自动驾驶，具体提供一种自动驾驶性能验证的方法、系统、装置及存储介质。

背景技术：

1、自动驾驶系统的性能验证是自动商业化的重要前置项。自动驾驶实际应用中存在着非常多的长尾场景，包括异常天气、异型物体等。同时，自动驾驶性能也需要基于大量的实验数据进行验证。

2、现有的自动驾驶性能验证框架主要存在以下几个问题：

3、1、不同模块/系统/功能的评测对应影响因素的定义不同，无法互通：如，针对细分场景的定义不统一。

4、2、跨模块评测难以实现：如，感知模块对于“规划模块特别关注的目标”的性能变化。

5、3、模块之间的性能分析难以解耦：如，一个功能表现的问题如何自动化分析是哪个模块的问题。

6、相应地，本领域需要一种新的自动驾驶性能验证方案来解决上述问题。

技术实现思路

1、为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何更为灵活、高效、可拓展地实现自动驾驶性能验证的问题。

2、在第一方面，本发明提供一种自动驾驶性能验证的方法，所述方法包括：

3、将自动驾驶多个来源的性能验证数据存储在数据仓库中；

4、响应于第一操作指令，从所述数据仓库中调用所述性能验证数据并对所述性能验证数据进行分析，从而得到按照预设类型添加了标签的数据分析结果；

5、响应于第二操作指令，从所述数据仓库中调用所述性能验证数据并对所述性能验证数据进行标注，从而生成数据集；

6、根据所述数据集和所述数据分析结果对自动驾驶性能进行性能分析，从而得到性能分析结果。

7、在上述自动驾驶性能验证的方法的一个技术方案中，所述根据所述数据集和所述数据分析结果对自动驾驶性能进行性能分析，从而得到性能分析结果，包括：

8、根据所述数据集，对所述自动驾驶性能进行模拟测试，获取模拟测试结果；

9、根据所述模拟测试结果和所述数据集，对所述自动驾驶性能进行评测，获取评测结果；

10、根据所述评测结果和所述数据分析结果，对所述自动驾驶性能进行性能分析，获取所述性能分析结果。

11、在上述自动驾驶性能验证的方法的一个技术方案中，所述数据集包括基准数据集；

12、所述根据所述模拟测试结果和所述数据集，对所述自动驾驶性能进行评测，获取评测结果，包括：

13、根据所述模拟测试结果和所述基准数据集，对所述自动驾驶性能进行评测，获取所述评测结果。

14、在上述自动驾驶性能验证的方法的一个技术方案中，所述数据集包括问题标注数据集；

15、所述方法还包括：

16、从所述评测结果和所述性能分析结果中获取与所述问题标注数据集相关的数据；

17、将获取的数据回归至所述问题标注数据集。

18、在上述自动驾驶性能验证的方法的一个技术方案中，所述根据所述数据集，对所述自动驾驶性能进行模拟测试，获取模拟测试结果，包括：

19、根据所述数据集和所述性能验证数据，对所述自动驾驶性能进行模拟测试，获取所述模拟测试结果。

20、在上述自动驾驶性能验证的方法的一个技术方案中，所述根据所述评测结果和所述数据分析结果，对所述自动驾驶性能进行性能分析，获取所述性能分析结果，包括：

21、根据所述数据分析结果和所述评测结果，对所述自动驾驶性能进行性能分析，获取性能分析数据；

22、对所述性能分析数据进行可视化转换，将可视化转换结果作为所述性能分析结果。

23、在上述自动驾驶性能验证的方法的一个技术方案中，所述对所述性能分析数据进行可视化转换，将可视化转换结果作为所述性能分析结果，包括：

24、将所述性能分析数据存储于数据库表中，所述数据库表中包含统一索引，所述统一索引用于区分性能分析数据中的性能指标；

25、根据所述统一索引，对所述数据库表进行性能指标查询，以根据查询结果获取所述性能分析结果。

26、在上述自动驾驶性能验证的方法的一个技术方案中，所述模拟测试包括模型在环测试和/或软件在环测试和/或处理器在环测试和/或硬件在环测试。

27、在上述自动驾驶性能验证的方法的一个技术方案中，所述响应于第二操作指令，从所述数据仓库中调用所述性能验证数据并对所述性能验证数据进行标注，从而生成数据集，包括：

28、响应于所述第二操作指令，调用所述性能验证数据并对所述性能验证数据进行标注，获取标注数据；

29、响应于第三操作指令，从所述标注数据中进行选择，生成所述数据集。

30、在上述自动驾驶性能验证的方法的一个技术方案中，所述响应于所述第二操作指令，调用所述性能验证数据并对所述性能验证数据进行标注，获取标注数据，包括：

31、响应于所述第二操作指令，调用所述性能验证数据进行数据筛选；

32、对所述数据筛选的结果中的数据进行标注，从而获得所述标注数据。

33、在上述自动驾驶性能验证的方法的一个技术方案中，所述对所述数据筛选的结果中的数据进行标注，从而获得所述标注数据，包括：

34、对所述数据筛选的结果中的数据进行静态目标和/或动态目标的标注；

35、根据所述标注结果，对所述标注结果进行后处理，获得所述标注数据；其中，所述标注包括基于三维空间和/或时间维度的标注。

36、在上述自动驾驶性能验证的方法的一个技术方案中，所述响应于第一操作指令，从所述数据仓库中调用所述性能验证数据并对所述性能验证数据进行分析，从而得到按照预设类型添加了标签的数据分析结果，包括：

37、响应于所述第一操作指令，调用所述性能验证数据，并对所述性能验证数据进行分析，以为所述性能验证数据添加基础标签和/或业务标签，从而获得所述数据分析结果；

38、其中，所述基础标签是指针对所述数据的固有特征的标签；所述业务标签是基于所述第一操作指令对应的分析需求设置的标签。

39、在上述自动驾驶性能验证的方法的一个技术方案中，所述将自动驾驶多个来源的性能验证数据存储在数据仓库中，包括：

40、从车端获取在线数据，并从非车端获取离线数据；

41、将所述在线数据和所述离线数据作为所述多个来源的性能验证数据进行存储。

42、在上述自动驾驶性能验证的方法的一个技术方案中，所述多个来源的性能验证数据包括数字采集数据和/或路测数据和/或量产数据和/或模拟测试数据和/或存储的历史数据。

43、在上述自动驾驶性能验证的方法的一个技术方案中，所述方法还包括：

44、获取所述数据集中标注的数据；将获取的标注的数据作为数据分析结果；和/或，

45、所述方法还包括：

46、在对所述性能验证数据进行标注时，查询所述数据分析结果，以根据所述数据分析结果，获取所述标注数据。

47、在第二方面，提供一种控制装置，该控制装置包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述自动驾驶性能验证的方法的技术方案中任一项技术方案所述的自动驾驶性能验证的方法。

48、在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述自动驾驶性能验证的方法的技术方案中任一项技术方案所述的自动驾驶性能验证的方法。

49、在第四方面，提供一种自动驾驶性能验证系统，所述系统包括数据仓库和上述控制装置技术方案中所述的控制装置。

50、本发明上述一个或多个技术方案，至少具有如下一种或多种

51、有益效果：

52、在实施本发明的技术方案中，本发明通过数据仓库存储多个来源的性能验证数据；对性能验证数据进行分析，获得添加了标签的数据分析结果；对性能验证数据进行标注，生成数据集；根据数据集和数据分析结果对自动驾驶性能进行分析，获得性能分析结果。通过上述配置方式，本发明能够实现基于不同来源的性能验证数据进行数据分析和标注，将数据标注、数据集管理、标签服务以及性能分析等功能，进行深度整合，可以实现更为灵活、可拓展、且大规模的自动驾驶的性能验证过程，支持不同粒度的性能分析过程，能够为自动驾驶性能验证过程提供更好的保障和支持。

53、方案1.一种自动驾驶性能验证的方法，其特征在于，所述方法包括：

54、将自动驾驶多个来源的性能验证数据存储在数据仓库中；

55、响应于第一操作指令，从所述数据仓库中调用所述性能验证数据并对所述性能验证数据进行分析，从而得到按照预设类型添加了标签的数据分析结果；

56、响应于第二操作指令，从所述数据仓库中调用所述性能验证数据并对所述性能验证数据进行标注，从而生成数据集；

57、根据所述数据集和所述数据分析结果对自动驾驶性能进行性能分析，从而得到性能分析结果。

58、方案2.根据方案1所述的自动驾驶性能验证的方法，其特征在于，

59、所述根据所述数据集和所述数据分析结果对自动驾驶性能进行性能分析，从而得到性能分析结果，包括：

60、根据所述数据集，对所述自动驾驶性能进行模拟测试，获取模拟测试结果；

61、根据所述模拟测试结果和所述数据集，对所述自动驾驶性能进行评测，获取评测结果；

62、根据所述评测结果和所述数据分析结果，对所述自动驾驶性能进行性能分析，获取所述性能分析结果。

63、方案3.根据方案2所述的自动驾驶性能验证的方法，其特征在于，所述数据集包括基准数据集；

64、所述根据所述模拟测试结果和所述数据集，对所述自动驾驶性能进行评测，获取评测结果，包括：

65、根据所述模拟测试结果和所述基准数据集，对所述自动驾驶性能进行评测，获取所述评测结果。

66、方案4.根据方案2所述的自动驾驶性能验证的方法，其特征在于，所述数据集包括问题标注数据集；

67、所述方法还包括：

68、从所述评测结果和所述性能分析结果中获取与所述问题标注数据集相关的数据；

69、将获取的数据回归至所述问题标注数据集。

70、方案5.根据方案2所述的自动驾驶性能验证的方法，其特征在于，

71、所述根据所述数据集，对所述自动驾驶性能进行模拟测试，获取模拟测试结果，包括：

72、根据所述数据集和所述性能验证数据，对所述自动驾驶性能进行模拟测试，获取所述模拟测试结果。

73、方案6.根据方案2所述的自动驾驶性能验证的方法，其特征在于，

74、所述根据所述评测结果和所述数据分析结果，对所述自动驾驶性能进行性能分析，获取所述性能分析结果，包括：

75、根据所述数据分析结果和所述评测结果，对所述自动驾驶性能进行性能分析，获取性能分析数据；

76、对所述性能分析数据进行可视化转换，将可视化转换结果作为所述性能分析结果。

77、方案7.根据方案6所述的自动驾驶性能验证的方法，其特征在于，

78、所述对所述性能分析数据进行可视化转换，将可视化转换结果作为所述性能分析结果，包括：

79、将所述性能分析数据存储于数据库表中，所述数据库表中包含统一索引，所述统一索引用于区分性能分析数据中的性能指标；

80、根据所述统一索引，对所述数据库表进行性能指标查询，以根据查询结果获取所述性能分析结果。

81、方案8.根据方案2至7中任一项所述的自动驾驶性能验证的方法，其特征在于，

82、所述模拟测试包括模型在环测试和/或软件在环测试和/或处理器在环测试和/或硬件在环测试。

83、方案9.根据方案1所述的自动驾驶性能验证的方法，其特征在于，

84、所述响应于第二操作指令，从所述数据仓库中调用所述性能验证数据并对所述性能验证数据进行标注，从而生成数据集，包括：

85、响应于所述第二操作指令，调用所述性能验证数据并对所述性能验证数据进行标注，获取标注数据；

86、响应于第三操作指令，从所述标注数据中进行选择，生成所述数据集。

87、方案10.根据方案9所述的自动驾驶性能验证的方法，其特征在于，

88、所述响应于所述第二操作指令，调用所述性能验证数据并对所述性能验证数据进行标注，获取标注数据，包括：

89、响应于所述第二操作指令，调用所述性能验证数据进行数据筛选；

90、对所述数据筛选的结果中的数据进行标注，从而获得所述标注数据。

91、方案11.根据方案10所述的自动驾驶性能验证的方法，其特征在于，

92、所述对所述数据筛选的结果中的数据进行标注，从而获得所述标注数据，包括：

93、对所述数据筛选的结果中的数据进行静态目标和/或动态目标的标注；

94、根据所述标注结果，对所述标注结果进行后处理，获得所述标注数据；其中，所述标注包括基于三维空间和/或时间维度的标注。

95、方案12.根据方案1所述的自动驾驶性能验证的方法，其特征在于，

96、所述响应于第一操作指令，从所述数据仓库中调用所述性能验证数据并对所述性能验证数据进行分析，从而得到按照预设类型添加了标签的数据分析结果，包括：

97、响应于所述第一操作指令，调用所述性能验证数据，并对所述性能验证数据进行分析，以为所述性能验证数据添加基础标签和/或业务标签，从而获得所述数据分析结果；

98、其中，所述基础标签是指针对所述数据的固有特征的标签；所述业务标签是基于所述第一操作指令对应的分析需求设置的标签。

99、方案13.根据方案1所述的自动驾驶性能验证的方法，其特征在于，

100、所述将自动驾驶多个来源的性能验证数据存储在数据仓库中，包括：

101、从车端获取在线数据，并从非车端获取离线数据；

102、将所述在线数据和所述离线数据作为所述多个来源的性能验证数据进行存储。

103、方案14.根据方案13所述的自动驾驶性能验证的方法，其特征在于，所述多个来源的性能验证数据包括数字采集数据和/或路测数据和/或量产数据和/或模拟测试数据和/或存储的历史数据。

104、方案15.根据方案1所述的自动驾驶性能验证的方法，其特征在于，

105、所述方法还包括：

106、获取所述数据集中标注的数据；将获取的标注的数据作为数据分析结果；和/或，

107、所述方法还包括：

108、在对所述性能验证数据进行标注时，查询所述数据分析结果，以根据所述数据分析结果，获取所述标注数据。

109、方案16.一种控制装置，包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行方案1至15中任一项所述的自动驾驶性能验证的方法。

110、方案17.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行方案1至15中任一项所述的自动驾驶性能验证的方法。

111、方案18.一种自动驾驶性能验证系统，其特征在于，所述系统包括数据仓库和方案16所述的控制装置。