基于因果推断的自动驾驶评测方法、装置、设备及介质与流程

本技术属于自动驾驶，尤其涉及一种基于因果推断的自动驾驶评测方法、装置、设备及介质。

背景技术：

1、现有的自动驾驶模型评测标准中，评价指标，例如mpi(平均接管里程，mpi主要是通过计算在自动驾驶过程中，人工接管控制的频率来评估自动驾驶系统的性能)，可能在环境影响下造成评价不准确的问题，例如，高速公路少车场景下评价指标相当高，但这并不能等同于自动驾驶模型运行表现优秀，在上述示例中车流稀疏的场景下，自动驾驶系统的表现通常会更好，因为可预测性高，道路障碍少，这种环境下，即使是初级的自动驾驶系统也可能表现出相对较好的性能。

2、类似地，道路条件也是影响mpi的重要因素。在良好、清晰的路况下，自动驾驶系统的表现往往会更好，因为在这种环境下，自动驾驶系统可以更容易地识别道路标志、车道线以及其他交通参与者。而在复杂、模糊的路况下，例如雨雪天气、夜间驾驶等，自动驾驶系统的挑战就会大大增加。

3、此外，还存在着天气、车型等可能对自动驾驶的评价造成混淆的因素。

4、为了解决这个问题，需要一种更加全面和客观的自动驾驶评测方法，一些解决方案采用了如下策略：

5、将评测环境进行分类，并根据不同类别环境设定不同的评测标准和权重。例如，在高速公路场景下，提高对车辆控制、车道保持等指标的权重；在城市道路场景下，提高对交通参与者识别、决策等指标的权重。

6、引入更多的评价指标，例如紧急情况下的反应时间、错误识别率、误判率等。通过这些指标更全面地反映出自动驾驶系统在不同环境下的真实性能。

7、然而，这些策略均存在着依赖经验的问题，故需要提出一种基于因果推断的自动驾驶评测方法，以更为准确地评价自动驾驶的实车效果。

技术实现思路

1、本技术实施例提供了基于因果推断的自动驾驶评测方法、装置、设备及介质，可以解决自动驾驶实车效果评价依赖经验、不准确、不全面的问题。

2、第一方面，本技术实施例提供了一种自动驾驶评测指标获取方法，包括：

3、获取指定时段内的自动驾驶模型的运行数据和评价数据；

4、根据所述运行数据中自动驾驶变量的变化频率确定一一对应于所述自动驾驶变量的时间窗长度；

5、在所述指定时段内，基于对应的所述时间窗分割所述自动驾驶变量和所述评价数据，得到样本数据；

6、以所述样本数据为输入数据，运行预设的第一机器学习模型，得到一一对应于所述样本数据的因果参数，并将所述因果参数满足预设的显著条件的所述自动驾驶变量确定为评测指标；

7、根据所述评测指标与所述评价数据的因果关系得到所述自动驾驶模型的评测结果。

8、上述方法根据自动驾驶变量的频率设定时间窗以分割数据得到样本，并在此基础上针对各自动驾驶变量提供更符合其时间变化特性的因果参数，进而得到用于评测自动驾驶模型的评测参数和模型评测结果。

9、具体地，通过获取自动驾驶模型的运行数据和评价数据，并根据自动驾驶变量的变化频率设置时间窗长度以分割运行数据和评价数据，从而得到合适的样本数据，通过该样本数据运行第一机器学习模型获得具有因果性质(而非相关性)评价的因果参数，在此基础上，排除无关的自动驾驶变量，根据评测指标与评价数据的因果关系得到所述自动驾驶模型的评测结果，克服了现有的基于相关性的自动驾驶评测指标无法准确反映自动驾驶实车效果的问题。

10、在第一方面的一种可能的实现方式中，所述预设的第一机器学习模型为因果推断机器学习模型。

11、上述方法通过因果推断机器学习模型获取得到所述评价数据与指定的所述自动驾驶变量间的因果参数，使所获取的因果参数更为准确，可以排除一些无关因素的干扰，使所获的因果关系也更为显著。同时通过因果关系模型的稳定性以及可解释性，可以解决评测分布与实际路测不一致，采集车辆与路测车辆不一致等导致的机器学习模型不准确的问题。

12、在第一方面的一种可能的实现方式中，所述以所述样本数据为输入数据，运行预设的第一机器学习模型，得到一一对应于所述样本数据的因果参数的步骤包括：

13、分别将所述样本数据中的所述自动驾驶变量和所述评价数据在对应的所述时间窗内二值化，得到干预变量和目标变量；

14、根据所述自动驾驶模型的运行环境、执行车辆以及执行时间获取混淆变量；

15、以所述时间窗为单位，将所述干预变量、所述目标变量以及所述混淆变量作为输入数据的至少一部分，运行所述第一机器学习模型，得到一一对应于所述样本数据的因果参数。

16、上述方法根据所述运行数据的获取环境、执行车辆以及执行时间获取混淆变量，考虑运行数据获取时，可能会影响自动驾驶变量以及评价数据的影响因素，进一步明确自动驾驶变量和评价数据的因果关系。

17、在第一方面的一种可能的实现方式中，所述以所述时间窗为单位，将所述干预变量、所述目标变量以及所述混淆变量作为输入数据的至少一部分，运行所述第一机器学习模型，得到一一对应于所述样本数据的因果参数的步骤包括：

18、将所述干预变量、所述目标变量以及所述混淆变量输入第二机器学习模型，得到所述干预变量为第一值时所述混淆变量至所述目标变量的第一映射关系，和，所述干预变量为第二值时所述混淆变量至所述目标变量的第二映射关系；

19、以所述第一映射关系、所述第二映射关系以及所述样本数据为输入，运行所述第一机器学习模型，得到一一对应于所述样本数据的因果参数。

20、上述方法通过分别获取干预变量为第一值时的映射关系和干预变量为第二值时的映射关系(混淆变量和目标变量的映射关系)，进一步区分干预变量不同取值时自动驾驶的实车效果(即混淆变量至目标变量的映射期望)，从而更为准确地提取干预变量与实车效果的因果关系。

21、在第一方面的一种可能的实现方式中，所述自动驾驶变量为传感器感知变量时，所述分别将所述样本数据中的所述自动驾驶变量和所述评价数据在对应的所述时间窗内二值化，得到干预变量和目标变量的步骤包括：

22、获取所述时间窗内以预设频率执行感知的所述传感器感知变量的感知比；其中，所述感知比与检出目标的感知结果数正相关，且与未检出目标的感知结果数负相关；

23、若所述感知比大于预设阈值，则将所述时间窗内所述传感器感知变量的干预变量值设置为第一值；否则，则将所述时间窗内所述传感器感知变量的干预变量值设置为第二值。

24、上述方法根据感知比二值化感知变量，提供了简单可靠的感知变量(在时间窗内的)量化方法，能够有效提高分析效率。

25、在第一方面的一种可能的实现方式中，所述分别将所述样本数据中的所述自动驾驶变量和所述评价数据在对应的所述时间窗内二值化，得到干预变量和目标变量的步骤包括：

26、获取多个所述自动驾驶变量的干预变量；

27、根据指定时间窗长度分割所述评价数据，得到多段评价数据窗口；其中，所述指定时间窗长度对应于指定自动驾驶变量；

28、二值化所述评价数据窗口，得到所述指定自动驾驶变量的目标变量。

29、上述方法将评价数据针对不同的自动驾驶变量进行特异化分割，使得每个自动驾驶变量获取到的干预变量都能对应有相同时间窗长度分割得到的目标变量，进而为后续因果关系的获取提供了良好的数据基础。

30、在第一方面的一种可能的实现方式中，所述以所述时间窗为单位，将所述干预变量、所述目标变量以及所述混淆变量作为输入数据的至少一部分，运行所述第一机器学习模型，得到一一对应于所述样本数据的因果参数的步骤包括：

31、以所述指定自动驾驶变量的干预变量、所述指定自动驾驶变量的目标变量以及所述混淆变量作为输入数据的至少一部分，运行所述第一机器学习模型，得到所述指定自动驾驶变量的因果参数。

32、上述方法针对每一自动驾驶变量分别获取其因果参数，降低了第一机器学习模型结构复杂度需求，提升了因果判定的准确性。

33、第二方面，本技术实施例提供了一种自动驾驶评测指标获取装置，包括：

34、获取模块，用于获取指定时段内的自动驾驶模型的运行数据和评价数据；

35、时间窗模块，用于根据所述运行数据中自动驾驶变量的变化频率确定一一对应于所述自动驾驶变量的时间窗长度；

36、分割模块，用于在所述指定时段内，基于对应的所述时间窗分割所述自动驾驶变量和所述评价数据，得到样本数据；

37、机器学习模块，用于以所述样本数据为输入数据，运行预设的第一机器学习模型，得到一一对应于所述样本数据的因果参数，并将所述因果参数满足预设的显著条件的所述自动驾驶变量确定为评测指标；

38、评测模块，用于根据所述评测指标与所述评价数据的因果关系得到所述自动驾驶模型的评测结果。

39、第三方面，本技术实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的基于因果推断的自动驾驶评测方法。

40、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的基于因果推断的自动驾驶评测方法。

41、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的基于因果推断的自动驾驶评测方法。

42、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。