视觉感知算法的测试方法、装置、设备和存储介质与流程

本技术涉及智能驾驶，特别是涉及一种视觉感知算法的测试方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着智能驾驶技术的不断发展，智能驾驶感知算法的质量保障越来越重要。智能驾驶感知算法测试一般为算法台架测试，其中，算法台架测试，指不借助于实车进行被测算法测试和验证。

2、目前，算法台架测试具体包括：实车采集所需要的测试素材；人工将测试素材标注为报警场景和非报警场景；待测试的驾驶感知算法部署在台架设备上，并将测试素材回灌至台架设备，台架设备输出相应的回灌结果；对比分析标注结果和回灌结果，得到测试素材的测试结果。

3、然而，人工分类测试素材存在较大的人为主观性，对于某些特定情况的场景，特别是对于一些临界情况的场景，人工无法准确的区分是否真正为报警场景，若场景分类错误，则会影响待测试的驾驶感知算法的测试准确性。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高待测试的驾驶感知算法的测试准确性的视觉感知算法的测试方法、装置、计算机设备、存储介质和计算机程序产品。

2、第一方面，本技术提供了一种视觉感知算法的测试方法。所述方法包括：

3、获取测试素材，所述测试素材中包括多张连续的图像帧；

4、识别图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果；

5、通过待测试的视觉感知算法对所述测试素材进行处理，得到每张图像帧的回灌结果；所述回灌结果中包括预测障碍物的预测位置信息；

6、针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型；

7、根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据所述报警判别结果确定所述视觉感知算法的测试结果。

8、在其中一个实施例中，所述预测位置信息包括预测边界框，所述回灌结果还包括所述预测障碍物的预测身份标记，所述通过待测试的视觉感知算法对所述测试素材进行处理，得到每张图像帧的回灌结果，包括：

9、针对所述测试素材中的任一图像帧，通过待测试的视觉感知算法对所针对的图像帧进行处理，得到至少一个预测障碍物以及预测障碍物的预测边界框；

10、识别每个预测障碍物的预测身份标记，并将每个预测障碍物的预测边界框和预测身份标记对应存储。

11、在其中一个实施例中，所述针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型，包括：

12、针对任一图像帧，确定所针对的图像帧中不满足报警条件的标注结果和回灌结果；

13、剔除所针对图像帧中不满足报警条件的标注结果和回灌结果，得到满足报警条件的标注结果和回灌结果；

14、基于满足报警条件的标注结果和回灌结果，以及不满足报警条件的标注结果和回灌结果，确定所针对的图像帧中的回灌结果的目标类型。

15、在其中一个实施例中，所述确定所针对的图像帧中不满足报警条件的标注结果和回灌结果，包括：

16、确定所述视觉感知算法在所针对的图像帧中的工作区域；

17、将所针对的图像帧中与所述工作区域无交集的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果；

18、将处于所述工作区域但不满足碰撞条件的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果。

19、在其中一个实施例中，所述图像帧还包括目标车辆，所述方法还包括：

20、基于图像帧中处于所述工作区域内的标注结果，确定处于所述工作区域内的实际障碍物与所述目标车辆发生碰撞所需的第一预测时长；

21、将所述第一预测时长大于预设碰撞时长的实际障碍物所对应的标注结果，确定为处于所述工作区域但不满足碰撞条件的标记结果；

22、基于图像帧中处于所述工作区域内的回灌结果，确定处于所述工作区域内的预测障碍物与所述目标车辆发生碰撞所需的第二预测时长；

23、将所述第二预测时长大于预设碰撞时长的预测障碍物所对应的回灌结果，确定为处于所述工作区域但不满足碰撞条件的回灌结果。

24、在其中一个实施例中，所述基于满足报警条件的标注结果和回灌结果，以及不满足报警条件的标注结果和回灌结果，确定所针对的图像帧中的回灌结果的目标类型，包括：

25、计算满足报警条件的标注结果与满足报警条件的回灌结果间的匹配度；

26、在满足报警条件的回灌结果中，将匹配度大于或等于预设匹配度的第一回灌结果，归类为第一类型；

27、在满足报警条件的回灌结果中，将匹配度小于所述预设匹配度的第二回灌结果，归类为第二类型；

28、在不满足报警条件的回灌结果中，若存在第三回灌结果与任一满足报警条件的标注结果间的匹配度大于或等于所述预设匹配度，则将所述第三回灌结果，归类为第三类型。

29、在其中一个实施例中，所述回灌结果还包括预测障碍物的预测身份标记，所述根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，包括：

30、若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第一类型，则确定连续的预设数量张图像帧中被归类为第一类型的回灌结果为正确报警结果；

31、若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第二类型，则确定连续的预设数量张图像帧中被归类为第二类型的回灌结果为误报警结果；

32、若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第三类型，则确定连续的预设数量张图像帧中被归类为第三类型的回灌结果为漏报警结果。

33、在其中一个实施例中，所述根据所述报警判别结果确定所述视觉感知算法的测试结果，包括：

34、统计所述报警判别结果中被确定为正确报警结果、误报警结果和漏报警结果的数量；

35、基于正确报警结果、误报警结果和漏报警结果的数量，确定所述视觉感知算法的测试结果。

36、第二方面，本技术还提供了一种视觉感知算法的测试装置。所述装置包括：

37、获取模块，用于获取测试素材，所述测试素材中包括多张连续的图像帧；

38、标注模块，用于识别图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果；

39、回灌模块，用于通过待测试的视觉感知算法对所述测试素材进行处理，得到每张图像帧的回灌结果；所述回灌结果中包括预测障碍物的预测位置信息；

40、分类模块，用于针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型；

41、测试模块，用于根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据所述报警判别结果确定所述视觉感知算法的测试结果。

42、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述视觉感知算法的测试方法的步骤。

43、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述视觉感知算法的测试方法的步骤。

44、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述视觉感知算法的测试方法的步骤。

45、上述视觉感知算法的测试方法、装置、计算机设备、存储介质和计算机程序产品，识别测试素材中图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果，在此过程中对每张图像帧中每个实际障碍物进行分类，无需对测试素材中每张图像帧的场景类型进行分类，可以避免人工错误标注场景类型导致视觉感知算法的测试准确性低的问题。在此基础上，将待测试的视觉感知算法部署在计算机设备，并通过待测试的视觉感知算法对测试素材进行处理，得到每张图像帧的回灌结果，其中，回灌结果中包括预测障碍物的预测位置信息，而不是对测试素材中图像帧的场景类型进行分类，可以避免由于人工对场景类型分类不准确而导致视觉感知算法对场景类型分类错误的场景。为实现基于图像帧中实际障碍物的标注结果对视觉感知算法进行测试，进一步，针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型，根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据报警判别结果确定视觉感知算法的测试结果。上述过程中，可以确定回灌结果的报警判别结果，该报警判别结果反映了回灌结果的准确性，通过报警判别结果，确定视觉感知算法的测试结果，可以提高视觉感知算法的测试精度。