图像感知方法、计算机设备、计算机可读存储介质及车辆与流程

本发明涉及自动驾驶，具体涉及一种图像感知方法、计算机设备、计算机可读存储介质及车辆。

背景技术：

1、在对车辆进行自动驾驶控制时通常会通过视觉传感器采集车辆周围的图像，然后通过感知模型对图像进行感知，以识别车辆周围的车道线、交通标志、行人和障碍物等目标对象的信息。然而目前常规的图像感知方法在识别目标对象时通常无法得到较为准确的深度信息，从而降低了图像感知的准确性。

2、相应地，本领域需要一种新的技术方案来解决上述问题。

技术实现思路

1、为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何提高图像感知准确性的技术问题的图像感知方法、计算机设备、计算机可读存储介质及车辆。

2、在第一方面，提供一种图像感知方法，所述方法包括：

3、获取车辆采集到的图像帧；

4、采用图像感知模型对所述图像帧进行图像目标感知；

5、其中，所述图像感知模型通过下列方式训练得到：

6、获取能够对图像帧进行图像深度估计的教师模型；

7、采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧进行图像深度估计的预训练；

8、根据所述图像帧及其图像目标标注信息对完成预训练的图像感知模型进行图像目标感知的最终训练。

9、在上述图像感知方法的一个技术方案中，“采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧进行图像深度估计的预训练”的步骤具体包括：

10、采用教师模型估计图像帧上每个像素点位置处的深度及其置信度；

11、获取所述深度的置信度大于预设的置信度阈值的像素点位置；

12、根据所述像素点位置，获取所述图像帧上的高置信度区域；

13、采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧上的高置信度区域进行图像深度估计的预训练。

14、在上述图像感知方法的一个技术方案中，“根据所述像素点位置，获取所述图像帧上的高置信度区域”的步骤具体包括：

15、根据所述像素点位置，生成高置信度区域的图像掩膜；

16、根据所述图像掩膜，获取所述图像帧上的高置信度区域。

17、在上述图像感知方法的一个技术方案中，“采用教师模型估计图像帧上每个像素点位置处的深度及其置信度”的步骤具体包括：

18、若教师模型是根据图像帧及其非稠密的深度标注信息进行图像深度估计训练得到的，则采用教师模型估计图像帧上每个像素点位置处的深度，并估计图像帧上每个像素点被车辆雷达扫描到的概率；

19、根据所述概率，分别确定每个像素点位置处的深度的置信度。

20、在上述图像感知方法的一个技术方案中，“采用教师模型估计图像帧上每个像素点位置处的深度及其置信度”的步骤具体包括：

21、若教师模型是根据图像帧及其稠密的深度标注信息进行图像深度估计训练得到的，则采用教师模型估计图像帧上每个像素点位置处的深度；

22、基于不确定性估计方法，估计每个像素点位置处的深度的不确定度；

23、根据所述不确定度，分别确定每个像素点位置处的深度的置信度。

24、在上述图像感知方法的一个技术方案中，在“采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧进行图像深度估计的预训练”的步骤之前，所述方法还包括通过下列方式构建图像感知模型：

25、分别构建特征提取网络、目标感知网络和深度估计网络，以形成所述图像感知模型；

26、其中，所述特征提取网络用于提取图像帧的图像特征，所述目标感知网络用于根据所述图像特征进行图像目标感知，所述深度估计网络用于根据所述图像特征估计图像帧上每个像素点位置处的深度。

27、在上述图像感知方法的一个技术方案中，“采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧进行图像深度估计的预训练”的步骤具体包括：

28、采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧进行图像深度估计的预训练；

29、在预训练完成后移除所述深度估计网络。

30、在上述图像感知方法的一个技术方案中，所述方法还包括通过下列方式构建所述特征提取网络与所述目标感知网络：

31、构建一个特征金字塔网络，以形成所述特征提取网络；

32、构建多个目标感知网络，每个目标感知网络分别用于根据所述特征金字塔网络提取到的图像特征进行不同类型图像目标的感知。

33、在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述图像感知方法的技术方案中任一项技术方案所述的图像感知方法。

34、在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述图像感知方法的技术方案中任一项技术方案所述的图像感知方法。

35、在第四方面，提供一种车辆，该车辆包括上述计算机设备的技术方案所述的计算机设备。

36、方案1.一种图像感知方法，其特征在于，所述方法包括：

37、获取车辆采集到的图像帧；

38、采用图像感知模型对所述图像帧进行图像目标感知；

39、其中，所述图像感知模型通过下列方式训练得到：

40、获取能够对图像帧进行图像深度估计的教师模型；

41、采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧进行图像深度估计的预训练；

42、根据所述图像帧及其图像目标标注信息对完成预训练的图像感知模型进行图像目标感知的最终训练。

43、方案2.根据方案1所述的图像感知方法，其特征在于，“采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧进行图像深度估计的预训练”的步骤具体包括：

44、采用教师模型估计图像帧上每个像素点位置处的深度及其置信度；

45、获取所述深度的置信度大于预设的置信度阈值的像素点位置；

46、根据所述像素点位置，获取所述图像帧上的高置信度区域；

47、采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧上的高置信度区域进行图像深度估计的预训练。

48、方案3.根据方案2所述的图像感知方法，其特征在于，“根据所述像素点位置，获取所述图像帧上的高置信度区域”的步骤具体包括：

49、根据所述像素点位置，生成高置信度区域的图像掩膜；

50、根据所述图像掩膜，获取所述图像帧上的高置信度区域。

51、方案4.根据方案2所述的图像感知方法，其特征在于，“采用教师模型估计图像帧上每个像素点位置处的深度及其置信度”的步骤具体包括：

52、若教师模型是根据图像帧及其非稠密的深度标注信息进行图像深度估计训练得到的，则采用教师模型估计图像帧上每个像素点位置处的深度，并估计图像帧上每个像素点被车辆雷达扫描到的概率；

53、根据所述概率，分别确定每个像素点位置处的深度的置信度。

54、方案5.根据方案2所述的图像感知方法，其特征在于，“采用教师模型估计图像帧上每个像素点位置处的深度及其置信度”的步骤具体包括：

55、若教师模型是根据图像帧及其稠密的深度标注信息进行图像深度估计训练得到的，则采用教师模型估计图像帧上每个像素点位置处的深度；

56、基于不确定性估计方法，估计每个像素点位置处的深度的不确定度；

57、根据所述不确定度，分别确定每个像素点位置处的深度的置信度。

58、方案6.根据方案1所述的图像感知方法，其特征在于，在“采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧进行图像深度估计的预训练”的步骤之前，所述方法还包括通过下列方式构建图像感知模型：

59、分别构建特征提取网络、目标感知网络和深度估计网络，以形成所述图像感知模型；

60、其中，所述特征提取网络用于提取图像帧的图像特征，所述目标感知网络用于根据所述图像特征进行图像目标感知，所述深度估计网络用于根据所述图像特征估计图像帧上每个像素点位置处的深度。

61、方案7.根据方案6所述的图像感知方法，其特征在于，“采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧进行图像深度估计的预训练”的步骤具体包括：

62、采用知识蒸馏方法，使教师模型指导所述图像感知模型使用图像帧进行图像深度估计的预训练；

63、在预训练完成后移除所述深度估计网络。

64、方案8.根据方案6所述的图像感知方法，其特征在于，所述方法还包括通过下列方式构建所述特征提取网络与所述目标感知网络：

65、构建一个特征金字塔网络，以形成所述特征提取网络；

66、构建多个目标感知网络，每个目标感知网络分别用于根据所述特征金字塔网络提取到的图像特征进行不同类型图像目标的感知。

67、方案9.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行方案1至8中任一项所述的图像感知方法。

68、方案10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行方案1至8中任一项所述的图像感知方法。

69、方案11.一种车辆，其特征在于，所述车辆包括方案9所述的计算机设备。

70、本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

71、在实施本发明提供的图像感知方法的技术方案中，可以获取能够对图像帧进行图像深度估计的教师模型，采用知识蒸馏方法，使教师模型指导图像感知模型使用图像帧进行图像深度估计的预训练，再根据图像帧对完成预训练的图像感知模型进行图像目标感知的最终训练。在需要对车辆采集到的图像帧进行图像感知时采用上述训练好的图像感知模型对图像帧进行图像目标感知。

72、通过上述方法，可以在不对图像帧进行深度信息标注的前提下利用教师模型提高图像感知模型的图像深度估计能力，这样在利用图像帧对具备图像深度估计的模型进行最终的图像目标感知训练之后，可以利用训练好的模型准确地识别出图像帧上的目标。由于该模型具备深度估计能力，因此，无论是二维图像目标，还是三维图像目标都可以准确地识别出来，即提高了图像目标感知的鲁棒性。