图像感知方法、计算机设备、计算机可读存储介质及车辆与流程

本发明涉及自动驾驶，具体涉及一种图像感知方法、计算机设备、计算机可读存储介质及车辆。

背景技术：

1、在对车辆进行自动驾驶控制时通常会通过视觉传感器采集车辆周围的图像，然后通过感知模型对图像进行感知，以识别车辆周围的车道线、交通标志、行人和障碍物等目标对象的信息。然而目前常规的图像感知方法在识别目标对象时通常无法得到较为准确的深度信息，从而降低了图像感知的准确性。

2、相应地，本领域需要一种新的技术方案来解决上述问题。

技术实现思路

1、为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何提高图像感知准确性的技术问题的图像感知方法、计算机设备、计算机可读存储介质及车辆。

2、在第一方面，提供一种图像感知方法，所述方法包括：

3、获取车辆采集到的图像帧；

4、采用图像感知模型对所述图像帧进行图像目标感知；

5、其中，所述图像感知模型通过下列方式训练得到：

6、获取车辆采集到的图像帧和点云帧；

7、根据所述点云帧获取所述图像帧的深度信息；

8、根据所述图像帧及其深度信息对图像感知模型进行图像深度估计的预训练，再根据所述图像帧及其图像目标标注信息对完成预训练的图像感知模型进行图像目标感知的最终训练。

9、在上述图像感知方法的一个技术方案中，“根据所述点云帧获取所述图像帧的深度信息”的步骤具体包括：

10、针对每个图像帧，根据所述图像帧的时间戳与所述点云帧的时间戳，选取与所述图像帧时间距离最近的点云帧；

11、根据所述最近的点云帧，获取所述图像帧的深度信息。

12、在上述图像感知方法的一个技术方案中，在“根据所述点云帧获取所述图像帧的深度信息”的步骤之前，所述方法还包括：

13、对所述最近的点云帧的位置进行矫正，以使所述最近的点云帧与所述图像帧扫描到的对象相同。

14、在上述图像感知方法的一个技术方案中，“对所述最近的点云帧的位置进行矫正，以使所述最近的点云帧与所述图像帧扫描到的对象相同”的步骤具体包括：

15、获取所述图像帧的时间戳与所述点云帧的时间戳之间的时间间隔；

16、根据车辆的速度与所述时间间隔，获取所述图像帧的时间戳与所述点云帧的时间戳之间的位移；

17、根据所述位移，对所述最近的点云帧的位置进行矫正。

18、在上述图像感知方法的一个技术方案中，“根据车辆的速度与所述时间间隔，获取所述图像帧的时间戳与所述点云帧的时间戳之间的位移”的步骤具体包括：

19、预测所述点云帧所属物体的移动速度；

20、根据车辆的速度、所述移动速度与所述时间间隔，获取所述位移。

21、在上述图像感知方法的一个技术方案中，在“根据所述位移，对所述最近的点云帧的位置进行矫正”的步骤之后，所述方法还包括：

22、预测所述点云帧所属物体的移动速度；

23、根据所述移动速度与所述时间间隔，获取所述点云帧所属物体在所述图像帧的时间戳与所述点云帧的时间戳之间的移动位移；

24、根据所述移动位移，再次对所述最近的点云帧的位置进行矫正。

25、在上述图像感知方法的一个技术方案中，“根据所述点云帧获取所述图像帧的深度信息”的步骤还包括：

26、将所述点云帧上的每个点云分别投影至所述图像帧，以获取每个点云在所述图像帧上的投影点的位置和深度；

27、根据所述投影点的位置和深度，获取所述图像帧的深度信息。

28、在上述图像感知方法的一个技术方案中，在“根据所述图像帧及其深度信息对图像感知模型进行图像深度估计的预训练”的步骤之前，所述方法还包括通过下列方式构建所述图像感知模型：

29、分别构建特征提取网络、目标感知网络和深度估计网络，以形成所述图像感知模型；

30、其中，所述特征提取网络用于提取图像帧的图像特征，所述目标感知网络用于根据所述图像特征进行图像目标感知，所述深度估计网络用于根据所述图像特征估计图像帧上每个像素点位置处的深度。

31、在上述图像感知方法的一个技术方案中，“根据所述图像帧及其深度信息对图像感知模型进行图像深度估计的预训练”的步骤具体包括：

32、根据所述图像帧及其深度信息，对所述图像感知模型进行图像深度估计的预训练，并在预训练完成后移除所述深度估计网络。

33、在上述图像感知方法的一个技术方案中，所述方法还包括通过下列方式构建所述特征提取网络与所述目标感知网络：

34、构建一个特征金字塔网络，以形成所述特征提取网络；

35、构建多个目标感知网络，每个目标感知网络分别用于根据所述特征金字塔网络提取到的图像特征进行不同类型图像目标的感知。

36、在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述图像感知方法的技术方案中任一项技术方案所述的图像感知方法。

37、在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述图像感知方法的技术方案中任一项技术方案所述的图像感知方法。

38、在第四方面，提供一种车辆，该车辆包括上述计算机设备的技术方案所述的计算机设备。

39、方案1.一种图像感知方法，其特征在于，所述方法包括：

40、获取车辆采集到的图像帧；

41、采用图像感知模型对所述图像帧进行图像目标感知；

42、其中，所述图像感知模型通过下列方式训练得到：

43、获取车辆采集到的图像帧和点云帧；

44、根据所述点云帧获取所述图像帧的深度信息；

45、根据所述图像帧及其深度信息对图像感知模型进行图像深度估计的预训练，再根据所述图像帧及其图像目标标注信息对完成预训练的图像感知模型进行图像目标感知的最终训练。

46、方案2.根据方案1所述的图像感知方法，其特征在于，“根据所述点云帧获取所述图像帧的深度信息”的步骤具体包括：

47、针对每个图像帧，根据所述图像帧的时间戳与所述点云帧的时间戳，选取与所述图像帧时间距离最近的点云帧；

48、根据所述最近的点云帧，获取所述图像帧的深度信息。

49、方案3.根据方案2所述的图像感知方法，其特征在于，在“根据所述点云帧获取所述图像帧的深度信息”的步骤之前，所述方法还包括：

50、对所述最近的点云帧的位置进行矫正，以使所述最近的点云帧与所述图像帧扫描到的对象相同。

51、方案4.根据方案3所述的图像感知方法，其特征在于，“对所述最近的点云帧的位置进行矫正，以使所述最近的点云帧与所述图像帧扫描到的对象相同”的步骤具体包括：

52、获取所述图像帧的时间戳与所述点云帧的时间戳之间的时间间隔；

53、根据车辆的速度与所述时间间隔，获取所述图像帧的时间戳与所述点云帧的时间戳之间的位移；

54、根据所述位移，对所述最近的点云帧的位置进行矫正。

55、方案5.根据方案4所述的图像感知方法，其特征在于，“根据车辆的速度与所述时间间隔，获取所述图像帧的时间戳与所述点云帧的时间戳之间的位移”的步骤具体包括：

56、预测所述点云帧所属物体的移动速度；

57、根据车辆的速度、所述移动速度与所述时间间隔，获取所述位移。

58、方案6.根据方案4所述的图像感知方法，其特征在于，在“根据所述位移，对所述最近的点云帧的位置进行矫正”的步骤之后，所述方法还包括：

59、预测所述点云帧所属物体的移动速度；

60、根据所述移动速度与所述时间间隔，获取所述点云帧所属物体在所述图像帧的时间戳与所述点云帧的时间戳之间的移动位移；

61、根据所述移动位移，再次对所述最近的点云帧的位置进行矫正。

62、方案7.根据方案1至6中任一项所述的图像感知方法，其特征在于，“根据所述点云帧获取所述图像帧的深度信息”的步骤还包括：

63、将所述点云帧上的每个点云分别投影至所述图像帧，以获取每个点云在所述图像帧上的投影点的位置和深度；

64、根据所述投影点的位置和深度，获取所述图像帧的深度信息。

65、方案8.根据方案1所述的图像感知方法，其特征在于，在“根据所述图像帧及其深度信息对图像感知模型进行图像深度估计的预训练”的步骤之前，所述方法还包括通过下列方式构建所述图像感知模型：

66、分别构建特征提取网络、目标感知网络和深度估计网络，以形成所述图像感知模型；

67、其中，所述特征提取网络用于提取图像帧的图像特征，所述目标感知网络用于根据所述图像特征进行图像目标感知，所述深度估计网络用于根据所述图像特征估计图像帧上每个像素点位置处的深度。

68、方案9.根据方案8所述的图像感知方法，其特征在于，“根据所述图像帧及其深度信息对图像感知模型进行图像深度估计的预训练”的步骤具体包括：

69、根据所述图像帧及其深度信息，对所述图像感知模型进行图像深度估计的预训练，并在预训练完成后移除所述深度估计网络。

70、方案10.根据方案8所述的图像感知方法，其特征在于，所述方法还包括通过下列方式构建所述特征提取网络与所述目标感知网络：

71、构建一个特征金字塔网络，以形成所述特征提取网络；

72、构建多个目标感知网络，每个目标感知网络分别用于根据所述特征金字塔网络提取到的图像特征进行不同类型图像目标的感知。

73、方案11.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行方案1至10中任一项所述的图像感知方法。

74、方案12.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行方案1至10中任一项所述的图像感知方法。

75、方案13.一种车辆，其特征在于，所述车辆包括方案11所述的计算机设备。

76、本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

77、在实施本发明提供的图像感知方法的技术方案中，可以获取车辆采集到的图像帧和点云帧，根据点云帧获取图像帧的深度信息，先根据图像帧及其深度信息对图像感知模型进行图像深度估计的预训练，再根据图像帧及其图像目标标注信息对完成预训练的图像感知模型进行图像目标感知的最终训练。在需要对车辆采集到的图像帧进行图像感知时采用上述训练好的图像感知模型对图像帧进行图像目标感知。

78、通过上述方法，可以在不对图像帧进行深度信息标注的前提下利用点云帧准确得到图像帧的深度信息，进而利用深度信息提高图像感知模型的图像深度估计能力，这样在利用图像帧对具备图像深度估计的模型进行最终的图像目标感知训练之后，可以利用训练好的模型准确地识别出图像帧上的目标。由于该模型具备深度估计能力，因此，无论是二维图像目标，还是三维图像目标都可以准确地识别出来，即提高了图像目标感知的鲁棒性。