障碍物识别方法、设备及车辆与流程

本技术涉及目标检测技术，尤其涉及一种障碍物识别方法、设备及车辆。

背景技术：

1、随着人们生活水平的提高，汽车作为常用的代步工具，已经成为了生活必需品之一。在信息行业和智能领域的发展和探索下，汽车的智能化得到了迅速发展。其中，汽车的辅助驾驶技术是该领域的重点研究方向。而在汽车辅助驾驶技术中，检测及识别汽车前进方向的障碍物，是汽车辅助驾驶面临的关键技术问题。

2、目前，车辆搭载的高级辅助驾驶系统通常是通过激光雷达传感器来识别道路障碍物的，通常是由激光雷达传感器的激光发射系统进行激光发射，发射出的激光击中障碍物时，会产生一组点云，再由激光雷达传感器对该点云进行接收和分析处理，从而识别出障碍物。

3、然而，激光雷达传感器容易受天气的影响，在有雾霾或者下雨天的情况下，激光会受空气中的颗粒和雨滴影响，生成的点云数据十分混乱，所以无法保证对障碍物识别的准确性。

技术实现思路

1、本技术提供一种障碍物识别方法、设备及车辆，用以解决目前无法保证对障碍物识别的准确性的问题。

2、第一方面，本技术提供一种障碍物识别方法，包括：

3、获取车辆在行驶方向上的道路图像；

4、将所述道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征；

5、根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；

6、根据所述障碍物识别模型对所述融合处理后的图像特征进行识别处理，得到障碍物识别结果，其中，所述障碍物识别结果包括识别到的障碍物的类别信息、位置信息以及置信度。

7、进一步地，所述将所述道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征，包括：

8、将所述道路图像输入至障碍物识别模型中，将所述道路图像切分成不同分辨率的道路图像，得到所述不同分辨率中每一分辨率对应的切分后的道路图像；

9、根据所述障碍物识别模型中的resnet50网络，对所述每一分辨率对应的切分后的道路图像进行特征提取，得到每一分辨率对应的初始图像特征。

10、进一步地，所述根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，包括：

11、根据所述分辨率从小到大的顺序对所述初始图像特征进行排序，得到分辨率排序后的多个初始图像特征；

12、将所述排序后的多个初始图像特征中前n个初始图像特征，确定为待融合图像特征集合，其中，n为正整数；

13、根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征。

14、进一步地，所述根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征，包括：

15、将所述待融合图像特征集合中对应分辨率最小的待融合图像特征确定为第一待融合图像特征，并将分辨率排序在所述第一待融合图像特征的后一个待融合图像特征确定为第二待融合图像特征；

16、通过所述加权双向特征金字塔网络结构对所述第二待融合图像特征进行特征融合，得到所述第二待融合图像特征对应的第二融合特征；

17、根据所述第二融合特征和所述第一待融合图像特征，确定所述第一待融合图像特征对应的第一融合特征；

18、将所述第一融合特征和所述第二融合特征，确定为所述融合处理后的图像特征。

19、进一步地，所述根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征，还包括：

20、将分辨率排序在所述第二待融合图像特征的后一个待融合图像特征确定为第三待融合图像特征，并将分辨率排序在所述第三待融合图像特征的后一个待融合图像特征确定为第四待融合图像特征；

21、通过所述加权双向特征金字塔网络结构对所述第四待融合图像特征进行特征融合，得到所述第四待融合图像特征对应的第四融合特征；

22、根据所述第一待融合特征、第二待融合特征、第三待融合特征以及所述第四融合特征，确定所述第三待融合特征对应的第三融合特征；

23、将所述第三融合特征和所述第四融合特征确定为所述融合处理后的图像特征。

24、进一步地，在所述根据所述障碍物识别模型对所述融合处理后的图像特征进行识别处理，得到障碍物识别结果之后，所述方法还包括：

25、根据所述障碍物识别结果，确定所述车辆的目标行驶策略；

26、基于所述目标行驶策略，控制所述车辆行驶。

27、进一步地，所述根据所述障碍物识别结果，确定所述车辆的行驶策略，包括：

28、若根据所述障碍物的位置信息确定所述障碍物在所述车辆的行驶路径上，则根据所述类别信息，确定所述障碍物的危险等级，其中，所述危险等级表征所述障碍物对所述车辆行驶的影响程度；

29、从所述预设的多个行驶策略中确定与所述危险等级对应的行驶策略作为所述目标行驶策略，其中，所述多个行驶策略与多个危险等级一一对应，所述多个行驶策略包括停止、直行以及避让。

30、第二方面，本技术提供一种障碍物识别模型训练方法，包括：

31、获取样本图像，所述样本图像中具有障碍物；

32、将所述样本图像输入至初始的神经网络模型中进行特征提取，得到初始的图像特征；

33、根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；

34、根据初始的神经网络模型对所述融合处理后的图像特征进行识别处理，以对所述初始的神经网络模型进行训练，得到障碍物识别模型；其中，所述障碍物识别模型用于对待识别图像进行识别，得到所述待识别图像中的障碍物。

35、进一步地，所述将所述样本图像输入至初始的神经网络模型中进行特征提取，得到初始的图像特征，包括：

36、将所述样本图像输入至初始的神经网络模型中，将所述样本图像切分成不同分辨率的样本图像，得到所述不同分辨率中每一分辨率对应的切分后的样本图像；

37、根据所述初始的神经网络模型中的resnet50网络，对所述每一分辨率对应的切分后的样本图像进行特征提取，得到每一分辨率对应的初始图像特征。

38、进一步地，所述根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，包括：

39、根据所述分辨率从小到大的顺序对所述初始图像特征进行排序，得到分辨率排序后的多个初始图像特征；

40、将所述排序后的多个初始图像特征中前n个初始图像特征，确定为待融合图像特征集合，其中，n为正整数；

41、根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征。

42、进一步地，所述根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征，包括：

43、将所述待融合图像特征集合中对应分辨率最小的待融合图像特征确定为第一待融合图像特征，并将分辨率排序在所述第一待融合图像特征的后一个待融合图像特征确定为第二待融合图像特征；

44、通过所述加权双向特征金字塔网络结构对所述第二待融合图像特征进行特征融合，得到所述第二待融合图像特征对应的第二融合特征；

45、根据所述第二融合特征和所述第一待融合图像特征，确定所述第一待融合图像特征对应的第一融合特征；

46、将所述第一融合特征和所述第二融合特征，确定为所述融合处理后的图像特征。

47、进一步地，所述根据所述第二融合特征和所述第一待融合图像特征，确定与所述第一待融合图像特征对应的第一融合特征，包括：

48、对所述第二融合特征进行池化处理，得到池化后的第二融合特征，所述池化后的第二融合特征对应的分辨率与所述第一待融合图像特征对应的分辨率相同；

49、将所述池化后的第二融合特征与所述第一待融合图像特征依次进行矩阵相加和卷积处理，得到与所述第一待融合图像特征对应的第一融合特征。

50、进一步地，所述根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征，还包括：

51、将分辨率排序在所述第二待融合图像特征的后一个待融合图像特征确定为第三待融合图像特征，并将分辨率排序在所述第三待融合图像特征的后一个待融合图像特征确定为第四待融合图像特征；

52、通过所述加权双向特征金字塔网络结构对所述第四待融合图像特征进行特征融合，得到所述第四待融合图像特征对应的第四融合特征；

53、根据所述第一待融合特征、第二待融合特征、第三待融合特征以及所述第四融合特征，确定所述第三待融合特征对应的第三融合特征；

54、将所述第三融合特征和所述第四融合特征确定为所述融合处理后的图像特征。

55、进一步地，所述根据所述第一待融合特征、第二待融合特征、第三待融合特征以及所述第四融合特征，确定所述第三待融合特征对应的第三融合特征，包括：

56、对所述第一待融合图像特征进行上采样处理，得到上采样后的第一待融合图像特征；其中，所述上采样后的第一待融合图像特征对应的分辨率与所述第二待融合特征对应的分辨率相同；

57、将所述上采样后的第一待融合图像特征与所述第二待融合特征依次进行矩阵相加和卷积处理，得到第一初步融合特征；

58、对所述第一初步融合特征进行上采样处理，得到上采样后的第一初步融合特征，并将所述上采样后的第一初步融合特征与所述第三待融合特征依次进行矩阵相加和卷积处理，得到第二初步融合特征；所述上采样后的第一初步融合特征对应的分辨率与所述第三待融合特征对应的分辨率相同；

59、将所述第四融合特征进行池化处理，得到池化后的第四融合特征，所述池化后的第四融合特征对应的分辨率与所述第三待融合特征对应的分辨率相同；

60、将所述第三待融合图像特征、所述第二初步融合特征以及所述池化后的第四融合特征依次进行矩阵相加和卷积处理，得到与所述第三待融合图像特征对应的第三融合特征。

61、进一步地，所述根据初始的神经网络模型对所述融合处理后的图像特征进行识别处理，以对所述初始的神经网络模型进行训练，得到障碍物识别模型，包括：

62、根据所述初始的神经网络模型中的头部网络结构对所述融合处理后的图像特征进行特征映射，得到障碍物识别结果；

63、若确定所述障碍物识别结果满足预设条件，则确定所述障碍物识别模型训练完成。

64、进一步地，所述方法还包括：

65、基于预设的损失函数和所述障碍物识别结果确定损失值；

66、若确定所述损失值小于或等于预设损失值，则确定所述障碍物识别结果满足预设条件。

67、进一步地，所述方法还包括：

68、若确定所述损失值小于或等于指定损失值且大于所述预设损失值，则通过余弦退火算法降低所述初始的神经网络模型的学习率。

69、第三方面，本技术提供一种障碍物识别设备，所述设备包括：

70、道路图像获取模块，用于获取车辆在行驶方向上的道路图像；

71、提取处理模块，用于将所述道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征；

72、融合处理模块，用于根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；

73、识别模块，用于根据所述障碍物识别模型对所述融合处理后的图像特征进行识别处理，得到障碍物识别结果，其中，所述障碍物识别结果包括识别到的障碍物的类别信息、位置信息以及置信度。

74、第四方面，本技术提供一种障碍物识别模型训练设备，所述设备包括：

75、样本图像获取模块，用于获取样本图像，所述样本图像中具有障碍物；

76、特征提取模块，用于将所述样本图像输入至初始的神经网络模型中进行特征提取，得到初始的图像特征；

77、特征融合模块，用于根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；

78、训练模块，用于根据初始的神经网络模型对所述融合处理后的图像特征进行识别处理，以对所述初始的神经网络模型进行训练，得到障碍物识别模型；其中，所述障碍物识别模型用于对待识别图像进行识别，得到所述待识别图像中的障碍物。

79、第五方面，本技术提供一种车辆，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面或第二方面所述的方法。

80、第六方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面或第二方面所述的障碍物识别方法。

81、本技术提供的障碍物识别模型训练方法，通过获取车辆在行驶方向上的道路图像；将所述道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征；根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；根据所述障碍物识别模型对所述融合处理后的图像特征进行识别处理，得到障碍物识别结果，其中，所述障碍物识别结果包括识别到的障碍物的类别信息、位置信息以及置信度。由于训练障碍物识别模型所用的样本图像是可以根据不同场景下的障碍物进行标注的，所以基于该样本图像训练得到的障碍物识别模型，在如雨天、雾天等不同场景下，都能具有较好的障碍物识别准确性，另外通过障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，由于加权双向特征金字塔网络结构允许简单和快速的多尺度特征融合，在不增加计算的前提下，能融合得到更多的特征，例如可以额外得到由道路图像中障碍物的位置特征和语义特征进行融合而得到的融合处理后的图像特征，从而能够从道路图像中获得更多的特征来识别道路图像中的障碍物，从而提升了对道路障碍物的识别准确性。