基于鱼眼相机的目标检测方法、装置、设备及存储介质与流程

本技术涉及智能自动泊车领域，特别涉及一种基于鱼眼相机的目标检测方法、装置、设备及存储介质。

背景技术：

1、在自动驾驶领域中，目标检测的应用在对车身周围环境的感知中尤为重要，包括车辆检测、行人检测、障碍物检测等。以视觉为中心的bev(bird's-eye-view,鸟瞰图)三维感知最近引起了广泛的关注。bev三维感知算法是基于周视针孔相机采集的图像进行检测，由于车辆配备的传感器不同，采集的图像数据存在不同程度的畸变，其首先对图像进行去畸变操作，再将去畸变的图像送入检测模型。由多相机特征到bev特征的视图变换是bev三维感知算法中的核心问题。

2、现有技术中，基于空间约束的方法由多相机特征提升到bev特征的视图变换具有很大的局限性，一方面，其实现通常以效率极低的累加和方式，或需要在特定的硬件中开发定制算子；另一方面，“提升”的多视角特征通常会占据巨大的存储空间(通常占据gpu显存)，这成为bev感知算法的性能瓶颈，为bev感知在自动驾驶的落地造成了极大的困难。因此如何提高bev感知算法的运行效率成为亟待解决的问题。

技术实现思路

1、为了解决现有技术的问题，本技术提供了一种基于鱼眼相机的目标检测方法、装置、设备及存储介质，感知自动驾驶场景下的车辆周围的目标，解决了自动驾驶中感知算法的运行效率的问题。

2、根据本技术的一方面，提供了一种基于鱼眼相机的目标检测方法，所述方法包括：

3、获取待处理图像数据和多个鱼眼相机的参数信息；

4、基于所述待处理图像数据和所述多个鱼眼相机的参数信息进行深度估计处理得到深度图像特征和深度图；

5、对所述深度图像特征和所述深度图进行压缩处理得到压缩结果，以及基于所述多个鱼眼相机的参数信息生成映射矩阵；

6、根据所述压缩结果和所述映射矩阵进行俯视特征转换处理，得到俯视特征图；

7、对所述俯视特征图进行目标检测处理得到目标特征图。

8、在一种可能的实现方式中，所述获取待处理图像数据和多个鱼眼相机的参数信息，包括：

9、基于多个鱼眼相机同时进行图像采集，得到多个鱼眼相机各自对应的相机图像数据，对所述多个鱼眼相机各自对应的相机图像数据进行预处理，得到所述待处理图像数据；

10、获取每个鱼眼相机的内参参数、外参参数、图像增强变换参数和俯视增强变换参数；其中，所述内参参数为对相机坐标系和图像坐标系进行标定得到的，所述外参参数为对相机坐标系和车体坐标系进行标定得到的，所述图像增强变换参数用于对图像数据进行图像增强处理，所述俯视增强变换参数用于对图像数据进行俯视增强变换处理；

11、根据每个相机的内参参数、外参参数、图像增强变换参数和俯视增强变换参数，生成多个鱼眼相机的参数信息。

12、在一种可能的实现方式中，所述基于所述待处理图像数据和所述多个鱼眼相机的参数信息进行深度估计处理得到深度图像特征和深度图，包括：

13、获取目标网络，所述目标网络包括主干网络和检测头，所述主干网络包括深度估计子网络和特征转换子网络；

14、基于所述目标网络中的深度估计子网络对所述待处理图像数据和所述多个鱼眼相机的参数信息进行深度估计处理，生成深度图像特征和深度图；

15、相应地，所述对所述深度图像特征和所述深度图进行压缩处理得到压缩结果，以及基于所述多个鱼眼相机的参数信息生成映射矩阵；根据所述压缩结果和所述映射矩阵进行俯视特征转换处理，得到俯视特征图，包括：

16、基于所述目标网络中的特征转换子网络对所述深度图像特征和所述深度图进行压缩处理得到压缩结果，以及基于所述多个鱼眼相机的参数信息生成映射矩阵；根据所述压缩结果和所述映射矩阵进行俯视特征转换处理，得到俯视特征图；

17、相应地，所述对所述俯视特征图进行目标检测处理得到目标特征图，包括：

18、基于所述目标网络中的检测头对所述俯视特征图进行目标检测处理得到目标特征图。

19、在一种可能的实现方式中，目标网络还包括特征提取子网络，

20、在基于所述目标网络中的深度估计子网络对所述待处理图像数据和所述多个鱼眼相机的参数信息进行深度估计处理，生成深度图像特征和深度图之前，所述方法包括：

21、将待处理图像输入目标网络，以使所述目标网络中的特征提取子网络对所述待处理图像数据进行特征提取，得到图像特征；

22、相应地，所述基于所述目标网络中的深度估计子网络对所述待处理图像数据和所述多个鱼眼相机的参数信息进行深度估计处理，生成深度图像特征和深度图，包括：

23、基于所述目标网络中的深度估计子网络对所述待处理图像数据经过特征提取后的图像特征和所述多个鱼眼相机的参数信息进行深度估计处理，得到深度图像特征和深度图。

24、在一种可能的实现方式中，所述压缩结果包括压缩特征和压缩深度图，

25、所述基于所述目标网络中的特征转换子网络对所述深度图像特征和所述深度图进行压缩处理得到压缩结果，包括：

26、基于所述特征转换子网络对所述深度图像特征进行压缩处理，得到所述压缩特征；

27、基于所述特征转换子网络，根据所述深度图像特征对所述深度图进行压缩处理，得到所述压缩深度图；

28、基于所述特征转换子网络确定所述压缩特征和所述压缩深度图为所述压缩结果。

29、在一种可能的实现方式中，所述基于所述特征转换子网络对所述深度图像特征进行压缩处理，得到所述压缩特征，包括：

30、基于所述特征转换子网络对所述深度图像特征的垂直方向上的特征进行压缩处理，得到所述压缩特征。

31、在一种可能的实现方式中，所述基于所述特征转换子网络，根据所述深度图像特征对所述深度图进行压缩处理，得到所述压缩深度图，包括：

32、基于所述特征转换子网络对所述深度图像特征进行计算得到深度特征权重，基于所述深度特征权重对所述深度图进行加权处理，得到加权深度图；

33、基于所述特征转换子网络对所述加权深度图的垂直方向上的特征进行压缩处理，得到所述压缩深度图。

34、在一种可能的实现方式中，所述压缩结果包括压缩特征和压缩深度图，

35、所述根据所述压缩结果和所述映射矩阵进行俯视特征转换处理，得到俯视特征图，包括：

36、对所述映射矩阵进行分解，得到距离矩阵和方向矩阵；

37、对所述压缩结果中的压缩深度图和所述距离矩阵进行矩阵乘法运算，得到距离特征；

38、对所述方向矩阵和所述距离特征进行哈达玛积运算，得到深度权重；

39、对所述压缩结果中的压缩特征和所述深度权重进行矩阵乘法运算，得到俯视特征图。

40、在一种可能的实现方式中，所述目标网络的训练的方法包括：

41、获取初始目标网络，所述初始目标网络包括初始主干网络和初始检测头，所述初始主干网络包括初始深度估计子网络和初始特征转换子网络；

42、获取标注有标签的样本图像数据和多个鱼眼相机的参数信息，所述标签包括真值样本深度图和真值样本目标特征图；

43、将所述样本图像数据和所述多个鱼眼相机的参数信息输入所述初始目标网络中的初始深度估计子网络进行深度估计处理，生成预测样本深度图像特征和预测样本深度图；

44、基于所述样本图像数据的预测样本深度图和真值样本深度图的差异信息，计算得到交叉熵损失值；

45、将所述预测样本深度图像特征和所述预测样本深度图输入所述初始目标网络中的初始特征转换子网络，以使所述初始特征转换子网络对所述预测样本深度图像特征和所述预测样本深度图进行压缩处理得到压缩结果，以及基于所述多个鱼眼相机的参数信息生成映射矩阵；以及根据所述压缩结果和所述映射矩阵进行俯视特征转换处理，得到样本俯视特征图；

46、将所述样本俯视特征图输入所述初始目标网络中的初始检测头进行目标检测处理得到预测样本目标特征图；

47、基于所述样本图像数据的预测样本目标特征图和真值样本目标特征图的差异信息，计算得到目标损失值；

48、基于所述交叉熵损失值和所述目标损失值确定网络损失值，在所述网络损失值不满足预设条件时，基于所述网络损失值更新所述初始目标网络的网络参数，直至所述网络损失值满足预设条件时，确定得到目标网络。

49、在一种可能的实现方式中，所述真值样本目标特征图包括目标的中心坐标、中心高度、尺寸信息、方向角信息和热力图，所述预测样本目标特征图包括目标的预测中心坐标、预测中心高度、预测尺寸信息、预测方向角信息和预测热力图，

50、所述基于所述样本图像数据的预测样本目标特征图和真值样本目标特征图的差异信息，计算得到目标损失值，包括：

51、基于目标的预测中心坐标与目标的中心坐标的差异信息、预测中心高度与中心高度的差异信息、预测尺寸信息与尺寸信息的差异信息、预测方向角信息与方向角信息的差异信息得到所述绝对值损失值；

52、基于目标的热力图和目标的预测热力图的差异信息得到高斯焦点损失值；

53、将绝对值损失值和高斯焦点损失值进行累加，得到所述目标损失值。

54、在一种可能的实现方式中，所述初始目标网络还包括初始特征提取子网络，在所述将所述样本图像数据和所述多个鱼眼相机的参数信息输入所述初始目标网络中的初始深度估计子网络进行深度估计处理之前，所述方法还包括：

55、将所述样本图像数据输入所述初始目标网络，以使所述初始目标网络中的初始特征提取子网络对所述样本图像数据进行特征提取，得到样本图像特征；

56、相应地，所述将所述样本图像数据和所述多个鱼眼相机的参数信息输入所述初始目标网络中的初始深度估计子网络进行深度估计处理，包括：

57、基于所述初始目标网络中的初始深度估计子网络对所述样本图像数据经过特征提取后的样本图像特征和所述多个鱼眼相机的参数信息进行深度估计处理，得到深度图像特征和深度图。

58、另一方面，提供了一种基于鱼眼相机的目标检测装置，所述装置包括：

59、数据获取模块，用于获取待处理图像数据和多个鱼眼相机的参数信息；

60、深度估计模块，用于基于所述待处理图像数据和所述多个鱼眼相机的参数信息进行深度估计处理得到深度图像特征和深度图；

61、映射矩阵生成模块，用于对所述深度图像特征和所述深度图进行压缩处理得到压缩结果，以及基于所述多个鱼眼相机的参数信息生成映射矩阵；

62、特征转换模块，用于根据所述压缩结果和所述映射矩阵进行俯视特征转换处理，得到俯视特征图；

63、目标检测模块，用于对所述俯视特征图进行目标检测处理得到目标特征图。

64、在一种可能的实现方式中，所述数据获取模块，用于：

65、基于多个鱼眼相机同时进行图像采集，得到多个鱼眼相机各自对应的相机图像数据，对所述多个鱼眼相机各自对应的相机图像数据进行预处理，得到所述待处理图像数据；

66、获取每个鱼眼相机的内参参数、外参参数、图像增强变换参数和俯视增强变换参数；其中，所述内参参数为对相机坐标系和图像坐标系进行标定得到的，所述外参参数为对相机坐标系和车体坐标系进行标定得到的，所述图像增强变换参数用于对图像数据进行图像增强处理，所述俯视增强变换参数用于对图像数据进行俯视增强变换处理；

67、根据每个相机的内参参数、外参参数、图像增强变换参数和俯视增强变换参数，生成多个鱼眼相机的参数信息。

68、在一种可能的实现方式中，所述深度估计模块，用于：

69、获取目标网络，所述目标网络包括主干网络和检测头，所述主干网络包括深度估计子网络和特征转换子网络；

70、基于所述目标网络中的深度估计子网络对所述待处理图像数据和所述多个鱼眼相机的参数信息进行深度估计处理，生成深度图像特征和深度图；

71、相应地，所述特征转换模块，用于：

72、基于所述目标网络中的特征转换子网络对所述深度图像特征和所述深度图进行压缩处理得到压缩结果，以及基于所述多个鱼眼相机的参数信息生成映射矩阵；根据所述压缩结果和所述映射矩阵进行俯视特征转换处理，得到俯视特征图；

73、相应地，所述目标检测模块，用于：

74、基于所述目标网络中的检测头对所述俯视特征图进行目标检测处理得到目标特征图。

75、在一种可能的实现方式中，目标网络还包括特征提取子网络，所述深度估计模块，用于：

76、在基于所述目标网络中的深度估计子网络对所述待处理图像数据和所述多个鱼眼相机的参数信息进行深度估计处理，生成深度图像特征和深度图之前，所述方法包括：

77、将待处理图像输入目标网络，以使所述目标网络中的特征提取子网络对所述待处理图像数据进行特征提取，得到图像特征；

78、相应地，所述深度估计模块，用于：

79、基于所述目标网络中的深度估计子网络对所述待处理图像数据经过特征提取后的图像特征和所述多个鱼眼相机的参数信息进行深度估计处理，得到深度图像特征和深度图。

80、在一种可能的实现方式中，所述压缩结果包括压缩特征和压缩深度图，所述映射矩阵生成模块，用于：

81、基于所述特征转换子网络对所述深度图像特征进行压缩处理，得到所述压缩特征；

82、基于所述特征转换子网络，根据所述深度图像特征对所述深度图进行压缩处理，得到所述压缩深度图；

83、基于所述特征转换子网络确定所述压缩特征和所述压缩深度图为所述压缩结果。

84、在一种可能的实现方式中，所述映射矩阵生成模块，用于：

85、基于所述特征转换子网络对所述深度图像特征的垂直方向上的特征进行压缩处理，得到所述压缩特征。

86、在一种可能的实现方式中，所述映射矩阵生成模块，用于：

87、基于所述特征转换子网络对所述深度图像特征进行计算得到深度特征权重，基于所述深度特征权重对所述深度图进行加权处理，得到加权深度图；

88、基于所述特征转换子网络对所述加权深度图的垂直方向上的特征进行压缩处理，得到所述压缩深度图。

89、在一种可能的实现方式中，所述压缩结果包括压缩特征和压缩深度图，所述特征转换模块，用于：

90、对所述映射矩阵进行分解，得到距离矩阵和方向矩阵；

91、对所述压缩结果中的压缩深度图和所述距离矩阵进行矩阵乘法运算，得到距离特征；

92、对所述方向矩阵和所述距离特征进行哈达玛积运算，得到深度权重；

93、对所述压缩结果中的压缩特征和所述深度权重进行矩阵乘法运算，得到俯视特征图。

94、在一种可能的实现方式中，所述深度估计模块包括目标网络训练单元，用于：

95、获取初始目标网络，所述初始目标网络包括初始主干网络和初始检测头，所述初始主干网络包括初始深度估计子网络和初始特征转换子网络；

96、获取标注有标签的样本图像数据和多个鱼眼相机的参数信息，所述标签包括真值样本深度图和真值样本目标特征图；

97、将所述样本图像数据和所述多个鱼眼相机的参数信息输入所述初始目标网络中的初始深度估计子网络进行深度估计处理，生成预测样本深度图像特征和预测样本深度图；

98、基于所述样本图像数据的预测样本深度图和真值样本深度图的差异信息，计算得到交叉熵损失值；

99、将所述预测样本深度图像特征和所述预测样本深度图输入所述初始目标网络中的初始特征转换子网络，以使所述初始特征转换子网络对所述预测样本深度图像特征和所述预测样本深度图进行压缩处理得到压缩结果，以及基于所述多个鱼眼相机的参数信息生成映射矩阵；以及根据所述压缩结果和所述映射矩阵进行俯视特征转换处理，得到样本俯视特征图；

100、将所述样本俯视特征图输入所述初始目标网络中的初始检测头进行目标检测处理得到预测样本目标特征图；

101、基于所述样本图像数据的预测样本目标特征图和真值样本目标特征图的差异信息，计算得到目标损失值；

102、基于所述交叉熵损失值和所述目标损失值确定网络损失值，在所述网络损失值不满足预设条件时，基于所述网络损失值更新所述初始目标网络的网络参数，直至所述网络损失值满足预设条件时，确定得到目标网络。

103、在一种可能的实现方式中，所述真值样本目标特征图包括目标的中心坐标、中心高度、尺寸信息、方向角信息和热力图，所述预测样本目标特征图包括目标的预测中心坐标、预测中心高度、预测尺寸信息、预测方向角信息和预测热力图，

104、所述目标网络训练单元，用于：

105、基于目标的预测中心坐标与目标的中心坐标的差异信息、预测中心高度与中心高度的差异信息、预测尺寸信息与尺寸信息的差异信息、预测方向角信息与方向角信息的差异信息得到所述绝对值损失值；

106、基于目标的热力图和目标的预测热力图的差异信息得到高斯焦点损失值；

107、将绝对值损失值和高斯焦点损失值进行累加，得到所述目标损失值。

108、在一种可能的实现方式中，所述初始目标网络还包括初始特征提取子网络，在所述将所述样本图像数据和所述多个鱼眼相机的参数信息输入所述初始目标网络中的初始深度估计子网络进行深度估计处理之前，所述目标网络训练单元还用于：

109、将所述样本图像数据输入所述初始目标网络，以使所述初始目标网络中的初始特征提取子网络对所述样本图像数据进行特征提取，得到样本图像特征；

110、相应地，所述将所述样本图像数据和所述多个鱼眼相机的参数信息输入所述初始目标网络中的初始深度估计子网络进行深度估计处理，包括：

111、基于所述初始目标网络中的初始深度估计子网络对所述样本图像数据经过特征提取后的样本图像特征和所述多个鱼眼相机的参数信息进行深度估计处理，得到深度图像特征和深度图。

112、另一方面，提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述任一方面的基于鱼眼相机的目标检测方法。

113、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如上述任一方面的基于鱼眼相机的目标检测方法。

114、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述任一方面的基于鱼眼相机的目标检测方法。

115、本技术实施例通过获取待处理图像数据和多个鱼眼相机的参数信息，基于所述待处理图像数据和所述多个鱼眼相机的参数信息进行深度估计处理得到深度图像特征和深度图；对所述深度图像特征和所述深度图进行压缩处理得到压缩结果，以及基于所述多个鱼眼相机的参数信息生成映射矩阵；根据所述压缩结果和所述映射矩阵进行俯视特征转换处理，得到俯视特征图；对所述俯视特征图进行目标检测处理得到目标特征图，以感知自动驾驶场景下的车辆周围的目标，解决了自动驾驶中感知算法的运行效率的问题，将鱼眼相机采集的图像数据从图像空间到bev空间的映射过程建模为矩阵乘法，自主学习该映射关系，减小了检测过程的计算量，降低了对硬件资源的消耗，提高了自动驾驶场景下的车辆周围的目标的实时检测效率。