基于多传感器的目标检测方法、装置、设备及存储介质与流程

本技术涉及汽车自动驾驶，尤其涉及一种基于多传感器的目标检测方法、装置、设备及存储介质。

背景技术：

1、目前，随着自动驾驶技术的发展，人们对于自动驾驶车辆的感知系统愈发重视。其中车辆的目标检测功能是自动驾驶系统的重要部分，目前通常是采用雷达传感器和视觉传感器的融合和协作，实现车辆的目标检测功能。

2、相关技术中，基于多传感器的目标检测方案通常是将不同模态的特征数据转换到bev特征空间下后，对于相同位置编码的bev patch特征，采取对应位置直接级联的操作，实现多传感器特征融合的目标检测。但是该方案忽略了不同模态的特征数据转换到bev特征空间下后，同一特征在bev下的位置不一致，直接级联会导致目标检测的准确度低。

技术实现思路

1、本技术的主要目的在于提供一种基于多传感器的目标检测方法、装置、设备及存储介质，旨在解决现有技术中目标检测的准确度低的技术问题。

2、为实现以上目的，本技术提供一种基于多传感器的目标检测方法，所述基于多传感器的目标检测方法包括：

3、获取目标物体的点云特征和图像特征；

4、分别将所述点云特征和所述图像特征转换至鸟瞰bev视图，得到第一bev视图特征和第二bev视图特征；

5、将所述第一bev视图特征和所述第二bev视图特征进行交叉注意力特征融合处理，得到融合特征；

6、对所述融合特征进行双级融合的目标检测，得到所述目标物体的双级融合目标检测结果。

7、可选地，所述将所述第一bev视图特征和所述第二bev视图特征进行交叉注意力特征融合处理，得到融合特征的步骤，包括：

8、基于所述第一bev视图特征和所述第二bev视图特征，通过预设数量的不同尺度的池化层进行池化处理，得到所述第一bev视图特征对应的第一初始特征向量和所述第二bev视图特征对应的第二初始特征向量；

9、将所述第一初始特征向量和所述第二初始特征向量进行跨模态串联，得到交叉注意力特征向量；

10、分别将所述第一bev视图特征和所述第二bev视图特征，与所述交叉注意力特征向量进行加权计算，得到点云加权特征和图像加权特征，并将所述点云加权特征和所述图像加权特征进行特征级联，得到融合特征。

11、可选地，所述分别将所述点云特征和所述图像特征转换至鸟瞰bev视图，得到第一bev视图特征和第二bev视图特征的步骤，包括：

12、基于预设的点云注意力模块，确定所述点云特征的点云注意力特征图，并基于预设的图像注意力模块，确定所述图像特征的图像注意力特征图；

13、获取所述点云特征的第一位置编码和所述图像特征的第二位置编码；

14、基于所述点云注意力特征图和所述第一位置编码，对预设的初始点云bev视图进行特征嵌入，得到第一bev视图特征；将所述第二位置编码进行坐标转换，得到第三位置编码，并基于所述图像注意力特征图和所述第三位置编码，对预设的初始图像bev视图进行特征嵌入，得到第二bev视图特征。

15、可选地，所述对所述融合特征进行双级融合目标检测，得到所述目标物体的双级融合目标检测结果的步骤，包括：

16、对所述融合特征进行检测，得到特征级融合目标检测结果；

17、对所述点云特征进行检测，得到点云目标检测结果；

18、将所述特征级融合目标检测结果和所述点云目标检测结果进行目标级融合，得到所述目标物体的双级融合目标检测结果。

19、可选地，所述将所述特征级融合目标检测结果和所述点云目标检测结果进行目标级融合，得到所述目标物体的双级融合目标检测结果的步骤，包括：

20、基于预设的多层感知机，对所述特征级融合目标检测结果和所述点云目标检测结果进行关联匹配，得到各目标的关联分数；

21、基于所述关联分数，对所述特征级融合目标检测结果进行加权矫正，得到所述目标物体的双级融合目标检测结果。

22、可选地，所述基于预设的多层感知机，对所述特征级融合目标检测结果和所述点云目标检测结果进行关联匹配，得到各目标的关联分数的步骤，包括：

23、将所述特征级融合目标检测结果和所述点云目标检测结果进行配对拼接，得到拼接后的特征矩阵；

24、基于所述拼接后的特征矩阵，通过预设的多层感知机中的关联分数预测算法进行目标关联分数预测，得到各目标的关联分数，其中所述关联分数预测算法如下：

25、

26、其中，f(·)表示目标合并操作，表示点云特征输出的第i个目标，为融合特征输出的第j个目标。

27、可选地，所述基于所述关联分数，对所述特征级融合目标检测结果进行加权矫正，得到所述目标物体的双级融合目标检测结果的步骤，包括：

28、将所述关联分数进行归一化，得到各目标的关联权重；

29、选取各目标的所述关联权重中最高的目标权重，并基于所述目标权重对所述特征级融合目标检测结果进行加权矫正，得到所述目标物体的双级融合目标检测结果。

30、本技术还提供一种基于多传感器的目标检测装置，所述基于多传感器的目标检测装置包括：

31、获取模块，用于获取目标物体的点云特征和图像特征；

32、转换模块，用于分别将所述点云特征和所述图像特征转换至鸟瞰bev视图，得到第一bev视图特征和第二bev视图特征；

33、融合模块，用于将所述第一bev视图特征和所述第二bev视图特征进行交叉注意力特征融合处理，得到融合特征；

34、检测模块，用于对所述融合特征进行双级融合的目标检测，得到所述目标物体的双级融合目标检测结果。

35、和/或者，所述融合模块，包括：池化模块，用于基于所述第一bev视图特征和所述第二bev视图特征，通过预设数量的不同尺度的池化层进行池化处理，得到所述第一bev视图特征对应的第一初始特征向量和所述第二bev视图特征对应的第二初始特征向量；跨模态串联模块，用于将所述第一初始特征向量和所述第二初始特征向量进行跨模态串联，得到交叉注意力特征向量；特征级联模块，用于分别将所述第一bev视图特征和所述第二bev视图特征，与所述交叉注意力特征向量进行加权计算，得到点云加权特征和图像加权特征，并将所述点云加权特征和所述图像加权特征进行特征级联，得到融合特征；

36、和/或者，所述转换模块，包括：注意力特征图确定模块，用于基于预设的点云注意力模块，确定所述点云特征的点云注意力特征图，并基于预设的图像注意力模块，确定所述图像特征的图像注意力特征图；位置编码获取模块，用于获取所述点云特征的第一位置编码和所述图像特征的第二位置编码；特征嵌入模块，用于基于所述点云注意力特征图和所述第一位置编码，对预设的初始点云bev视图进行特征嵌入，得到第一bev视图特征；将所述第二位置编码进行坐标转换，得到第三位置编码，并基于所述图像注意力特征图和所述第三位置编码，对预设的初始图像bev视图进行特征嵌入，得到第二bev视图特征；

37、和/或者，所述检测模块，包括：第一检测模块，用于对所述融合特征进行检测，得到特征级融合目标检测结果；第二检测模块，用于对所述点云特征进行检测，得到点云目标检测结果；双级融合模块，用于将所述特征级融合目标检测结果和所述点云目标检测结果进行目标级融合，得到所述目标物体的双级融合目标检测结果。

38、和/或者，所述双级融合模块，包括：关联匹配模块，用于基于预设的多层感知机，对所述特征级融合目标检测结果和所述点云目标检测结果进行关联匹配，得到各目标的关联分数；加权矫正模块，用于基于所述关联分数，对所述特征级融合目标检测结果进行加权矫正，得到所述目标物体的双级融合目标检测结果；

39、和/或者，所述关联匹配模块，包括：配对拼接模块，用于将所述特征级融合目标检测结果和所述点云目标检测结果进行配对拼接，得到拼接后的特征矩阵；目标关联分数预测模块，用于基于所述拼接后的特征矩阵，通过预设的多层感知机中的关联分数预测算法进行目标关联分数预测，得到各目标的关联分数，其中所述关联分数预测算法如下：

40、

41、其中，f(·)表示目标合并操作，表示点云特征输出的第i个目标，为融合特征输出的第j个目标。

42、和/或者，所述加权矫正模块，包括：归一化模块，用于将所述关联分数进行归一化，得到各目标的关联权重；目标权重选取模块，用于选取各目标的所述关联权重中最高的目标权重，并基于所述目标权重对所述特征级融合目标检测结果进行加权矫正，得到所述目标物体的双级融合目标检测结果。

43、本技术还提供一种基于多传感器的目标检测设备，所述基于多传感器的目标检测设备包括：存储器、处理器以及存储在存储器上的用于实现所述基于多传感器的目标检测方法的程序，

44、所述存储器用于存储实现基于多传感器的目标检测方法的程序；

45、所述处理器用于执行实现所述基于多传感器的目标检测方法的程序，以实现所述基于多传感器的目标检测方法的步骤。

46、本技术还提供一种存储介质，所述存储介质上存储有实现基于多传感器的目标检测方法的程序，所述实现基于多传感器的目标检测方法的程序被处理器执行以实现所述基于多传感器的目标检测方法的步骤。

47、本技术在将所述点云特征和所述图像特征转换至鸟瞰bev视图后，对不同模态的第一bev视图特征和第二bev视图特征进行交叉注意力特征融合处理，通过交叉注意力的特征加权融合，降低同一特征在bev下的位置不一致性，以此提高目标检测的准确度。