一种车载传感器数据与卫片影像数据特征融合方法及系统与流程

本发明属于高精度地图领域，尤其涉及一种车载传感器数据与卫片影像数据特征融合方法及系统。

背景技术：

1、车载传感器数据和卫片影像数据在众包高精度地图的制作流程中发挥着十分重要的作用，两者都能够为高精度地图制作提供很多关键数据。目前，高精度地图的制作大多是单一的使用某一种数据，或分开使用两种数据，比如先基于车载传感器进行地图构建，然后通过卫片影像进行调整。然而，由于两种数据都存在一定缺陷，车载传感器难以处理复杂的十字路口及前方障碍物遮挡的场景，而卫片影像会受到高大植被或建筑物阴影遮挡，导致实际高精度地图制作效率较低，且容易出现错误。

技术实现思路

1、有鉴于此，本发明实施例提供了一种车载传感器数据与卫片影像数据特征融合方法及系统，用于解决现有高精度地图制作效率低，且会存在错误的问题。

2、在本发明实施例的第一方面，提供了一种车载传感器数据与卫片影像数据特征融合方法，包括：

3、获取车载传感器采集区域的卫片影像数据；

4、通过多层感知机和逆透视变换提取车载传感器图像特征得到第一特征，并通过unet网络和fpn网络提取卫片影像数据特征得到第二特征；

5、基于位置嵌入调整图像中不同位置的融合权重，并通过线性投影学习第一特征得到注意力网络q值、学习第二特征得到注意力网络k值和v值；

6、将第二特征中的分割掩码和距离掩码作为注意力掩码，基于注意力掩码过滤卫片影像数据中的干扰信息，并基于带掩码的交叉注意力机制对第一特征进行提取，得到第三特征；

7、将第二特征与第三特征位置对齐，将对齐后的第二特征和第三特征融合。

8、在本发明实施例的第二方面，提供了一种车载传感器数据与卫片影像数据特征融合系统，包括：

9、数据获取模块，用于获取车载传感器采集区域的卫片影像数据；

10、特征提取模块，用于通过多层感知机和逆透视变换提取车载传感器图像特征得到第一特征，并通过unet网络和fpn网络提取卫片影像数据特征得到第二特征；

11、特征学习模块，用于基于位置嵌入调整图像中不同位置的融合权重，并通过线性投影学习第一特征得到注意力网络q值、学习第二特征得到注意力网络k值和v值；

12、过滤提取模块，用于将第二特征中的分割掩码和距离掩码作为注意力掩码，基于注意力掩码过滤卫片影像数据中的干扰信息，并基于带掩码的交叉注意力机制对第一特征进行提取，得到第三特征；

13、对齐融合模块，用于将第二特征与第三特征位置对齐，将对齐后的第二特征和第三特征融合。

14、在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

15、在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

16、本发明实施例中，通过分别对车载传感器图像和卫片影像进行特征提取，基于位置嵌入调整图像中不同位置的融合权重，并通过线性投影学习特征得到注意力网络对应的q值、k值和v值；基于注意力掩码过滤卫片影像数据中的干扰信息，并基于带掩码的交叉注意力机制对传感器图像特征进行提取，将传感器图像特征与卫片影像特征进行位置对齐，将对齐后的特征融合，从而实现车载传感器图像与卫片影像的bev级融合，提高了高精度地图制作效率，并能保障高精度地图制作的准确性和可靠性。

技术特征：

1.一种车载传感器数据与卫片影像数据特征融合方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取车载传感器采集区域的卫片影像数据还包括：

3.根据权利要求1所述的方法，其特征在于，所述将第二特征中的分割掩码和距离掩码作为注意力掩码，基于注意力掩码过滤卫片影像数据中的干扰信息，并基于带掩码的交叉注意力机制对第一特征进行提取，得到第三特征包括：

4.根据权利要求1所述的方法，其特征在于，所述将第二特征与第三特征位置对齐包括：

5.一种车载传感器数据与卫片影像数据特征融合系统，其特征在于，包括：

6.根据权利要求5所述的系统，其特征在于，所述数据获取模块还包括：

7.根据权利要求5所述的系统，其特征在于，所述将第二特征中的分割掩码和距离掩码作为注意力掩码，基于注意力掩码过滤卫片影像数据中的干扰信息，并基于带掩码的交叉注意力机制对第一特征进行提取，得到第三特征包括：

8.根据权利要求5所述的系统，其特征在于，所述将第二特征与第三特征位置对齐包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的一种车载传感器数据与卫片影像数据特征融合方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至4任一项所述的一种车载传感器数据与卫片影像数据特征融合方法的步骤。

技术总结
本发明提供一种车载传感器数据与卫片影像数据特征融合方法及系统，该方法包括：获取车载传感器采集区域的卫片影像；通过多层感知机和逆透视变换提取车载传感器图像特征得到第一特征，并通过UNet网络和FPN网络提取卫片影像特征得到第二特征；基于位置嵌入调整图像中不同位置的融合权重，并通过线性投影学习得到注意力网络Q值、K值和V值；将第二特征中的分割掩码和距离掩码作为注意力掩码过滤卫片影像数据中的干扰信息，基于带掩码的交叉注意力机制对第一特征进行提取，得到第三特征；将第二特征与第三特征位置对齐，将对齐后的第二特征和第三特征融合。通过该方案可以实现车载传感器图像与卫片影像的特征融合，提高高精度地图制作效率和质量。

技术研发人员：尹玉成,蔡晨,石涤文,王一鹏,张志军
受保护的技术使用者：武汉中海庭数据技术有限公司
技术研发日：
技术公布日：2024/4/17