驾驶系统多传感器感知融合方法、设备及存储介质与流程

本技术涉及车辆驾驶技术，尤其涉及一种驾驶系统多传感器感知融合方法、设备及存储介质。

背景技术：

1、随着车辆驾驶技术的不断发展，多传感器融合技术能够将车辆上的多个不同传感器数据进行整合处理，高阶智能驾驶系统融合感知模块将不同传感器感知的检测目标进行加权融合，以输出更加精准的目标状态，亦即多传感器融合能够利用各传感器的特性，发挥传感器的优点，从而将各自传感器的又是最大化并且有效规避不足，以应对天气恶劣或环境复杂情况。

2、现有技术中的多传感器融合方案，对于各传感器融合权重无法学习自动调节，只能通过经验值提前设置，因此在进行环境感知过程中，遇到传感器故障或感知性能下降的意外情况，以及针对不同类型目标传感器感知精度不同时，不能够根据发生故障或感知性能下降后传感器检测数据获取准确的融合数据，融合感知性能和鲁棒性较低。

3、因此现有技术针对传感器故障或感知性能下降的意外情况以及不同类型目标传感器感知精度不同时，在融合感知性能和鲁棒性较低的方面仍有所欠缺。

技术实现思路

1、本技术提供一种驾驶系统多传感器感知融合方法、设备及存储介质，用以解决现有技术在传感器故障或感知性能下降或者不同类型目标传感器感知精度不同时，融合感知性能和鲁棒性较低的问题。

2、第一方面，本技术提供一种驾驶系统多传感器感知融合方法，包括：

3、通过各车载传感器获取周围各目标物的检测数据，所述检测数据包括第一图像数据和点云数据，通过对各目标物的所述第一图像数据和点云数据的联合标注，获取各目标物的真值；

4、将各目标物的所述点云数据统一转换至所述第一图像数据所在的图像坐标中，以获取各目标物当前帧的第二图像数据，基于各目标物的所述第二图像数据，通过卡尔曼滤波算法和匈牙利指派算法获取多个目标状态方差，所述目标状态方差用于指示跟踪对应目标物的检测框；

5、将多个所述目标状态方差和对应目标物的所述真值，输入网络模型进行训练，获取真值预测模型后，获取新的多个目标状态方差，并将所述新的多个目标状态方差输入所述真值预测模型，获取对应的目标融合真值，以指示各目标物的参数信息。

6、在一种可能的设计中，所述通过卡尔曼滤波算法和匈牙利指派算法获取多个目标状态方差，包括：

7、获取上一帧中各目标物的历史状态估计值，根据各目标物的所述历史状态估计值获取当前状态估计值，所述历史状态估计值用于指示上一帧中各目标物的检测框，所述当前状态估计值用于指示当前各目标物的预测检测框；

8、获取当前各目标物的跟踪检测框，根据各目标物的所述预测检测框和对应的跟踪检测框获取对应的交并比，并根据各所述交并比，通过匈牙利指派算法获取对应的匹配结果，所述匹配结果用于指示各所述跟踪检测框与所述预测检测框所跟踪的目标物为同一目标物；

9、根据各所述匹配结果获取各目标物的观测值，并根据各目标物的所述观测值获取对应的目标状态方差。

10、在一种可能的设计中，所述根据各目标物的所述观测值获取对应的目标状态方差，包括：

11、根据各目标物的所述观测值计算对应的卡尔曼增益、最优状态估计值和新的协方差，其中，所述最优状态估计值用于指示下一帧中各目标物的检测框，所述新的协方差用于指示各目标物检测框的目标状态方差，所述目标状态方差包括各目标物检测框的纵向位置、横向位置、宽度和高度。

12、在一种可能的设计中，所述通过对各目标物的图像数据和点云数据的联合标注，获取各目标物的真值，包括：

13、通过雷达和相机之间的外参标定算法，添加初始化模块、自动提取点云角点模块，实现对点云数据和图像数据的参数标定，并根据标定后的数据，获取各目标物的真值；

14、通过时间同步器将各车载传感器检测到的第一图像数据和点云数据进行时间同步，并统一至所述图像坐标下。

15、在一种可能的设计中，所述获取各目标物的第二图像数据前，还包括：

16、在多个不同的车载传感器中获取多个检测偏差组，所述检测偏差组用于指示对同一目标物进行检测的两个车载传感器，获取所述检测偏差组中两个车载传感器的检测数据的差值，作为对应两个车载传感器的观测值偏差；

17、根据针对不同目标物的多个检测偏差组对应的观测值偏差构建误差矩阵，并根据所述误差矩阵获取信任度矩阵。

18、在一种可能的设计中，所述据所述误差矩阵获取信任度矩阵，包括：

19、检测所述误差矩阵中的各观测值偏差是否大于阈值，其中，若观测值偏差大于阈值，将该观测值偏差标记为不信任观测值偏差，若观测值偏差小于阈值，将该观测值偏差标记为信任观测值偏差，并根据标记后的不信任观测值偏差和信任观测值偏差构建信任度矩阵；

20、在所述信任度矩阵中，获取与各车载传感器对应的信任观测值偏差的数量，作为各车载传感器的信任偏差数量，并根据各车载传感器的所述信任偏差数量获取合格检测数据，其中，检测偏差组对应的信任观测值偏差的数量，与检测偏差组中两个车载传感器的信任观测值偏差的数量对应。

21、在一种可能的设计中，所述根据各车载传感器的所述信任偏差数量获取合格检测数据，包括：

22、将各车载传感器的所述信任偏差数量与预设信任数量进行比较，若各车载传感器的所述信任观测值偏差的数量小于所述预设信任数量，将该车载传感器的检测数据标记为不合格检测数据，并删除所述不合格检测数据，以剔除各车载传感器获取的检测数据中的异常数据；

23、若车载传感器的所述信任观测值偏差的数量大于所述预设信任数量，将该车载传感器的检测数据标记为合格检测数据，并根据各目标物的所述合格检测数据获取所述第二图像数据。

24、第二方面，本技术提供一种驾驶系统多传感器感知融合装置，包括：

25、获取模块，用于通过各车载传感器获取周围各目标物的检测数据，所述检测数据包括第一图像数据和点云数据，通过对各目标物的所述第一图像数据和点云数据的联合标注，获取各目标物的真值；

26、处理模块，用于将各目标物的所述点云数据统一转换至所述第一图像数据所在的图像坐标中，以获取各目标物的第二图像数据，基于各目标物的所述第二图像数据，通过卡尔曼滤波算法和匈牙利指派算法获取多个目标状态方差，所述目标状态方差用于指示跟踪对应目标物的检测框；

27、执行模块，用于将多个所述目标状态方差和对应目标物的所述真值，输入网络模型进行训练，获取真值预测模型后，获取新的多个目标状态方差，并将所述新的多个目标状态方差输入所述真值预测模型，获取对应的目标融合真值，以指示各目标物的参数信息。

28、第三方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

29、所述存储器存储计算机执行指令；

30、所述处理器执行所述存储器存储的计算机执行指令，以实现驾驶系统多传感器感知融合方法。

31、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现驾驶系统多传感器感知融合方法。

32、本技术提供的驾驶系统多传感器感知融合方法、设备及存储介质，通过对各车载传感器获取的周围各目标物的图像数据和点云数据进行联合标注，获取各目标物的真值，将各目标物的点云数据转换至统一的图像坐标中，并基于转换后的各目标物的图像数据，通过卡尔曼滤波算法和匈牙利指派算法获取用于指示跟踪对应目标物的检测框的多个目标状态方差，并根据多个目标状态方差和对应目标物的真值，训练获取真值预测模型，并将新获取的多个目标状态方差输入真值预测模型中，获取对应的目标融合真值，以指示各目标物的参数信息，使得在传感器发生故障或者各传感器感知精度不同时，将对应传感器生成的检测框参数输入至真值预测模型，依然能够获取准确获取各目标物的真值，从而避免融合性能的下降，提高多传感器融合的鲁棒性。