一种基于多模态传感器融合的故障检测方法及装置与流程

本申请涉及自动驾驶，尤其涉及一种基于多模态传感器融合的故障检测方法及装置。

背景技术：

1、轮速传感器作为自动驾驶系统的重要传感器，在车速测量方面具有直观性、实用性。自动驾驶系统中广泛应用的磁电轮速传感器在成本上较为经济，但其可靠性较差、灵敏度较低，常常出现诸如无输出、跳数、偏置、打滑、噪声大等异常情况。例如，出现无输出或跳数问题，无法准确获取真实车速；偏置问题会导致测量车速与真实车速存在偏差；打滑问题会使得轮速传感器无法准确测量车辆在低摩擦路面上的实际速度。

2、目前存在的轮速传感器故障检测方法基于轮速传感器输出脉冲信号的连续性以及和与发动机转速的关系来检测异常情况。然而这种方法过于简单粗糙，对异常轮速的辨识非常有限。

技术实现思路

1、有鉴于此，本申请实施例提供了一种基于多模态传感器融合的故障检测方法及装置，能够提高故障检测的经济性、准确性、鲁棒性和适配性。

2、本申请实施例的技术方案是这样实现的：

3、第一方面，本申请实施例提供一种基于多模态传感器融合的故障检测方法，所述方法包括：

4、针对目标车辆的多个传感器中的每个传感器，获取第一基础信息；

5、对所述第一基础信息进行预处理，得到第二基础信息；

6、基于所述第二基础信息，计算所述传感器对应的解算数据；

7、对所述多个传感器分别对应的解算数据进行预测，以剔除所述多个传感器中的故障数据，并基于未故障数据显示所述目标车辆的车辆状态。

8、第二方面，本申请实施例还提供一种基于多模态传感器融合的故障检测装置，所述装置包括：

9、获取模块，用于针对目标车辆的多个传感器中的每个传感器，获取第一基础信息；

10、处理模块，用于对所述第一基础信息进行预处理，得到第二基础信息；

11、解算模块，用于基于所述第二基础信息，计算所述传感器对应的解算数据；

12、预测模块，用于对所述多个传感器分别对应的解算数据进行预测，以剔除所述多个传感器中的故障数据，并基于未故障数据显示所述目标车辆的车辆状态。

13、第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的基于多模态传感器融合的故障检测方法。

14、本申请实施例具有以下有益效果：

15、(1)经济性：本申请中的多个传感器可以使用车辆现有传感器，如惯性测量单元(imu)、差分卫星(rtk-gnss)、激光雷达(lidar)和相机等，不增设传感器、不升级传感器，以控制成本。

16、(2)准确性：通过整合和利用现有传感器特性，能够及时识别轮速传感器的无输出、跳数、偏置、打滑、噪声等异常情况，并将这些异常信息过滤在导航解算之外，从而确保车速检测的准确性。通过观测多类传感器的速度、动态自适应调整权重的方法，不仅能准确的识别车辆是否发生打滑，还可对轮速偏置的补偿和校正提供一定的数据参考。

17、(3)鲁棒性：各传感器的解算过程相对独立。这意味着即使某些传感器失效，系统仍能正常工作。通过降低传感器之间的耦合性，使系统的容错能力大幅提高。此外，不同传感器提供的信息具有互补性。

18、(4)适配性：各传感器可以独立调整和配置，以适应各类场景的需求。如果需要，还可以通过扩展模块实现额外的功能。这种灵活、可扩展的能力，使得系统能够适配各种不同的场景，并随着需求的变化进行功能扩展。

技术特征：

1.一种基于多模态传感器融合的故障检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述多个传感器包括轮速传感器wss、惯性测量单元imu、差分卫星传感器rtk-gnss、激光雷达lidar和相机，其中，

3.根据权利要求1所述的方法，其特征在于，所述多个传感器包括轮速传感器wss、惯性测量单元imu、差分卫星传感器rtk-gnss、激光雷达lidar和相机；

4.根据权利要求1所述的方法，其特征在于，所述多个传感器包括轮速传感器wss、惯性测量单元imu、差分卫星传感器rtk-gnss、激光雷达lidar和相机；

5.根据权利要求1所述的方法，其特征在于，所述对所述多个传感器分别对应的解算数据进行预测，以剔除所述多个传感器中的故障数据，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述多个传感器分别对应的解算数据进行预测，以剔除所述多个传感器中的故障数据，包括：

7.根据权利要求1所述的方法，其特征在于，所述对所述多个传感器分别对应的解算数据进行预测，以剔除所述多个传感器中的故障数据，包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

9.一种基于多模态传感器融合的故障检测装置，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至8任一项所述的基于多模态传感器融合的故障检测方法。

技术总结
本申请提供了一种基于多模态传感器融合的故障检测方法及装置，该方法包括：针对目标车辆的多个传感器中的每个传感器，获取第一基础信息；对第一基础信息进行预处理，得到第二基础信息；基于第二基础信息，计算传感器对应的解算数据；对多个传感器分别对应的解算数据进行预测，以剔除多个传感器中的故障数据，并基于未故障数据显示目标车辆的车辆状态。本申请能够提高故障检测的经济性、准确性、鲁棒性和适配性。

技术研发人员：李昂,赵雪江,刘羿,何贝
受保护的技术使用者：北京斯年智驾科技有限公司
技术研发日：
技术公布日：2024/1/16