自动驾驶感知系统冗余校验方法、系统和装置与流程

本发明涉及智能驾驶，特别涉及一种自动驾驶感知系统冗余校验方法、系统和装置。

背景技术：

1、当前智能汽车已成为全球汽车产业发展的战略方向，而自动驾驶技术是智能汽车发展的核心技术。自动驾驶技术中包括感知算法，决策规划算法，控制算法，定位算法等功能模块，其中环境感知是自动驾驶的首要环节，是车辆和环境交互的纽带，是其他算法模块的基础。一个自动驾驶系统整体表现的好坏，很大程度上都取决于感知系统的好坏，感知系统的功能包括但不限于目标识别、2d/3d目标检测、语义分割、目标跟踪、自由空间分割等，这些都依赖于安装在车辆上的传感器从环境中采集的原始数据。

2、现有自动驾驶技术中环境感知方法分别对激光雷达(lidar)和相机(camera)捕获的点云、图像数据进行感知任务，实现前景提取，这种仅通过单模态数据的感知会有一定的缺陷，例如，相机捕获的数据主要在视野前的较低位置，在复杂场景中物体可能会被遮挡，给目标检测和语义分割带来严峻挑战。另外，受限于机械结构，激光雷达在不同距离具有不同的分辨率，而且容易受到大雾和暴雨等极端天气的影响。单模态数据感知的缺陷使得自动驾驶过程中对环境感知的准确性变差，在某些情况下无法准确感知到准确的环境信息，无法准确感知到环境中的目标物，不能准确预知危险，影响自动驾驶的安全性。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种自动驾驶感知系统冗余校验方法、系统和装置。

2、本发明实施例提供一种自动驾驶感知系统冗余校验方法，包括：

3、从多个传感器数据源获取多模态数据；

4、基于预先建立的车辆坐标系，对所述多模态数据进行对齐；

5、对对齐后的多模态数据并行执行前融合和后融合，所述前融合包括对所述对齐后的多模态数据进行前期数据融合处理，得到数据融合后的传感器数据；所述后融合包括将从所述对齐后的多模态数据中检测到的目标物体进行后期目标级融合，得到目标物体融合的传感器数据；

6、基于数据融合后的传感器数据和目标物体融合的传感器数据进行数据校验和合并处理，得到传感器感知数据。

7、在一些可选的实施例中，所述基于预先建立的车辆坐标系，对所述多模态数据进行对齐，包括：

8、以车辆两后轮之间轴线的中点为坐标原点，所述轴线和垂直于轴线的线为横纵坐标轴，建立车辆坐标系；

9、对不同传感器数据源的数据分别进行坐标变换，变换到车辆坐标系中，实现所述多模态数据的对齐。

10、在一些可选的实施例中，对所述对齐后的多模态数据进行前期数据融合处理，得到数据融合后的传感器数据，包括：

11、对图像传感器获取到的图像数据和点云设备获取到的点云数据进行时间和空间同步处理；

12、从所述图像数据中识别出二维目标物体，并确定二维目标物体的边界；

13、根据二维目标物体的边界，将识别出二维目标物体的图像数据组合到点云数据中，得到数据融合后的传感器数据。

14、在一些可选的实施例中，将从所述对齐后的多模态数据中检测到的目标物体进行后期目标级融合，得到目标物体融合的传感器数据，包括：

15、对图像传感器获取到的图像数据和点云设备获取到的点云数据进行时间和空间同步处理；

16、从所述图像数据中识别出二维目标物体，并确定二维目标物体的边界；

17、从所述点云数据中识别出三维目标物体，并确定三维目标物体的边界；

18、根据二维目标物体的边界和三维目标物体的边界，将图像数据中识别出的二维目标物体和点云数据中识别出的三维目标物体进行合并，得到目标物体融合的传感器数据。

19、在一些可选的实施例中，基于数据融合后的传感器数据和目标物体融合的传感器数据进行数据校验和合并处理，得到传感器感知数据，包括：

20、对数据融合后的传感器数据和目标物体融合的传感器数据进行完整性校验；

21、检验通过后，对数据融合后的传感器数据和目标物体融合的传感器数据进行数据融合并对检测到的目标物体进行合并，得到总融合后的传感器感知数据。

22、在一些可选的实施例中，还包括执行下列安全监控机制中的至少一项：

23、对监测数据进行异常监测，监测到异常数据后进行预警提示；

24、分别监控数据对齐、前融合、后融合、数据合并步骤的消耗时长，并显示耗时信息；

25、监控处理器的资源消耗情况，在资源消耗高于预设资源阈值时，进行预警提示；

26、监控前融合和后融合运行状态，当其中之一出现异常时进行预警提示；

27、根据数据融合后的传感器数据和目标物体融合的传感器数据的重叠情况确定融合结果是否准确，若不准确则进行预警提示。

28、在一些可选的实施例中，对监测数据进行异常监测，包括：

29、监测图像传感器获取到的图像数据，根据图像中像素点的像素值，判断图像数据是否存在异常；若一帧图像中邻域像素值相同的像素点在图像中的占比大于设定像素点阈值、或图像中部分像素点相同像素值的持续存留帧数大于设定的存留帧数阈值、或图像中部分像素点相同像素值的持续存留时间大于设定存留时间阈值，认为图像数据存在异常；图像异常包括图像中存在绿屏、黑屏、光斑、丢帧、延迟、畸变、遮挡、污垢中的至少一种；

30、对点云设备获取到的点云数据进行crc校验，根据校验结果确定点云数据是否存在异常，点云数据异常包括空数据、部分字段缺失、强度信息缺失、维度信息缺失中的至少一种。

31、在一些可选的实施例中，分别监控数据对齐、前融合、后融合、数据合并步骤的消耗时长，包括：

32、在执行数据对齐、前融合、后融合、数据合并步骤的各功能模块的输入端为输入数据添加输入时间戳、输出端为输出数据添加输出时间戳；

33、根据所述输入时间戳和所述输出时间戳统计各功能模块的处理时长，得到各步骤的消耗时长。

34、在一些可选的实施例中，根据数据融合后的传感器数据和目标物体融合的传感器数据的重叠情况确定融合结果是否准确，包括：

35、对数据融合后的传感器数据和目标物体融合的传感器数据中的目标物体进行交集和并集处理，根据所述交集处理后的数据和并集处理后的数据中的目标物体边框的交叠匹配程度，得到交并比；

36、根据所述交并比与设定的重叠率阈值的关系确定数据融合后的传感器数据和目标物体融合的传感器数据的融合结果是否准确。

37、本发明实施例提供一种自动驾驶感知系统冗余校验装置，包括：

38、数据获取模块，用于从多个传感器数据源获取多模态数据；

39、数据对齐模块，用于基于预先建立的车辆坐标系，对所述多模态数据进行对齐；

40、并行运行的前融合模块和后融合模块，其中，所述前融合模块，用于对所述对齐后的多模态数据进行前期数据融合处理，得到数据融合后的传感器数据；所述后融合模块，用于将从所述对齐后的多模态数据中检测到的目标物体进行后期目标级融合，得到目标物体融合的传感器数据；

41、总融合模块，用于基于数据融合后的传感器数据和目标物体融合的传感器数据进行数据校验和合并处理，得到传感器感知数据。

42、在一些可选的实施例中，上述装置还包括下列监控器中的至少一个：

43、数据监控器，用于对监测数据进行异常监测，监测到异常数据后进行预警提示；

44、时间监控器，用于分别监控数据对齐、前融合、后融合、数据合并步骤的消耗时长，并显示耗时信息；

45、资源监控器，用于监控处理器的资源消耗情况，在资源消耗高于预设资源阈值时，进行预警提示；

46、结果监控器，用于监控前融合和后融合运行状态，当其中之一出现异常时进行预警提示；以及根据数据融合后的传感器数据和目标物体融合的传感器数据的重叠情况确定融合结果是否准确，若不准确则进行预警提示。

47、本发明实施例提供一种自动驾驶感知系统冗余校验系统，包括：至少2种不同类型的传感器和上述的自动驾驶感知系统冗余校验装置。

48、本发明实施例提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的自动驾驶感知系统冗余校验方法。

49、本发明实施例提供一种车辆，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的自动驾驶感知系统冗余校验方法。

50、本发明实施例提供的上述技术方案的有益效果至少包括：

51、本发明实施例提供的自动驾驶感知系统冗余校验方法，对来源于多个传感器数据源的多模态数据进行对齐后，并行执行前融合和后融合，在前融合阶段对多模态数据进行前期数据融合处理，得到数据融合后的传感器数据；在后融合阶段将从多模态数据中检测到的目标物体进行后期目标级融合，得到目标物体融合的传感器数据；通过并行执行前融合和后融合，在其中一个环节出现问题时，也能有效进行多模态数据的融合，实现多模态数据的冗余校验，克服单模态数据的缺陷，提高自动驾驶过程中对环境感知的准确性和可靠性，从而准确预知环境中存在的危险因素，提高自动驾驶的安全性。对于数据融合后的传感器数据和目标物体融合的传感器数据，进一步进行数据校验和合并处理，前融合和后融合阶段的融合数据相互校验和合并处理，可以更好地避免感知错误，准确识别目标物，进一步提高环境感知的准确性和自动驾驶的安全性。

52、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

53、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。