一种支持多相机动态输入的感知方法、系统及车辆与流程

本发明涉及自动驾驶，具体涉及一种支持多相机动态输入的感知方法、系统及车辆。

背景技术：

1、基于多相机的bev视觉感知技术已经成为各个车企和厂家关注的重点方向，同时越来越多的量产方案也逐渐开始落地，然而软件技术的不断发展，需要依托稳定的硬件平台，然后车端元器件一般都存在使用寿命问题，极端情况下会出现传感器不能正常工作的状态。这类情况下，依然需要感知模型能够输出较高的检测精度，以便保证自动驾驶汽车能够正常行驶。因此，如何提高自动驾驶车辆在摄像头传感器故障状态下的安全性成为了人们亟待需要解决的问题。

技术实现思路

1、本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

2、为此，本发明的第一个目的在于提出一种支持多相机动态输入的感知方法，用以如何提高自动驾驶车辆在摄像头传感器故障状态下的安全性问题，以提高自动驾驶车辆在摄像头传感器故障状态下的安全性。

3、本发明的第二个目的在于提出一种支持多相机动态输入的感知系统。

4、本发明的第三个目的在于提出一种车辆。

5、本发明的第四个目的在于提出一种电子设备。

6、本发明的第五个目的在于提出一种非暂时性计算机可读存储介质。

7、为达到上述目的，本发明第一方面实施例提出的支持多相机动态输入的感知方法，包括：

8、采集图像数据，其中所述图像数据为多视角下的图像数据；

9、基于所述图像数据对感兴趣区域进行标注，生成可训练的多传感器原始图像数据和真值数据；

10、基于多个目标框对所述真值数据做掩码处理；

11、对所述多个目标框进行透视投影，并分别在不同视角图像上进行显示；根据所述目标框是否超出图像边界区域判断所述目标框是否出现在所述图像数据中，并且进一步确定是否对所述图像进行处理。

12、根据本发明的一个实施例，所述基于多个目标框对所述真值数据做掩码处理包括：

13、加载所述真值数据至内存中，采用随机策略选中所述多个目标框，对所述真值数据做掩码处理。

14、根据本发明的一个实施例，所述对所述多个目标框进行透视投影，并分别在不同视角图像上进行显示；根据所述目标框是否超出图像边界区域判断所述目标框是否出现在所述图像数据中，并且进一步确定是否对所述图像进行处理包括：

15、对所述多个目标框进行透视投影，并分别在所述不同视角图像上进行显示；

16、如超出所述图像边界区域，则所述目标框未出现在所述图像上，无需对所述图像进行任何处理；如未超出所述图像边界区域，则所述目标框出现在所述图像上，需要将所述图像的像素置为无效值。

17、根据本发明的一个实施例，所述真值数据包括3d空间上的坐标框、点集或目标类别。

18、根据本发明的一个实施例，所述坐标框为检测任务；所述点集为分割任务；所述目标类别为分类。

19、根据本发明的一个实施例，通过数据采集车辆采集所述图像数据。

20、为达到上述目的，本发明第二方面实施例提出一种支持多相机动态输入的感知系统，包括：

21、图像采集模块，用于采集图像数据，其中所述图像数据为多视角下的图像数据；

22、数据生成模块，用于基于所述图像数据对感兴趣区域进行标注，生成可训练的多传感器原始图像数据和真值数据；

23、掩码处理模块，用于基于多个目标框对所述真值数据做掩码处理；

24、多相机感知模块，用于对所述多个目标框进行透视投影，并分别在不同视角图像上进行显示；根据所述目标框是否超出图像边界区域判断所述目标框是否出现在所述图像数据中，并且进一步确定是否对所述图像进行处理。

25、为达到上述目的，本发明第三方面实施例提出的一种车辆，所述车辆包括上述第二方面中支持多相机动态输入的感知系统的任一实施例。

26、为达到上述目的，本发明第四方面实施例提出的一种电子设备，包括：

27、存储器，其用于存储计算机可执行指令；以及

28、处理器，其用于运行所述计算机可执行指令，以执行上述第一方面中支持多相机动态输入的感知方法的任一实施例。

29、为达到上述目的，本发明第五方面实施例提出的一种非暂时性计算机可读存储介质，所述存储介质上存储有计算机可执行指令，当所述指令被计算机执行时，使得所述计算机执行上述第一方面中支持多相机动态输入的感知方法的任一实施例。

30、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

31、与现有技术相比，本申请实施例的有益效果是：

32、本发明提供一种支持多相机动态输入的感知方法、系统及车辆，本方法有效解决或在一定程度上提高了自动驾驶车辆在摄像头传感器故障状态下的安全性，能够在摄像头传感器故障的状态下，确保检测精度下降不明显，降低自动驾驶汽车安全性风险。并且，本系统容易模块化、插件化，容易扩展到其他类似任务中。

33、为了能更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而得以体现。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

技术特征：

1.一种支持多相机动态输入的感知方法，其特征在于，包括：

2.根据权利要求1所述的感知方法，其特征在于，所述基于多个目标框对所述真值数据做掩码处理包括：

3.根据权利要求2所述的感知方法，其特征在于，所述对所述多个目标框进行透视投影，并分别在不同视角图像上进行显示；根据所述目标框是否超出图像边界区域判断所述目标框是否出现在所述图像数据中，并且进一步确定是否对所述图像进行处理包括：

4.根据权利要求3所述的感知方法，其特征在于，所述真值数据包括3d空间上的坐标框、点集或目标类别。

5.根据权利要求4所述的感知方法，其特征在于，所述坐标框为检测任务；所述点集为分割任务；所述目标类别为分类。

6.根据权利要求1所述的感知方法，其特征在于，通过数据采集车辆采集所述图像数据。

7.一种支持多相机动态输入的感知系统，其特征在于，包括：

8.一种车辆，其特征在于，所述车辆包括权利要求7所述的支持多相机动态输入的感知系统。

9.一种电子设备，其特征在于，包括：

10.一种非暂时性计算机可读存储介质，其特征在于，所述存储介质上存储有计算机可执行指令，当所述指令被计算机执行时，使得所述计算机执行权利要求1至6中任一项所述的支持多相机动态输入的感知方法。

技术总结
本发明公开了一种支持多相机动态输入的感知方法、系统及车辆，包括采集图像数据，其中图像数据为多视角下的图像数据，基于图像数据对感兴趣区域进行标注，生成可训练的多传感器原始图像数据和真值数据，基于多个目标框对真值数据做掩码处理，对多个目标框进行透视投影，并分别在不同视角图像上进行显示，根据目标框是否超出图像边界区域判断目标框是否出现在图像数据中，并且进一步确定是否对图像进行处理。本发明有效解决或在一定程度上提高了自动驾驶车辆在摄像头传感器故障状态下的安全性。

技术研发人员：张文海,胡文博,陈安猛,张军良
受保护的技术使用者：合众新能源汽车股份有限公司
技术研发日：
技术公布日：2024/1/11