一种多相机失效检测方法、系统、设备及介质与流程

本发明涉及自动驾驶，尤其涉及一种多相机失效检测方法、系统、设备及介质。

背景技术：

1、基于多传感器的自动驾驶系统，一般采用多个不同焦距、不同位置的相机作为采集车辆前方场景的重要传感器。然而，相机存在失效的可能，对于有安全性和可靠性有要求的自动驾驶应用，相机失效是不可接受的。因此，需要及时可靠地检测出相机失效。

2、应对这一问题，典型的解决方案之一是为每一种焦距配置两台完全相同的相机，实现冗余和相互校核；另一些技术方案中，会定期将相机停机，并使用预设的硬件设计以检测相机是否失效，例如在相机前方摆放标准色卡、灰度卡和分辨率卡等进行拍照，并分析输出图像是否满足色彩、灰度和分辨率要求；或通过相机内部固件生成标准电子测试图样，在屏蔽相机感光元件电路的情况下，将生成的标准电子测试图样接入后处理电路，以检验相机的后处理电路、电源和通信等模块是否存在失效。

3、然而，上述技术方案中，冗余相机方案会导致系统的造价、复杂度和尺寸显著增加；而硬件检测方案则需要使相机进入离线或半离线状态才能进行检测，无法实现即时检测。

技术实现思路

1、本发明提供一种多相机失效检测方法、系统、设备及介质，用以解决现有技术中多组不同焦距的相机无法在不增加硬件成本或保持工作状态的情况下进行失效检测的问题，实现仅使用相机进行的即时失效检测。

2、本发明提供一种多相机失效检测方法，包括以下步骤：

3、从第一相机获取第一图像，从第二相机获取第二图像，所述第一相机和第二相机存在视野重叠区域；

4、根据所述第一图像和第二图像，得到与所述视野重叠区域对应的第一子图像和第二子图像；其中所述第一子图像为第一图像的视野重叠区域在第二相机坐标系的投影；所述第二子图像为第二图像中的视野重叠区域；

5、获取第一子图像和第二子图像的一致性检测结果；

6、根据所述一致性检测结果，获取相机失效检测结果。

7、根据本发明提供的多相机失效检测方法，所述根据所述第一图像和第二图像，得到与所述视野重叠区域对应的第一子图像和第二子图像；其中所述第一子图像为第一图像的视野重叠区域在第二相机坐标系的投影；所述第二子图像为第二图像中的视野重叠区域；，包括以下步骤：

8、设置第一图像特征点，计算第一图像特征点在第一相机坐标系下的空间位置；

9、根据第一图像特征点在第一相机坐标系下的空间位置，得到第一图像特征点在第二相机坐标系下的空间位置；

10、根据第一图像特征点在第二相机坐标系下的空间位置，得到第一图像视野重叠区域对应的第二图像投影范围；

11、根据第一图像视野重叠区域对应的第二图像投影范围，得到第一子图像和第二子图像。

12、根据本发明提供的多相机失效检测方法，根据第一图像特征点在第一相机坐标系下的空间位置，得到第一图像特征点在第二相机坐标系下的空间位置，具体为：

13、根据第一图像特征点在第一相机坐标系下的空间位置，利用第一参数，得到第一图像视野重叠区域对应的第二图像投影范围；其中，所述第一参数为第一相机与第二相机之间的外部参数。

14、根据本发明提供的多相机失效检测方法，所述设置第一图像特征点，计算第一图像特征点在第一相机坐标系下的空间位置步骤之前，还包括以下步骤：

15、获取第一图像与第二图像的拍摄时间差；

16、根据所述拍摄时间差，对第一相机和第二相机进行位姿估计，获取位姿估计结果；

17、根据所述位姿估计结果，修正第一相机与第二相机之间的外部参数，得到第二参数；

18、所述根据第一图像特征点在第一相机坐标系下的空间位置，得到第一图像特征点在第二相机坐标系下的空间位置，具体为：

19、根据第一图像特征点在第一相机坐标系下的空间位置，利用第二参数，得到第一图像视野重叠区域对应的第二图像投影范围。

20、根据本发明提供的多相机失效检测方法，获取第一子图像和第二子图像的一致性检测结果步骤之前，还包括以下步骤：

21、将第一子图像和第二子图像调整至相同尺寸。

22、根据本发明提供的多相机失效检测方法，获取第一子图像和第二子图像的一致性检测结果步骤之前，还包括以下步骤：

23、对第一子图像和/或第二子图像进行降采样。

24、根据本发明提供的多相机失效检测方法，获取第一子图像和第二子图像的一致性检测结果，包括以下步骤：

25、对第一子图像和第二子图像全部对应位置的像素进行差值计算，获取差值计算结果；

26、根据差值计算结果，确定差异显著像素；

27、根据所述差异显著像素的数量，使用阈值判断的方式，获取第一子图像和第二子图像的一致性检测结果。

28、本发明还提供一种多相机失效检测装置，包括：

29、图像获取模块，用于从第一相机获取第一图像，从第二相机获取第二图像，所述第一相机和第二相机存在视野重叠区域；

30、子图像计算模块，用于根据所述第一图像和第二图像，得到与所述视野重叠区域对应的第一子图像和第二子图像；其中所述第一子图像为第一图像的视野重叠区域在第二相机坐标系的投影；所述第二子图像为第二图像中的视野重叠区域；

31、一致性检测模块，用于获取第一子图像和第二子图像的一致性检测结果；

32、失效检测模块，用于根据所述一致性检测结果，获取相机失效检测结果。

33、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多相机失效检测方法。

34、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多相机失效检测方法。

35、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多相机失效检测方法。

36、本发明提供的用于自动驾驶的多相机失效检测方法、装置、系统及介质，通过获取视野重叠区域的第一子图像和第二子图像，并使用第一子图像和第二子图像的一致性检测结果判断第一相机和第二相机是否失效，利用不同相机工作时实时拍摄的图像进行失效检测，实现无需增加硬件成本或离线设备的相机即时失效检测，提高了自动驾驶系统的安全性和可靠性。

技术特征：

1.一种多相机失效检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的多相机失效检测方法，其特征在于，所述根据所述第一图像和第二图像，得到与所述视野重叠区域对应的第一子图像和第二子图像，包括以下步骤：

3.根据权利要求2所述的多相机失效检测方法，其特征在于，根据第一图像特征点在第一相机坐标系下的空间位置，得到第一图像特征点在第二相机坐标系下的空间位置，具体为：

4.根据权利要求2所述的多相机失效检测方法，其特征在于，所述设置第一图像特征点，计算第一图像特征点在第一相机坐标系下的空间位置步骤之前，还包括以下步骤：

5.根据权利要求1所述的多相机失效检测方法，其特征在于，获取第一子图像和第二子图像的一致性检测结果步骤之前，还包括以下步骤：

6.根据权利要求1所述的多相机失效检测方法，其特征在于，获取第一子图像和第二子图像的一致性检测结果步骤之前，还包括以下步骤：

7.根据权利要求1-6任意一项所述的多相机失效检测方法，其特征在于，获取第一子图像和第二子图像的一致性检测结果，包括以下步骤：

8.一种多相机失效检测装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述多相机失效检测方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多相机失效检测方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多相机失效检测方法。

技术总结
本发明涉及自动驾驶技术领域，尤其涉及一种多相机失效检测方法、系统、设备及介质。本发明的方法通过获取视野重叠区域的第一子图像和第二子图像，并使用第一子图像和第二子图像的一致性检测结果判断第一相机和第二相机是否失效，利用不同相机工作时实时拍摄的图像进行失效检测，实现无需增加硬件成本或离线设备的相机即时失效检测，提高了自动驾驶系统的安全性和可靠性。

技术研发人员：张宇旻,张强
受保护的技术使用者：北京埃福瑞科技有限公司
技术研发日：
技术公布日：2024/3/27