一种相机异常检测方法、装置和电子设备与流程

本技术涉及智慧交通，尤其涉及一种相机异常检测方法、装置和电子设备。

背景技术：

1、智能交通系统(intelligent transportation system，its)的发展越来越成熟，系统应用中最重要的环节就是利用路侧相机对道路上的车辆与行人进行检测，从而可以作为交通事故检测预警以及路径规划的依据发送给车端。

2、现有技术中，一般是维护人员定期对路侧相机进行维护，例如需要维护人员定期查看相机的镜头是否被遮挡、镜头是否模糊等，单个路侧杆上的路侧相机的维护耗时需要1人+1车/天，维护周期长，路侧杆上的路侧相机维护一次后至少一个月不会再次维护，这导致在路侧相机出现问题时运维和测试人员无法及时知晓，且再次维护需要消耗较多人力。可见，现有技术缺乏一种高效的自动化的检测路侧相机是否异常的方案。

技术实现思路

1、基于现有技术中存在的上述问题，本技术实施例提供了一种相机异常检测方法、装置和电子设备，以快速检测相机是否持续对某个镜头区域内的图像内容无法有效识别。

2、本技术实施例采用下述技术方案：

3、第一方面，本技术实施例提供一种相机异常检测方法，所述方法包括：

4、获取相机数据和与所述相机数据对应的激光雷达数据，所述相机数据包括用于将图像分区的多个辅助网格、多帧图像以及每帧图像对应的2d目标检测框，所述激光雷达数据包括多帧激光点云以及每帧激光点云对应的3d目标包围框；

5、将每帧激光点云的3d目标包围框投影到相应图像帧上，获取所述3d目标包围框对应的2d目标投影框；

6、将每帧图像上的2d目标检测框与相应帧的2d目标投影框进行框对应检测，获得2d目标投影框对应的框对应检测结果；

7、获取每帧图像上每个2d目标投影框对应的辅助网格，根据每帧图像上每个2d目标投影框对应的框对应检测结果设置所述辅助网格的状态值，并根据所述辅助网格的最终状态值确定相机是否存在异常。

8、可选地，所述将每帧图像上的2d目标检测框与相应帧的2d目标投影框进行框对应检测，获得2d目标投影框对应的框对应检测结果，包括：

9、将每帧图像上的2d目标检测框与相应帧的2d目标投影框进行重叠度计算，获得重叠度计算结果；

10、根据所述重叠度计算结果获得2d目标投影框对应的框对应检测结果。

11、可选地，所述根据所述重叠度计算结果获得2d目标投影框对应的框对应检测结果，包括：

12、若所述重叠度计算结果大于重叠度阈值，则确定所述2d目标投影框对应的框对应检测结果为存在与所述2d目标投影框对应的2d目标检测框；

13、否则确定所述2d目标投影框对应的框对应检测结果为不存在与所述2d目标投影框对应的2d目标检测框。

14、可选地，所述获取每帧图像上每个2d目标投影框对应的辅助网格，包括：

15、确定每帧图像上每个2d目标投影框的中心点坐标，并获取每个辅助网格对应的区域坐标信息；

16、根据每个2d目标投影框的中心点坐标和每个辅助网格对应的区域坐标信息，获取该2d目标投影框对应的辅助网格。

17、可选地，所述区域坐标信息包括区域中心点坐标，所述根据每个2d目标投影框的中心点坐标和每个辅助网格对应的区域坐标信息，获取该2d目标投影框对应的辅助网格，包括：

18、根据每个2d目标投影框的中心点坐标与每个辅助网格的区域中心点坐标，获取每个2d目标投影框与每个辅助网格的相对距离；

19、根据每个2d目标投影框与每个辅助网格的相对距离获取该2d目标投影框对应的辅助网格。

20、可选地，所述框对应检测结果包括存在与所述2d目标投影框对应的2d目标检测框和不存在与所述2d目标投影框对应的2d目标检测框两种检测结果，所述根据每帧图像上每个2d目标投影框对应的框对应检测结果设置所述辅助网格的状态值，包括：

21、若每帧图像上的每个2d目标投影框对应的框对应检测结果为存在与所述2d目标投影框对应的2d目标检测框，则将该2d目标投影框对应的辅助网格的状态值置0；

22、若每帧图像上的每个2d目标投影框对应的框对应检测结果为不存在与所述2d目标投影框对应的2d目标检测框，则将该2d目标投影框对应的辅助网格的状态值累计加1。

23、可选地，所述根据所述辅助网格的最终状态值确定所述相机是否存在异常，包括：

24、获取所述多个辅助网格中是否存在最终状态值大于状态阈值的目标辅助网格；

25、若存在所述目标辅助网格，则确定所述相机存在异常；

26、否则确定所述相机不存在异常。

27、可选地，当确定所述相机存在异常时，所述方法还包括：

28、生成相机异常告警，并将所述相机异常告警发送至相机运维管理平台。

29、第二方面，本技术实施例还提供一种相机异常检测装置，所述装置包括：

30、数据获取单元，用于获取相机数据和与所述相机数据对应的激光雷达数据，所述相机数据包括用于将图像分区的多个辅助网格、多帧图像以及每帧图像对应的2d目标检测框，所述激光雷达数据包括多帧激光点云以及每帧激光点云对应的3d目标包围框；

31、点云投影单元，用于将每帧激光点云的3d目标包围框投影到相应图像帧上，获取所述3d目标包围框对应的2d目标投影框；

32、第一检测单元，用于将每帧图像上的2d目标检测框与相应帧的2d目标投影框进行框对应检测，获得2d目标投影框对应的框对应检测结果；

33、第二检测单元，用于获取每帧图像上每个2d目标投影框对应的辅助网格，根据每帧图像上每个2d目标投影框对应的框对应检测结果设置所述辅助网格的状态值，并根据所述辅助网格的最终状态值确定相机是否存在异常。

34、第三方面，本技术实施例还提供一种电子设备，包括：

35、处理器；以及

36、被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行相机异常检测方法。

37、第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行相机异常检测方法。

38、本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：本技术实施例首先获取相机数据和与相机数据对应的激光雷达数据，相机数据包括用于划分图像区域的多个辅助网格，还包括多帧图像及相应的2d目标检测框，激光雷达数据包括多帧激光点云及相应的3d目标包围框；然后利用激光雷达数据中的3d目标包围框在图像帧上的2d目标投影框与该图像帧上的2d目标检测框进行框对应检测；最后可以根据框对应检测结果设置相应辅助网格的状态值，在处理完所有图像帧后，能够获得辅助网格的最终状态值，如此可以根据每个辅助网格的最终状态值确定出相机是否存在异常。本技术实施例利用激光雷达辅助进行相机异常检测，并结合图像分区技术提高相机异常检测的精度。