多传感器联合的隧道预警方法，系统，装置和存储介质与流程

本技术涉及数据处理，尤其涉及多传感器联合的隧道预警方法，系统，装置和存储介质。

背景技术：

1、现有的部分隧道没有照明设备（或照明设备较少），导致隧道的亮度很低，车辆在行进的过程中，通过人眼和可见光相机无法准确发现路肩上是否存在活动障碍物。同时，由于活动障碍物可能与隧道壁的距离很接近，导致激光雷达无法准确识别，对车辆在隧道的行驶中造成严重的安全影响。因此，如何提供一种更精准的隧道预警，成为本领域技术人员需要解决的技术问题。

技术实现思路

1、有鉴于此，本技术实施例提供一种多传感器联合的隧道预警方法，系统，装置和存储介质，可以准确识别隧道上路肩位置的活动障碍物。

2、第一方面，本技术实施例公开了多传感器联合的隧道预警方法，通过热成像相机和激光雷达设置在车辆上，所述方法包括：

3、判断所述车辆是否进入隧道；

4、若所述车辆进入隧道后，通过所述热成像相机对隧道进行识别，基于所述热成像相机的热成像数据判断是否存在突变区域；

5、通过所述激光雷达对隧道进行识别，基于激光雷达的点云数据得到隧道的感知区域；

6、若感知区域中存在所述突变区域，在所述感知区域中划分出目标区域，所述目标区域包括突变区域；

7、将所述目标区域上的点云数据和所述目标区域上的热成像数据进行融合，基于融合结果进行识别，基于所述识别结果发出预警。

8、在可选的实施方式中，将所述目标区域上的点云数据和所述目标区域上的热成像数据进行融合，基于融合结果进行识别的步骤，包括：

9、基于单位时间内所述突变区域的热成像数据是否存在变化，判断突变区域中是否存在目标对象；

10、若突变区域中存在目标对象，则基于所述目标区域上的点云数据和所述目标区域上的热成像数据，得到突变区域的点云数据；

11、基于突变区域的点云数据，对目标对象进行识别。

12、在可选的实施方式中，则基于所述目标区域上的点云数据和所述目标区域上的热成像数据，得到突变区域的点云数据的步骤，包括：

13、根据单位时间段内所述突变区域的热成像的活动痕迹，得到所述突变区域的热成像数据变化；

14、基于所述突变区域的热成像变化和单位时间段内所述目标区域的点云数据，得到关于所述突变区域的点云数据。

15、在可选的实施方式中，基于突变区域的点云数据，对目标对象进行识别的步骤，包括：

16、基于所述目标区域的热成像数据，得到基于热成像数据在突变区域的热成像轮廓；

17、基于相同时刻的所述目标区域的点云数据和所述热成像轮廓，得到基于点云数据在突变区域的点云轮廓；

18、基于所述点云轮廓对目标对象进行识别。

19、在可选的实施方式中，所述车辆上还设置有第一标志物，所述第一标志物设置在热成像相机的采集区域内；若感知区域中存在所述突变区域的步骤，包括：

20、根据所述第一标志物和所述热成像相机的预设距离，结合热成像图像数据，得到所述突变区域与所述热成像相机的实际距离；

21、根据所述突变区域与所述热成像相机的实际距离，重复判断所述突变区域是否处于所述激光雷达的扫描区域内。

22、在可选的实施方式中，根据所述第一标志物和所述热成像相机的预设距离，结合热成像图像数据，得到突变区域与热成像相机的实际距离的步骤，包括：

23、根据所述第一标志物和所述热成像相机的预设距离，得到当前帧热成像数据中单位像素代表的实际距离，所述当前帧热成像数据中单位像素代表的实际距离定义为第一基准距离；

24、基于第一基准距离和当前帧热成像数据中突变区域与第一标志物的像素数量，得到突变区域与热成像相机的实际距离。

25、在可选的实施方式中，根据所述突变区域与所述热成像相机的实际距离，重复判断所述突变区域是否处于所述激光雷达的扫描区域内的步骤，包括：

26、根据突变区域与热成像相机的实际距离，结合激光雷达的扫描距离，确认突变区域是否处于激光雷达的扫描区域内；

27、若突变区域不处于激光雷达的扫描区域内，则不断计算之后每帧热成像数据中突变区域与可见光相机的实际距离，直至突变区域处于激光雷达的扫描区域内。

28、在可选的实施方式中，所述车辆上还设置有可见光相机，判断所述车辆是否进入隧道的步骤，包括：

29、根据所述可见光相机采集的图像数据，确定当前帧图像是否存在亮度对比超出预设范围的区域，所述区域定义为第一区域；

30、判断所述的第一区域是否为隧道口；

31、若第一区域为隧道口，根据车辆和第一区域的距离，判断所述车辆是否进入隧道。

32、在可选的实施方式中，所述车辆上还设置有第二标志物，所述第二标志物设置在可见光相机的采集区域内；根据所述可见光相机采集的图像数据，确定当前帧图像是否存在亮度对比超出预设范围的区域，所述区域定义为第一区域的步骤，包括：

33、根据所述第二标志物和所述可见光相机的预设距离，得到当前帧图像中单位像素代表的实际距离，所述当前帧图像中单位像素代表的实际距离定义为第二基准距离；

34、基于第二基准距离和当前帧图像中第一区域与第二标志物的像素数量，得到第一区域与可见光相机的实际距离。

35、在可选的实施方式中，判断所述的第一区域是否为隧道口的步骤之前，还包括：

36、根据所述当前帧图像中第一区域与所述可见光相机的实际距离，结合所述激光雷达的扫描距离，确认所述第一区域是否处于激光雷达的扫描区域内；

37、若所述第一区域不处于激光雷达的扫描区域内，则不断计算之后每帧图像数据中所述第一区域与所述可见光相机的实际距离，直至所述第一区域处于激光雷达的扫描区域内。

38、在可选的实施方式中，判断所述车辆是否进入隧道的步骤，包括：

39、根据所述激光雷达采集的点云数据，确定当前帧点云图像是否存在位置信息连续性变化对比超出预设范围的区域，所述区域定义为第一区域；

40、判断所述的第一区域是否为隧道口；

41、若第一区域为隧道口，根据车辆和第一区域的距离，判断所述车辆是否进入隧道。

42、在可选的实施方式中，所述感知区域划分为至少两个子区域，包括至少一个道路子区域和至少一个路肩子区域，每一所述子区域对应一个权重系数；基于所述识别结果发出预警的步骤，包括：

43、基于目标区域处于感知区域的子区域所对应的权重系数，结合目标区域的识别结果，发出不同种类的预警信号。

44、第二方面，本技术实施例公开了多传感器联合的隧道预警系统，通过热成像相机和激光雷达设置在车辆上，包括：

45、判断模块：用于判断所述车辆是否进入隧道；

46、热成像感知模块：若所述车辆进入隧道后，通过所述热成像相机对隧道进行识别，基于所述热成像相机的热成像数据判断是否存在突变区域；

47、点云感知模块：通过所述激光雷达对隧道进行识别，基于激光雷达的点云数据得到隧道的感知区域；

48、区域划分模块：若感知区域中存在所述突变区域，在所述感知区域中划分出目标区域，所述目标区域包括突变区域；

49、预警模块：将所述目标区域上的点云数据和所述目标区域上的热成像数据进行融合，基于融合结果进行识别，基于所述识别结果发出预警。

50、第三方面，本技术实施例公开了计算机存储介质，存储有计算机程序，该程序被处理器执行时实现上述的方法步骤。

51、第四方面，本技术实施例公开了多传感器联合的隧道预警装置，包括热成像相机、激光雷达和工控机；

52、所述热成像相机、激光雷达和工控机设置在车辆上；

53、所述工控机用于执行上述的步骤。

54、本技术的实施例具有如下有益效果：

55、本技术的多传感器联合的隧道预警方法通过利用热成像相机的热成像图像数据，得到可能包括活动障碍物的目标区域，然后通过激光雷达在上述目标区域的点云数据和热成像相机在目标区域上的热成像图像数据进行识别，基于识别结果发出预警，本技术通过活动障碍物存在的温差特性，有效避免了在无照明设备的隧道中，通过可见光相机、激光雷达无效准确识别路肩上的活动障碍物的问题，有效保证了车辆在隧道中的安全。

56、应当理解的是，以上的一般描述和后文的细节描述仅是示范性和解释性的，并不能限制本技术。