一种基于雷达和视频融合的公路监控方法及系统与流程

1.本发明涉及公路监控技术领域，尤其涉及一种基于雷达和视频融合的公路监控方法及系统。


背景技术：

2.随着公路和机动车辆的快速发展，道路安全问题日益突出，例如公路上出现的车辆拥堵、违停、逆行、抛洒物、行人闯入及烟火等，气象异常导致路面出现积水、积雪或结冰等情况，都会对道路安全产生重大威胁，因此，如何精准及时地识别各类影响道路安全的情况，对于相关部门及出行人员及时掌握到公路状况，确保交通顺畅和出行人员人身安全，具有非常重要的意义，现有技术一般通过单一类型传感器对公路进行监控，例如摄像枪或者雷达设备，然而，摄像枪的检测距离有限，且光线影响较大，在夜间无照明或照明条件不理想的情况下，摄像枪对目标的识别率低；雷达设备对目标的分类识别能力有限，且检测的过程中会出现假目标和漏检的情况，因此，现有的公路监控方法均存在检测精度不高的缺陷。


技术实现要素：

3.有鉴于此，本发明提出一种基于雷达和视频融合的公路监控方法及系统，可以解决现有公路监测方法所存在的检测精度不高的缺陷。
4.本发明的技术方案是这样实现的：
5.一种基于雷达和视频融合的公路监控方法，具体包括以下步骤：
6.步骤s1，设置雷达设备和摄像设备的时间同步；
7.步骤s2，依据雷达设备获取第一结构化数据，并发送至数据融合模块中；
8.步骤s3，依据摄像设备获取第二结构化数据，并发送至数据融合模块中；
9.步骤s4，数据融合模块依据时间戳，以第二结构化数据为准，匹配第一结构化数据；
10.步骤s5，将已匹配的第一结构化数据和第二结构化数据进行目标配对，若目标配对成功，叠加第一结构化数据和第二结构化数据的信息，并将叠加后的数据发送至数据分析模块中，否则，将未目标配对成功的第一结构化数据或第二结构化数据发送至数据分析模块中；
11.步骤s6，数据分析模块依据接收到的数据进行交通事件判断，从而实现公路的监控。
12.作为所述基于雷达和视频融合的公路监控方法的进一步可选方案，所述步骤s2具体包括以下步骤：
13.步骤s21，获取雷达设备原始数据，并解析生成初始结构化数据；
14.步骤s22，将初始结构化数据进行坐标转换得到第一结构化数据。
15.作为所述基于雷达和视频融合的公路监控方法的进一步可选方案，所述步骤s3具体包括以下步骤：
16.步骤s31，获取摄像设备原始数据，并输入至深度学习网络模型进行目标识别；
17.步骤s32，深度学习网络模型输出识别结果，将识别结果进行解析生成第二结构化数据。
18.作为所述基于雷达和视频融合的公路监控方法的进一步可选方案，所述步骤s5中将已匹配的第一结构化数据和第二结构化数据进行目标配对，具体包括以下步骤：
19.步骤s51，计算第一结构化数据目标和第二结构化数据目标二者的iou值；
20.步骤s52，依据二者的iou值进行目标配对是否成功判断。
21.作为所述基于雷达和视频融合的公路监控方法的进一步可选方案，所述步骤s6具体包括以下步骤：
22.步骤s61，数据分析模块依据接收到的数据分析该数据的类型、属性和行为；
23.步骤s62，依据该数据的类型、属性和行为判断是否存在交通事件，若是，则进行交通事件告警上报。
24.一种基于雷达和视频融合的公路监控系统，所述系统包括：
25.设置模块，用于设置雷达设备和摄像设备的时间同步；
26.雷达设备，用于获取第一结构化数据，并发送至数据融合模块中；
27.摄像设备，用于获取第二结构化数据，并发送至数据融合模块中；
28.数据融合模块，用于依据时间戳，以第二结构化数据为准，匹配第一结构化数据；
29.目标配对模块，用于将已匹配的第一结构化数据和第二结构化数据进行目标配对，若目标配对成功，叠加第一结构化数据和第二结构化数据的信息，并将叠加后的数据发送至数据分析模块中，否则，将未目标配对成功的第一结构化数据或第二结构化数据发送至数据分析模块中；
30.数据分析模块，用于依据接收到的数据进行交通事件判断，从而实现公路的监控。
31.作为所述基于雷达和视频融合的公路监控系统的进一步可选方案，所述雷达设备包括：
32.第一获取模块，用于获取雷达设备原始数据；
33.第一解析模块，用于将雷达设备原始数据解析生成初始结构化数据；
34.转换模块，用于将初始结构化数据进行坐标转换得到第一结构化数据。
35.作为所述基于雷达和视频融合的公路监控系统的进一步可选方案，所述摄像设备包括：
36.第二获取模块，用于获取摄像设备原始数据；
37.深度学习网络模型，用于对摄像设备原始数据进行目标识别，并输出识别结果；
38.第二解析模块，用于将识别结果进行解析生成第二结构化数据。
39.作为所述基于雷达和视频融合的公路监控系统的进一步可选方案，所述目标配对模块包括：
40.计算模块，用于计算第一结构化数据目标和第二结构化数据目标二者的iou值；
41.第一判断模块，用于依据二者的iou值进行目标配对是否成功判断；
42.叠加模块，用于叠加第一结构化数据和第二结构化数据的信息。
43.作为所述基于雷达和视频融合的公路监控系统的进一步可选方案，所述数据分析模块包括：
44.处理模块，用于依据接收到的数据分析该数据的类型、属性和行为；
45.第二判断模块，用于依据该数据的类型、属性和行为判断是否存在交通事件；
46.告警模块，用于进行交通事件告警上报。
47.本发明的有益效果是：通过将雷达设备和摄像设备的时间进行同步，并依据时间戳匹配第一结构化数据和第二结构化数据，能够有效实现第一结构化数据和第二结构化数据，然后依据匹配好的第一结构化数据和第二结构化数据进行目标配对，配对成功进行第一结构化数据和第二结构化数据的信息叠加，能够有效提高数据信息的多样化，从而提高检测的精度。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明一种基于雷达和视频融合的公路监控方法的流程示意图；
50.图2为本发明一种基于雷达和视频融合的公路监控系统的组成示意图。
具体实施方式
51.下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
52.参考图1-2，一种基于雷达和视频融合的公路监控方法，具体包括以下步骤：
53.步骤s1，设置雷达设备和摄像设备的时间同步；
54.步骤s2，依据雷达设备获取第一结构化数据，并发送至数据融合模块中；
55.步骤s3，依据摄像设备获取第二结构化数据，并发送至数据融合模块中；
56.步骤s4，数据融合模块依据时间戳，以第二结构化数据为准，匹配第一结构化数据；
57.步骤s5，将已匹配的第一结构化数据和第二结构化数据进行目标配对，若目标配对成功，叠加第一结构化数据和第二结构化数据的信息，并将叠加后的数据发送至数据分析模块中，否则，将未目标配对成功的第一结构化数据或第二结构化数据发送至数据分析模块中；
58.步骤s6，数据分析模块依据接收到的数据进行交通事件判断，从而实现公路的监控。
59.在本实施例中，通过将雷达设备和摄像设备的时间进行同步，并依据时间戳匹配第一结构化数据和第二结构化数据，能够有效实现第一结构化数据和第二结构化数据，然后依据匹配好的第一结构化数据和第二结构化数据进行目标配对，配对成功进行第一结构化数据和第二结构化数据的信息叠加，能够有效提高数据信息的多样化，从而提高检测的精度。
60.优选的，所述步骤s2具体包括以下步骤：
61.步骤s21，获取雷达设备原始数据，并解析生成初始结构化数据；
62.步骤s22，将初始结构化数据进行坐标转换得到第一结构化数据。
63.在本实施例中，设置雷达设备实时信息上报周期为1秒，获取雷达设备原始数据，解析生成初始结构化数据，再通过坐标转换将初始结构化数据转换为摄像枪像素坐标，得到第一结构化数据，将第一结构化数据发送到数据融合模块中；需要说明的是，所述实时信息上报周期可按照用户需求设置。
64.优选的，所述步骤s3具体包括以下步骤：
65.步骤s31，获取摄像设备原始数据，并输入至深度学习网络模型进行目标识别；
66.步骤s32，深度学习网络模型输出识别结果，将识别结果进行解析生成第二结构化数据。
67.在本实施例中，获取摄像枪帧数据，帧数据间隔为1秒，输入到深度学习网络模型进行目标识别，深度学习网络模型输出识别结果，将识别结果进行解析生成第二结构化数据，将第二结构化数据发送至数据融合模块中；需要说明的是，所述获取摄像枪帧数据间隔可按照用户需求设置。
68.优选的，所述步骤s5中将已匹配的第一结构化数据和第二结构化数据进行目标配对，具体包括以下步骤：
69.步骤s51，计算第一结构化数据目标和第二结构化数据目标二者的iou值；
70.步骤s52，依据二者的iou值进行目标配对是否成功判断。
71.在本实施例中，数据融合模块分别接收雷达和摄像枪的结构化数据，以摄像枪的结构化数据为准，基于时间戳匹配雷达的结构化数据，数据融合模块将已匹配的2组结构化数据进行目标的配对，以摄像枪的结构化数据为准，依次取出结构化数据中的目标，遍历雷达结构化数据中的目标，计算iou值，根据iou值确认是否为同一个目标，若是，则叠加2个目标的信息，发送至数据分析模块；若不是，则继续配对，直至结构化数据中的目标配对结束；需要说明的是，数据融合模块在第一结构化数据和第二结构化数据进行目标配对的过程中，出现无目标配对的情况，则认为是雷达设备和摄像设备其中一个传感器未识别到对应的目标，将第一结构化数据或第二结构化数据发送至数据分析模块。
72.优选的，所述步骤s6具体包括以下步骤：
73.步骤s61，数据分析模块依据接收到的数据分析该数据的类型、属性和行为；
74.步骤s62，依据该数据的类型、属性和行为判断是否存在交通事件，若是，则进行交通事件告警上报。
75.一种基于雷达和视频融合的公路监控系统，所述系统包括：
76.设置模块，用于设置雷达设备和摄像设备的时间同步；
77.雷达设备，用于获取第一结构化数据，并发送至数据融合模块中；
78.摄像设备，用于获取第二结构化数据，并发送至数据融合模块中；
79.数据融合模块，用于依据时间戳，以第二结构化数据为准，匹配第一结构化数据；
80.目标配对模块，用于将已匹配的第一结构化数据和第二结构化数据进行目标配对，若目标配对成功，叠加第一结构化数据和第二结构化数据的信息，并将叠加后的数据发送至数据分析模块中，否则，将未目标配对成功的第一结构化数据或第二结构化数据发送
至数据分析模块中；
81.数据分析模块，用于依据接收到的数据进行交通事件判断，从而实现公路的监控。
82.在本实施例中，通过将雷达设备和摄像设备的时间进行同步，并依据时间戳匹配第一结构化数据和第二结构化数据，能够有效实现第一结构化数据和第二结构化数据，然后依据匹配好的第一结构化数据和第二结构化数据进行目标配对，配对成功进行第一结构化数据和第二结构化数据的信息叠加，能够有效提高数据信息的多样化，从而提高检测的精度。
83.优选的，所述雷达设备包括：
84.第一获取模块，用于获取雷达设备原始数据；
85.第一解析模块，用于将雷达设备原始数据解析生成初始结构化数据；
86.转换模块，用于将初始结构化数据进行坐标转换得到第一结构化数据。
87.在本实施例中，设置雷达设备实时信息上报周期为1秒，获取雷达设备原始数据，解析生成初始结构化数据，再通过坐标转换将初始结构化数据转换为摄像枪像素坐标，得到第一结构化数据，将第一结构化数据发送到数据融合模块中；需要说明的是，所述实时信息上报周期可按照用户需求设置。
88.优选的，所述摄像设备包括：
89.第二获取模块，用于获取摄像设备原始数据；
90.深度学习网络模型，用于对摄像设备原始数据进行目标识别，并输出识别结果；
91.第二解析模块，用于将识别结果进行解析生成第二结构化数据。
92.在本实施例中，获取摄像枪帧数据，帧数据间隔为1秒，输入到深度学习网络模型进行目标识别，深度学习网络模型输出识别结果，将识别结果进行解析生成第二结构化数据，将第二结构化数据发送至数据融合模块中；需要说明的是，所述获取摄像枪帧数据间隔可按照用户需求设置。
93.优选的，所述目标配对模块包括：
94.计算模块，用于计算第一结构化数据目标和第二结构化数据目标二者的iou值；
95.第一判断模块，用于依据二者的iou值进行目标配对是否成功判断；
96.叠加模块，用于叠加第一结构化数据和第二结构化数据的信息。
97.在本实施例中，数据融合模块分别接收雷达和摄像枪的结构化数据，以摄像枪的结构化数据为准，基于时间戳匹配雷达的结构化数据，数据融合模块将已匹配的2组结构化数据进行目标的配对，以摄像枪的结构化数据为准，依次取出结构化数据中的目标，遍历雷达结构化数据中的目标，计算iou值，根据iou值确认是否为同一个目标，若是，则叠加2个目标的信息，发送至数据分析模块；若不是，则继续配对，直至结构化数据中的目标配对结束；需要说明的是，数据融合模块在第一结构化数据和第二结构化数据进行目标配对的过程中，出现无目标配对的情况，则认为是雷达设备和摄像设备其中一个传感器未识别到对应的目标，将第一结构化数据或第二结构化数据发送至数据分析模块。
98.优选的，所述数据分析模块包括：
99.处理模块，用于依据接收到的数据分析该数据的类型、属性和行为；
100.第二判断模块，用于依据该数据的类型、属性和行为判断是否存在交通事件；
101.告警模块，用于进行交通事件告警上报。
102.以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。