基于毫米波雷达的特征融合能见度评估方法及系统

本发明涉及能见度评估，具体为基于毫米波雷达的特征融合能见度评估方法及系统。

背景技术：

1、大雾天气是严重影响道路交通安全的主要因素，特别是高速公路团雾，经常引起多车连环相撞的重大交通事故。由雾引起的交通事故，一方面是驾驶员没有及时感知到能见度的变化，另一方面是前方车辆在大雾天气没有开启雾灯，导致后车在能见度下降的情况下没有及时观察到并采取减速或制动措施。汽车通常都安装有雾灯，但大部分司机通常不会开启雾灯，而是用开启双闪灯的方法替代雾灯，由于波长原因，双闪灯在大雾天的穿透能力不如雾灯，造车后车无法及时识别，由此造成安全隐患。

技术实现思路

1、鉴于上述存在的问题，提出了本发明。

2、因此，本发明解决的技术问题是：现有的能见度评估方法基本依靠纯视觉、算法难度较大、训练过程复杂、鲁棒性不佳等。

3、为解决上述技术问题，本发明提供如下技术方案：基于毫米波雷达的特征融合能见度评估方法，包括：

4、采集视觉数据与3d雷达数据；

5、对采集到的数据进行视觉特征提取与3d特征提取；

6、将提取到的特征进行融合后，使用前馈神经网络进行能见度的评估。

7、作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述视觉特征提取包括，使用resnet作为视觉特征提取器，输出256维特征张量；

8、所述3d特征提取包括，使用voxelnet作为3d特征提取器，输出256维特征张量。

9、作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述将提取到的特征进行融合包括，通过相机成像的几何将点3d云图的数据通过双线性插值法映射到图片中，计算点云匹配的图像坐标；

10、获得点云在图像上的投影：

11、 ；

12、其中，u表示待求点的横坐标，v表示待求点的纵坐标，z表示点到相机的距离，表示x轴上的相机焦距，表示y轴上的相机焦距，表示图像中心的横坐标，表示图像中心的纵坐标，x、y、z表示现实世界的3d坐标；

13、计算雷达点对应的图像特征：

14、；

15、其中，f(u，v)表示待求像素点，q11、q12、q21、q22表示与f(u，v)最邻近的四个已知的像素点；

16、将从毫米波雷达数据中提取的特征和从摄像头获取的视觉特征进行融合，对于每一个匹配的点，将视觉部分和3d点云部分的提取结果直接拼接为512维特征张量。

17、作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述能见度的评估包括，对图中的内容进行能见度的区域划分；

18、评估每个像素点与图中除之外的其他像素点之间的特征相似度；

19、 ；

20、其中，表示当前评估的像素点；表示除之外的像素点；表示像素点的融合特征向量；表示像素点的融合特征向量；表示像素点和之间的空间距离，用于调整特征影响的空间衰减；σ表示控制特征差异敏感度的参数，范围在0.1到10之间；α表示控制空间衰减速率的参数，范围在0到2之间；

21、使用聚类算法，目标是最小化每个聚类内部的特征差异，同时最大化聚类之间的特征差异，聚类过程可以表示为：

22、 ；

23、其中，k表示聚类中心的数量，表示聚类内所有像素点的特征向量的平均值；

24、根据不同的聚类结果，将每个像素点分配到以各自聚类中心数据集合中，作为k个能见度的区域。

25、作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述融合特征向量包括，对于图像中的每个像素点，计算lbp值；

26、 ；

27、其中，表示以为中心的邻域像素集合；表示中心像素的亮度值；表示邻域像素的亮度值；表示符号函数，定义为若x≥0，则s(x)=1，否则s(x)=0；j表示邻域像素的索引，用于计算二进制权重；

28、计算全局颜色直方图特征：

29、 ；

30、其中，i表示整个图像；b表示每个颜色通道的直方图分箱数；表示计算rgb颜色直方图的函数，为每个颜色通道生成一个直方图，将直方图合并；

31、将lbp特征和全局颜色直方图特征融合为最终的特征向量：

32、 ；

33、其中，表示对lbp特征应用主成分分析进行降维；k表示降维后的目标维度；concat表示特征向量的拼接操作，将降维后的lbp特征和全局颜色直方图特征拼接成一个单一的特征向量。

34、作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述能见度的评估还包括，若聚类结果为1个数据集合，则判定影响能见度的因素是均匀分布，直接对图像进行能见度计算；若聚类结果大于1个数据集合，则判定影响能见度的因素是不均匀分布，分别对每个聚类得到的数据集合进行能见度计算；

35、在完成能见度的计算后，对原始图片中将k个能见度的区域进行区别显示，并在每个区域中标注能见度数值v；

36、若，则将区域a与区域b合并为同一个区域进行显示，并将合并后区域的能见度调整为区域a与区域b的平均值。

37、作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述前馈神经网络包括，将融合后的特征图传入前馈神经网络中，对每个区域进行识别，输出系数的系数估计；

38、根据比尔-朗伯定律得出能见度v：

39、 ；

40、其中，snr表示在真实世界测算出的常系数。

41、一种采用本发明所述方法的基于毫米波雷达的特征融合能见度评估系统，其特征在于：

42、采集模块，采集视觉数据与3d雷达数据；

43、特征提取模块，对采集到的数据进行视觉特征提取与3d特征提取；

44、评估模块，将提取到的特征进行融合后，使用前馈神经网络进行能见度的评估。

45、一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现本发明中任一项所述的方法的步骤。

46、一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现本发明中任一项所述的方法的步骤。

47、本发明的有益效果：本发明提供的基于毫米波雷达的特征融合能见度评估方法，在雨雾等恶劣天气条件下，采用的毫米波雷达技术可以穿透这些低能见度条件，仍然获取准确的环境信息。这一点对于在各种天气和光照条件下都需要准确数据的应用场景非常关键。在发生大量浓烟的交通事故中或类似影响能见度的环境中，本发明通过对不同区域的能见度区分，可以锁定能见度较高的区域，从而对于汽车的自动驾驶等功能提供环境参考的技术依据。在自动驾驶和辅助驾驶系统中，准确估计能见度对于确保行车安全至关重要。在低能见度条件下，可以利用提供的准确能见度信息来调整车速，优化行车路线，甚至在必要时启动紧急制动，从而显著提高行车安全。准确的能见度信息允许车辆智能系统在能见度下降时及时做出反应，如降低车速，从而避免因视线不佳而引起的事故。这对于提高雨雾天气等低能见度环境下的道路安全具有重要意义。