一种多传感器融合的无人车路面坑洼检测方法

本发明涉及人工智能自动驾驶，特别是一种多传感器融合的无人车路面坑洼检测方法。

背景技术：

1、目前，生活向着智能化，便捷化的方向发展。为解决“最后一公里”的配送问题，无人车在快递物流领域的应用越来越广泛。无人化的配送方式得到人们的高度认可，无人车顺应时代的潮流，有着良好的发展前景。但是无人派送的安全性问题一直是人们关注的重点，目前的无人车研究大部分将注意力集中在行人检测以及路径优化问题上，对于无人车行进过程中道路坑洼检测预警方面的研究较少。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述和/或现有的多传感器融合的无人车路面坑洼检测方法中存在的问题，提出了本发明。

3、因此，本发明所要解决的问题在于如何提供一种多传感器融合的无人车路面坑洼检测方法。

4、为解决上述技术问题，本发明提供如下技术方案：一种多传感器融合的无人车路面坑洼检测方法，其包括，无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理；根据摄像头拍摄的图像信息，计算坑洼边缘距离两侧道路边缘的宽度和；将预处理后的图像进行阈值分割得到二值化图像，统计二值化图像中白色像素点的数量来判断坑洼中是否有水；通过计算无人车坑洼的最小扭矩，通过最小扭矩与最大扭矩的关系来判断无人车是否能够安全通过。

5、作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理，具体步骤包括：

6、当光照强度大于20000lux时，图像预处理具体表示为：

7、；

8、其中，表示原始图像上的像素值，表示经过滤波之后的像素值，为归一化因子，为滤波器的半径，和分别为像素间的相似性权值和空间权值，表示像素点的坐标，相似性权值和空间权值使用高斯函数来表示。

9、作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理还包括：

10、当光照强度小于20000lux时，预处理具体表示为：

11、；

12、其中，表示滤波后的像素值，和分别表示像素邻域内的行和列的偏移量，表示像素邻域的大小。

13、作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述坑洼边缘距离两侧道路边缘的宽度和,具体公式如下：

14、；

15、其中，表示坑洼边缘距离左侧道路的宽度，表示双目摄像头间的距离，表示相机的焦距，和分别表示左右相机中特征点的水平位置。

16、；

17、其中，表示坑洼边缘距离右侧道路的宽度，和分别表示左右相机中特征点的水平位置。

18、作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述将预处理后的图像进行阈值分割得到二值化图像，统计二值化图像中白色像素点的数量来判断坑洼中是否有水具体步骤包括：

19、将预处理图像转化为灰度图像，将灰度图像的像素值统计到直方图中，得到图像的灰度直方图。

20、计算灰度直方图的累积分布函数，具体公式如下：

21、；

22、其中，是像素值为的像素占整个图像像素数的比例。

23、计算灰度直方图的归一化直方图，具体公式如下：

24、；

25、其中，是图像的总像素数。

26、根据归一化直方图计算类间方差，具体公式如下：

27、；

28、其中，表示阈值，和分别表示像素值小于和大于等于的像素占整个图像像素数的比例，和分别表示像素值小于和大于等于的像素的平均灰度值。

29、遍历所有的阈值，选择类间方差中最大的阈值作为分割界限，其中，最大的阈值公式具体如下：

30、；

31、将最大阈值作为分割二值化图像的阈值，根据二值化图像像素点的数量来判断坑洼中是否有水，

32、当数量超过阈值区时，则判断坑洼中有水；

33、当数量小于阈值时，则判断坑洼中无水。

34、作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述判断坑洼中无水时，利用视觉对坑洼深度进行检测包括：

35、根据得到的二值图像计算坑洼区域的重心，具体坐标如下：

36、；

37、其中，n表示图像中像素的个数，表示第i个像素的x坐标。

38、；

39、其中，n表示图像中像素的个数，表示第i个像素的y坐标。

40、作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述判断坑洼中无水时，利用视觉对坑洼深度进行检测还包括：

41、高度值计算方法具体步骤如下：

42、确定摄像头的基线长度，即两个摄像头之间的距离。

43、在摄像头上标定内部参数和外部参数来获取摄像头的内部参数矩阵和外部参数矩阵。

44、匹配左右摄像头中图像对应点的像素坐标，根据摄像头基线长度和像素坐标，计算对应点在三维空间中的坐标（x，y，z），其中，z的计算公式如下：

45、；

46、其中，f为摄像头的焦距，b为左右摄像头之间的距离，为左摄像头像素的横坐标，为右摄像头像素的横坐标。

47、作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述判断坑洼中无水时，利用视觉对坑洼深度进行检测还包括：

48、计算左摄像头的高度值，具体如下：

49、；

50、其中，h为左右摄像头距离地面的高度，为左摄像头像素的纵坐标，为窗口中心的纵坐标，为摄像头焦距，z为高度值。

51、计算右摄像头的高度值，具体表示如下：

52、；

53、其中，h为左右摄像头距离地面的高度，为右摄像头像素的纵坐标，为窗口中心的纵坐标，为摄像头焦距，z为高度值。

54、取左右摄像头高度值的平均值作为像素的高度值，具体公式如下：

55、；

56、计算窗口中所有像素的平均高度值，具体表示如下：

57、；

58、计算坑洼深度，具体表示如下：

59、；

60、其中，为窗口中心的高度值。

61、作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：计算无人车坑洼的最小扭矩包括如下步骤：

62、利用视觉方法对水面以上的坑洼深度进行检测，得到水面以上坑洼深度。

63、根据阵元间距d，计算水面到坑洼底部的斜线距离即目标距离l，目标距离l具体公式如下：

64、；

65、其中，为两次声波信号到达第一阵元、第二阵元时间差的时间差，为两次声波信号到达第二阵元、第三阵元时间差的时间差，所述的两次声波信号为：一次是接触水面后返回的声波信号，一次是到达坑洼底部之后返回的声波信号，为声波信号的传播速度。

66、计算水面以下坑洼的是深度，具体公式如下 ：

67、；

68、其中，表示声纳探测仪到平整路面的直线距离，h1表示声纳探测仪到地面的垂直距离。

69、计算坑洼深度，公式如下：。

70、作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：计算无人车坑洼的最小扭矩具体包括：

71、计算坑洼前后宽度d，具体公式如下：

72、；

73、其中，b表示双目摄像头间的距离，表示相机的焦距，和分别表示左右相机中特征点的水平位置。

74、根据坑洼深度和前后宽度d来计算无人车顺利驶过坑洼所需最小扭矩t1，具体公式如下：

75、；

76、其中m为无人车最大总重量，r为滚动阻尼系数，g为重力加速度，r为车轮滚动半径。

77、本发明有益效果为本发明能够使得无人车的运行更加稳定，对未知的路况进行一个预先探索，防止道路坑洼对自动驾驶造成不可逆转的影响，自动判断道路坑洼情况是否满足电动车的行进要求，如不满足则会向工作人员发出报警，使其更具有智能化，有效保护无人车的安全，避免发生损失。