一种基于双目视觉稠密点云的道路坑洼检测方法、系统及介质与流程

本发明涉及图像处理，尤其是涉及一种基于双目视觉稠密点云的道路坑洼检测方法、系统及介质。

背景技术：

1、针对自动驾驶车辆在结构化道路上行驶时因不能识别道路破损、坑洼甚至没有井盖的地下道，导致车辆遇到坑洼地带未执行相应的减速或绕行动作，从而，引发乘客抱怨乘坐舒适性差甚至致使车辆陷入凹坑，这些隐患不仅影响乘客体验，而且会对车辆底盘造成一定的伤害。

2、相机作为自动驾驶系统中较为关键一种传感器，因其具备技术成熟度高、成本低廉等一列优点，未来极有可能成为自动驾驶车辆的主传感器，因此，各大主机厂或自动驾驶公司对相机的各种应用方法也是各有其长，目的就是尽可能大的发挥相机自身的优势，例如，语义信息较强，适合做场景理解等。

3、利用2d视觉进行坑洼检测检测的误检率较高，尤其偶尔存在地面树荫阴影极易出现误检，没有其他辅助校验的手段，仅靠检测算法的后处理进行人工策略的过滤效率低下，准确率难以保证，从而导致车辆出现不必要的绕行等不合理行为。

技术实现思路

1、鉴于以上问题，本发明提供了一种基于双目视觉稠密点云的道路坑洼检测方法、系统及介质，不仅自动驾驶车辆能够实时的识别出道路破损、坑洼甚至没有井盖的地下道等影响行车的路况，避免车辆掉坑里从而引发的安全问题，而且解决自动驾驶车辆行驶至非结构化道路上（有明显坑洼地段）仍以原速度行驶不减速，引发乘客抱怨乘坐舒适性差甚至会对车辆底盘造成一定的伤害等问题。

2、为了实现上述目的及其他相关目的，本发明提供的技术方案如下：

3、一种基于双目视觉稠密点云的道路坑洼检测方法，所述方法包括：

4、s1.车辆行驶在道路上，基于车载左摄像头实时获取道路的第一图像数据信息，基于车载右摄像头实时获取道路的第二图像数据信息；

5、s2.基于所述道路的第二图像数据信息和所述道路的第一图像数据信息，采用改进的平均哈希算法对图像的每个像素点进行对比，得到道路的视差图的像素矩阵数据信息；

6、s3.基于所述道路的视差图的像素矩阵数据信息，采用sgbm算法和bm算法进行视差图的三维点匹配，得到道路的视差稠密点云数据信息；

7、s4.基于所述道路的视差稠密点云数据信息，采用路面坑洼区域拓扑算法对道路的路面进行筛选，得到道路的路面坑洼区域数据信息，并耦合将所述道路的第一图像数据信息输入rcnn识别网络得到的路面坑洼识别数据信息，输出道路路面坑洼区域的综合数据信息。

8、进一步的，在步骤s2中，所述采用改进的平均哈希算法对图像的每个像素点进行对比包括：

9、s21.基于所述道路的第二图像数据信息和所述道路的第一图像数据信息，进行灰度化处理，得到道路的第二图像像素点数据信息和道路的第一图像像素点数据信息；

10、s22.基于所述道路的第二图像像素点数据信息和道路的第一图像像素点数据信息，建立像素点评价函数g，

11、，

12、其中，n为道路的第二图像像素点个数，x1i为道路的第二图像像素点数据信息，ɑ1i为第i个道路的第二图像像素点的评价因子，x2j为道路的第一图像像素点数据信息，ɑ2j为第j个道路的第一图像像素点的评价因子，m为道路的第一图像像素点个数，得到道路的图像像素点评价数据信息；

13、s23.基于所述道路的图像像素点评价数据信息，对道路的第二图像像素点和第一图像像素点进行评价，并进行聚类分析，得到道路的视差图的像素矩阵数据信息。

14、进一步的，在步骤s23中，所述对道路的第二图像像素点和第一图像像素点进行评价，并进行聚类分析为根据所述道路的图像像素点评价数据信息，对每个图像像素点进行评价，将相同评价的像素点进行聚类，得到道路视差图的像素矩阵数据信息。

15、进一步的，所述第i个道路的第二图像像素点的评价因子ɑ1i和所述第j个道路的第一图像像素点的评价因子ɑ2j的约束条件为，

16、，

17、其中，n为道路的第二图像像素点的个数，m为道路的第一图像像素点的个数。

18、进一步的，在步骤s3中，所述采用sgbm算法和bm算法进行视差图的三维点匹配包括：

19、s31.基于所述道路的视差图的像素矩阵数据信息，建立道路的水平sobel算子的函数h，

20、h(x,y)=2[p(x+1,y)-p(x-1,y)]+p(x+1,y-1)-p(x-1,y-1)+p(x+1,y+1)-p(x-1,y+1)，

21、其中，(x,y)为道路的视差图的像素矩阵数据信息中像素点的坐标，p为像素点的像素值函数，得到道路水平sobel算子的视差图数据信息；

22、s32.基于所述道路水平sobel算子的视差图数据信息，建立道路的视差图的三维点映射函数m，

23、，

24、，

25、其中，u和v为样本容量的常量参数，h为道路的水平sobel算子的函数，(x,y)为道路的视差图的像素矩阵数据信息中像素点的坐标，z为道路视差图的三维点的第三参量，得到道路的视差图的三维点的数据信息；

26、s33.基于所述道路的视差图的三维点的数据信息，建立bm的左右立体校正图像函数n，

27、，

28、其中，(x,y,z)为道路的视差图的三维点的数据信息，(xi,yi,zi)为第i个道路的视差图的三维点的数据信息，对视差图的三维点进行匹配，得到道路的视差稠密点云数据信息。

29、进一步的，所述像素点的像素值函数p为，

30、，

31、其中(x,y)为道路的视差图的像素矩阵数据信息中像素点的坐标，r,g和b为常量参数。

32、进一步的，所述道路路面坑洼区域的综合数据信息包括道路路面坑洼区域的深度数据信息、道路路面坑洼区域的面积数据信息和道路路面坑洼区域的位置数据信息。

33、进一步的，在步骤s4中，所述采用路面坑洼区域拓扑算法对道路的路面进行筛选包括：

34、s41.基于所述道路的视差稠密点云数据信息，建立道路多元曲面拟合函数f，

35、，

36、其中，(a,b,c)为道路的视差稠密点云数据信息的中的点云的坐标，λ1，λ2，λ3，λ4，λ5和λ6为常量参数，得到道路曲面的数据信息；

37、s42.基于所述道路曲面的数据信息，进行地面分割和去地面处理，得到处理后的道路曲面的数据信息；

38、s43.基于所述处理后的道路曲面的数据信息，进行候选坑洼区域提取和聚类，得到道路的路面坑洼区域数据信息。

39、为了实现上述目的及其他相关目的，本发明还提供了一种用于实现任一项所述的基于双目视觉稠密点云的道路坑洼检测方法的系统，所述系统包括：

40、图像数据获取模块，用于实时获取道路的图像数据信息；

41、图像数据的第一处理模块，与所述图像数据获取模块连接，用于根据改进的平均哈希算法对图像的每个像素点进行对比，得到道路的视差图的像素矩阵数据信息；

42、图像数据的第二处理模块，与所述图像数据的第一处理模块连接，用于采用sgbm算法和bm算法进行视差图的三维点匹配，得到道路的视差稠密点云数据信息；

43、图像数据的融合模块，与所述图像数据的第二处理模块连接，用于耦合将所述道路的第一图像数据信息输入rcnn识别网络得到的路面坑洼识别数据信息，输出道路路面坑洼区域的综合数据信息。

44、为了实现上述目的及其他相关目的，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行任意一项所述的改进的基于双目视觉稠密点云的道路坑洼检测方法的计算机程序。

45、本发明具有以下积极效果：

46、1.本发明通过采用改进的平均哈希算法对图像的每个像素点进行对比，并结合sgbm算法和bm算法进行视差图的三维点匹配，得到道路的视差稠密点云数据信息，不仅能够解决自动驾驶车辆只能识别到正障碍物（高于地面）不能识别负障碍物的问题，而且自动驾驶车辆能够实时的识别出道路破损、坑洼甚至没有井盖的地下道等影响行车的路况，避免车辆掉坑里从而引发的安全问题。

47、2.本发明通过采用路面坑洼区域拓扑算法对道路的路面进行筛选，并耦合将所述道路的第一图像数据信息输入rcnn识别网络得到的路面坑洼识别数据信息，不仅能够全面的对路面的坑洼区域进行检测，而且解决自动驾驶车辆行驶至非结构化道路上（有明显坑洼地段）仍以原速度行驶不减速，引发乘客抱怨乘坐舒适性差甚至会对车辆底盘造成一定的伤害等问题。