一种基于图像信息融合的非结构化道路检测方法及系统与流程
本发明涉及道路导航领域，尤其涉及一种基于图像信息融合的非结构化道路检测方法及系统。
背景技术：
基于视觉的导航系统是模式识别、人工智能领域的研究重点，其可应用于无人驾驶智能车。道路检测技术是辅助驾驶、无人驾驶技术中的关键技术，能够为无人驾驶智能车决策模块提供必要的环境信息。由于导航设备具有局限性，视觉传感器相对价廉且具有更大的应用潜力，然而所述视觉传感器受环境影响较大。
非结构化道路是指结构化程度低的道路，一般没有车道线和清洗的道路边缘；由于受阴影、水渍等的影响，非结构化道路检测相对困难，目前尚处于研究阶段。非结构化道路检测方法可以大致分为基于道路特征的检测、基于道路模型的检测和基于机器学习的道路检测等三大类。
基于道路特征的检测方法主要通过提取道路的某些特征来检测道路，这些特征可以是道路的颜色、灰度、纹理、边缘或频域特征等，主要优点是对道路形状不敏感，计算速度快、能够保证实时性；缺点是对光影、裂痕和水迹较为敏感；基于slic超像素的k-means聚类算法，需要先验知识，通过调整参数将道路信息分成两大类：可行驶区域和非行驶区域；然而由于图像信息受光照和外界环境影响比较大，单纯对图像进行预处理获取道路边缘或者通过分割获取可行驶区域都不能得到稳定、精确可靠的图像数据。
因此，现有技术还有待于改进和发展。
技术实现要素：
鉴于上述现有技术的不足，本发明的目的在于提供一种基于图像信息融合的非结构化道路检测方法及系统，旨在解决现有非结构化道路检测方法无法得到稳定、精确可靠的图像数据的问题。
本发明的技术方案如下：
一种基于图像信息融合的非结构化道路检测方法，其中，包括步骤：
a、通过摄像机实时获取道路视频图像，并对所述道路视频图像进行校正；
b、采用非结构化道路边缘检测算法对校正后的道路视频图像进行处理，获得第一预瞄点；
c、采用非结构化道路分割算法对校正后的道路视频图像进行处理，获得第二预瞄点；
d、采用最小二乘法对所述第一预瞄点和第二预瞄点进行拟合，得到道路虚拟中心线。
所述的基于图像信息融合的非结构化道路检测方法，其中，所述步骤b具体包括：
b1、对所述道路视频图像进行灰度化和去噪预处理；
b2、采用canny算法检测道路视频图像边缘并进行形态学修正；
b3、采用霍夫变换提取道路视频图像边缘并计算得出第一预瞄点。
所述的基于图像信息融合的非结构化道路检测方法，其中，所述步骤c具体包括：
c1、预先提取道路视频图像的颜色特征和空间特征；
c2、采用slic算法对道路视频图像进行分割获得超像素数据；
c3、采用k-means聚类算法对道路视频图像进行聚类并计算得出第二预瞄点。
所述的基于图像信息融合的非结构化道路检测方法，其中，所述步骤c2具体包括：
c21、对道路视频图像中的像素点进行初始化聚类处理获得若干初始种子点；
c22、在道路视频图像3*3领域内重新选择种子点；
c23、在2s*2s的范围内搜索距离所述重新选择的种子点最近的若干像素点，并对搜索到的像素点设置标签且归为一类；
c24、当同一个像素点同时被归类到多个种子点时，则计算所述像素点与多个种子点之间的距离，将距离最小值对应的种子点作为所述像素点的聚类中心；
c25、对所述聚类中心进行步骤c22-c24的迭代处理，直到误差收敛，得到最后分割的超像素数据。
所述的基于图像信息融合的非结构化道路检测方法，其中，所述步骤c3具体包括：
c31、随机从所述超像素数据中选取若干个聚类质心点；
c32、遍历所述超像素数据，将每一个超像素数据划分到与其距离最近的质心点，形成聚类；
c33、计算每个聚类的平均值并作为新的质心点；
c34、重复所述步骤c32-c33，直到质心点收敛，从而获得第二预瞄点。
所述的基于图像信息融合的非结构化道路检测方法，其中，所述步骤d中最小二乘法的公式为：
所述的基于图像信息融合的非结构化道路检测方法，其中，所述步骤b1中的灰度化处理公式为：
一种基于图像信息融合的非结构化道路检测系统，其中，包括：
校正模块，用于通过摄像机实时获取道路视频图像，并对所述道路视频图像进行校正；
第一计算模块，用于采用非结构化道路边缘检测算法对校正后的道路视频图像进行处理，获得第一预瞄点；
第二计算模块，用于采用非结构化道路分割算法对校正后的道路视频图像进行处理，获得第二预瞄点；
拟合模块，用于采用最小二乘法对所述第一预瞄点和第二预瞄点进行拟合，得到道路虚拟中心线。
所述的基于图像信息融合的非结构化道路检测系统，其中，所述第一计算模块具体包括：
预处理单元，用于对所述道路视频图像进行灰度化和去噪预处理；
修正单元，用于采用canny算法检测道路视频图像边缘并进行形态学修正；
第一计算单元，用于采用霍夫变换提取道路视频图像边缘并计算得出第一预瞄点。
所述的基于图像信息融合的非结构化道路检测系统，其中，所述第二计算模块具体包括：
提取单元，用于预先提取道路视频图像的颜色特征和空间特征；
分割单元，用于采用slic算法对道路视频图像进行分割获得超像素数据；
第二计算单元，用于采用k-means聚类算法对道路视频图像进行聚类并计算得出第二预瞄点。
有益效果：本发明首先通过非结构道路边缘检测算法和非结构化道路分割算法分别计算出道路视频图像的第一预瞄点和第二预瞄点，然后通过信息融合技术对所述第一预瞄点和第二预瞄点进行拟合得到道路视频图像的虚拟中心线；本发明通过上述计算处理可得到稳定、精确可靠的图像数据。
附图说明
图1为本发明一种基于图像信息融合的非结构化道路检测方法较佳实施例的流程图；
图2为本发明中对单目摄像机进行标定使用的棋盘示意图；
图3为本发明采用霍夫变换提取道路视频图像边缘结果示意图；
图4为本发明采用基于slic的k-means聚类道路视频图像的结果示意图；
图5为本发明具体实施例中方向盘角度图；
图6为本发明具体实施例中外侧道路gps坐标示意图；
图7为本发明具体实施例中内侧道路gps坐标示意图；
图8为本发明具体实施例中外侧道路打角示意图；
图9为本发明具体实施例中内侧道路打角示意图；
图10为本发明具体实施例中道路外侧导航行驶轨迹和图像行驶轨迹对比示意图；
图11为本发明具体实施例中道路内侧导航行驶轨迹和图像行驶轨迹对比示意图；
图12为本发明具体实施例中道路内侧导航轨迹偏差图；
图13为本发明具体实施例中道路外侧导航轨迹偏差图；
图14为本发明一种基于图像信息融合的非结构化道路检测系统较佳实施例的结构框图。
具体实施方式
本发明提供一种基于图像信息融合的非结构化道路检测方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，图1为本发明一种基于图像信息融合的非结构化道路检测方法较佳实施例的流程图，如图所示，其中，包括步骤：
s100、通过摄像机实时获取道路视频图像，并对所述道路视频图像进行校正；
s200、采用非结构化道路边缘检测算法对校正后的道路视频图像进行处理，获得第一预瞄点；
s300、采用非结构化道路分割算法对校正后的道路视频图像进行处理，获得第二预瞄点；
s400、采用最小二乘法对所述第一预瞄点和第二预瞄点进行拟合，得到道路虚拟中心线。
具体地，本发明提供的基于图像信息融合的非结构化道路检测方法是在windows系统下的vs2010平台上开发的；首先通过摄像机获取道路视频图像，然后对所述道路视频图像进行校正，并通过非结构道路边缘检测算法和非结构化道路分割算法分别计算出道路视频图像的第一预瞄点和第二预瞄点，最后通过信息融合技术对所述第一预瞄点和第二预瞄点进行拟合得到道路视频图像的虚拟中心线，通过上述计算处理可得到稳定、精确可靠的道路图像数据；将所述道路图像数据发送给无人巡逻车的决策模块可完成视觉导航功能，从而实现无人巡逻车的自主驾驶。
在目前的智能驾驶领域中，所应用到的摄像头主要有单目摄像头和双目摄像头两类，这两种摄像头的测距原理完全不同，单目摄像头需要对目标先进行识别，也就是说单目摄像头在测距前需要先识别障碍物是车、是人还是其他物体；双目摄像头则是直接通过两幅图像的视差计算来确定距离，其并不需要知道障碍物是什么，双目摄像头的难点在于计量量巨大，处理缓慢且成本高。
基于上述区别，本发明优选单目摄像机去实时获取道路视频图像，采用单目摄像头可以提前判断出障碍物，然后再测距，可增加智能驾驶的安全性能。
进一步，在所述步骤s100中，本发明采用张正友相机标定发对所述单目摄像机进行标定，如图2所示，将所述单目摄像机对准格式为10*10、边长为0.05m的黑白相见的平面棋盘，固定单目摄像机，手持棋盘以各种方向转动得到18张棋盘图像，使用matlab工具箱获得单目摄像机的内外参数和畸变参数，根据所获得的参数实现对单目摄像机进行标定；
具体来说，摄像机通过小孔成像模型生成图像平面，世界坐标系下每一个坐标点在图像像素坐标系下都有与之对应的像素点，摄像机标定的过程即为摄像机几何模型参数求解的过程，通过算法的优化可以提高相机矫正的精确度。相机参数分为相机外部参数、相机内部参数以及相机畸变参数，由于径向畸变对相机影响比较大其他畸变可以忽略不计。因此在matlab工具箱中仅仅计算了相机的径向畸变参数。
设三维坐标点为
三维坐标点和图像像素坐标点已知，根据矩阵求解方法，当图像数目大于等于3时k可以求出唯一解，根据公式可以求出相机外参，利用径向畸变估计可以得出相机径向畸变系数。
进一步，当所述单目摄像机获得道路视频图像后，可通过几何校正法对图像进行校正，例如：可以预先建立图像像点坐标（行、列号）和物方（或参考图）对应点坐标间的映射关系，解求映射关系中的未知参数，然后根据映射关系对图像各个像素坐标进行校正；最后确定各像素的灰度值。
进一步，在所述步骤s200中，当道路视频图像校正后，采用非结构化道路边缘检测算法对其进行处理，获得第一预瞄点，其具体包括步骤：
s210、对所述道路视频图像进行灰度化和去噪预处理；
具体地，首先将所述道路视频的彩色图像转变为灰度图像，具体可采用加权平均法进行转换，转换公式为：
s220、采用canny算法检测道路视频图像边缘并进行形态学修正；
具体来说，图像边缘检测算法有sobel、prewitt、laplace和canny等多种，本发明优选canny算法检测道路视频图像边缘并进行形态学修正的，具体地，先对图像进行膨胀处理得到连续的道路边缘，然后通过腐蚀处理去除图像中的噪点。
s230、采用霍夫变换提取道路视频图像边缘并计算得出第一预瞄点。
具体来说，可通过霍夫变换提取道路视频图像的边缘并计算得出第一预瞄点，继而求出道路中心线，如图3所示。
进一步，在本发明中，所述步骤s300、采用非结构化道路分割算法对校正后的道路视频图像进行处理，获得第二预瞄点，具体包括步骤：
s310、预先提取道路视频图像的颜色特征和空间特征；
具体来说，颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质，采用颜色直方图去提取图像的颜色特征；空间特征是指图像中分割出来的多个目标之间的互相的空间位置或相对方向关系，这些关系可分为连接/邻接关系,交叠/重叠关系和包含/包容关系等，本发明首先通过对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征。
s320、采用slic算法对道路视频图像进行分割获得超像素数据；
具体来说，所述步骤s320包括：
s321、对道路视频图像中的像素点进行初始化聚类处理获得若干初始种子点；
s322、在道路视频图像3*3领域内重新选择种子点；
s323、在2s*2s的范围内搜索距离所述重新选择的种子点最近的若干像素点，并对搜索到的像素点设置标签且归为一类；
s324、当同一个像素点同时被归类到多个种子点时，则计算所述像素点与多个种子点之间的距离，将距离最小值对应的种子点作为所述像素点的聚类中心；
s325、对所述聚类中心进行步骤s222-s224的迭代处理，直到误差收敛，得到最后分割的超像素数据。
具体来说，将图像从rgb颜色空间转换到cie-lab颜色空间，对应每个像素的(l，a，b)颜色值和（x，y）坐标组成一个五维向量v[l，a，b，x，y]，两个像素的相似性即可由它们的向量距离来测量，距离越大，相似度越小；
本发明预先对道路视频图像中的像素点进行初始化聚类处理获得若干初始种子点，然后在道路视频图像3*3像素领域内重新选择种子点，然后在每个重新选择的种子点周围空间里搜索距离所述重新选择的种子点最近的若干像素点，将搜索到的像素点设置标签并归为一类，直到所有的像素点都归类完毕；具体地，可设定一个距离阈值，当搜索到一个像素点与当前重新选择的种子点之间的距离小于所述距离阈值时，则将所述像素点归为所述种子点一类；假设重新选择的种子点有k个，道路视频图像有n个像素点，则每个种子点形成的聚类可包含n/k个像素点，每个聚类的边长大致为s=[n/k]*0.5；较佳地，在重新选择的种子点周围2s*2s的范围内搜索与其距离最近的像素点；
进一步，当同一个像素点同时被归类到多个种子点时，则计算所述像素点与多个种子点之间的距离，将距离最小值对应的种子点作为所述像素点的聚类中心；同时对所述聚类中心进行迭代处理，直到误差收敛，得到最后的聚类，即超像素数据。
s330、采用k-means聚类算法对道路视频图像进行聚类并计算得出第二预瞄点；具体地，所述步骤s330包括：
s331、随机从所述超像素数据中选取若干个聚类质心点；
s332、遍历所述超像素数据，将每一个超像素数据划分到与其距离最近的质心点，形成聚类；
具体来说，设置另一个距离阈值，计算所述质心点与各个超像素数据之间的距离，当该距离值小于距离阈值时，则将所述超像素数据划分到该质心点形成聚类。
s333、计算每个聚类的平均值并作为新的质心点；
具体来说，计算每个聚类中所有像素点的平均向量值，重新获得新的质心点。
s334、重复进行步骤s332-s333的迭代处理，直到质心点收敛，从而获得第二预瞄点。
具体地说，通过基于slic的k-means聚类算法对道路图像进行聚类，可将道路图像数据分为可行驶区域和非行驶区域，如图4所示。
更进一步，在所述步骤s400中，设
通过采用所述最小二乘法对所述第一预瞄点和第二预瞄点进行拟合处理，便可得到道路图像的虚拟中心线。
进一步，本发明通过一具体实施例对处理后的道路图像数据进行验证；将所述虚拟中心线角度信息发送至无人巡逻车下位机的决策模块中，规定所述无人巡逻车的方向盘角度如图5所示，所述无人巡逻车在行驶过程中，路段位置如图6和图7所示，发送下位机决策模块的打角数据如图8和图9所示，图10和图11分别表示在路段图6和图7所示位置的导航行驶轨迹和使用图像传感器获得的行驶轨迹的对比图；图12和图13是分别对路段外侧和路段内侧使用图像传感器和导航行驶对比轨迹偏差图。
通过对比发现，本发明单纯利用单目摄像头，在较小的误差范围内实现了道路导航，且相比于使用图像传感器，本发明的导航方式更加精确，因此本发明具有巨大的应用价值。
进一步，本发明还提供一种基于图像信息融合的非结构化道路检测系统，其中，如图14所示，包括：
校正模块100，用于通过摄像机实时获取道路视频图像，并对所述道路视频图像进行校正；
第一计算模块200，用于采用非结构化道路边缘检测算法对校正后的道路视频图像进行处理，获得第一预瞄点；
第二计算模块300，用于采用非结构化道路分割算法对校正后的道路视频图像进行处理，获得第二预瞄点；
拟合模块400，用于采用最小二乘法对所述第一预瞄点和第二预瞄点进行拟合，得到道路虚拟中心线。
所述的基于图像信息融合的非结构化道路检测系统，其中，所述第一计算模块200具体包括：
预处理单元，用于对所述道路视频图像进行灰度化和去噪预处理；
修正单元，用于采用canny算法检测道路视频图像边缘并进行形态学修正；
第一计算单元，用于采用霍夫变换提取道路视频图像边缘并计算得出第一预瞄点。
所述的基于图像信息融合的非结构化道路检测系统，其中，所述第二计算模块300具体包括：
提取单元，用于预先提取道路视频图像的颜色特征和空间特征；
分割单元，用于采用slic算法对道路视频图像进行分割获得超像素数据；
第二计算单元，用于采用k-means聚类算法对道路视频图像进行聚类并计算得出第二预瞄点。
综上所述，本发明首先通过非结构道路边缘检测算法和非结构化道路分割算法分别计算出道路视频图像的第一预瞄点和第二预瞄点，然后通过信息融合技术对所述第一预瞄点和第二预瞄点进行拟合得到道路视频图像的虚拟中心线；本发明通过上述计算处理可得到稳定、精确可靠的图像数据；进一步，可将所述图像数据应用于无人巡逻车进行导航，可降低研究成本，具有巨大的应用价值。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！