一种基于图像视觉的车道线检测方法与流程

本发明涉及智能驾驶技术领域，尤其涉及一种基于图像视觉的车道线检测方法。

背景技术：

随着公路交通的飞速发展，交通安全越来越受到人们的广泛关注，因此智能车辆的研究成为世界各国学者们关注的热点，其中车道偏离预警系统是高级辅助驾驶系统的一种，该系统可以在探测到车辆出现非主动偏离当前车道时，向驾驶员发出警告信息，以提醒驾驶员及时矫正，很大限度的减少交通事故的发生。

在车道偏离预警系统中，车道线检测是其中的关键技术。通常的车道线检测方法分为两步：(1)车道线特征提取，(2)车道线几何模型的建立与匹配，其中车道线特征提取的精度直接影响下一步车道线几何模型的拟合与匹配，因此车道线特征提取是最为关键的步骤。车道线特征提取的目的是最大限度地保留可能的车道区域，并滤除掉可能的非车道区域。传统的区域分割主要采用阈值分割、Sobel算子或Canny算子来实现，其中针对亮度环境复杂的情形，自适应阈值或大津法都无法有效的进行分割；而通用的Sobel和Canny差分算子在实现边缘分割时，仅仅依靠邻域模板，没有考虑车道线的宽度、方向等几何特征，不仅增强了车道线信息，同时其它无用信息如车辆、行人、车道标识也被增强，从而可能导致车道线信息被淹没。在车道线几何模型拟合与匹配时，Hough变换(哈夫变换)也是广泛应用的方法之一，该方法鲁棒性强，但需要大量的计算量和存储空间，速度较慢。因此，如何设计高效准确的车道线特征提取和几何模型拟合与匹配算法是目前仍然需要解决的问题。

技术实现要素：

本发明所要解决的技术问题是，提供一种基于图像视觉的车道线检测技术方案，克服在车道线特征提取中，利用传统边缘检测方法而产生的边缘过度分割或者边缘相应不强，而使车道线边缘信息淹没在车道标识、车辆、行人等干扰信息等缺陷，有效地滤除图像中非车道线区域的干扰，降低运算量，提高车道线参数的精确度和提取速度，增强系统的鲁棒性。

为解决以上技术问题，本发明实施例提供一种基于图像视觉的车道线检测方法，包括：

采集待检测图像，并对待检测图像进行预处理；

基于车道线几何特征和灰度差异进行车道线特征提取，筛选出车道线区域；

对所述车道线区域进行采样，采用随机抽样一致算法对采集数据进行直线拟合，计算出车道线参数。

在一种可实现的方式中，所述对待检测图像进行预处理，包括：

在所述待检测图像上设定ROI区域；所述ROI区域包含车辆前方与道路消失水平面之间的道路图像；

对ROI区域的图像进行灰度化处理；

对灰度图像进行中值滤波处理，去除图像采集与传输过程中的噪声。

优选地，所述基于车道线几何特征和灰度差异进行车道线特征提取，筛选出车道线区域，具体包括：

根据车道线的宽度约束关系与灰度差异对所述ROI区域的车道线进行标记，并对标记后的ROI区域进行图像二值化处理；

对图像二值化处理后的车道线区域的连通性进行分析，并根据车道线区域的几何特征对车道线进行筛选，获得目标的车道线区域；所述几何特征包括车道线的方向、长度、宽度和连通域面积。

进一步地，所述根据车道线的宽度约束关系与灰度差异对所述ROI区域的车道线进行标记，并对标记后的ROI区域进行图像二值化处理，具体包括：

从ROI区域首行开始遍历ROI图像，分别计算出车道线的宽度、两边区域的灰度值、中间区域的灰度值以及两边区域的灰度差之和；

当车道线的两边区域的灰度值均小于中间区域的灰度值，并且车道线宽度以及两边区域的灰度差之和在指定阈值范围内时，对ROI区域内的车道线进行标记；

对标记后的ROI区域进行图像二值化处理。

进一步地，所述对图像二值化处理后的车道线区域的连通性进行分析，并根据车道线区域的几何特征对车道线进行筛选，获得目标的车道线区域，具体包括：

对图像二值化处理后的ROI区域进行扫描，查找出所有被标记的车道线的连通区域并计算每个连通区域的面积；

依次计算出所有连通区域的最小外包络矩形的形状描述子及其几何特征；

根据对目标的车道线区域的几何特征的约束值，对ROI区域的车道线进行筛选，保留符合约束范围的车道线区域。

优选地，对所述车道线区域进行采样，采用随机抽样一致算法对采集数据进行直线拟合，计算出车道线参数，包括：

以ROI区域的中心点为起始点，分别从左右两个方向进行车道线所属点集进行扫描；

对扫描获得的点集，采用随机抽样一致算法进行直线拟合，提取出ROI区域内的车道线参数。

优选地，所述以ROI区域的中心点为起始点，分别从左右两个方向进行车道线所属点集进行扫描，包括：

扫描以ROI区域的图像中心点所在的横坐标为起点；

每行向左扫描到的第一个灰度值为255的坐标作为左车道线待拟合点集，并结束该行扫描；每行向右扫描到的第一个灰度值为255的坐标作为右车道线待拟合点集，并结束该行扫描；其中，图像二值化后的ROI区域图像的车道线区域的所有坐标灰度值均为255，非车道线区域的所有坐标灰度值均为0。

优选地，所述对扫描获得的点集，采用随机抽样一致算法进行直线拟合，提取出ROI区域内的车道线参数，包括：

将扫描获得的车道线区域的所有点集构成集合P，在集合P中随机抽取2个特征点构成集合S，并用S初始化车道线直线模型y＝k_rx+b_r，其中，k_r、b_r分别为根据随机抽取的2个特征点对直线模型进行初始化得到的斜率和截距；

计算余集S_c中的点与车道线直线模型y＝k_rx+b_r的距离d；集合S_c是集合S在集合P中的余集；

将距离d小于阈值容限d_i余集S_c中相应的点构成集合Q，集合Q与集合S构成内点集S^*；

若内点集S^*中的点的个数大于最小内点数量t，则利用内点集S^*中的点和采用最小二乘法对所述车道线直线模型y＝k_rx+b_r进行更新，并存储该模型参数；

若所述车道线直线模型y＝k_rx+b_r已经更新，或者，内点集S^*中的点的个数不大于最小内点数量t，则在集合P中重新随机抽取2个特征点构成集合S对车道线直线模型y＝k_rx+b_r进行初始化，重复以上步骤进行多次抽样；

在完成多次抽样后，选取内点个数最多的内点集S^*的特征点计算出的车道线参数作为最终的车道线参数。

本发明实施例提供的基于图像视觉的车道线检测方法，根据预设的车道线宽度与灰度差分阈值实现车道线区域的初始提取，最大限度地保持了车道线区域；对图像中所有的连通域进行分析，结合车道线的几何特征进一步对车道线区域进行筛选，可以有效地滤除图像中非车道线区域的干扰，完成车道线特征的提取，为车道线参数的准确提取奠定了基础；由于本发明综合考虑了车道线的灰度特征和几何特征，因此无论是白天还是夜晚都能对车道线边缘进行准确分割。因此，本发明提供的技术方案大大降低了运算量，提高了计算速度，准确高，鲁棒性强。

附图说明

图1是本发明提供的基于图像视觉的车道线检测方法的一个实施例的步骤流程图。

图2是本发明提供的对ROI区域进行标记和二值化处理的一种实施例的步骤流程图。

图3是本发明提供的对图像二值化处理后的车道线区域的连通性进行分析和筛选的一个实施例的步骤流程图。

图4是本发明提供的对图像二值化处理后的车道线区域的连通性进行分析和筛选的结果示意图。

图5是本发明提供的采用随机抽样一致算法获得车道线参数的一个实施例的步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

参见图1，是本发明提供的基于图像视觉的车道线检测方法的一个实施例的步骤流程图。

本实施例提供的基于图像视觉的车道线检测方法，主要包括以下步骤：

步骤S1：采集待检测图像，并对待检测图像进行预处理。

具体实施时，利用安装在车辆前部区域(例如后视镜下方)的摄像头，可以采集车辆前方含有车道线的当前帧图像；图像预处理的主要目的是消除图像采样噪声、阴影、天空等干扰物的影响，最大化保留车道线区域。

优选地，所述对待检测图像进行预处理，包括：

a.在所述待检测图像上设定ROI区域；所述ROI区域包含车辆前方与道路消失水平面之间的道路图像。

ROI(Region Of Interest)又称为感兴趣区域。在图像处理领域，感兴趣区域(ROI)是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。在本实施例中，选取的ROI区域主要是车辆引擎盖上部与道路消失水平面之间的道路图像，主要集中在图像的下部。通过选取ROI区域，可以加快图像处理速度，同时避免周围环境的干扰。在本实施例中，以下所有算法都是在ROI区域进行的，并且，ROI区域大小优选为320×240像素。

b.对ROI区域的图像进行灰度化处理。灰度化处理可以过滤一些减少数据处理量，从而可以进一步加快图像处理速度。

c.对灰度图像进行中值滤波处理，去除图像采集与传输过程中的噪声，从而保证数据的准确度。

步骤S2：基于车道线几何特征和灰度差异进行车道线特征提取，筛选出车道线区域。

在一种可实现的方式中，所述步骤S2具体包括以下两个部分：

步骤S21：根据车道线的宽度约束关系与灰度差异对所述ROI区域的车道线进行标记，并对标记后的ROI区域进行图像二值化处理；

步骤S22：对图像二值化处理后的车道线区域的连通性进行分析，并根据车道线区域的几何特征对车道线进行筛选，获得目标的车道线区域；所述几何特征包括但不限于车道线的方向、长度、宽度和连通域面积。

作为车道线特征提取阶段，首先基于车道线的宽度约束关系与灰度差异特征对车道线进行初始标记，标记出所有可能是车道线的区域；然后基于车道线区域的几何特征对车道线进行筛选，保留最强车道线的区域，该阶段主要消除其他非车道线区域的干扰，如：箭头、并线、人行道、车道提示字符等。

步骤S3：对所述车道线区域进行采样，采用随机抽样一致算法对采集数据进行直线拟合，计算出车道线参数。

参看图2，是本发明提供的对ROI区域进行标记和二值化处理的一种实施例的步骤流程图。

在本实施例中，在对ROI区域的车道线进行标记和图像二值化处理时，从ROI区域首行开始遍历ROI图像，分别计算出车道线的宽度、两边区域的灰度值、中间区域的灰度值以及两边区域的灰度差之和；当车道线的两边区域的灰度值均小于中间区域的灰度值，并且车道线宽度以及两边区域的灰度差之和在指定阈值范围内时，对ROI区域内的车道线进行标记；对标记后的ROI区域进行图像二值化处理。

具体地，如图2所示，所述步骤S21可以采用以下方式进行实现：

步骤S211：对ROI区域进行遍历，分别计算出车道线的宽度、两边区域的灰度值、中间区域的灰度值以及两边区域的灰度差之和。

具体地，采用以下方程分别计算出车道线相应的特征：

diff_L＝I(x,y)-I(x-δ,y) (1)

diff_R＝I(x,y)-I(x+δ,y) (2)

diff＝diff_L+diff_R-|(I(x+δ,y)-I(x-δ,y))| (3)

diff_Thresh＝θ*I(x,y) (4)

其中，式中I(x,y)为标记前图像在坐标(x,y)处的灰度值，I(x-δ,y)为标记前图像在坐标(x-δ,y)处的灰度值；diff_L为标记前图像在坐标(x,y)的灰度值与左侧一定距离的灰度值之差；I(x+δ,y)为标记前图像在坐标(x+δ,y)处的灰度值，diff_R为标记前图像在坐标(x,y)的灰度值与右侧一定距离的灰度值之差；diff表示标记前图像在坐标(x,y)左侧一定距离的灰度差与右侧一定距离的灰度差之和；diff_Thresh表示灰度差之和的阈值；θ为比例缩放系数，取值范围为0<θ<1的小数，需要根据大量的样本图像数据统计计算后获得，一般取值0.25～0.75之间，本实施例优选为0.5；δ_y为当前像素点(x,y)所在的第y行的车道线宽度，以像素为单位，其计算方程为：

由于透视效果，具有一定宽度的车道线在图像中呈现近大远小的视觉效果，因此，式(5)中min与max分别为整条车道线宽度的最大与最小值，height是图像的高度，均以像素为单位，ε为误差增益，其主要目的是为了减少噪声的干扰，一般取值为5。其中最小值min和最大值max需要根据图像的尺寸和摄像头的固定位置进行调整，本实施例中优选将min取值为0，max取值13。

步骤S212：逐一判断当前像素是否符合标记条件。

根据车道线的宽度约束，充分考虑图像中每一行车道线与非车道线区域的灰度差异，标记出所有可能的车道线区域。只有在车道线宽度范围内，两边区域的灰度值同时小于中间区域的灰度值，并且两边区域的灰度差之和在指定阈值范围内的区域才被标记为可能的车道线区域。即，当diff_L>0，且，diff_R>0，且，diff大于灰度差之和的阈值diff_Thresh，当前像素会被划入车道线的区域。

步骤S213：对ROI区域进行二值化处理：

其中，G(x,y)为标记后图像在(x,y)处的灰度值。步骤S214：判断当前ROI区域的所有像素是否遍历完成，若否，则返回步骤S211进行计算。

在一种可实现的方式中，所述步骤S22，在对图像二值化处理后的车道线区域的连通性进行分析和筛选时，首先对图像二值化处理后的ROI区域进行扫描，查找出所有被标记的车道线的连通区域并计算每个连通区域的面积；然后，依次计算出所有连通区域的最小外包络矩形的形状描述子及其几何特征；最后，根据对目标的车道线区域的几何特征的约束值，对ROI区域的车道线进行筛选，保留符合约束范围的车道线区域，作为目标的车道线。

具体地，参看图3，是本发明提供的对图像二值化处理后的车道线区域的连通性进行分析和筛选的一个实施例的步骤流程图。

步骤S221：计算出当前被标记的车道线的连通区域的面积contourArea。

其中，连通区域又简称为连通域，在本实施例中是指二值图像中由一批连通的像素点集构成的形状。

步骤S222：将当前被标记的车道线的连通区域的面积contourArea与预设的面积阈值minSize进行比较。若当某个连通区域的面积contourArea小于所设定的阈值minSize时，则删除该区域的点集，否则执行步骤S223。其中，阈值minSize的取值范围根据图像的尺寸进行调整。

在本实施例中，阈值minSize的取值优选为图像的高度与宽度的乘积的0.00015倍，经过此步骤可以去掉了一些小区域噪声的影响。

步骤S223：检测获得连通区域的最小外包络矩形，并计算出其面积minAreaRect。

在本实施例中，最小外包络矩形作为车道线的形状描述子，其表示场景中的某个物体(车道线)，为了描述和识别该物体，需要通过某些几何特征描述其形状，该几何特征就是形状描述子。现有的形状描述子包括但不限于最小外接圆、最小外包络矩形等。

步骤S224：计算该连通区域的最小外包络矩形的几何特征，包括该最小外包络矩形的长度、宽度和旋转角度(即方向)。

步骤S225：将该连通区域的最小外包络矩形的长度与长度阈值进行比较。当最小外包络矩形的长(bounding_length)满足bounding_length>longLane时，直接保留该连通区域的点集，其中longLane为最小外包络矩形长的阈值，本实施例中阈值longLane取值为图像高height的0.3倍。

步骤S226：检测该连通区域的最小外包络矩形的旋转角度所处的角度范围，当最小外包络矩形的旋转角度angle_deg满足-70°<angle_deg<-10°或者10°<angle_deg<70°时，进一步通过步骤S227对最小外包络矩形的长度和宽度进行检测。

步骤S227：当该最小外包络矩形的长度bounding_length与宽度bounding_width的比值ratio＝bounding_length/bounding_width≥4时，直接保留该连通区域点集；若比值ratio＝bounding_length/bounding_width≥2并且连通区域面积contourArea与最小外包络矩形的面积minAreaRect的比值大于0.75时，同样保留该连通区域点集。此过程的筛选既满足车道线的角度要求，又兼顾了车道线是实线、虚线、断裂的现象。

参看图4，是本发明提供的对图像二值化处理后的车道线区域的连通性进行分析和筛选的结果示意图。其中，图4a是车道线被初次标记之后的二值化图像；图4b是车道线的连通域的区域图像；图4c是连通域的最小外包络矩形形状；图4d是对ROI车线连通域进行筛选后获得的目标车道线，可以看出，实施上述过程的筛选后，本发明实施例可以准确保留少量的车道线信息。

在本实施例中，完成对当前帧ROI区域的车道线标记与筛选之后，分别对左右车道线区域的点集应用RANSAC算法进行直线模型的车道线参数提取。

RANSAC是Random Sample Consensus(随机抽样一致)的简称，运用RANSAC的思想，可以根据一组包含异常数据的样本数据集，通过迭代的方法计算出数据的数学模型参数，得到有效样本数据的非确定性的算法。

参看图5，是本发明提供的采用随机抽样一致算法获得车道线参数的一个实施例的步骤流程图。

在本实施例中，对所述车道线区域进行采样，采用随机抽样一致算法对采集数据进行直线拟合，计算出车道线参数，包括：

步骤S51：以ROI区域的中心点为起始点，分别从左右两个方向进行车道线所属点集进行扫描；

步骤S52：对扫描获得的点集，采用随机抽样一致算法进行直线拟合，提取出ROI区域内的车道线参数。

其中，所述以ROI区域的中心点为起始点，分别从左右两个方向进行车道线所属点集进行扫描，包括：

扫描以ROI区域的图像中心点所在的横坐标为起点；每行向左扫描到的第一个灰度值为255(即数字图像中的白点)的坐标作为左车道线待拟合点集P_l，并结束该行扫描；每行向右扫描到的第一个灰度值为255的坐标作为右车道线待拟合点集P_r，并结束该行扫描；其中，图像二值化后的ROI区域图像的车道线区域的所有坐标灰度值均为255，非车道线区域的所有坐标灰度值均为0(即数字图像中的黑点)。需要说明的是，本发明还可以采用其它灰度值进行车道线的拟合，仅需将车道线区域和非车道线区域进行区分即可。以此方法得到的都是车道上距车辆最近的内侧点，不会因为车道线宽度而产生抖动，而且避免了对全图进行扫描，提高了效率。

其中，所述S52可以采用以下方式进行实现，包括：

步骤S521：将扫描获得的车道线区域的所有点集构成集合P(即左车道线待拟合点集P_l和右车道线待拟合点集P_r)

步骤S522：在集合P中随机抽取2个特征点构成集合S，并用S初始化车道线直线模型y＝k_rx+b_r，其中，k_r、b_r分别为根据随机抽取的2个特征点对直线模型进行初始化得到的斜率和截距；

步骤S523：计算余集S_c中的点与车道线直线模型y＝k_rx+b_r的距离d；集合S_c是集合S在集合P中的余集；

步骤S524：判断距离d与阈值容限d_i的大小；

步骤S525：将距离d小于阈值容限d_i余集S_c中相应的点构成集合Q，集合Q与集合S构成内点集S^*；

步骤S526：将内点集S^*中的点的个数与最小内点数量t进行比较。若内点集S^*中的点的个数大于最小内点数量t，则执行步骤S527；

步骤S527：利用内点集S^*中的点和采用最小二乘法对所述车道线直线模型y＝k_rx+b_r进行更新，并存储该模型参数；

若所述车道线直线模型y＝k_rx+b_r已经更新，或者，内点集S^*中的点的个数不大于最小内点数量t，则返回步骤S522，在集合P中重新随机抽取2个特征点构成集合S对车道线直线模型y＝k_rx+b_r进行初始化；

步骤S528：重复以上步骤S522～步骤S527进行多次抽样；

步骤S529：在完成多次抽样后，选取内点个数最多的内点集S^*的特征点计算出的车道线参数作为最终的车道线参数。具体地，完成K次抽样后，选取内点个数最多的S*内点集合计算出的车道线参数作为最终(左或右)车道线参数。其中K为抽样次数，其值主要取决于步骤S522中随机抽取的2个特征点之间的相关性。一般在已知先验概率的情况下，K由计算统计均值获得，本发明中K优选为50。

本发明实施例提供的基于图像视觉的车道线检测方法，根据预设的车道线宽度与灰度差分阈值实现车道线区域的初始提取，最大限度地保持了车道线区域；对图像中所有的连通域进行分析，结合车道线的几何特征进一步对车道线区域进行筛选，可以有效地滤除图像中非车道线区域的干扰，完成车道线特征的提取，为车道线参数的准确提取奠定了基础；由于本发明综合考虑了车道线的灰度特征和几何特征，因此无论是白天还是夜晚都能对车道线边缘进行准确分割。因此，本发明提供的技术方案大大降低了运算量，提高了计算速度，准确高，鲁棒性强。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。