一种基于视觉的车道线检测方法及装置与流程

技术领域：

本发明涉及一种基于视觉的车道线检测方法及装置。

背景技术：
：

若想实现辅助驾驶或无人自动驾驶，从视觉的角度上讲都要先学会观察道路，直接有用的方法就是检测车道线。车道线检测相对于其他交通标志来说检测还是比较容易的，然而由于车辆速度造成图像模糊，光照变化、物体遮挡、污渍等影响图像质量，或由于摄像机拍摄角度变化使得所获取的标志线会发生严重的变形，从而影响车道线识别的准确性。

车道线检测的方法主要分为基于区域的检测方法、基于边缘的检测方法、基于深度学习的检测方法；基于区域的方法将车道线识别问题定义为分类问题，即将道路图像分成车道线部分和非车道线部分，其必须克服噪声的存在，如阴影、积水和道路污渍等，且分类器所花费的时间一般较大。这种方法在建立道路参数模型的基础上，分析图像中的目标信息后计算得到模型参数；该方法优点是不受地面状况干扰，缺点是计算复杂度较高，算法的时间开销较大，实时性较差。基于边缘的方法是在获取道路场景的边缘图后，针对结构化道路较强的几何特征，利用二维或三维曲线建立车道线模型；在特定的结构化道路场景下，这种方法常常能达到满意的效果。面对复杂的驾驶环境，检测效果往往不稳定，漏检和误检的情况普遍发生。基于深度学习的检测方法是比较前沿的科研技术，建立一个深度学习模型将大大解决车道线复杂场景下的特征提取不稳定问题。但如何建立一个适合的模型以及后续处理仍是一个不小的难题，并且这种方法暂不能满足车载实时性的要求。

技术实现要素：
：

本发明的目的是提供一种充分利用了单目摄像机在视觉检测中的优越性，能识别出不同曲率的车道线，将区域与边缘方法结合起来的一种基于视觉的车道线检测方法及装置。

上述的目的通过以下的技术方案实现：

一种基于视觉的车道线检测方法，本检测方法包括六步，第一步预处理模块，第二步特征提取模块，第三步模型拟合模块，第四步车道线提炼处理模块，第五步跟踪预测模块，第六步车道线检测输出参数结构化。

所述的一种基于视觉的车道线检测方法，所述的第一步预处理模块是包括图像的灰度化、图像的平滑和增强处理技术，图像的灰度化技术是利用车道线的普遍特征，最大程度的突出灰度化后车道线的灰度值；采用符合人们视觉认知的加权平均算法处理彩色rgb图像和灰度图像的对应关系表示为公式(4-1)；

gray＝r×0.299+g×0.587+b×0.114(公式4-1)

对灰度图像的平滑和增强处理中，进行以获得灰度对比度明显，背景暗淡，车道线轮清晰的图像，降低图像处理过程中的复杂程度；用中值滤波剔出噪点。

所述的一种基于视觉的车道线检测方法，所述的第二步特征提取模块是车道线标志有着明显的上升沿和下降沿，在提取特征点的时候需要在上升沿和下降沿各提取一个点组成一个点对；车道线特征点属于与相邻像素灰度值差值较大的跳变点，采用局部梯度方法去提取地面标识特征点，先计算像素点水平线附近的均值，评估该像素灰度值的强度水平，当该像素附近的灰度强度太高或太低的时候，车道线与地面的灰度梯度就会变小；灰度平均值的计算公式(4-2)所示，

然后再计算边缘的升变点ep和降变点ev，满足公式(4-3)条件，

要求地面标识特征点是由相邻的上升沿点和下降沿点组成的点对，并且之间满足一定的距离,满足公式(4-4)，

δw＝ep(x)-ev(x)＞w(公式4-4)

定义车道线的特征点f(x)为成对的ep(x)和ev(x)的平均值，即公式(4-5)，

f(x)＝(ep(x)+ev(x))/2(公式4-5)。

所述的一种基于视觉的车道线检测方法，所述的第三步模型拟合模块是根据结构化道路约束假设，建立车道线模型，将车道线视野分为近视野、中视野和远视野三部分，其中，近视野和中视野区域以直线模型进行匹配，远视野区域则采用加权双曲线拟合模型，在直线拟合模型中，设计出用一种结合两种算法优点的直线检测方法；首先，利用霍夫变换确定直线存在的大致范围，然后对每个区域内的特征点集，采用改进的最小二乘法得到精确的直线参数，在曲线拟合之前，建立曲线目标像素点集合；目标像素集合中的每一个像素点都应满足以下两个条件：一是尽量多的处于车道线上，二是集合中点的数量足够充实，只有足够的数据量才能减少误差像素带来的干扰；以直线检测的参数为基础，依靠直线检测的高准确率来估计远视野中车道线目标像素点提取的准确性；以直线上端点的像素点作为搜索的起始种子点，从起始种子点开始在图像中进行梯度值相关性和灰度值相关性扫描查找；先根据梯度值相关性判定车道线的方向，划定搜索区域，再利用灰度值相关性进行局部搜索；在目标像素集合中采用基于线性双曲线模型进行拟合，公式4-5所示，

所述的一种基于视觉的车道线检测方法，所述的第四步车道线提炼处理模块是经过车道线模型拟合后，对车道线进行提炼过程，筛选出可靠的车道线，剔除误检标志线；进行二个步骤的处理，一是消失点约束关系，二是多条车道线平行关系；

在消失点约束关系中，分别在横向和垂直方向规定容错区域；假设上一帧消失点位置为p(x,y)，消失点p′(x′,y′)容错区域为公式(4-6)

在多条车道线平行关系中，将每条车道线都规定了三个控制点，这三个控制点指定为视野线与车道线的交点。根据车道线平行关系，在同一控制点序号之间的车道线应该有距离相似，斜率和角度相似关系。

所述的一种基于视觉的车道线检测方法，所述的第五步跟踪预测模块是在实际采集系统以及大部分的智能车辆系统中，车载相机直接获得的是视频流信息，车辆运动在时间上和空间上都具有连续性；通过使用卡尔曼滤波器用于实时预测每个车道的运动状态,观察运动状态与当前的匹配。

所述的一种基于视觉的车道线检测方法，所述的第六步车道线检测输出参数结构化是，对车道线检测结果进行统一的结构化处理。

一种基于视觉的车道线检测方法的装置，其组成包括:汽车车头，所述的汽车车头具有前挡风玻璃，所述的前挡风玻璃的下方连接加固板，所述的加固板连接在所述的汽车车头的钣金上、并用螺栓进行固定，所述的加固板的底部固定垂直连接托板，所述的加固板的顶部通过内置合页连接调节盖板，所述的加固板的左侧固定连接左挡板，所述的加固板的右侧固定连接右挡板，所述的托板托住摄像头底座的底部，所述的摄像头底座连接所述的加固板、并用螺钉进行固定，所述的摄像头底座连接单目摄像头。

所述的一种基于视觉的车道线检测方法的装置，所述的摄像头底座插在所述的托板、所述的左挡板、所述的右挡板之间，所述的左挡板开有弧形左调节口，所述的弧形左调节口内紧配合插入左调节杆，所述的左调节杆的外端连接左固定限位板，所述的左固定限位板挡在所述的左挡板的外侧，所述的左调节杆连接左拉杆，所述的左拉杆连接在所述的调节盖板的左侧，所述的右挡板开有弧形右调节口，所述的弧形右调节口内紧配合插入右调节杆，所述的右调节杆的外端连接右固定限位板，所述的右固定限位板挡在所述的右挡板的外侧，所述的右调节杆连接右拉杆，所述的右拉杆连接在所述的调节盖板的右侧；所述的左调节杆与所述的右调节杆控制所述的调节盖板倾斜角度。

有益效果：

1.本发明能够确保车道线检测在各场景下的实时性要求，并能够提供可靠的车道线信息。

2.本发明适用于不同曲率的车道线检测，适用于道路线被遮挡或者部分被损坏。

3.本发明基于单目视觉的车道线检测，能够满足不同位置的相机安装。

4.本发明能够将摄像头底座牢牢地固定在汽车车头上，固定的非常牢固，在汽车行驶中非常安全。

附图说明：

附图1是车道线检测方法总体流程图。

附图2是车道线图像中某行扫描的亮度变化图。

附图3是车道线特征提取结果图。

附图4是车道线拟合模型示意图。

附图5是车道线直线模型拟合流程图。

附图6是车道线平行关系示意图。

附图7是车道线检测结果图。

附图8是车道线参数调试界面图。

附图9是本产品的结构示意图。

附图10是附图9的后视图。

具体实施方式：

下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例1：

一种基于视觉的车道线检测方法，本检测方法包括六步，第一步预处理模块，第二步特征提取模块，第三步模型拟合模块，第四步车道线提炼处理模块，第五步跟踪预测模块，第六步车道线检测输出参数结构化。

实施例2：

实施例1所述的一种基于视觉的车道线检测方法，所述的第一步预处理模块是包括图像的灰度化、图像的平滑和增强处理技术，图像的灰度化技术是利用车道线的普遍特征，最大程度的突出灰度化后车道线的灰度值；采用符合人们视觉认知的加权平均算法处理彩色rgb图像和灰度图像的对应关系表示为公式(4-1)；

gray＝r×0.299+g×0.587+b×0.114(公式4-1)

其中，r,g,b分别表示彩色rgb图像的红、绿和蓝三个颜色分量，gray表示灰度图像的像素值；

对灰度图像的平滑和增强处理中，进行适宜的优化以获得灰度对比度明显，背景暗淡，车道线轮廓更加清晰的图像，从而来提高算法的可靠性，降低图像处理过程中的复杂程度；当然，对采集的图像的并不是都要进行以上的预处理过程，需要根据图像的质量来判断，其中，实验中必要的是灰度化处理，用中值滤波剔出噪点。

实施例3：

实施例1所述的一种基于视觉的车道线检测方法，所述的第二步特征提取模块是车道线标志有着明显的上升沿和下降沿，在提取特征点的时候需要在上升沿和下降沿各提取一个点组成一个点对；车道线特征点属于与相邻像素灰度值差值较大的跳变点，如图2所示，是车道线图像中某行扫描的亮度变化图。采用局部梯度方法去提取地面标识特征点，先计算像素点水平线附近的均值，评估该像素灰度值的强度水平，当该像素附近的灰度强度太高或太低的时候，车道线与地面的灰度梯度就会变小；灰度平均值的计算公式(4-2)所示，

(x,y)是像素点在图像坐标系中的列和行，t代表的是在行的领域，实验中取t＝5能取得很好的效果。

然后再计算边缘的升变点ep和降变点ev，满足公式(4-3)条件，

要求地面标识特征点是由相邻的上升沿点和下降沿点组成的点对，并且之间满足一定的距离,满足公式(4-4)，

δw＝ep(x)-ev(x)＞w(公式4-4)

ep(x)和ev(x)为升变点和降变点的列像素坐标，δw为升变点和降变点的宽度,w为车道线在图像中占有的最大的像素个数。

定义车道线的特征点f(x)为成对的ep(x)和ev(x)的平均值，即公式(4-5)，如图3所示为特征点提取结果图。

f(x)＝(ep(x)+ev(x))/2(公式4-5)。

实施例4：

实施例1所述的一种基于视觉的车道线检测方法，所述的第三步模型拟合模块是根据结构化道路约束假设，建立车道线模型，将车道线视野分为近视野、中视野和远视野三部分，其中，近视野和中视野区域以直线模型进行匹配，远视野区域则采用加权双曲线拟合模型，如图4所示是车道线拟合模型。在直线拟合模型中，我们考虑到霍夫变换和最小二乘法的优缺点，设计出用一种结合两种算法优点的直线检测方法；首先，利用霍夫变换确定直线存在的大致范围，然后对每个区域内的特征点集，采用改进的最小二乘法得到精确的直线参数，流程图如图5所示。在曲线拟合之前，建立曲线目标像素点集合；目标像素集合中的每一个像素点都应满足以下两个条件：一是尽量多的处于车道线上，二是集合中点的数量足够充实，只有足够的数据量才能减少误差像素带来的干扰；以直线检测的参数为基础，依靠直线检测的高准确率来估计远视野中车道线目标像素点提取的准确性；以直线上端点的像素点作为搜索的起始种子点，从起始种子点开始在图像中进行梯度值相关性和灰度值相关性扫描查找；先根据梯度值相关性判定车道线的方向，划定搜索区域，再利用灰度值相关性进行局部搜索；在目标像素集合中采用基于线性双曲线模型进行拟合，公式4-5所示，在道路线被遮挡或者部分被损坏也非常适用。

其中公式中的参数h表示道路平面在图像平面上的消失点的纵向位置，即消失线公位置；k表示道路标线的曲率大小；bl、br的值分别表示左、右车道线相对于道路标线的距离，当时方程bl＝0代表的是右边的车道标线，当时方程br＝0时代表的是左边的车道标线；uh表示车道线到纵轴的距离。

实施例5：

实施例1所述的一种基于视觉的车道线检测方法，所述的第四步车道线提炼处理模块是经过车道线模型拟合后，对车道线进行提炼过程，主要是为了筛选出可靠的车道线，剔除误检标志线；我们主要进行二个步骤的处理，一是消失点约束关系，二是多条车道线平行关系；

在消失点约束关系中，分别在横向和垂直方向规定容错区域；假设上一帧消失点位置为p(x,y)，消失点p′(x′,y′)容错区域为公式(4-6)

tx和ty分别为水平方向和垂直方向可以移动的范围。

在多条车道线平行关系中，将每条车道线都规定了最少三个控制点，这三个控制点指定为视野线与车道线的交点。如图6所示是多车道线控制点示意图，图中si-j表示车道线控制点的信息，包含位置信息、车道线在该点斜率和角度信息，其中，i表示车道线的序号，j表示为每条车道线的控制点序号。根据车道线平行关系，在同一控制点序号之间的车道线应该有距离相似，斜率和角度相似关系，例如，表示为s1-1，s2-1，s3-1，s4-1之间的位置距离相近，斜率差和角度差的变化较小。

实施例6：

实施例1所述的一种基于视觉的车道线检测方法，所述的第五步跟踪预测模块是在实际采集系统以及大部分的智能车辆系统中，车载相机直接获得的是视频流信息，视频流中的相邻两帧图像间往往具有很大的冗余性。车辆运动在时间上和空间上都具有连续性；通过使用卡尔曼滤波器用于实时预测每个车道的运动状态,观察运动状态与当前的匹配。

实施例7：

实施例1所述的一种基于视觉的车道线检测方法，所述的第六步车道线检测输出参数结构化是为了能将车道线检测结果以更好的姿态展示在不同平台，对车道线检测结果进行统一的结构化处理。具体包括以下内容：

①modeldegree(模型等级，0-直线，1-二次曲线，2-三次曲线)。

②quality(车道线质量，数值越高越可靠)。

③lanetype(车道线类型，0-实线白色，1-实线黄色，2-虚线白色，3-虚线黄色，4-道路边缘，5-未指定)。

④positionparameter(位置参数c3,c2,c1,c0，表示的方程为三次曲线方程x＝c3y³+c2y²+c1y+c0)。

实施例8：

实施例1所述的一种基于视觉的车道线检测方法，本方法的步骤主要包括：

(1)获取图像流；系统设计时，为了兼容智能车摄像头在线采集数据和离线数据，故单独分离图像获取模块；在线数据需要以文件流形式保存到内存中，后续操作时，只对最新的文件进行操作；离线数据支持jpg和png两种图像数据，若是视频数据，需要先转化为图像；单目摄像头安装在汽车前挡风玻璃的正下方中央位置，距离地面距离为1米左右，保证相机的光轴平行于车辆底盘的所在平面，朝向为车辆行驶的正前方。

(2)车道线参数调试。本发明过程中，我们为了能对算法过程中的参数进行直观显示，如图8所示的界面；这里通过三线标定法，对车道线检测中的视野分区、感兴趣区域、线宽、霍夫变换等参数进行直观显示；参数主要包含：

①imagesize(处理图像分辨率,默认是800pix*608pix)；

②分区视野纵坐标，y1(中视场上端纵坐标)，y2(近视场上端纵坐标)，y3(近视场下端纵坐标)；

③霍夫变换参数，minlength(判断是直线的最小长度)，minvote(判断是直线的最小投票数)，maxgap(同一条直线上点之间的距离容忍度)；

④minlanewidth(判断显示两条车道线之间满足的最小距离)；参数保存在config.txt文件中。

(3)车道线检测；将参数文件和车道线检测运行程序放在同一目录下，启动运行程序即可实时检测图像中的车道线。

(4)车道线检测输出参数结构化；对车道线检测结果进行结构化处理，每条车道线位置以三次曲线方程输出。

(5)车道线检测结果输出；可以对参数文件进行设置显示车道线的检测结果，g_maxleftcount(左车道线最多可以显示的个数)，g_maxrightcount(右车道线最多可以显示的个数)，也可以设置显示所有步骤中的中间结果。

实施例9：

一种基于视觉的车道线检测方法的装置，其组成包括:汽车车头1，所述的汽车车头具有前挡风玻璃2，所述的前挡风玻璃的下方连接加固板3，所述的加固板连接在所述的汽车车头的钣金上、并用螺栓进行固定，所述的加固板的底部固定垂直连接托板4，所述的加固板的顶部通过内置合页连接调节盖板5，所述的加固板的左侧固定连接左挡板6，所述的加固板的右侧固定连接右挡板7，所述的托板托住摄像头底座8的底部，所述的摄像头底座连接所述的加固板、并用螺钉进行固定，所述的摄像头底座连接单目摄像头9。

实施例10：

实施例8所述的一种基于视觉的车道线检测方法的装置，所述的摄像头底座插在所述的托板、所述的左挡板、所述的右挡板之间，所述的左挡板开有弧形左调节口10，所述的弧形左调节口内紧配合插入左调节杆11，所述的左调节杆的外端连接左固定限位板12，所述的左固定限位板挡在所述的左挡板的外侧，所述的左调节杆连接左拉杆13，所述的左拉杆连接在所述的调节盖板的左侧，所述的右挡板开有弧形右调节口14，所述的弧形右调节口内紧配合插入右调节杆15，所述的右调节杆的外端连接右固定限位板16，所述的右固定限位板挡在所述的右挡板的外侧，所述的右调节杆连接右拉杆17，所述的右拉杆连接在所述的调节盖板的右侧；所述的左调节杆与所述的右调节杆控制所述的调节盖板倾斜角度。调节调节盖板能够很好的保护单目摄像头不被雨淋到，能够延长单目摄像头的使用寿命。