一种基于脊状图与改进顺序RANSAC的车道线检测与车辆定位方法与流程

本发明属于道路上的车道线检测领域。结合改进的脊状图与一种噪声滤波机制对车道线进行建模，涉及一种改进的顺序随机抽样一致性算法的车道线检测及车辆定位的方法。

背景技术

近年来，由于汽车保有量与使用率的增加，交通事故的发生呈现逐年上升的趋势。其中汽车作为交通道路中的主要参与者，保证汽车的行车安全是智能车辆研究领域的重要课题。随着先进驾驶辅助系统(advanceddriverassistancesystems，adas)的有效应用，智能车辆在辅助驾驶及触险报警等方面的功能已经日趋完善。如何快速、准确的检测出城市道路中的车道线，有效提升驾驶系统的鲁棒性及安全性，为后续的车道保持、车辆避障与路径规划提供可靠保障是智能车辆自主驾驶技术亟需解决的问题。

智能车辆车道线检测技术属于机器视觉研究领域，目前的检测机制从提升系统鲁棒性和实时性的角度出发，主要围绕车道线的多种特征检测如边缘和颜色、使用svm和级联分类器的机器学习的检测方法、直线拟合与参数曲线拟合等检测方法进行了研究。但是上述工作在阴影的出现、线画得不均匀分布、破旧的车道线等方面难以进行良好的车道线特征提取与拟合，进而影响检测结果的准确率、误检率和漏检率。

在车道线检测这个问题上，在模型拟合过程中，根据给定的摄像机高度和俯仰角采用了ransac来匹配左右两条车道线，但是该方法基于固定的阈值，在某些情况下会导致滤波不当的问题，并且该算法在只存在一条车道线的情况下无法正常运行，而且此模型的精度对摄像机的各种角度很敏感等等，这里引入了一种自适应的阈值方法和改进的顺序ransac算法，加入了一种融合机制，使得车道线的检测更加准确。

技术实现要素：

本发明的目的是提供一种准确且快速的车道线检测和车辆定位方法。

本发明采用如下的技术方案：

从提高车道线检测准确度及抗干扰角度出发，提出了基于脊状图与改进顺序ransac模型拟合的车道线检测与车辆定位方法。本发明在脊状图的基础上，提出了一种有效的噪声滤波机制，并在模型拟合的过程中去除摄像机俯仰角的变化，使得模型拟合不依赖于预先确定的俯仰角，而是根据拟合的模型计算得到俯仰角。针对车道线一侧消失的问题提出了一种改进的顺序ransac算法，使得只存在一边车道线的情况下也可以进行车辆的定位。

本发明采用的技术方案为一种基于脊状图与改进顺序ransac的车道线检测与车辆定位方法，该方法包括如下步骤：

步骤一：计算脊形值；

步骤二：根据得到的脊形值对传统的恒定阈值方法进行优化，根据脊形值的灰度级图像作直方图，根据直方图横纵坐标设置阈值；

步骤三：根据设置的阈值对图像进行阈值化，然后根据在阈值化图像中提取出车道线中轴像素，进行部分像素的桥接，移除部分异常像素组；

步骤四：构建车道线模型，简化车道线模型为双曲线模型；

步骤五：引入改进的顺序ransac方法，同时根据车道线模型和像素组进行车道线模型拟合；

步骤六：根据双边车道线模型进行模型配对，通过选取最多支持数据点的组合进行模型的最终确定；

步骤七：根据确定的车道线模型来进行车辆定位信息的计算。

具体而言，各个步骤包括如下技术特征：

步骤一：建立灰度化道路图像的脊状图，并推导脊状图的脊形值。

灰度化道路图像的脊状图线指的是图像中长条形车道线的中轴线，这个概念可以被想象成一幅山脊的图像，z轴的高度表示强度。当接近中心轴线的时候，强度就会增加，形成一种类似山脊的形状，如附图1所示，脊形值像山脊一样将像素邻域量化。车道线中轴线的两侧邻域都有助于形成山脊，因此一定会存在一个极大脊形值，利用这种情况就可以通过一种简单的阈值法实现对车道线的检测，同时由于这种方法不止讨论两个像素，而是将领域像素也考虑在内，所以它会比边缘和颜色等特征具有更强的鲁棒性。脊形值的推导如下：

首先，原始灰度化图像l(x)与一个2d高斯滤波器进行卷积，l(x)是his颜色空间中的i的强度值，因为它比h或s等其他颜色空间(如rgb空间)更具有优势。其中变量x表示图像中所有的像素。

是一个各向异性高斯核，的核矩阵是一个协方差矩阵∑＝diag(σdx，σdy)，其中σdy是恒量，σdx随行数增加，行数设定为与车道线宽度的一半相等，取决于摄像机焦距长度和俯仰角

每个沿着行(u)和列(v)方向的像素都有一个梯度向量场，表示为

每个像素的梯度向量进行点积，得到一个与海赛矩阵相似的2×2矩阵即

每个矩阵与另一个高斯滤波器卷积得到结构张量场，即

特征向量与的最大特征值相对应，对于特征向量和特征值，存在显式解，以加快计算速度。将投射至得投射变换

在每个像素定义一个新的向量场表示为

那么脊形值即可用散度的正值定义得到，即

步骤二：根据得到的脊形值对传统的恒定阈值方法进行优化，根据脊形值的灰度级图像作直方图，根据直方图横纵坐标设置阈值。

由于传统的方法采用固定阈值，在去除噪声像素点时鲁棒性和效果并不理想，而且并不是一直沿着车道线的方向，所以这里提出基于一种脊形值的自适应阈值选择机制，免去了对方向的校验。车道线的中轴线总是有较高的脊形值，所以通过阈值进行选择，为了得到一个自适应的阈值，需要作脊状图的直方图。一副待处理的图像由两部分组成，包括路面部分和天空、树木、围栏等部分，所以处理图像时可以只截取出对车道线检测有用信息多的部分，多为图像的下半区域。

经过计算得到脊形值后，就可以提取得到脊形值灰度级图像的直方图，直方图的横坐标为脊形值，纵坐标为每一区块的像素数。每个区块都按降序排列，直到像素的数量超过一个根据图像得到的计算值n。该区块中相应的最小的脊形值将被设置为阈值。

步骤三：根据设置的阈值对图像进行阈值化，然后根据在阈值化图像中提取出车道线中轴像素，进行部分像素的桥接，移除部分异常像素组。

经过图像阈值化后，可以从图像中提取出几乎全部的车道线中轴像素，但是有一些像素并不是连接在一起的，而且还存在许多由道路上的阴影的不规则形状产生的噪声点，为了弥补这一不足，这里采用一个桥接操作来连接部分像素，形成许多个像素组，然后对桥接好的像素组进行标记。如果标记像素组的像素数小于规定的阈值，那么移除该组，这个阈值由组成一条车道线段中轴所需的最小像素数来确定。在已知相机的俯仰角和内部参数的情况下，假设在待处理图像下半部分中最远处取一段车道线段，即可估算得到最小的阈值。此外，为了避免车道线被阴影遮蔽和光照条件不理想时变得不清晰，这里的阈值设定要尽可能小。

步骤四：构建车道线模型，并简化车道线模型为双曲线模型；

假设路面为平面，并且车道线都是平行的，那么根据摄像机的位置和朝向，可以确定路面车道线和投影车道线的几何关系，这里采用如附图2所示的道路模型，那么左右两条车道线分别由(8)-(9)两式表示：

为了更好的说明这个模型及其中的参数，首先明确三个坐标系：大地坐标系(路面坐标系)、汽车坐标系和摄像机坐标系。θ和是摄像机对于大地坐标系的偏航角和俯仰角。(u，v)表示像素点相对于投影中心水平方向和垂直方向的位置，eu和ev表示摄像机在像素单元上水平方向与垂直方向的焦距，投影中心、eu和ev通过摄像机的标定来获得。h是摄像机距离道路表面的距离。是相机的俯仰角，理想情况下，这是一个测得的常值，但实际情况中，当汽车在减速/停刹车、加速以及在不平坦的道路上行驶时，俯仰角会有所变化，这个值会影响最终的拟合结果，以至于它不能被当作一个常数来对待，后面的步骤会给出的估算方法。c0是道路的横向曲率，如果c0＝0那么道路为直的，即式(8)、(9)表示直线。xc和dr分别表示左右车道线距车辆的距离，l＝xc+dr为车道宽度。

对于一条车道两边的车道线的模型拟合过程中，有四个未知参数θ、c0和xc或θ、c0和dr需要确定，尽管两条车道线是平行的，但有时会出现只有一边有车道线的情况，所以这里在处理的时候要单独处理一边的车道线，当左右两边车道线都存在的情况下，将两条线的拟合结果进行合并。

为了简化拟合过程，这里将车道线模型进一步简化为以a、b、c、d为未知量的双曲线形式，即

以矩阵形式表示为

其中e＝c-bd，f＝a-cd,cr·p表示双曲线在p点的切线。

步骤五：引入改进的顺序ransac方法，同时根据车道线模型和像素组进行车道线模型的拟合。

如步骤四所述，要分别对左右两条车道线进行拟合，将待处理图像分为左右两部分，如果桥接像素组连通分量被分割线分割为两部分，那么该像素组就判定为分割得到像素数多的一边。

要确定一个模型需要4个像素点，但多数情况下会存在超过4个候选像素，并且还存在一些异常像素，从而导致可能存在多模型问题，这里采用顺序随机抽样一致性算法(顺序ransac)来解决此问题。顺序ransac是将ransac算法运行多次，直到找到所有的模型或者执行一定次数的迭代。一旦确定一个模型后，它包含的支持数据点就会从数据集中清除，然后ransac再在数据集剩余数据点中确定其它模型，也就是说如果前面确定的模型不准确，会导致数据集中的数据点误消除，这种情况在道路弯曲时尤为明显。

为了解决这一关键问题，更好地进行车道线的检测，本发明提出了以下改进的顺序ransac算法，该方法分为以下六个步骤：

s1：在数据集中随机选择4个点。

s2：创建模型并找到所有的支持数据点。尽管四个不在一条线上的任一点可以产生一个唯一的双曲线，但并不是每一个结果都能正确的描述车道线，所以这一步在寻找支持数据点之前，需要校验模型，a、b、c、d的显式解如式(12)-(15)所示

首先校验d，d的值随的变化而变化，的变化是汽车悬架系统的压缩和伸长变化决定的。当车辆前悬架压缩，后悬架伸长时，摄像机向前下倾斜，可达到最大值；反之车辆前悬架伸长，后悬架压缩时，摄像机前倾减少甚至会向上倾斜，此时可达到最小值。通过实际车辆测试可知得的值浮动变化为±3°，即±0.035rad，所以值范围为d确定后可以根据道路曲率校验a，a的大小取决于|c0|，车辆的最小转弯半径为10米，那么这里|c0|设置为0.1m^-1。b和c与车辆的行驶姿态有关，由于车辆能够在道路的任何位置行驶，所以对b、c不约束。如果没有进行d和a的校验就开始下一次迭代，会出现错误的拟合结果。

s3：四个随机点可以产生一个唯一的双曲线和六条直线，这七个模型中只有具有最多支持数据点的模型会被保留，支持数据点由ds确定，如式(16)所示，如果ds小于一个阈值，那么数据点将被判定为支持数据点。

其中cr已由(11)给出，(cr·p)n表示向量的第n个元素，对于直线，a＝0。

s4：将新模型与前面确定的模型进行融合，如果新模型与之前的模型中有公共数据点，那么保留具有更多数据点的模型，另一个模型移除释放。如果没有公共数据点，则此模型被标记为一个新的模型。由于车道线不应该存在交叉点，所以此方法可以使用。

s5：重复s1至s4，进行一定次数的迭代，直到没有数据点被消除，从而不会影响后续的拟合结果。

s6：到此，已经得到了许多没有交叉的模型，为了提高执行速度，消除这些已经得到的模型的支持数据点，然后在剩余数据集中重复s1至s4，进行一定次数的迭代。

通过改进的顺序ransac算法可以从两边车道线中得到许多非交叉模型，下一步是进行模型的配对并从所有可能的对中选出效果最好的。

步骤六：根据双边车道线模型进行模型配对，通过选取最多支持数据点的组合进行模型的最终确定。

在车道左右两边的车道线都存在的情况下，确定单个模型后要立即进行模型配对，理想的配对结果取决于模型所具有的支持数据点数量以及模型拟合出的车道宽度是否符合正常的数值(2.45m～3.75m)。

根据式(8)-(9)得到车道宽度l，两边车道线独立拟合的结果不会完全遵循平行的关系，所以这里会得到一个飞恒定的l，为了获得更加准确的模型，需要对配对的两个模型进行微调，使其遵循平行关系。根据式(8)-(9)可知，如果一个模型的形式与式(10)相同，那么另一个模型就如式(17)所示

式(10)和(17)表明，要对这两个模型进行微调需要5个点来确定。但是这对车道线模型是由拟合步骤中的8个点(各4个)拟合推导出得到的，这里在一个模型的4个点中选取3个点，另一个模型的4个点中选取2个点，总的来说有48种选取组合，这48个组合中选取规定范围内具有最多支持数据点的组合为最终模型。

步骤七：根据确定的车道线模型来进行车辆定位信息的计算。

车辆定位参数如式(18)～(22)所示

l＝xc+dr(22)

可以看到，即使只存在一条车道线，车辆定位参数仍然可以使用上面的公式来计算，因为只存在一条车道线时车道宽度l并不影响车辆的定位。

附图说明

图1为脊状图概念图。

图2为道路模型图。

图3为改进的顺序ransac模型拟合流程图。

图4为整体算法流程图。

图5为图像处理图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。本发明针对ransac算法进行车道线检测时存在的缺陷，提出了一种基于脊状图和改进的顺序ransac算法的车道线检测和车辆定位方法。首先根据灰度化图像道路特征计算得到脊形值，然后根据脊形值采用一种自适应的阈值选择方法进行滤波，最后，提出了改进的顺序ransac算法拟合车道线，加入了一种融合的机制，解决了车道线一侧消失时的车辆定位问题。所涉及方法的整个体流程图如附图4所示，具体实施过程分为以下步骤。

步骤一：计算脊形值。

步骤二：根据得到的脊形值对传统的恒定阈值方法进行优化，根据脊形值的灰度级图像作直方图，根据直方图横纵坐标设置阈值。

步骤三：根据设置的阈值对图像进行阈值化，然后根据在阈值化图像中提取出车道线中轴像素，进行部分像素的桥接，移除部分异常像素组。

步骤四：根据(8)(9)两式构建车道线模型，简化车道线模型为双曲线模型。

步骤五：引入改进顺序ransac方法，同时根据车道线模型和像素组进行车道线模型拟合。

步骤六：根据双边车道线模型进行模型配对，通过选取最多支持数据点的组合进行模型的最终确定。

步骤七：根据确定的车道线模型来进行车辆定位信息的计算。

下面为本发明的在车道线检测领域中的一个应用实例。

选取部分车道图像，截取下半部分为roi区域，计算得到脊形值的灰度级图像如附图5中的5-2，根据阈值进行滤波得到脊形值阈值图如图5中的5-3，然后进行像素间的桥接得到图像如附图5中的5-4，然后进行部分标记组的移除如图5中的5-5，然后进行模型拟合与车道线模型的配对，车道线拟合结果图像前后对比如附图5中的5-6和图5中的5-7。