多特征融合的车道线检测系统、方法及高级驾驶辅助系统与流程

本发明涉及图像处理领域，特别涉及多特征融合的车道线检测系统、方法以及高级驾驶辅助系统。

背景技术：

基于视觉算法的高级驾驶辅助系统(ADAS)，车道线检测是关键技术之一。车道线检测的方法一般可分为基于直线检测的方法和基于关键点检测的方法。

1)基于直线检测的方法一般先通过边缘检测对灰度图像进行预处理，得到边缘增强图。然后在此基础上利用霍夫变换检测直线，最后通过一定的规则拒识掉干扰直线。2)基于关键点检测的方法一般也会通过边缘检测对灰度图像进行滤波，然后提取若干边缘点作为关键点。最后通过随机抽样一致的方法拟合出若干条线作为车道线。

上述传统车道线检测算法往往忽略颜色信息，直接利用灰度图像进行处理。但是实际上，不同颜色的光线会对车道线检测产生影响。尤其当夜间，车尾灯和交通灯的光线会影响车道线检测的精度。单纯的灰度图像无法滤除这些干扰。

此外，无论是基于直线检测的方法还是基于关键点检测的方法，主要利用车道线的强边缘特性进行检测，利用的特征较为单一，缺乏对车道线在时域上的变化规律的利用，也缺乏将多种特征有机结合。同时，会造成较多误检测或者漏检测的情况。

技术实现要素：

本发明要解决的技术问题是，融合了颜色特征、对比度特征和几何变化特征的实时对车道线进行检测。

同时，多特征融合的车道线检测系统，是实现高级驾驶辅助系统中的车道偏离预警功能的一个重要环节。

在本发明的多特征融合的车道线检测方法中，首先通过逆透视变换得到俯视图，将俯视图通过颜色算子得到颜色特征图，再通过对比度算子得到对比度特征图。在对比度特征图上通过投影累加的方法检测直线，并通过车道线的几何变化规律进行拒识。最终得到的直线即为车道线。

解决上述技术问题，本发明提供了多特征融合的车道线检测方法，包括如下步骤：

抓取得到车道区域俯视图；

根据车辆在行驶过程中车道线的颜色与道路干扰项，提取得到颜色特征图；

将所述颜色特征图中的像素，得到对比度特征图；

在比度特征图中按照投影检测出直线，并通过车道线的几何特征拒识去除直线中的干扰项；

检测得到正确车道线。

更进一步，根据先验信息，将车道区域俯视图的RGB图像中的像素按照如下颜色过滤算子计算得到颜色特征图

$C_{i,j}=\frac{2\×R_{i,j}\×G_{i,j}}{R_{i,j}+G_{i,j}}-|R_{i,j}-G_{i,j}|$

其中，R代表红色通道，G代表绿色通道，i和j表示像素点的横坐标和纵坐标。

更进一步，所述先验信息包括，车道线颜色、道路干扰项的颜色，所述车道线颜由白色和黄色组成；所述道路干扰项的颜色包括，红色和绿色。

更进一步，所述道路干扰项包括，刹车灯的红色炫光、交通灯的红光和/或绿光在路面的倒影、夜间对面驶来的车辆的远光灯造成的白色炫光、逆光时造成的炫光、路边的白色栏杆中的一种或者多种。

更进一步，通过对比度算子将颜色特征图中的像素经过下面的公式，可得到对比度特征图

$D_{i,j}=C_{i,j}+\frac{C_{i,j+\mathrm{\ϵ}}+C_{i,j-\mathrm{\ϵ}}}{2}-C_{i-\mathrm{\ϵ},j}-C_{i+\mathrm{\ϵ},j}-|C_{i-\mathrm{\ϵ},j}-C_{i+\mathrm{\ϵ},j}|$

其中，ε为预设的车道线在颜色特征图中的像素宽度。

更进一步，所述ε值为5。

更进一步，在比度特征图中按照投影检测出直线的方法具体为：

设垂直方向为0度，取投影角度β从-15度到15度之间，分别计算出对比度特征图在不同角度的y轴方向的累加值，得到在x轴上的一维数组；

若出现局部峰值点时，选择数组局部峰值点的x坐标和对应的投影角度β来标定直线L_i。

更进一步，通过车道线的几何特征拒识去除直线中的干扰项的方法具体为：

根据车道线在路面的相对固定位置，若检测到的直线为干扰项，则在变换车道或者转弯时，车道线中的x坐标和投影角度β的变化程度较大，则去除该干扰项。

本发明还提供了多特征融合的车道线检测系统，包括：

车道区域俯视图检测单元，用以抓取得到车道区域俯视图；

颜色特征图提取单元，用以根据车辆在行驶过程中车道线的颜色与道路干扰项，提取得到颜色特征图；

对比度特征图提取单元，用以将所述颜色特征图中的像素，得到对比度特征图；

检测直线单元，用以在比度特征图中按照投影检测出直线；

几何变化特征拒识单元，用以通过车道线的几何特征拒识去除直线中的干扰项，检测得到正确车道线。

另外，本发明还提供了高级驾驶辅助系统，包括多特征融合的车道线检测系统、安装在车上的视觉传感器以及预警单元，

所述视觉传感器，用以采集视频数据；

所述多特征融合的车道线检测系统，用以检测车道线的位置；

所述多特征融合的车道线检测系统，包括车道区域俯视图检测单元、颜色特征图提取单元、对比度特征图提取单元、检测直线单元以及几何变化特征拒识单元，

所述车道区域俯视图检测单元，用以在车辆驶入车道时，抓取得到车道区域俯视图；

所述颜色特征图提取单元，用以根据车辆在行驶过程中车道线的颜色与道路干扰项，提取得到颜色特征图；

所述对比度特征图提取单元，用以将所述颜色特征图中的像素，得到对比度特征图；

所述检测直线单元，用以在比度特征图中按照投影检测出直线；

所述几何变化特征拒识单元，用以通过车道线的几何特征拒识去除直线中的干扰项，检测得到正确的车道线；

所述预警单元，用以根据车道线的位置判断车辆是否偏离了车道，并提示驾驶员。

本发明的有益效果：

1)由于本发明的多特征融合的车道线检测方法，包括如下步骤：抓取得到车道区域俯视图；根据车辆在行驶过程中车道线的颜色与道路干扰项，提取得到颜色特征图；将所述颜色特征图中的像素，得到对比度特征图；在比度特征图中按照投影检测出直线，并通过车道线的几何特征拒识去除直线中的干扰项；检测得到正确车道线。在本发明中首次将颜色信息引入到车道线检测，能够加强对夜间灯光的抗干扰能力。另外，本发明还重新定义了一种基于路面对比度的车道线增强算子得到对比度特征图。同时，本发明将车道线几何变化规律作为车道线拒识的重要特征，通过车道线的几何特征拒识去除直线中的干扰项。

2)本发明中的多特征融合的车道线检测系统，包括：车道区域俯视图检测单元，用以在车辆驶入车道时，抓取得到车道区域俯视图；颜色特征图提取单元，用以根据车辆在行驶过程中车道线的颜色与道路干扰项，提取得到颜色特征图；对比度特征图提取单元，用以将所述颜色特征图中的像素，得到对比度特征图；检测直线单元，用以在比度特征图中按照投影检测出直线；几何变化特征拒识单元，用以通过车道线的几何特征拒识去除直线中的干扰项，检测得到正确车道线。通过本发明中的车道线检测系统，建立了一个多种特征结合的鲁棒性与实时性兼顾的车道线检测框架。

3)由于根据车辆在行驶过程中车道线的颜色与道路干扰项，提取得到颜色特征图，融合了颜色特征，根据先验信息，提取颜色特征图可概括为增强白色和黄色，抑制红色和绿色。先验信息中包括，比如对中国路况而言，车道线的颜色主要分为白色和黄色。干扰项主要是各种颜色的灯光，包括刹车灯的红色炫光等等。

4)由于将所述颜色特征图中的像素，得到对比度特征图，考虑到车道线对应的特征值要大于路面的特征值，且车道线的宽度是固定的。所以在本发明中增加了对比度特征。

5)由于通过车道线的几何特征拒识去除直线中的干扰项，通过发现干扰直线的变化规律，增加了几何变化特征的实时车道线检因素。

附图说明

图1是本发明一实施例中的多特征融合的车道线检测方法流程示意图。

图2是本发明一实施例中的多特征融合的车道线检测系统结构示意图。

图3是本发明一实施例中的高级驾驶辅助系统结构示意图。

图4是本发明一实施例中的变换俯视图示例。

图5是本发明一实施例中的提取颜色特征图示例图。

图6是本发明一实施例中的提取对比度特征图示例图。

图7是本发明一实施例中的检测直线示例图。

图8是本发明一实施例中的远光灯的炫光造成的干扰直线的示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

请参考图1是本发明一实施例中的多特征融合的车道线检测方法流程示意图。

在本实施例中，多特征融合的车道线检测方法，包括如下步骤：

步骤S100抓取得到车道区域俯视图；在所述步骤S100中，在车辆驶入车道后，可以借助车内的高级驾驶辅助系统采集图像。所述高级驾驶辅助系统，简称ADAS。是利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。一般而言，ADAS采用的传感器主要有摄像头、雷达、激光和超声波等，可以探测光、热、压力或其它用于监测汽车状态的变量，通常位于车辆的前后保险杠、侧视镜、驾驶杆内部或者挡风玻璃上。ADAS对驾驶员的提醒功能包括防前车碰撞预警，车道偏离预警，防行人碰撞预警等。

在一些实施例中，所述俯视图是指模拟俯视视角的图像，在俯视视角上车道线是平行的，更易于检测。俯视图的通常获得方式是通过在原图中选择车道区域，再由逆透视变换获得。

在一些实施例中，所述逆透视变换通过OPENCV中求解变换公式的函数，输入原始图像和变换之后的图像的对应4个点得到变换矩阵。之后用求解得到的矩阵输入perspective Transform对一组点进行变换：

在一些实施例中，所述逆透视是将采集的车道图像投影到一个新的视平面，得到俯视图。

在一些实施例中，俯视图是指模拟俯视视角的图像，在俯视视角上车道线是平行的，易于检测。

在一些实施例中，在原图中选择车道区域时，选择白色或者黄色的车道线。

上述步骤S100的作用及有益效果至少包括：俯视图是指模拟俯视视角的图像，在俯视视角上车道线是平行的，更易于检测。

步骤S101根据车辆在行驶过程中车道线的颜色与道路干扰项，提取得到颜色特征图；在步骤中还包括了预先获得先验信息的过程。

在一些实施例中，先验信息包括但不限于，对中国路况而言，将车道线的颜色主要分为白色和黄色。

在一些实施例中，先验信息包括但不限于，在车辆行驶入公路后，各种颜色的灯光干扰。

在一些实施例中，颜色的灯光干扰包括但不限于，刹车灯的红色炫光、交通灯的红光和绿光在路面的倒影等，其主要的颜色成分是红色和绿色。

作为本实施例中的优选，所述先验信息包括，车道线颜色、道路干扰项的颜色，所述车道线颜由白色和黄色组成；所述道路干扰项的颜色包括，红色和绿色。

作为本实施例中的优选，所述道路干扰项包括，刹车灯的红色炫光、交通灯的红光和/或绿光在路面的倒影、夜间对面驶来的车辆的远光灯造成的白色炫光、逆光时造成的炫光、路边的白色栏杆中的一种或者多种。

上述步骤S101的作用及有益效果至少包括：利用颜色信息，增强车道线，抑制干扰项。

根据以上先验信息，提取颜色特征图可概括为增强白色和黄色，抑制红色和绿色。本实施例中经过大量实验，设计了一种非常简单有效的颜色过滤算子，不会因处理RGB图像而消耗更多计算资源。

作为本实施例中的优选，根据先验信息，将车道区域俯视图的RGB图像中的像素按照如下颜色过滤算子计算得到颜色特征图

$C_{i,j}=\frac{2\×R_{i,j}\×G_{i,j}}{R_{i,j}+G_{i,j}}-|R_{i,j}-G_{i,j}|$

其中，R代表红色通道，G代表绿色通道，i和j表示像素点的横坐标和纵坐标。

步骤S102将所述颜色特征图中的像素，得到对比度特征图；由于在颜色特征图上，车道线对应的特征值要大于路面的特征值，且车道线的宽度是固定的。但是对于车道线的像素点，在其上下一定范围内均为车道线，左右一定宽度外不再是车道线。此外，路面的颜色特征值是相近的，不会有大的浮动。

在一些实施例中，通过对比度算子将颜色特征图中的像素经过下面的公式，可得到对比度特征图

$D_{i,j}=C_{i,j}+\frac{C_{i,j+\mathrm{\ϵ}}+C_{i,j-\mathrm{\ϵ}}}{2}-C_{i-\mathrm{\ϵ},j}-C_{i+\mathrm{\ϵ},j}-|C_{i-\mathrm{\ϵ},j}-C_{i+\mathrm{\ϵ},j}|$

其中，ε为预设的车道线在颜色特征图中的像素宽度。

优选地，所述ε值为5。

上述步骤S102的作用及有益效果至少包括：由于：a、车道线对应的特征值要大于路面的特征值，且车道线的宽度是固定的。b、对于车道线的像素点，在其上下一定范围内均为车道线，左右一定宽度外不再是车道线。c、路面的颜色特征值是相近的，不会有大的浮动。从而能够得到准确的对比度特征图。

步骤S103在比度特征图中按照投影检测出直线，并通过车道线的几何特征拒识去除直线中的干扰项；

在一些实施例中，在比度特征图中按照投影检测出直线的方法具体为：

设垂直方向为0度，取投影角度β从-15度到15度之间，分别计算出对比度特征图在不同角度的y轴方向的累加值，得到在x轴上的一维数组；

若出现局部峰值点时，选择数组局部峰值点的x坐标和对应的投影角度β来标定直线L_i。

在一些实施例中，通过车道线的几何特征拒识去除直线中的干扰项的方法具体为：

根据车道线在路面的相对固定位置，若检测到的直线为干扰项，则在变换车道或者转弯时，车道线中的x坐标和投影角度β的变化程度较大，则去除该干扰项。

上述步骤103的作用及有益效果至少包括：由于车道线在对比度特征图上已经非常凸显，所以采用直线检测可以选择简单高效的投影方法。

在一些实施例中，通过车道线的几何特征拒识，由于车道线在路面的位置是相对固定的，即使是在切道和转弯时，车道线的x坐标和角度β也是平稳变化的。

在一些实施例中，若对面开来的车的远光灯射出的光线，在相对运动过程中，其在图像中的角度β会在短时间内发生巨大变化，则可找出干扰直线

步骤S104检测得到正确车道线。

请参考图2是本发明一实施例中的多特征融合的车道线检测系统结构示意图。

本实施例中的多特征融合的车道线检测系统，包括：

首先进行图像信息的采集，可以通过安装在车外的感应器对图像进行感应，得到的目标图像输入进入车道区域俯视图检测单元1，用以在车辆驶入车道时，抓取得到车道区域俯视图；

颜色特征图提取单元2，用以根据车辆在行驶过程中车道线的颜色与道路干扰项，提取得到颜色特征图；

对比度特征图提取单元3，用以将所述颜色特征图中的像素，得到对比度特征图；

检测直线单元4，用以在比度特征图中按照投影检测出直线；

几何变化特征拒识单元5，用以通过车道线的几何特征拒识去除直线中的干扰项，检测得到正确车道线，然后输出车道线的检测结果。

在一些实施例中，通过安装在车辆前方的视觉传感器(摄像头)采集视频数据，然后检测车道线的位置，再做出相应的预警策略，最后通过声音提示驾驶员本车是否偏离了车道。预警策略可以是，偏离车道预警、超出车道预警、压车道预警。

在一些实施例中，在所述车道区域俯视图检测单元1中，

在一些实施例中，颜色特征图提取单元2，根据先验信息，将车道区域俯视图的RGB图像中的像素按照如下颜色过滤算子计算得到颜色特征图

$C_{i,j}=\frac{2\×R_{i,j}\×G_{i,j}}{R_{i,j}+G_{i,j}}-|R_{i,j}-G_{i,j}|$

其中，R代表红色通道，G代表绿色通道，i和j表示像素点的横坐标和纵坐标。

其中，所述先验信息包括，车道线颜色、道路干扰项的颜色，所述车道线颜由白色和黄色组成；所述道路干扰项的颜色包括，红色和绿色。

其中，所述道路干扰项包括，刹车灯的红色炫光、交通灯的红光和/或绿光在路面的倒影、夜间对面驶来的车辆的远光灯造成的白色炫光、逆光时造成的炫光、路边的白色栏杆中的一种或者多种。

在一些实施例中，对比度特征图提取单元3，通过对比度算子将颜色特征图中的像素经过下面的公式，可得到对比度特征图

$D_{i,j}=C_{i,j}+\frac{C_{i,j+\mathrm{\ϵ}}+C_{i,j-\mathrm{\ϵ}}}{2}-C_{i-\mathrm{\ϵ},j}-C_{i+\mathrm{\ϵ},j}-|C_{i-\mathrm{\ϵ},j}-C_{i+\mathrm{\ϵ},j}|$

其中，ε为预设的车道线在颜色特征图中的像素宽度，所述ε值为5。

在一些实施例中，检测直线单元4，在比度特征图中按照投影检测出直线的方法具体为：设垂直方向为0度，取投影角度β从-15度到15度之间，分别计算出对比度特征图在不同角度的y轴方向的累加值，得到在x轴上的一维数组；若出现局部峰值点时，选择数组局部峰值点的x坐标和对应的投影角度β来标定直线L_i。

在一些实施例中，几何变化特征拒识单元5，通过车道线的几何特征拒识去除直线中的干扰项的方法具体为：根据车道线在路面的相对固定位置，若检测到的直线为干扰项，则在变换车道或者转弯时，车道线中的x坐标和投影角度β的变化程度较大，则去除该干扰项。

请参考图3是本发明一实施例中的高级驾驶辅助系统结构示意图。

高级驾驶辅助系统，其特征在于，包括多特征融合的车道线检测系统10、安装在车上的视觉传感器11以及预警单元12，

所述视觉传感器11，用以采集视频数据；

所述多特征融合的车道线检测系统10，用以检测车道线的位置；

所述多特征融合的车道线检测系统，包括车道区域俯视图检测单元、颜色特征图提取单元、对比度特征图提取单元、检测直线单元以及几何变化特征拒识单元，

所述车道区域俯视图检测单元，用以在车辆驶入车道时，抓取得到车道区域俯视图；

所述颜色特征图提取单元，用以根据车辆在行驶过程中车道线的颜色与道路干扰项，提取得到颜色特征图；

所述对比度特征图提取单元，用以将所述颜色特征图中的像素，得到对比度特征图；

所述检测直线单元，用以在比度特征图中按照投影检测出直线；

所述几何变化特征拒识单元，用以通过车道线的几何特征拒识去除直线中的干扰项，检测得到正确的车道线；

所述预警单元12，用以根据车道线的位置判断车辆是否偏离了车道，并提示驾驶员。

本发明的原理：

本发明提出了一种融合了颜色特征、对比度特征和几何变化特征的实时车道线检测框架。首先通过逆透视变换得到俯视图，将俯视图通过颜色算子得到颜色特征图，再通过对比度算子得到对比度特征图。在对比度特征图上通过投影累加的方法检测直线，并通过车道线的几何变化规律进行拒识。最终得到的直线即为车道线。

1).生成俯视图

俯视图是指模拟俯视视角的图像，在俯视视角上车道线是平行的，更易于检测。俯视图的获得是通过在原图中选择车道区域，再由逆透视变换获得，计算逆透视变换矩阵的方法已经非常成熟，不是本发明阐述的重点，故对此技术不再详述，具体可参考OPENCV对应函数。具体参考图4是本发明一实施例中的变换俯视图示例。

2).提取颜色特征图

提取颜色特征图的目的是利用颜色信息，增强车道线，抑制干扰项。对中国路况而言，车道线的颜色主要分为白色和黄色。干扰项主要是各种颜色的灯光，包括刹车灯的红色炫光、交通灯的红光和绿光在路面的倒影等，其主要的颜色成分是红色和绿色。

根据以上先验信息，提取颜色特征图可概括为增强白色和黄色，抑制红色和绿色。本发明经过大量实验，设计了一种非常简单有效的颜色过滤算子，不会因处理RGB图像而消耗更多计算资源。

将RGB图像中的像素经过下面的公式，可得到颜色特征图C。

$C_{i,j}=\frac{2\×R_{i,j}\×G_{i,j}}{R_{i,j}+G_{i,j}}-|R_{i,j}-G_{i,j}|$

其中，R代表红色通道，G代表绿色通道，i和j表示像素点的横坐标和纵坐标。具体参考图5是本发明一实施例中的提取颜色特征图示例图。

3).提取对比度特征图

在颜色特征图上，车道线对应的特征值要大于路面的特征值，且车道线的宽度是固定的。对于车道线的像素点，在其上下一定范围内均为车道线，左右一定宽度外不再是车道线。此外，路面的颜色特征值是相近的，不会有大的浮动。

根据这些信息，本发明设计了一种对比度算子。将颜色特征图C中的像素经过下面的公式，可得到对比度特征图D，

$D_{i,j}=C_{i,j}+\frac{C_{i,j+\mathrm{\ϵ}}+C_{i,j-\mathrm{\ϵ}}}{2}-C_{i-\mathrm{\ϵ},j}-C_{i+\mathrm{\ϵ},j}-|C_{i-\mathrm{\ϵ},j}-C_{i+\mathrm{\ϵ},j}|$

经过大量实验，取ε＝5。具体参考图6是本发明一实施例中的提取对比度特征图示例图。

4).检测直线

由于车道线在对比度特征图上已经非常凸显，所以直线检测可以选择简单高效的投影方法。设垂直方向为0度，取投影角度β从-15度到15度，分别计算对比度特征图在不同角度的y轴方向的累加值，可得到在x轴上的一维数组。当出现局部峰值点时，选择数组局部峰值点的x坐标和对应的角度β来标定直线Li。具体参考图7是本发明一实施例中的检测直线示例图。

5).几何变化特征拒识

上一步检测到的直线会存在少数干扰项，可通过车道线的几何特征拒识。

经过大量实验发现，在行车场景，车道线在路面的位置是相对固定的，即使是在切道和转弯时，车道线的x坐标和角度β也是平稳变化的。但是干扰直线一般不具备这一规律。例如对面开来的车的远光灯射出的光线，在相对运动过程中，其在图像中的角度β会在短时间内发生巨大变化。

具体参考图8是本发明一实施例中的远光灯的炫光造成的干扰直线的示例图。具体地，是一个由对面驶来的车辆的远光灯的炫光造成的干扰直线的例子，直线已由箭头标识。两张俯视图相隔仅5帧，假设摄像头帧率是30fps，5帧对应时间间隔仅为165ms。正常的车道线在5帧内的变化不会超过3度。但炫光对应的直线的β角却变化了12度。根据车道线几何变化规律，可以将两帧之间车道线β的差值作为子特征，取最近5帧的差值组成5维特征。利用人工监督的方法，选取车道线为正样本，干扰直线为负样本，通过SVM训练得到分类器。然后利用训练好的分类器拒识掉干扰直线。最后剩余的直线即为正确的车道线。SVM分类器相关技术非常成熟，可参考libsvm开源库，本发明不再详述。

所属领域的普通技术人员应当理解：以上，所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。