一种复杂路况场景下的车道线检测方法
【专利摘要】本发明公开了一种复杂路况场景下的车道线检测方法，用于智能车辆获取道路图像信息即时进行车道线辨识处理，本发明在获得路况图像的边缘信息之后，首先对边缘图像进行扫描，同时计算出边缘像素点连接的方向，从而滤除连接方向异常的噪声边缘。本发明充分利用了车道线的消失点这一特征信息，消失点的位置信息通过投票机制来获得，消失点不仅作为滤除干扰线段的约束条件，而且作为车道线拟合的关键参数。本发明车道线检测方法能够克服树木的阴影、路面的文字以及行驶车辆等干扰因素的影响，实现各种复杂环境下的车道线检测，具有良好的准确性和鲁棒性。
【专利说明】
一种复杂路况场景下的车道线检测方法
技术领域
[0001] 本发明涉及机器视觉以及智能车领域，尤其涉及到复杂路况场景下的车道线检测 方法。
【背景技术】
[0002] 近年来，随着社会的迅速发展和汽车保有量的不断增加，交通安全问题越来越受 到人们的关注。据统计，每年大约有30%的交通事故是由于驾驶员的注意力不集中、疲劳驾 驶、车道跑偏等因素造成的。因而，能够为驾驶员提供危险预警和辅助驾驶的智能车辆系统 受到了人们的广泛关注，车道标志线（以下简称车道线)检测作为智能车辆系统的关键技术 之一，也成为相关科研机构和汽车生产厂家研发的热点。
[0003] 基于视觉的车道线检测技术因其提供的信息丰富和花费的成本低廉而被广泛的 采用。基于视觉的车道线检测方法一般可以分为两类:特征法和模型法。特征法通常是利用 车道线的颜色、宽度或梯度变化等特征信息将车道线从路面区域提取出来，或者利用路面 的纹理信息结合区域增长以及分类的方法来获得整个道路区域。文献l:C.Ma，L.Mao， Y.F.Zhang,et al.,"Lane Detection Using Heuristic Search Methods Based on Color Clusteringin Proc of the IEEE International Conference on Communications,Circuits and Systems(ICCCAS),Chengdu,China,2010,pp?368-372?先 将原始的RGB图像转换到Lab色彩空间，然后在Lab色彩空间使用聚类算法提取出车道线。与 文献 1 不同的是，文献 2:C.D.Cruz, and J.J.Zou, "Lane detection for driver assistance and intelligent vehicle applicationsInternational Symposium on Communications and Information Technologies,Sydney,Australia,2007,pp.1291-1296.利用车道线特定的颜色信息（主要是白色和黄色），首先计算出路况图像的一个整体 最优阈值，然后利用计算出的最优阈值对图像进行二值化处理，进而提取出车道线。文献3: G.R.Liu,S.T.Li,and ff.R.Liu,uLane Detection Algorithm based on Local Feature Extractionin Proc of the Chinese Automation Congress(CAC),Changsha,China, 2013，pp. 59-64.则利用车道线的宽度特征信息结合形态学滤波来检测车道线。由于以上所 提到的方法都利用了车道线的颜色，宽度等低层特征，因而容易受到光照，天气变化的影 响。只有当车道线与路面有较高的对比度时才具有良好的检测效果。文献4:Y.Sha， G.Y.Zhang,and Y.Yang,UA road detection algorithm by boosting using feature combination，''IEEE Symposium on Intelligent Vehicles , Istanbul,Turkey, 2007 , pp. 364-368.则利用路面的纹理信息，并结合区域增长的方法获取整个道路区域。由于该方 法难以提取具有较好可分性的道路特征，因而容易受其它与路面相似的非道路区域的干 扰，而且提取和分析道路特征需要较大的系统开销，实时性难以得到保证。
[0004] 模型法是将车道抽象成一个恰当的几何模型，先采用边缘检测的方法获得车道线 或道路的边缘信息，然后通过随机采样一直算法(RANSAC)，最小二乘法，Hough变换等方法 获得几何模型的参数来拟合相应的车道线。文献5:Q.Chen，and H.Wang，"A Real-time Lane Detection Algorithm Based on a Hyperbola-Pair Model /'Intelligent Vehicles Symposium，Tokyo Japan，2006，pp. 510-515 ?将车道抽象成双曲线对模型，模型 的拟合依赖于车道线内边界点的准确位置信息，因而需要道路图像有清晰的车道线边界。 由于模型法一般都利用了车道线的边缘信息，因而路面的阴影、文字和污渍以及路旁车辆 的遮挡等干扰因素的存在会影响车道线边缘信息的提取，造成最后车道线拟合出现偏差甚 至错误。
[0005] 中国专利CN103996030A(申请号：201410223305.9)公开了一种车道线检测方法。 它包括以下步骤:对采集的路况视频图像进行边缘增强处理;对边缘增强处理后的图像采 用自适应阈值选择的方法获得二值化图像，同时在二值化图像中提取车道线的内侧边缘 点；对提取的图像数据采用分区Hough变换拟合车道线。该方法虽然实现了车道线的检测， 但对于路面有强阴影、文字或路面破损的情况存在一定的缺陷。因为在对路况视频图像进 行边缘增强处理的过程中，在增强车道线边缘的同时也增强了噪声(包括路面的阴影、文字 等)边缘，而噪声边缘的存在会影响车道线内侧边缘点的提取，导致最后车道线的拟合存在 偏差。
[0006] 中国专利CN103617412A(申请号：201310534595.4)发明了一种实时的车道线检测 方法。该方法通过车道线消失点的位置来确定感兴趣区域(R〇I region of interest),去 掉没有车道线的上半部分图像，从而缩短了每帧图像的处理时间。然而，消失点作为车道线 的重要结构特征，仅用于感兴趣区域划分，显得有些大材小用。
[0007] 总的来看，结合现有技术的不足有以下改善的方向：
[0008] 1)车道线拟合依赖于车道线的边缘信息。当路面有阴影、文字或者路面破损时，提 取的边缘信息中存在着大量的噪声边缘点，会造成最后车道线的拟合出现偏差甚至错误。 因此，如何在路况图像中准确地提取车道线的边缘信息是要解决的一个关键问题。
[0009] 2)根据透视投影的映射规则和人们的视觉特性，空间内的一对平行直线，在观察 者(或视觉成像设备)所获得的图像平面上所成的像有且仅有一个交点，称为消失点。现实 世界中的车道线往往是相互平行的，因此，在道路图像中车道线会形成一个消失点，它不仅 指示着车道线的延伸方向，而且包含着车道线拟合所需的重要信息。因此，如何确定消失点 的位置信息，并利用消失点来滤除干扰的线段是需要解决的另外一个关键问题。
【发明内容】
[0010] 本发明旨在克服发明专利公开号(CN)为103996030A的发明中当路面有强阴影、文 字或路面破损等情况时车道线检测存在的缺陷，并充分利用发明专利公开号（CN)为 103617412A的发明中提到的车道线消失点这一结构特征。提出了一种基于消失点约束的车 道线检测新方法，该方法能够适应各种复杂的路况场景。
[0011] 发明目的是通过以下手段实现的：一种复杂路况场景下的车道线检测方法，用于 智能车辆获取道路图像信息即时进行车道线辨识处理，包换如下的处理步骤：
[0012] (1)感兴趣区域划分
[0013] 提取道路图像中包含路面的矩形区域部分作为车道线检测的感兴趣区域；
[0014] (2)图像灰度化处理
[0015] 对路况图像进行灰度化处理，采用以下灰度化的转换模型：
[0016] Gray = R+G-B (1)
[0017 ]其中，R、G、B分别代表RGB图像的红、绿、蓝三个分量，其取值范围为[0,255];
[0018] (3)边缘信息提取
[0019] 使用Canny边缘检测算子提取灰度图像的边缘信息；
[0020] (4)噪声边缘处理
[0021] 对(3)提取边缘信息后的图像进行逐行扫描并滤除连接方向异常的噪声边缘像 素;其具体步骤如下：
[0022] 1)从图像底部的中间点开始由中间到两边，底端向顶端进行扫描，寻找边缘像素 的起始点；
[0023] 2):找到起始像素点后，在该起始像素点的邻域内扫描;根据左右车道线边缘像素 点连接的方向特征，扫描起始像素点八邻域中的三个；
[0024] 3):将邻域中扫描到的点与起始点连接，并将该点作为新的起始点，同时记下边缘 连接点总的数目；重复2)，若邻域内没有边缘像素点或扫描到图像的顶端则返回最初的起 始点所在的行，直到扫描结束;为了避免重复扫描，将已经连接的像素点在原图像平面内做 标记；
[0025] 4):计算边缘像素点连接的方向，该方向为相邻像素点连线方向的平均值，如果该 方向不在规定的角度阈值范围内，则认为是噪声边缘，直接将其滤除；
[0026] (5)线段检测
[0027]滤除了噪声边缘像素之后，保留属于同一直线的边缘像素，接着使用改进的概率 霍夫变换PPHT检测边缘图像中的直线，左边部分记为S1，右边部分记为SR;
[0028] (6)利用消失点滤除干扰线段
[0029] S为PPHT检测到的线段，其中S = {SL，SR}，IRQI为感兴趣区域，消失点VP(vpx，vp y)的 定义如下：
[0030] VP=F(S,Iroi) (2)
[0031] 函数F的功能是将检测到的线段S在IRQI平面内延长，并在IRQI平面内找出直线相交 次数最多的像素点，即为消失点；
[0032] 最后利用消失点来筛选出左边存留的线段和右边存留的线段，分别记为:<^,湾：
[0033] ^={s：| ||sf-：FP||< (3)
[0034] s^={sf \ ||sj-rp||<(?} (4)
[0035] 其中i = l，2,3."m，m为SL中的线段总数，]_ = 1，2,3."11，11为5[?中的线段总数，6为消 失点与线段之间偏移的程度；
[0036] (7)运用K-means聚类算法将滤除干扰后的线段进行分类
[0037] 在利用消失点去除了干扰的线段之后，左边存留的线段碎根据其斜率大小的不同 将其进行分类，使用K-means聚类算法将剩余的线段分为两类，右边存留的线段衫也使用相 同的方法进行分类；
[0038] (8)车道线拟合
[0039]选出步骤(7)中聚类所得的两类线段中斜率绝对值较大的一类作为确定车道线的 候选线段，最后，由消失点的位置信息VP(vpx，vpy)和候选线段的斜率中心值K拟合出左右车 道线。
[0040]发明方法的优点和积极效果在于：
[00411 1)克服了发明专利公开号(CN)为103996030A的发明中存在的缺陷。该发明首先对 路况图像进行边缘增强处理来突出车道线的边缘信息，但是，边缘增强处理在突出车道线 边缘信息的同时也增强了噪声(包括路面的阴影、文字，来往的车辆等)边缘。而本发明在获 得路况图像的边缘信息之后，首先对边缘图像进行扫描，同时计算出边缘像素点连接的方 向，从而滤除连接方向异常的噪声边缘，避免了噪声边缘点对车道线拟合的影响，提高了车 道线检测的鲁棒性。
[0042] 2)本发明充分利用了车道线的消失点这一特征信息。首先通过投票来获得消失点 的位置信息，简单易行。此外，在本发明中，消失点不仅作为滤除干扰线段的约束条件，而且 作为车道线拟合的关键参数。
[0043] 基于以上原因，本发明所提出的车道线检测方法能够克服树木的阴影、路面的文 字以及行驶车辆等因素的影响，实现各种复杂环境下的车道线检测，具有良好的准确性和 鲁棒性。
【附图说明】
[0044] 图1为本发明基于消失点约束的车道线检测算法流程图。
[0045] 图2感兴趣区域划分示意图。
[0046] 图3灰度化效果对比图。
[0047] 图4 Canny边缘检测效果图。
[0048]图5边缘像素扫描方式示意图。
[0049 ]图6 (a)边缘像素点的连接方向估计示图。
[0050]图6(b)车道线的方向阈值范围示意图。
[00511图7噪声边缘滤除后的效果图。
[0052] 图8(a)PPHT线段检测图。
[0053]图8(b)消失点滤除干扰线段的示意图。
[0054] 图9 K-means聚类算法流程图。
[0055]图10 K-means聚类后的效果图。
[0056]图11车道线拟合结果图。
[0057]图12各种复杂路况场景下车道线检测的效果图。
【具体实施方式】
[0058]下面结合附图以及具体的路况场景图对本发明作进一步描述：
[0059]如算法流程图1所示，本发明的方法主要分为路况图像预处理和车道线检测两个 部分。为了克服发明专利公开号(CN)为103996030A的发明中存在的缺陷，我们在得到路况 图像的边缘信息后，首先对边缘图像进行扫描，计算边缘像素点连接的方向，从而滤除噪声 边缘。避免了在后续的处理中因噪声边缘的干扰造成车道线拟合不准确的问题。此外，我们 充分利用了发明专利公开号(CN)为103617412A的发明中提到的车道线消失点这一结构特 征，首先通过投票的方法获得消失点的位置信息，然后利用消失点这一约束条件来滤除干 扰线段，并将消失点的位置信息作为车道线拟合的关键参数，最终实现车道线的拟合。
[0060] 为了说明本发明方法的有效性，我们选取加州理工学院提供的车道数据库中的一 帧路况图像作为具体的实施例。
[0061] 本发明所涉及的具体方法包括以下步骤：
[0062] (1)感兴趣区域划分
[0063]合理地提取感兴趣区域，不仅能够降低背景图像对车道线检测的干扰，而且可以 减少后续步骤中计算处理所花费的时间，提高算法的实时性。车道线存在于路面区域，通常 情况下，路面区域位于道路图像的中间部分，因此本发明提取道路图像中间二分之一的部 分作为车道线检测的感兴趣区域。具体划分的感兴趣区域如图2所示。
[0064] (2)图像灰度化处理
[0065]路况图像的颜色信息并非车道线拟合的有用信息，而颜色信息的存在会增加系统 的开销，因此，我们首先需要对路况图像进行灰度化处理。
[0066]通常RGB图像灰度化的转换模型为：
[0067] Gray = 0.299*R+0.587*G+0.114*B (1)
[0068]其中，R、G、B分别代表RGB图像的红、绿、蓝三个分量，其取值范围为[0，255]。分析 路况图像以及路面的车道线，可以发现，路面一般呈灰黑色，其R、G、B分量特征为VR~Vc~ Vb，而白色车道线的R、G、B分量特征为VR~Vg^Vb~255,黄色车道线的R、G、B分量特征为VR~ Vc~255，￥^〈<255。为了增强车道线与路面的对比度，本发明采用以下灰度化的转换模型： [0069] Gray = R+G-B (2)
[0070]该方法增强了车道线的特征，从而提高了后续车道线边缘信息提取的准确性。两 种方法的灰度化效果对比如图3所示。
[0071] (3)边缘信息提取
[0072]边缘信息是用于车道线拟合的关键特征信息，好的边缘检测效果对于准确地检测 出车道线是至关重要的。常用的边缘检测算法有Roberts算法、Sobel算法、Laplacian算法 和Canny算法等。其中Canny算法具有对边缘定位准确，提取的边缘整齐，而且对于较低的图 像对比度仍然有良好的检测效果等优点，本发明使用Canny边缘检测算子提取灰度图像的 边缘信息。边缘信息提取后的图像如图4所示。
[0073] (4)噪声边缘处理
[0074] 在提取了边缘信息后，对图像进行逐行扫描并滤除连接方向异常的噪声边缘像 素。其具体步骤如下：
[0075] Stepl;如图5所示，从图像底部的中间点开始由中间到两边，底端向顶端进行扫 描，寻找边缘像素的起始点。
[0076] Step2:找到起始像素点后，在该起始像素点的邻域内扫描。根据左右车道线边缘 像素点连接的方向特征，只需扫描起始像素点八邻域中的三个。
[0077] S t e p 3:将邻域中扫描到的点与起始点连接，并将该点作为新的起始点，同时记下 边缘连接点总的数目。重复step2,若邻域内没有边缘像素点或扫描到图像的顶端则返回最 初的起始点所在的行，直到扫描结束。为了避免重复扫描，将已经连接的像素点在原图像平 面内做标记。
[0078] Step4:计算边缘像素点连接的方向，该方向为相邻像素点连线方向的平均值，如 图6(a)中箭头方向，如果该方向不在规定的角度阈值范围内，则认为是噪声边缘，直接将其 滤除。
[0079] 当车辆行驶在车道的中间时，根据先验知识，车道线与水平方向会成一定的角度， 本发明设定的角度阈值范围为，左车道线[-15°，_75°]，右车道线[15°，75°]，如图6(b)所 示。同时，本发明规定边缘连接点的长度阈值为40,即边缘连接点的总数小于40的视为噪声 边缘直接滤除。噪声边缘像素处理后的效果如图7所示，从图中可以看出，大量的背景噪声 边缘已经被滤除。
[0080] (5)线段检测
[0081] 滤除了噪声边缘像素之后，属于同一直线的边缘像素将被保留，接着使用改进的 概率霍夫变换（PPHT)检测边缘图像中的直线。PPHT检测到的线段S如图8(a)所示，分别记 为:左边纱，右边S R
[0082] (6)利用消失点滤除干扰线段
[0083]在图像坐标系中，车道线的方向相对比较集中，并且相交于消失点，而干扰线段则 是方向各异的，根据这一特性，可以利用消失点来移除干扰的线段。
[0084] S为PPHT检测到的线段，其中S = {SL，SR} I为感兴趣区域，消失点VP(vpx，vpy)的 定义如下：
[0085] VP=F(S,Iroi) (3)
[0086] 函数F的功能是将检测到的线段S在Irw平面内延长，并在Irw平面内找出直线相交 次数最多的像素点，即为消失点。
[0087] 最后利用消失点来筛选出左边和右边的候选线段，分别记为匁，匁
[0088] = {s：f I I! sf- VP I j< (4)
[0089] 衫=付 | 11S?-哎 ||< 的（5)
[0090] 其中i = l，2,3~m，m为纱中的线段总数。j = l，2,3~n，n为S%的线段总数，S为消 失点与线段之间偏移的程度（简称为偏移度），本发明中取S的大小为8个像素单位。如图8 (b)所示，消失点用圆点标出，筛选出的候选线段宅和分别位于左右两侧。
[0091] (7)运用K-means聚类算法将滤除干扰后的线段进行聚类
[0092] 在利用消失点去除了干扰的线段之后，左边存留的线段矣根据其斜率大小的不同 将其进行分类，本发明使用K-means聚类算法(其算法流程图如图9所示)将剩余的线段分为 两类，右边存留的线段碎也可以使用相同的方法进行分类。聚类后的效果如图10所示。 [0093] (8)车道线拟合
[0094] 由于靠近车辆的左右车道线更有利于确定车辆的行驶区域，因此，选出步骤(7)中 聚类所得的两类线段中斜率绝对值较大的一类作为确定车道线的候选线段，即图10中靠近 道路中央的线段。最后，由消失点的位置信息VP(vp x，vpy)和候选线段的斜率中心值K拟合出 左右车道线。如图11所示。
[0095] 图12给出了在各种复杂的路况场景(包括路面有杂乱的阴影，文字，斑马线以及行 驶的车辆干扰)下，使用本发明方法进行车道线检测的效果图。从图中可以看到，本发明提
【主权项】
1. 一种复杂路况场景下的车道线检测方法，用于智能车辆获取道路图像信息即时进行 车道线辨识处理，包换如下的处理步骤： (1) 感兴趣区域划分 提取道路图像中包含路面的矩形区域部分作为车道线检测的感兴趣区域； (2) 图像灰度化处理 对路况图像进行灰度化处理，采用以下灰度化的转换模型： Gray = R+G-B (1) 其中，R、G、B分别代表RGB图像的红、绿、蓝三个分量，其取值范围为[O，255]; (3) 边缘彳目息提取 使用Canny边缘检测算子提取灰度图像的边缘信息； (4) 噪声边缘处理 对(3)提取边缘信息后的图像进行逐行扫描并滤除连接方向异常的噪声边缘像素；其 具体步骤如下： 1) 从图像底部的中间点开始由中间到两边，底端向顶端进行扫描，寻找边缘像素的起 始点； 2) :找到起始像素点后，在该起始像素点的邻域内扫描;根据左右车道线边缘像素点连 接的方向特征，扫描起始像素点八邻域中的三个； 3) :将邻域中扫描到的点与起始点连接，并将该点作为新的起始点，同时记下边缘连接 点总的数目；重复2)，若邻域内没有边缘像素点或扫描到图像的顶端则返回最初的起始点 所在的行，直到扫描结束；为了避免重复扫描，将已经连接的像素点在原图像平面内做标 记； 4) :计算边缘像素点连接的方向，该方向为相邻像素点连线方向的平均值，如果该方向 不在规定的角度阈值范围内，则认为是噪声边缘，直接将其滤除； (5) 线段检测 滤除了噪声边缘像素之后，保留属于同一直线的边缘像素，接着使用改进的概率霍夫 变换(PPHT)检测边缘图像中的线段，左边部分记为S1，右边部分记为Sr ; (6) 利用消失点滤除干扰线段 S为PPHT检测到的线段，其中S= (S^SrKIrqi为感兴趣区域，消失点VP(vpx，vpy)的定义 如下： VP = F(SJroi) (2) 函数F的功能是将检测到的线段S在Irq1平面内延长，并在Irq1平面内找出直线相交次数 最多的像素点，即为消失点； 最后利用消失点来筛选出左边存留的线段和右边存留的线段，分别记为:碎其中i = 1，2，3···πι，πι为纱中的线段总数，j = 1，2，3···η，n为Sr*的线段总数，δ为消失点 与线段之间偏移的程度； (7) 运用K-means聚类算法将滤除干扰后的线段进行聚类 在利用消失点去除了干扰的线段之后，左边存留的线段起根据其斜率大小的不同将其 进行分类，使用K-means聚类算法将剩余的线段分为两类，右边存留的线段也使用相同的 方法进行分类； (8)车道线拟合 选出步骤(7)中聚类所得的两类线段中斜率绝对值较大的一类作为确定车道线的候选 线段，最后，由消失点的位置信息VP(vpx，vpy)和候选线段的斜率中心值K拟合出左右车道 线。2. 根据权利要求1所述的复杂路况场景下的车道线检测方法，其特征在于，步骤(2)第4 步设定的方向角度阈值范围为:左车道线[-15°，_75°]，右车道线[15°，75°];边缘连接点数 的长度阈值为40。3. 根据权利要求1所述的复杂路况场景下的车道线检测方法，其特征在于，步骤(6)取δ 的大小为8个像素单位。
【文档编号】G06K9/32GK105893949SQ201610189306
【公开日】2016年8月24日
【申请日】2016年3月29日
【发明人】侯进, 侯长征
【申请人】西南交通大学