专利名称：一种基于灰度估计和级联霍夫变换的车道线检测方法
技术领域：
本发明属于图象处理技术领域，涉及图像分割和图像直线几何特征检测，同时涉及智能 车辆导航，主要适用于智能交通领域中的辅助安全驾驶系统。
背景技术：
智能交通系统是一项庞大的社会性的系统工程，包括辅助安全驾驶系统、交通管理系统、 商用车辆运营系统、电子收费系统、公共交通运营系统、应急管理系统、车辆控制系统等。 其中，辅助安全驾驶系统是这个系统之中成本较小，与民众关系较为密切，而具有相当明显 的社会效应的重要组成部分，具有巨大的社会经济发展潜力，能够显著地提高交通的安全水 平，增加交通的机动性，降低汽车运输对环境的影响，提高汽车运输生产率和经济效益。其 中，相对雷达、激光、超声波、红外线等传感器进行感知道路环境，视觉传感系统具有不可 忽视的优点。在实际生活中，驾驶员通过视觉可以获得90%以上的环境信息，并且视觉采集 设备具有相对廉价，直观，通用性强等优点。
车道线是最基本的交通标志，也是汽车行驶时的基本约束。在基于视觉的智能车辆导航 系统中，车道线的识别与跟踪是一个基本的、必须的功能，它能防止汽车偏离车道，为导航 提供参照，同时也是进行障碍物检测的基本前提。因此它是汽车辅助安全驾驶系统和自主导 航系统中不可缺少的部分。从上世纪九十年代中、后期，美国、德国、日本等发达国家对车 道偏离预警技术进行了比较集中的研究，并且已成功研制出一些各具特色的车道偏离警告系 统。这些系统通过预先给驾驶员以警告信息，提醒驾驶员采取正确的操作措施，达到防止这 类事故或者降低这类事故的伤害程度的目的。
现有的车道线检测相关的方法通常包括下列一些功能 (1)车道线检测。车道线检测方法一般来说有几种模式模板匹配法的原理是用与车道 线的宽度等特征相一致的模板对车道线进行直接匹配，以达到分割车道线的目的，它的缺点 在于难以选择恰当的几何道路模板，以及计算复杂性较高的问题。特征匹配法计算主要集中 在图像处理以及如何进行特征值的抽象化，这种方法避免了模板匹配法过于依赖特定车道线 特征的缺点，对不同的道路具有一定的自适应性。也有较为简化的(例如逐行扫描获取灰度 峰值)基于形态学的车道线识别，能够针对一些特定情况对车道进行快速检测。上述相关方
法详见文献ZENG Zhi-Hong. Lane Detection and Car Tracking on the Highway, ACTA AUTOMATICA SINICA. Vol'29，No'3 May,2003和苗冬霜.基于单目视觉的道路检测与跟踪的研究.燕山大学工学硕士学位论文，2006.4。
(2) 利用通用的图像块动态聚类的方法，对路面区域进行分割。这种方法属于通用的图 像分割方法，因此在各种不同的情况下都具有良好的稳定性，尤其擅长于对于非结构性的道 路的分割，它的缺点在于无法利用已有的约束条件对问题进行简化，往往使计算量偏大。详 见文献Jill D. Crisman et al. UNSCARF， A Color Vision System for the Detection of Unstructured Roads, Proceedings of the 1991 IEEE International Conference on Robotics and Automation Sacramento, California -April 1991.
(3) 利用反透视变换消除摄像机透视效应的影响，并且借助公路本身的几何参数，例如 道路的曲率等，对前方道路的情况进行拟合和估计。它首先利用精确的摄像机参数标定所建 立起来的图像坐标与真实坐标的变换关系，将车辆前方的路面区域平铺在二维水平面空间之 中，随后使用几何曲线模型在二维水平面上对道路的走向进行直接的拟合估计。这种方法的 缺点在于对摄像机参数标定和安装的精度要求相当高，因为坐标系之间存在的变换关系会将 摄像机参数误差放大，尤其是在距离摄像机较远的前方。详见文献Massimo Bertozzi et al, GOLD: A Parallel Real-Time Stereo Vision System for Generic Obstacle and Lane Detection, IEEE TRANSACTIONS ON IMAGE PROCESSING VOL. 7, NO. 1, JANUARY 1998。
发明内容
本发明的任务是提供一种基于灰度估计和级联霍夫变换的车道线检测方法，与同类方法 相比，具有稳定性强，适用场合较为广泛等优点。
为了方便地描述本发明内容，首先对一些概念进行说明。
概念1.摄像机标定和摄像机参数摄像机参数由摄像机的成像几何模型所决定，要从二 维图像中恢复物体的三维信息，必须先确定摄像机的各个成像参数。通过实验求出这些参数 的过程被称为摄像机标定。摄像机参数包括内部参数和外部参数，内部参数包括主点坐标和 有效焦距等，外部参数包括摄像机的位置和朝向等。见文献邹凤娇.摄像机标定及相关技术
研究.四川大学硕士学位论文.2005.5.10等。
概念2.敏感区域是指在某些特定的应用场合，能够预先确定感兴趣的对象总是会出现
在图像之中的某些区域。计算可以被限制在敏感区域之内，其它非敏感的图像区域则会被直 接忽略，这样能够有效地减少计算量并简化问题。
概念3.霍夫变换即Hough变换，其基本思想是点一线的对偶性，即图像空间里共线 的点对应参数空间里相交的直线；反过来，参数空间相交于同一点的所有直线在图像空间里
都有共线的点与之对应。利用霍夫变换可以将直线特征搜索问题转化为参数空间之中最大值搜索问题，是直线特征提取领域中使用最为广泛的算法之一。
概念4.消失点Vanish Point (又称"灭点")，它具有一个重要的性质，即真实世界的三 维空间之中，任意一组不与主光轴垂直的平行直线，在图像之中的延长线都将汇聚到一点， 这一点被称为消失点。车道线本身近似于一组平行直线，因此确定消失点的位置对车道线的 识别具有重要作用。
本发明详细技术方案如下
一种基于灰度估计和级联霍夫变换的车道线检测方法，如图1所示，包括以下步骤 步骤l:采集车辆前方路况原始图像/。车辆行进过程中，通过安装在车辆上的摄像机采 集车辆前方路况原始图像/。
步骤2:创建敏感区域模版图像/,d。根据摄像机的内部参数和外部参数，将摄像头视 野中地平线之下、两侧边界之内的区域划分成敏感区域，而将其它区域划分成非敏感区域； 创建车辆前方路况原始图像/同样大小的敏感区域模版图像/,d。其中摄像机内部参数包
括主点坐标和有效焦距，摄像机外部参数包括摄像机的位置和朝向；敏感区域模版图像/,,,
中，将敏感区域内的像素值设为1，将非敏感区域内的像素值设为O。
步骤3:对步骤1所采集的车辆前方路况原始图像/进行Carmy边缘提取计算(详见文 献Canny J. A computational approach to edge detection. IEEE-PAMI 1986.)，得到Canny边缘提 取结果图像/*￡，在Canny边缘提取结果图像4^中，边缘像素值设为1，非边缘像素值设为0。
歩骤4:计算车辆前方路况原始图像/中位于歩骤2确定的敏感区域内且在步骤3确定 的边缘下方的所有像素点的灰度平均值f和均方差(标准差)5，然后利用灰度T均值5和
均方差5设定两个阈值f -3(5与歹+ 35 ，通过阈值f -35和阈值f + 35将车辆前方路况原始图
像/中敏感区域之内的部分划分为/ , 、 i 2和^三类区域，其中《表示灰度值S小于阈值f -
的区域，为车辆阴影区域；^表示灰度值S大于等于阈值f-35且小于阈值歹+ 35的区域,
为路面非标志区域；A表示灰度值S大于等于阈值f+ 33的区域，为路面标志区域，其中包 含前方车辆的车身区域。
步骤5:因为车道线标志的边缘只可能出现在步骤4确定的区域^和区域A之间，所以采用计算区域^的膨胀与区域A的交集的方法计算初步的车道线标志的边缘图像&^， 即
其中符号"e"表示形态学膨胀运算，符号"n"表示取交集，D为一个3x3的十字模版。 以上获得的车道线标志的边缘图像^^不光包括希望提取的车道线边缘区域，也包含可
能造成干扰的车身区域与道路区域的结合部分的边缘区域；在车道线标志的边缘图像&^中
每列像素进行由下至上的扫描，如果当前扫描像素点的坐标位于车辆阴影区域《之内，则将
A—中该像素正上方的所有像素点的像素值置为0，得到最终的车道线标志的边缘图像及'^e 。
步骤6:针对最终的车道线标志的边缘图像i 'e一进行霍夫变换，并提取直线特征。具体
包括以下步骤
步骤 6-1 :遍历图像及'*中的每个像素点(x，力，计算 >9 = jccos(e) + ;;sin(e):5>e
的窗口强度最大值 集合中，寻找前面"("26)个较大的窗口强度最大值，并保证每两个局部强度最大值之间 的位置关系，即(A，《)和(/V《)之间的关系满足条件
|a-P」〉Av .Ig-《卜^ ，
|《-《|<180o-A
其中，A表示窗口[(-A,-A)，(A，A)]的半长度，取值范围可以是[1,5]; ^表示窗口的半宽度，取值范围可以是[1,5]。步骤7:将步骤6找出的/ -e参数空间中的"个直线特征位置参数(A,《)及其对应的
A7-e参数空间中强度值7/(A,《)映射到与边缘图像i '^e等大的图像空间之中，得到含有w条
直线的图像/'，然后对图像/'进行全局平滑计算，并找出图像/'中的最大值坐标点并作为车
道边缘共同的消失点PJ;，;v)。
步骤8:在^(&,;v)下方we
范围的区域之内搜索属于区域A的像素，将对应在 w方向之上的属于A的像素个数统计为直方图i (0:180),然后使用高斯平滑滤波模板对直方 图i (0:180)进行平滑滤波运算，并在及(0:180)之中搜索大于及(0:180)中最大值及自的乂倍的
局部峰值iUpK^…及皿M所对应的角度值w自P^Wa…气，。其中，义的取值范围为
。
步骤9:以消失点/M;,》)作为起点，分别以^ 1 1, 1 2..必 1^,为方向作射线，得到的 射线即为最终的车道线。
通过以上步骤，我们就从车辆前方路况原始图像/中检测出车道线。 上述步骤中，需要特殊说明的是-
1. 步骤3中，Canny边缘提取的高低两个阈值取为边缘强度图的最大值的0.2倍和0.1倍， 与取固定阈值相比，具有更好的适应性。
2. 步骤4中，我们假定路面区域灰度分布呈高斯分布，根据高斯分布的特点以及95%分 布准则(即保证95%的样本的值在高低阈值之间)，我们取^ + 35与f-3《为路面区域的高低阈值。
3. 步骤6中，我们利用窗口屏蔽计算保证每两个局部峰值之间的距离，是为了尽量避免 霍夫变换在参数空间之中的分布效应对直线提取结果造成干扰而设置的。
4. 步骤7和步骤8中，我们采用平滑运算对图像/'和直方图及(0:180)进行的滤波处理，
是为了避免相对离散的输入数据在累加空间之中产生过多的虚假局部峰值而采用的。
本发明提出一种基于路面灰度估计和级联霍夫变换的结构性道路中车道线检测方法。首 先对采集的车辆前方路况原始图像/的敏感区域进行灰度估计将其划分为车辆阴影区域、路 面非标志区域以及路面标志区域(含前方车辆的车身区域)；然后采用数学形态学方法从路面 灰度估计所划分的区域中得到路面标志区域的边界图像；随后对路面标志区域的边界图像进 行霍夫变换以提取其中的直线图像特征；最后，通过对路面标志边缘消失点的搜索实现了对车道线的检测。
本发明的创新之处在于
本发明充分利用了车辆前方图像中不同灰度值所代表的区域的特点，借助了高斯分布模 型参数估计方法，准确地对车道区域进行了阈值分割，进而有效地对车道线边缘进行提取， 并且基于车道线的近似平行的特性，采用了级联霍夫变换对直线特征和直线特征的消失点进
行了较为精确的识别和判定。其中多个关键步骤(包括Canny边缘提取、路面灰度估计和车 道区域分割、霍夫变换等)都采用了具有较强适应性和一定的容错性的算法，大人提高了本 发明的稳定性和健壮性。
图1是本发明提供的基于灰度估计和级联霍夫变换的车道线检测方法的流程示意图。
具体实施例方式
采用本发明的方法，首先使用0++语言编写车道检测软件；然后将摄像机安装在汽车前
窗内部，对摄像机的各种参数进行标定，并在车辆行驶过程之中对前方图像进行采集；随后， 把拍摄到的车辆原始图像作为源数据输入到车道检测软件中进行处理；实验共采集若干种行 驶情况之下的数百张源图像，在行驶较为稳定时，本发明的车道检测算法成功率大于90%, 在剧烈颠簸造成图像严重模糊时，车道检测成功率也能够达到60%以上，对于656x491大小 的较高分辨率的原图像，平均每幅图像处理时间约为0.3s，运行环境为WinXP 2GHz，编译 器为Visual Studio 2005 C++。
综上所述，本发明的方法充分利用道路灰度特征和车道线的平行直线特征，从而实现了 准确地从所提供的输入源图像中检测出车道线的方法。
权利要求
1、一种基于灰度估计和级联霍夫变换的车道线检测方法，包括以下步骤步骤1采集车辆前方路况原始图像I；车辆行进过程中，通过安装在车辆上的摄像机采集车辆前方路况原始图像I；步骤2创建敏感区域模版图像Imask；根据摄像机的内部参数和外部参数，将摄像头视野中地平线之下、两侧边界之内的区域划分成敏感区域，而将其它区域划分成非敏感区域；创建车辆前方路况原始图像I同样大小的敏感区域模版图像Imask；其中摄像机内部参数包括主点坐标和有效焦距，摄像机外部参数包括摄像机的位置和朝向；敏感区域模版图像Imask中，将敏感区域内的像素值设为1，将非敏感区域内的像素值设为0；步骤3对步骤1所采集的车辆前方路况原始图像I进行Canny边缘提取计算(详见文献Canny J.A computational approach to edge detection.IEEE-PAMI 1986.)，得到Canny边缘提取结果图像Iedge，在Canny边缘提取结果图像Iedge中，边缘像素值设为1，非边缘像素值设为0；步骤4计算车辆前方路况原始图像I中位于步骤2确定的敏感区域内且在步骤3确定的边缘下方的所有像素点的灰度平均值<overscore>S</overscore>和均方差(标准差)δ，然后利用灰度平均值<overscore>S</overscore>和均方差δ设定两个阈值<overscore>S</overscore>-3δ与<overscore>S</overscore>+3δ，通过阈值<overscore>S</overscore>-3δ和阈值<overscore>S</overscore>+3δ将车辆前方路况原始图像I中敏感区域之内的部分划分为R1、R2和R3三类区域，其中R1表示灰度值S小于阈值<overscore>S</overscore>-3δ的区域，为车辆阴影区域；R2表示灰度值S大于等于阈值<overscore>S</overscore>-3δ且小于阈值<overscore>S</overscore>+3δ的区域，为路面非标志区域；R3表示灰度值S大于等于阈值<overscore>S</overscore>+3δ的区域，为路面标志区域，其中包含前方车辆的车身区域；步骤5因为车道线标志的边缘只可能出现在步骤4确定的区域R2和区域R3之间，所以采用计算区域R2的膨胀与区域R3的交集的方法计算初步的车道线标志的边缘图像Redge，即<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><msub> <mi>R</mi> <mi>edge</mi></msub><mo>=</mo><msub> <mi>R</mi> <mn>3</mn></msub><mo>∩</mo><mrow> <mo>(</mo> <msub><mi>R</mi><mn>2</mn> </msub> <mo>⊕</mo> <mi>D</mi> <mo>)</mo></mrow> </mrow>]]></math></maths>其中符号 id="icf0002" file="A2009100593490002C2.tif" wi="8" he="3" top= "266" left = "47" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>表示形态学膨胀运算，符号“∩”表示取交集，D为一个3×3的十字模版；以上获得的车道线标志的边缘图像Redge不光包括希望提取的车道线边缘区域，也包含可能造成干扰的车身区域与道路区域的结合部分的边缘区域；在车道线标志的边缘图像Redge中每列像素进行由下至上的扫描，如果当前扫描像素点的坐标位于车辆阴影区域R1之内，则将Redge中该像素正上方的所有像素点的像素值置为0，得到最终的车道线标志的边缘图像R′edge；步骤6针对最终的车道线标志的边缘图像R′edge进行霍夫变换，并提取直线特征；具体包括以下步骤步骤6-1遍历图像R′edge中的每个像素点(x，y)，计算ρ＝xcos(θ)+ysin(θ)θ∈
的窗口强度最大值集合中，寻找前面n(n≥6)个较大的窗口强度最大值，并保证每两个局部强度最大值之间的位置关系，即(ρi，θi)和(ρj，θj)之间的关系满足条件其中，ρw表示窗口[(-ρw，-θw)，(ρw，θw)]的半长度，取值范围可以是[1，5]；θw表示窗口[(-ρw，-θw)，(ρw，θw)]的半宽度，取值范围可以是[1，5]；步骤7将步骤6找出的ρ-θ参数空间中的n个直线特征位置参数(ρi，θi)及其对应的ρ-θ参数空间中强度值H(ρi，θi)映射到与边缘图像R′edge等大的图像空间之中，得到含有n条直线的图像I′，然后对图像I′进行全局平滑计算，并找出图像I′中的最大值坐标点并作为车道边缘共同的消失点PV(xV，yV)；步骤8在PV(xV，yV)下方ω∈
范围的区域之内搜索属于区域R3的像素，将对应在ω方向之上的属于R3的像素个数统计为直方图R(0:180)，然后使用高斯平滑滤波模板对直方图R(0:180)进行平滑滤波运算，并在R(0:180)之中搜索大于R(0:180)中最大值Rmax的λ倍的局部峰值Rmax1，Rmax2...Rmaxm所对应的角度值ωmax1，ωmax2...ωmaxm；其中，λ的取值范围为
；步骤9以消失点PV(xV，yV)作为起点，分别以ωmax1，ωmax2...ωmaxm为方向作射线，得到的射线即为最终的车道线。
全文摘要
一种基于灰度估计和级联霍夫变换的车道线检测方法，属于图象处理技术领域，涉及图像分割和图像直线几何特征检测，同时涉及智能车辆导航，主要适用于辅助安全驾驶系统。本发明首先对采集的车辆前方路况原始图像I的敏感区域进行灰度估计将其划分为车辆阴影区域、路面非标志区域以及路面标志区域(含前方车辆的车身区域)；然后采用数学形态学方法从路面灰度估计所划分的区域中得到路面标志区域的边界图像；随后对路面标志区域的边界图像进行霍夫变换以提取其中的直线图像特征；最后，通过对路面标志边缘消失点的搜索实现了对车道线的检测。本发明与同类方法相比，具有稳定性强，适用场合较为广泛等优点。
文档编号G06T7/00GK101608924SQ200910059349
公开日2009年12月23日 申请日期2009年5月20日 优先权日2009年5月20日
发明者叹 刘, 梅 解 申请人:电子科技大学