专利名称：一种基于Bézier曲线的车道线重构方法
一种基于B6zier曲线的车道线重构方法技术领域
本发明属于智能车辆安全辅助驾驶领域，涉及一种基于B6Zier曲线的车道线重构方法。
背景技术：
纵观汽车发展的历史，对安全性问题的研究始终是重中之重。尤其是近年来，如何提高交通安全已经成为急需解决的社会性问题。汽车安全研究热点已经从以碰撞安全为核心的被动安全发展到以预防碰撞为核心的主动安全，很多国家和国际汽车电子公司早已启动了多项研究计划来寻找提高安全性、减少事故的新技术。于是，智能车辆(IntelligentVehicle)的概念应运而生,成为了智能交通系统(Intelligent Transportation System)的关键技术之一。而车辆安全辅助驾驶作为智能车辆研究领域的一个重要分支在近一二十年也得到迅速的发展。
计算机视觉作为车辆安全辅助驾驶系统获得行驶环境信息最有效的感知方式在近些年得到了广泛研究。它是将单个或多个摄像头安装在车体上，通过图像采集模块获得车辆周围环境图像，然后经过智能图像处理模块为后续决策模块提供所需信息。其中，车道线识别对于安全辅助驾驶至关重要，是车道保持、车道偏离预警及自主导航等技术的基础之一，而车道线的重构不仅是在图像中识别出车道线位置，还用具体数学模型准确拟合出车道线，以便为后续决策模块提供道路曲率等重要参数支持。
车辆的行驶环境一般比较复杂，为应对光照变化、道路阴影、车道线间断以及障碍物等噪声干扰，车道线识别应具有较强适应性，而现有的基于边缘提取的车道标识线识别方法，由于对图像进行了全局二值化处理造成道路位置信息丢失，从而使其对于一些复杂环境的识别难以适应，而且普遍需要对图像进行预处理，降低了实时性；而单纯利用提取局部高像素值点的车道标识线识别方法在光线变化及路面存在其他标志时准确性较低。从道路的弯曲程度看，在结构化道路中，车辆可能行驶于直道，小弯道或者大弯道，现有的局部直线提取、Hough变换以及模板匹配等方法无法满足弯道识别的需求；已提出的分段直线拟合及抛物线模型拟合一定程度上实现了弯道的重构，但对于大弯道准确性不高；已有的基于高次曲线或者多曲线模型结合的拟合方法虽然准确性较强，可计算量大，难以满足实时性要求。发明内容
本发明针对车道线重构中对复杂环境适应性和弯道拟合准确性及实时性问题，提出了一种基于B6zier曲线的车道线重构方法。
本发明提供的一种基于B6Zier曲线的车道线重构方法，包括下列处理步骤:
步骤101:等待图片输入，建立图像坐标系，设定最大图像处理区域；
输入的是安装在车辆前挡风玻璃上摄像头采集的灰度图像，图像尺寸为320像素X 240像素,深度为8b i t,坐标系以图像左下角点为坐标原点，水平向右X为正，垂直向上y为正；
步骤102:在搜索区域内，分别利用灰度特征和梯度特征1，搜索左车道线和右车道线起始点所在的块，若搜索到，采用最大类间方差法对块进行二值化处理，得到块中车道线的外侧边缘线上的最低点，也就是当前段左、右车道线的局部起始点；若左车道线和右车道线起始点的所在块均未搜索到，则转步骤101读取下一幅图片。所述起始点表示的是整幅图像中左、右车道线外侧边缘线最低点。
采用梯度特征I搜索左侧车道线时，搜索像素作为左侧最低点像素，扩展得到nXn的块，η为像素个数，取3、5或9，并设第i (I ( i〈n)行中从左到右的第I个至第n_i个像素点位于道路上，块中剩余像素点位于车道线上，根据式(I)确定梯度特征值；采用梯度特征I搜索右侧车道线时，搜索像素作为右侧最低点像素，扩展得到nXn的块，η为像素个数，取3、5或9,并设第i (I < i〈n)行中从右到左的第I个至第n_i个像素点位于道路上，块中剩余像素点位于车道线上，根据式(I)确定梯度特征值；当y e [O, 45]时，η取9，当y e (45，90]时，η取5 ;y e (90，150]时，η取3 ;块大小的单位为像素；像素个数η定义为块的大小。
T = M1-M2 (I)
其中，T表示梯度特征值，M1表示车道线上的像素点和搜索像素点的灰度均值；Μ2表示道路上的像素点的灰度均值。
步骤103:设置下一个包含有车道线外侧边缘线块的搜索范围，在范围内搜索梯度特征I值最大的块，如果搜索到的块的灰度特征值大于灰度特征阈值且梯度特征I值大于梯度特征I阈值，则得到一个包含有车道线外侧边缘线的块，进入步骤104，否则，进入步骤 105 ；
搜索范围的设置方法是:设置X e [X1+(X1-X2)I, X1+(X1-X2)+e], y = y^n ;其中，X1和Y1分别为前一个车道线所在块的搜索点横坐标和纵坐标，X2为再前一个车道线所在块的搜索点横坐标，当出现间断 时，X1-X2取平均值；11为前一个车道线所在块的大小；e为调节常数，当I首次大于或等于45时e=13,当y首次大于或等于90时e=9,其它情况下e=7 ；
步骤104:判断当前是否满足搜索停止条件，如果满足进入步骤110，否则，返回步骤103 ;所述的搜索停止条件为:当前搜索点I值大于150 ;或者X值小于O或大于319 ;或者右车道线搜索点进入左车道线终点切线的左侧；
步骤105:判断当前是否满足可变向搜索条件，如果满足，引入变向搜索机制，进入步骤106，否则，进入步骤108;可变向搜索条件分别为:(1)当搜索左车道线时，需y>=60 ；(2)当搜索右车道线时，需搜索到的左车道线没有出现变向，并且左车道线的起点斜率和终点斜率之差大于0.4 ；
步骤106:重置搜索范围进行变向搜索，在范围内搜索梯度特征2值最大的块，如果搜索到的块的灰度特征值大于灰度特征阈值，且梯度特征2阈值大于梯度特征2阈值，得到一个标记为转弯的包含有车道线外侧边缘线的块，进入步骤107，否则，进入步骤108 ；
利用梯度特征2搜索左车道线时，搜索点作为右侧最低点，扩展得到nXn的块，并设第i (l〈i < η)行中从左到右的第I个至第1-Ι个像素点位于道路上，块中剩余像素点位于车道线上，根据式(I)确定梯度特征2值；利用梯度特征2搜索右车道线时，搜索点作为左侧最低点，扩展得到nXn的块，并设第i (l〈i < η)行中从右到左的第I个至第i_l个像素点位于道路上，块中剩余像素点位于车道线上，根据式(I)确定梯度特征2值；
步骤107:判断当前是否满足设定的搜索停止条件，如果满足进入步骤110，否则，返回步骤106 ;搜索停止条件与步骤103中设定的所述停止条件相同；
步骤108:引入间断搜索机制，如果存在包含车道线的块，将此块设置为本段车道线局部起始块，采用最大类间方差法对块进行二值化处理，得到块中车道线的外侧最低点，并返回步骤103，否则，进入步骤109 ;所述的间断搜索机制是指:连接当前段车道线中首末两个包含有车道线外侧边缘线的块的搜索点，得到一条直线，以此直线为基准设置搜索范围，搜索间断后包含有车道线的块；
步骤109:判断当前是否已经满足搜索停止条件，如果满足进入步骤110，否则，返回步骤108 ；
步骤110:采用最大类间方差法分别对得到的所有块进行二值化处理，至此得到各块中车道线的外侧最低点Pi (1=0, 2，3，…，m-1)，m代表块总数，对于得到的标记为转弯的块，还可得到对应的变向点Ps ；
步骤111:将车道进行划分:iPs不存在或者其下角标s>m_3且s>2X (m_l)/3时，认为此车道为直道或者小弯道，进入步骤112 ;否则，认为车道为大弯道，进入步骤113 ；
步骤112:使用一条二次B6zier曲线构造车道线，将Ptl和Pnrl作为曲线的第一个和第三个控制点，设置第二个控制点的搜索区域，并在此区域内搜索最优控制点，使其构造出的B6Zier曲线拟合准确性最高，车道线重构过程结束。
步骤113:使用两条二次B6Zier曲线构造车道线，将点设定为两条二次Bezier曲线的连接点，即点Psrf为第一条B6zier曲线的终点，同时也是第二条B6zier曲线的起点；分别设置各自B6Zier曲线的第二个控制点搜索区域，并在此区域内搜索最优控制点，使其构造出的B6Zier曲线拟合准确性最高，车道线重构过程结束。
所属步骤112、113中，最优控制点的标准为:由此控制点构造出的B6zier曲线上点与其外侧点的像素值之差的和最大。
本发明基于B6Zier曲线的车道线重构方法的优点和积极效果在于:
(I)在搜索车道线时以块的形式提取局部特征，提高了复杂环境的适应性；
(2)以块从下到上延伸搜索的方式避免了对不必要的区域进行处理，提高了识别的实时性及准确性；`
(3)通过步骤105，采用变向搜索机制实现了对弯道车道线的识别；
(4)通过步骤108，采用间断搜索机制实现了对间断或者部分遮挡的车道线的识别；
( 5)通过步骤111，将车道分为直道、小弯道和大弯道三种路况，然后分别用不同方式拟合，提高了重构的准确性；
(6) 二次B6zier曲线只取决于它的三个控制点，构造简单且容易实现，而且通过步骤113,对大弯道采用两条二次B6zier曲线拟合,弥补了一条二次B6zier曲线造型单一的不足，提高了对曲率存在变化的大弯道重构的准确性。
图1为本发明基于B6Zier曲线的车道线重构方法的整体步骤流程图2为本发明中搜索车道线起始点所在块的执行流程图3为本发明中变向搜索的执行流程图4为本发明中间断搜索的执行流程图5为本发明中利用B6Zier曲线拟合车道线的执行流程图6为本发明中图像坐标系及有效处理区域图7为本发明中3X3、5X5和9X9小块的梯度特征I示意图8为本发明中3X3、5X5和9X9小块的梯度特征2示意图9为本发明中对各块进行自适应二值化处理结果图10为本发明在不同路况中利用B6Zier曲线构造车道线的结果示意图。
具体实施方式
下面将结合附图对本发明做进一步的详细说明。
车道线识别是智能车辆安全辅助驾驶系统中车道保持、车道偏离预警及自主导航等技术的基础之一。车道线的重构不仅是在图像中识别出车道线位置，还用具体的曲线模型准确拟合出车道线，以便为后续决策模块提供道路曲率等重要参数支持。
本发明在于提供一种基于B6Zier曲线的车道线重构方法，用于基于视觉的安全辅助驾驶系统中，重构的车道线信息为决策单元提供参数支持。本发明能够较好地适应光照变化、道路阴影、车道线间断以及障碍物等复杂环境，而且不用对图像进行预处理，提高了实时性，用分段B6Zier曲线拟合车道线提高了对变曲率弯道重构的准确性。本发明的特征在于:基于梯度特征和灰度特征在感兴趣区内搜索图像中车道线的起始块位置，具体流程如图2所示；以块形式延伸搜索，引入车道线间断搜索机制及变向搜索机制，实现间断及弯道识别，具体流程分别如图3和4所示；对识别出的各块分别进行自适应二值化处理，得到车道线上的点，如图9所示；按照车道线弯曲程度分别采用一条或两条二次B6Zier曲线拟合车道线，具体流程如图5所示。
所述的梯度特征是指路面与道路边缘的交界线处存在明显的灰度梯度。
所述的灰度特征是指车道线边缘处的局部灰度均值与路面灰度均值间存在明显差值。
所述的块形式延伸搜索是指识别车道线是以小块的形式计算灰度特征值和梯度特征值，并且由于车道线的宽度变化，块的大小是随着y所在区域不同而不同，即:当y e [O, 45]时，取 9X9(像素)的块；当 y e (45，90]时，取 5X5(像素)的块；y e (90, 150]时，取3X3 (像素)的块，将搜索点作为外侧最低点，相应扩展得到对应的块。在搜索下一个包含有车道外侧边缘线小块时更新I值确定小块大小，然后设置X的搜索范围，逐点搜索。灰度特征值是指块的平均灰度值减去路面平均灰度值的值，路面平均灰度值的获取方法是:在处理某幅图片时，在该图片的处理区域的y=0，x e [110,210]的范围内取最小的三个像素值的平均值。梯度特征值是根据式(I)确定的值，具体在下面说明。
所述的间断搜索机制是指当车道线断开时如何根据搜索到的块设置下一段车道线块的搜索范围。考虑到上一段车道线首末点连接的直线与间断后的车道线起始点的横向距离通常很小，所以间断搜索机制是以上一段车道线首末点连线上的点为基础，设置下一段车道线起始点的搜索范围，此方法较好地解决了对间断的车道线或者车道线有部分被遮挡的车道线的识别。
所述的变向搜索机制是指当车道发生转弯时车道边缘线上的梯度特征发生了改变，如图7和图8所示。图7为3X3、5X5和9X9小块的梯度特征1，图8为3X3、5X5和9X9小块的梯度特征2，图中填充白色或斜线的像素点代表着车道线上的点，填充灰色的像素点代表着道路上的点，填充斜线的像素点是搜索点，车道转弯时梯度特征由梯度特征I变为梯度特征2。令乂表示车道线上的像素点和搜索点的灰度均值，等于块中Hi1个填充白色的像素点和填充斜线的像素点的像素值之和除以其像素点的个数(mAl)，M2表示道路上的像素点的灰度均值，等于块中m2个填充灰色像素点的像素值之和除以其像素点的个数m2，则梯度特征I和2的值 可由公式(I)求得，公式如下:
T = M1-M2 (I)
如图7-1 图7-3所示，采用梯度特征I搜索左车道线时，搜索点作为左侧最低点，扩展得到nXn的块，η为像素个数，取3、5或9，并设第i (I ( i〈n)行中从左到右的第I个至第n-1个像素点位于道路上，块中剩余像素点位于左车道线上，根据式(I)确定梯度特征值。
如图7-4 图7-6所示，采用梯度特征I搜索右车道线时，搜索点作为右侧最低点，扩展得到nXn的块，η为像素个数，取3、5或9，并设第i (I ( i〈n)行中从右到左的第I个至第n-1个像素点位于道路上，块中剩余像素位于右车道线上，根据式(I)确定梯度特征值。
如图8-1 图8-3所示，采用梯度特征2搜索左车道线时，搜索点作为右侧最低点，扩展得到nXn的块，η为像素个数，取3、5或9，并设第i (l〈i < η)行中从左到右的第I个至第1-ι个像素点位于道路上，块中剩余像素点位于左车道线上，根据式(I)确定梯度特征值。
如图8-4 图8-6所示，采用梯度特征2搜索右车道线时，搜索点作为左侧最低点，扩展得到nXn的块，η为像素个数，取3、5或9，并设第i (l〈i彡η)行中从右到左的第I个至第i_l个像素点位于道路上，块中剩余像素点位于右车道线上，进而确定梯度特征值。
图1展示了本发明基于B6Zier曲线的车道线重构方法的完整工作流程，该方法分为以下几个步骤:
步骤101:等待图片输入，建立图像坐标系，设定最大图像处理区域，如图6所示；
输入的是安装在车辆前挡风玻璃上的摄像头采集的灰度图像，图像尺寸为320像素X 240像素,深度为8b i t,坐标系以图像左下角点为坐标原点，水平向右X为正，垂直向上y为正。
步骤102:在搜索区域内，分别利用灰度特征和梯度特征1，搜索左车道线起始点和右车道线起始点所在的块，若搜索到，采用最大类间方差法对块进行二值化处理，得到块中左或右车道线的外侧边缘线上的最低点，该最低点同样为当前段左车道线或右车道线的局部起始点。若左车道线起始点和右车道线起始点的所在块均未搜索到，则转步骤101读取下一幅图片。
所述起始点表示的是整幅图像中车道线外侧边缘线最低点。
所属步骤102中，搜索左、右侧车道线起始点所在块时，运用了两车道线互相关性进行搜索，顺序为:先在y=0，X e [O, 159]范围内利用梯度特征I搜索，寻找是否有满足起始点条件的像素点，如果存在，将利用结构化道路车道宽度一般在2.5-3.75m，设置右车道线起始点的感兴趣区再进行搜索，如果不存在，在x=0，y e [1,90]范围内搜索是否有满足起始点条件的像素点，如果存在，同样利用结构化道路宽度条件，设置右车道线起始点感兴趣区进行搜索；如果不存在，启动大范围区域搜索是否有满足起始点条件的像素点，依据结果，设置右车道起始点的感兴趣区进行搜索。具体实施步骤如图2所示。
起始点条件包括2个:(I)所保存的搜索点的块的灰度特征值大于灰度特征的阈值，且所保存的搜索点的块的梯度特征I值大于梯度特征I的阈值；(2)在y方向上块形式延伸搜索后存在连续不间断的两个块都满足起始点条件(I)。
步骤103:设置下一个包 含有车道线外侧边缘线块的搜索范围，在范围内搜索梯度特征I值最大的块，如果搜索到的块的灰度特征值大于灰度特征阈值，且梯度特征I值大于梯度特征I阈值，进入步骤104，否则，进入步骤105 ;灰度特征阈值为10，梯度特征I阈值为14。
为了使包含有车道线外侧边缘线的块既在所设置的搜索范围内，又尽可能的缩小搜索范围保证实时性，在此处设置X的搜索范围时是以前一个车道线所在块的搜索点横坐标X1加上它与再前一个车道线所在块的搜索点横坐标X2的差值为基准，左右各设置e个像素点总共2Xe个像素点作为此块搜索点的搜索范围，即:[X1+(X1-X2)-e，Xl+(X1-X2) +e]，X1和Y1分别为前一个车道线外侧边缘线所在块的搜索点横坐标和纵坐标，X2为再前一个车道线外侧边缘线所在块的搜索点横坐标，当没有再前一个车道线外侧边缘线所在块时，χ2=0,当出现间断后X1-X2需取平均值，即除以间隔的块数。而I值是以前一个车道线所在块的搜索点纵坐标Y1加上前一个车道线所在块的大小值n(n=3, 5或9)所得，即y = yjn。e为调节常数，当I首次大于或等于45时e=13，当y首次大于或等于90时e=9，其它情况下e=7。
在步骤102中，设当前找到的符合起始点条件(I)的像素点为(xt，yt)，块大小为Ii1，根据步骤 103 设置的搜索范围{x e [X1+ (X1-X2)-e, X1+ (X1-X2) +el y = yi+n}，初始不存在再前一个车道线外侧边缘线所在块，即X2 = O,因此设置下一个搜索点的搜索范围:{x e [2xt-e, 2xt+e], y = Yjn1},利用梯度特征I在该范围内逐点搜索是否存在符合起始点条件(I)的像素点，若搜索到，设像素点为(xt+1，yt+1)，对应根据梯度特征I扩展的块大小为n2 ;继续利用梯度特征I在范围{x e [2xt+1-xt-e, 2xt+1_xt+e], y = yt+n2}来搜索是否符合起始点条件(I)的像素点，若存在，则像素点为(xt，yt)根据梯度特征I扩展得到的块就是起始点所在块。
步骤104:判断当前是否满足搜索停止条件，如果满足进入步骤110，否则，返回步骤 103 ；
此处的停止条件为:(I)当前搜索点y值大于150 ；(2)x值小于O或大于319 ; (3)右车道搜索点进入左车道线终点切线的左侧，只要满足其一即可。
步骤105:如果当前满足可变向搜索条件，引入变向搜索机制，进入步骤106，否贝U，进入步骤108 ;变向搜索机制是指在感兴趣区内搜索梯度特征2最明显的块，且同时大于灰度特征和梯度特征2阈值，标志着车道线已经出现转弯。
可变向搜索的条件分别为:(1)当搜索的是左车道线时，当前搜索点的y>=60 ;(2)当搜索的是右车道线时，需要满足搜索到的左车道线没有出现变向，并且左车道线的起点斜率和终点斜率之差大于0.4。
步骤106:重置搜索范围，在范围内搜索梯度特征2值最大的块，如果搜索到的块的灰度特征值和梯度特征2值分别大于灰度特征阈值和梯度特征2阈值，进入步骤107，否贝U，进入步骤108，具体实施步骤如图3所示。
步骤107:判断当前是否满足设定的搜索停止条件，如果满足进入步骤110，否则，返回步骤106 ；
此处的停止条件和步骤103的停止条件相同:(I)当前搜索点y值大于150 ；(2)X值小于O或大于319 ；(3)右车道搜索点进入左车道线终点切线的左侧；只要满足其一即可。
步骤108:引入间断搜索机制，如果存在包含车道线的块，将此块设置为本段车道线局部起始小块，采用最大类间方差法对块进行二值化处理，得到块中车道线的外侧最低点，并返回步骤103，否则，进入步骤109，具体实施步骤如图4所示。
步骤108中，间断搜索机制是指重新设置感兴趣区搜索，连接上一个块中边缘线最低点和本段车道线起始块中边缘线最低点，得到一条直线，搜索将以此直线为基准在它的两侧设置感兴趣区，直到搜索到间断后包含有车道线的块。
步骤109:判断当前是否已经满足搜索停止条件，如果满足进入步骤110，否则，返回步骤108 ；
此处的停止条件为:(I)当前搜索点y值大于150 ；(2)x值小于O或大于319 ; (3)从y>=90开始，此次间断块个数大于D (D=9) ；(4)右车道搜索点进入左车道线终点切线的左侧，只需满足其一即可；
步骤110:采用最大类间方差法分别对所有小块进行二值化处理，至此可以得到各块中车道线的外侧最低点Pi (i=0, 2，3，-,m-1), m代表块总数，如果在步骤105中标记为转弯，还可得到变向点Ps;
步骤111:根据变向点Ps是否存在或Ps所在位置将车道分为直道、小弯道和大弯道三种路况，即:当Ps不存在或者其下角标s>m-3且s>2X (m-1)/3时，认为此车道为直道或者小弯道，进入步骤112 ;否则 ，认为车道为大弯道，进入步骤113 ；
步骤112:使用一条二次B6zier曲线构造车道线，将Ptl和Pnrl作为曲线的第一个和第三个控制点，设置第二个控制点的搜索区域，并在此区域内搜索最优控制点，使其构造出的B6Zier曲线拟合准确性最高，车道线重构过程结束。
步骤113:使用两条二次B6zier曲线构造车道线，将点Ps^设定为两条二次Bezier曲线的连接点，即点Psrf为第一条B6zier曲线的终点，同时也是第二条B6zier曲线的起点；分别设置各自B6Zier曲线的第二个控制点搜索区域，并在此区域内搜索最优控制点，使其构造出的B6Zier曲线拟合准确性最高，车道线重构过程结束。
具体本发明根据对车道线进行曲线拟合的过程如图5所示。
本发明提出先寻找车道线起始点的方法为后续识别提高位置基础，避免了对不必要区域的处理，提高了实时性，图2展示了本发明的搜索起始点位置的执行流程。具体执行步骤如下:
步骤201:在y=0, x e [O, 159]内逐点计算梯度特征I值T,保存其中最大的梯度特征I值所对应的搜索点；步骤201逐点计算梯度特征I值T，是指:范围内的每个像素点都是一个搜索点，对每个搜索点，将其作为左侧最低点，扩展得到nXn的块，当y e [O，45]时，取9X9的块，根据梯度特征I设定块中像素点的位置，根据式(I)确定梯度特征I的值。
步骤202:确定保存下来的搜索点的块的灰度特征值M。搜索点的块就是步骤201中搜索点扩展得到的块。
步骤203:判断是否满足起始点条件:(1)所保存的搜索点的块的灰度特征值大于灰度特征的阈值，且所保存的搜索点的块的梯度特征I值大于梯度特征I的阈值；(2)在y方向上块形式延伸搜索后存在连续不间断的两个块都满足条件(I)。其中，灰度特征和梯度特征I的阈值分别为10和14。条件(2)是为了避免路面存在的其它标志干扰识别。
如果满足条件，则所保存的搜索点的块就是左车道线起始点的所在块，转入步骤208，否则，转入步骤204。
步骤204:改变搜索区域，在x=0，y e [I, 90]内逐点计算梯度特征I值T，保存其中最大的梯度特征I值所对应的搜索点；同步骤201，不同之处在于，当y e (45，90]时，取5X5的块。
步骤205:确定保存下来的搜索点的块的灰度特征值M。
步骤206:同样以步骤203中的条件判定是否为起始点的块；如果满足条件，找到左车道线起始点的所在块，转入步骤208，否则，转入步骤207 ；
步骤207:启动左车道线大区域内搜索，重置搜索区域:x e (O, 90), y e (0，90)，搜索时按照从左至右、从下至上的顺序进行搜索，计算搜索点的梯度特征I值T及灰度特征值M，当满足步骤203中的起始点条件时，结束搜索，找到左车道线起始点的所在块，采用最大类间方差法对该块进行二值化处理，得到当前段左车道线的起始点，转入步骤208。若没有搜索到满足步骤203中的起始点条件的搜索点，则该范围内不存在左车道线，继续执行步骤208。
步骤208:根据左车道的起始点设置右车道起始点的搜索区域。利用结构化道路车道宽度一般在2.5-3.75米，设置右车道`线起始点感兴趣区进行搜索，具体设置方法为:左车道线的起始点坐标为(xz，yz)，当yz=0且χζ〈80时，右车道起始点的搜索区域为 X e (230,319], y e [20, 60];当 yz=0 且 xz 彡 80 时，搜索区域为 x e (230,319],ye [50，90];当叉2=0且72〈50时，搜索区域为叉￡ (230, 319], ye [O, 90];当\=0且72彡50时，搜索区域为X e (160，240]，y e
;当(xz，yz)并没有搜索到，那么右侧起始点的搜索区域为 X e (230，319], y e (O, 90)。
步骤209:为进一步提高实时性，首先在步骤208设置的搜索区域下边缘和右边缘线上进行搜索。
步骤210:同样逐点计算梯度特征I值T，保存其中最大梯度特征I值的所对应的搜索点。
步骤211:确定保存下来的搜索点的块的灰度特征值M。
步骤212:同样以步骤203中的条件判定保存的搜索点的块是否为起始点的块；如果满足条件，得到右车道线的起始点块，此过程结束，否则，转入步骤213。
步骤213:在步骤208中设置的搜索区域中，启动右车道线大区域内搜索，搜索区域的下边缘和右边缘线上的点已经在步骤209搜索过，所以在此步骤时不再重复搜索下边缘和右边缘线上的点。采用梯度特征I按照从右至左、从下至上的顺序进行搜索，确定搜索点的梯度特征I值T及灰度特征值M，对每个搜索点判断是否满足步骤203中的起始点条件，若满足，搜索结束，得到右车道线的起始点的所在块，若所有搜索点均不满足起始点条件，则该范围内不存在右车道线。
在搜索范围内没有满足条件的块时，可能有两种情况发生:(1)车道为弯道，梯度特征I无法描述车道线特征；(2)车道线发生了间断。为实现弯道及间断车道线的识别，先采用变向机制搜索是否有满足车道边缘线特征的块，如果存在，将继续采用变向搜索，否贝U，进入间断搜索机制继续搜索。图3展示了本发明的变向搜索机制的执行流程，具体执行步骤如下:
步骤301:设置变向搜索范围，方法与步骤103搜索范围的设置方法相同。
步骤302:在搜 索范围内逐点计算梯度特征2的值T，保存其中最大的梯度特征2值所对应的搜索点；分别将每个像素点作为一个搜索点，根据图8所示的梯度特征2的定义，扩展得到nXn的块，并设定块中像素点的位置，根据式(I)确定梯度特征2的值。
步骤303:确定保存下来的搜索点的块的灰度特征值Μ。搜索点的块就是步骤302中搜索点扩展得到的块。
步骤304:判断步骤302和303中得到的搜索点的M和T是否分别大于灰度特征和梯度特征2的阈值，在变向机制中灰度特征的阈值为10，梯度特征2的阈值为11。如果同时大于阈值，转入步骤305，否则结束搜索，执行步骤108。
步骤305:确定下一个块搜索的y值，即代表前一搜索点的纵坐标,η代表了前一个块的大小；然后执行步骤107。
图4展示了本发明的间断搜索机制的执行流程，具体执行步骤如下:
步骤401:计算当前段车道线首末点连线的直线方程:
X = —-1 X (y - y ) + X(2) ym - yq
其中(Xq,yq)和(Xffl, ym)分别代表了首末两个包含有车道线外侧边缘线的块的搜索点的坐标；
步骤402:将前一个块的搜索点的纵坐标Y1加上前一个块的大小η得到要搜索的当前块的y值:y = yjn,利用直线方程,将得到的y值代入,求直线上χ的值χΑ ；
步骤403:设置χ的搜索范围:[χα-7，χα+7]；
步骤404:在搜索范围内逐点计算梯度特征I值Τ，保存其中最大值的点；
步骤405:计算保存下来的搜索点的块的灰度特征值M ;
步骤406:如果保存的搜索点的块的灰度特征值大于灰度特征阈值，且梯度特征I值大于梯度特征I阈值，则执行步骤407，否则，执行步骤408 ；
步骤407:将满足条件的搜索点更新为下一段车道线的起点，并结束间断搜索；
步骤408:继续搜索块，更新要搜索的当前块的y值，根据前一个块的y值Y1和大小η得到，即Y=Y^n ；
步骤409:判断此时是否满足结束条件:(I)当前搜索点y值大于150 ;(2)x值小于O或大于319 ; (3)右车道线搜索点进入左车道线终点切线的左侧；(4)y方向连续9个块都没有满足条件的块。只需满足其一即可，如果满足条件，结束搜索，否则，转入步骤402 ；
利用最大类间方差法分别对所有小块进行二值化处理后，得到部分车道线，及外侧最低点Pi (i=0, 2，3，…，m-1)，如果有转弯，还可得到变向点Ps。为了使构造的车道线准确性高，弥补一条二次B6zier曲线造型单一及高次B6zier曲线计算量大的不足,在大弯道时采用两条O阶连续的B6Zier曲线拟合，如图9所示为经过二值化处理后的两个车道的示意图，a为直道，b为弯道。图5展示了本发明中分类拟合车道线的执行流程，具体执行步骤如下:
步骤112中当车道为直道或者小弯道，进行如下处理构造车道线:
步骤511:计算首末点切线的交点坐标。
由于一条二次B6zier曲线是由三个控制点决定,第一和第三个控制点为B6zier曲线的起点和终点，第二个控制点为起点和终点切线的交点。在二值化后已经已知了车道外侧边缘线的起点Ptl和终点Pnri，为了获得第二个控制点，将Ptl和P1的连线作为Ptl点的近似切线，Pm和Pm-2的连线作为Plrt点的近似切线，分别利用公式(2)得到两条直线方程，联立后算得交点PP坐标值(xp，yp)。交点的位置有以下几种情况:(l)yp值在起点和终点的y值之间；(2) yp值不在起点和终点的y值之间；(3) PP点不存在，此时两切线平行。
二次B6zier曲线p(t)的数学表达式为:
权利要求
1.一种基于B6zier曲线的车道线重构方法，其特征在于，包括如下步骤: 步骤101:等待图片输入，建立图像坐标系，设定最大图像处理区域；坐标系以图像左下角点为坐标原点，水平向右为X轴的正向，垂直向上为y轴的正向； 步骤102:对当前输入的图片，利用灰度特征和梯度特征1，搜索左车道线和右车道线起始点的所在块，若搜索到，则采用最大类间方差法对起始点的所在块进行二值化处理，得到块中车道线的外侧边缘线上的最低点，最低点就是当前段车道线的局部起始点；若左车道线和右车道线起始点的所在块均未搜索到，则执行步骤101读取下一幅图片； 利用梯度特征I搜索左车道线时，搜索点为左侧最低点，扩展得到nXn的块，η为像素个数，取3、5或9,并设第i (I < i〈n)行中从左到右的第I个至第n_i个像素点位于道路上，块中剩余像素点位于左车道线上，根据式(I)确定梯度特征I值；采用梯度特征I搜索右车道线时，搜索点作为右侧最低点，扩展得到nXn的块，并设第i (I < i〈n)行中从右到左的第I个至第n-1个像素点位于道路上，块中剩余像素点位于右车道线上，根据式(I)确定梯度特征I值；当y e
时，η取9，当y e (45，90]时，η取5 ;y e (90，150]时，η取3 ;块大小的单位为像素；像素个数η定义为块的大小； T = M1-M2 (I) 其中，T表示梯度特征值，M1表示车道线上的像素点和搜索点的灰度均值;Μ2表示道路上的像素点的灰度均值； 步骤103:设置下一个包含有车道线外侧边缘线块的搜索范围，在范围内搜索梯度特征I值最大的块，如果搜索到的块的灰度特征值大于灰度特征的阈值，且梯度特征I值大于梯度特征I的阈值，则得到一个包含有车道线外侧边缘线的块，执行步骤104，否则，执行步骤 105 ； 搜索范围的设置方法是:设置X e [X1+ (X1-X2) -e, X1+ (X1-X2)+e] Y = Υι+η ;其中4和Y1分别为前一个车道线外侧边缘线所在块的搜索点横坐标和纵坐标，X2为再前一个车道线外侧边缘线所在块的搜索点横坐标，当没有再前一个车道线外侧边缘线所在块时，χ2=0,当出现间断时，X1-X2取平均值；11为前一个车道线所在块的大小；e为调节常数，当y首次大于或等于45时e=13，当y首次大于或等于90时e=9，其它情况下e=7 ； 步骤104:判断当前是否满足搜索停止条件，如果满足执行步骤110，否则执行步骤.103 ;所述的搜索停止条件为:(1)当前搜索点y值大于150 ;或者(2)x值小于O或大于319 ；或者(3)右车道线搜索点进入左车道线终点切线的左侧； 步骤105:判断当前是否满足可变向搜索条件，若是，执行步骤106，否则，执行步骤.108 ;可变向搜索条件为:当搜索左车道线时，需y>=60 ;当搜索右车道线时，需搜索到的左车道线没有出现变向，并且左车道线的起点斜率和终点斜率之差大于0.4 ； 步骤106:重置搜索范围进行变向搜索，在范围内搜索梯度特征2值最大的块，判断搜索到的块的灰度特征值大于灰度特征的阈值，且梯度特征2值大于梯度特征2的阈值，如果是，则将该块标记为转弯的包含有车道线外侧边缘线的块，确定搜索下一个块的y值，然后执行步骤107，否则，执行步骤108 ；利用梯度特征2搜索左车道线时，搜索点作为右侧最低点，扩展得到nXn的块，并设第η)行中从左到右的第I个至第i_l个像素点位于道路上，块中剩余像素点位于左车道线上，根据式(I)确定梯度特征2值；利用梯度特征2搜索右车道线时，搜索点作为左侧最低点，扩展得到nXn的块，并设第i (l〈i < η)行中从右到左的第I个至第i_l个像素点位于道路上，块中剩余像素点位于右车道线上，根据式(I)确定梯度特征2值； 步骤107:判断当前是否满足搜索停止条件，如果满足执行步骤110，否则，执行步骤.106 ;搜索停止条件与步骤104中的搜索停止条件相同； 步骤108:采用间断搜索机制寻找包含车道线外侧边缘线的块，如果寻找到，将该块设置为本段车道线局部起始块，采用最大类间方差法对该块进行二值化处理，得到块中车道线的外侧最低点，然后执行步骤103，如果不存在，执行步骤109 ;所述的间断搜索机制是指:连接当前段车道线中首末两个包含有车道线外侧边缘线的块的搜索点，得到一条直线，以此直线为基准设置搜索范围，搜索间断后包含有车道线的块； 步骤109:判断当前是否满足搜索停止条件，如果满足，执行步骤110，否则，执行步骤.108 ;搜索停止条件为下面4个中的任意一个:(I)当前搜索点I值大于150 ; (2) X值小于O或大于319 ; (3)从y>=90开始，此次间断块个数大于9 ; (4)右车道搜索点进入左车道线终点切线的左侧； 步骤Iio:采用最大类间方差法分别对得到的所有块进行二值化处理，最后得到m个车道线的外侧最低点Pi (i=0, 2，3，…，m-l)，m代表块总数，对于得到的标记为转弯的块，得到对应的变向点Ps ; 步骤111:将车道划分为直道、小弯道和大弯道三种路况，划分方法是:当Ps不存在或者s>m-3且s>2X (m-l)/3时，车道为直道或者小弯道，执行步骤112 ;否则，车道为大弯道，执行步骤113 ; 步骤112:使用一条二次B6zier曲线构造车道线，二次B6zier曲线的起点为P。，终点为Pnri，将起点和终点作为曲线的第一个和第三个控制点，设置曲线第二个控制点的搜索区域，并搜索最优控制点，得到的二次B6Zier曲线就是重构的车道线； 步骤113:使用两条二次B6zier曲线构造车道线,第一条B6zier曲线的起点P。,终点为Pm，第二条B6zier曲线的起点为Ps^，终点为Pnri ;对于每条B6zier曲线，将起点和终点作为曲线的第一个和第三个控制点，设置曲线第二个控制点的搜索区域，并搜索最优控制点，最后得到的两条二次B6Zier曲线就是重构的车道线。
2.根据权利要求1所述的一种基于B6Zier曲线的车道线重构方法，其特征在于，步骤.101中所述的设定最大图像处理区域，具体设定图像尺寸为320像素X240像素，深度为8bit。
3.根据权利要求1所述的一种基于B6Zier曲线的车道线重构方法，其特征在于，所述的灰度特征的阈值为10，梯度特征I的阈值为14，梯度特征2的阈值为11。
4.根据权利要求1或3所述的一种基于B6Zier曲线的车道线重构方法，其特征在于，步骤102中所述的搜索左侧车道线和右侧车道线起始点所在的块，具体步骤是: 步骤201:在y=0，X e [O, 159]内逐点确定梯度特征I值，保存其中最大的梯度特征I值所对应的搜索点； 步骤202:确定保存的搜索点对应的块的灰度特征值； 步骤203:判断是否满足起始点条件: (1)所保存的搜索点的块的灰度特征值大于灰度特征的阈值，且所保存的搜索点的块的梯度特征I值大于梯度特征I的阈值；(2)在y方向上块形式延伸搜索后存在连续不间断的两个块都满足条件(I);如果满足条件，找到左车道线起始点的所在块，执行步骤208，否则，执行步骤204 ； 步骤204:在x=0, y ∈ [1, 90]内逐点确定梯度特征1值，保存其中最大的梯度特征I值所对应的搜索点； 步骤205:确定保存下来的搜索点的块的灰度特征值； 步骤206:判断是否满足步骤203中的起始点条件，如果满足条件，找到左车道线起始点的所在块，执行步骤208，否则，执行步骤207 ； 步骤207:采用梯度特征I在区域:x ∈ (0, 90)，y ∈ (0, 90)内搜索，搜索时按照从左至右、从下至上的顺序，确定搜索点的梯度特征I值T及灰度特征值M，对每个搜索点判断是否满足步骤203中的起始点条件，若满足，结束搜索，找到左车道线起始点的所在块，执行步骤208，若所有搜索点均不满足起始点条件，则该范围内不存在左车道线，继续执行步骤.208 ； 步骤208:根据左车道的起始点设置右车道起始点的搜索区域，具体是:设左车道线的起始点坐标为(xz，yz)，iyz=0且χz〈80时，右车道起始点的搜索区域为X ∈(230,319],y ∈ [20, 60]；当yz=0且xz≥80时，右车道起始点的搜索区域为x ∈(230, 319]，y ∈ [50，90];当xz=0且yz〈50时，右车道起始点的搜索区域为x ∈(230, 319], y ∈[O, 90]；当xz = O且yz≥50时,右车道起始点的搜索区域为X ∈ (160, 240], y ∈
;当(xz,yz)没有搜索到，右车道起始点的搜索区域为X ∈ (230，319]，y ∈ (O, 90)； 步骤209:在步骤208设置的右车道起始点的搜索区域的下边缘线和右边缘线上，采用梯度特征I进行搜索； 步骤210:逐点确定梯度特征I值，保存其中最大梯度特征I值的所对应的搜索点； 步骤211:确定保存下来的搜索点的块的灰度特征值； 步骤212:判断是否满足步骤203中的起始点条件；如果满足条件，得到右车道线的起始点的所在块，结束搜索，否则，执行步骤213 ； 步骤213:除去下边缘线和右边缘线，在步骤208设置的右车道起始点的搜索区域内，采用梯度特征I按照从右至左、从下至上的顺序进行搜索，确定搜索点的梯度特征I值及灰度特征值，对每个搜索点判断是否满足步骤203中的起始点条件，若满足，结束搜索，得到右车道线的起始点的所在块，若所有搜索点均不满足起始点条件，则该范围内不存在右车道线。
5.根据权利要求1或3所述的一种基于B6Zier曲线的车道线重构方法，其特征在于，所述的步骤106具体包括如下步骤: 步骤301:按照步骤103搜索范围的设置方法设置变向搜索范围； 步骤302:在搜索范围内逐点确定梯度特征2值，保存其中最大梯度特征2值所对应的搜索点； 步骤303:确定保存的搜索点的块的灰度特征值； 步骤304:判断得到的搜索点的块的灰度特征值大于灰度特征的阈值，且梯度特征2值大于梯度特征2的阈值，如果是，执行步骤305，否则结束搜索，执行步骤108 ； 步骤305:确定下一个块搜索的I值，y=yi+n, Yl代表前一搜索点的纵坐标，η代表前一个块的大小；然后执行步骤107。
6.根据权利要求1或3所述的一种基于B6Zier曲线的车道线重构方法，其特征在于，步骤108中所述的引入间断搜索机制，判断是否存在包含车道线的块，具体步骤是:X — X 步骤401:确定当前段车道线首末点连线的直线方程:x =x (y — + &， ^ m ^ q其中(x,，yq)和(xm，ym)分别代表了首末两个包含有车道线外侧边缘线的块的搜索点的坐标； 步骤402:确定要搜索的当前块的y值:y = yi+n,将得到的y值代入步骤401的直线方程，得到直线上X的值xA; 步骤403:设置X的搜索范围为:x e [χΑ-7, xa+7]； 步骤404:在搜索范围内逐点计算梯度特征I值T,保存其中最大的梯度特征I值所对应的搜索点； 步骤405:确定保存的搜索点的块的灰度特征值； 步骤406:如果保存的搜索点的块的灰度特征值大于灰度特征的阈值，且梯度特征I值大于梯度特征I的阈值，则找到包含车道线的块，执行步骤407，否则，执行步骤408 ； 步骤407:将保存的搜索点作为下一段车道线的起点，结束间断搜索； 步骤408:更新要搜索的当前块的y值:y = Y1+η ； 步骤409:判断此时是否满足搜索停止条件:(I)当前搜索点I值大于150 ；(2)χ值小于O或大于319 ；(3)右车道线搜索点进入左车道线终点切线的左侧；(4) y方向连续9个块都没有满足条件的块；若满足其中一个条件，结束搜索，否则，执行步骤402。
7.根据权利要求1所述的一种基于B6Zier曲线的车道线重构方法，其特征在于，所述的步骤112和步骤113中，具体每条二次B6zier曲线的拟合方法如下:步骤1:将起点及其相邻点的连线作为起点的近似切线，终点及其相邻点的连线作为终点的近似切线，将两个近似切线的直线方程联立，得到交点PP坐标值(xp，yp)，所构建的2二次B6zier曲线p⑴的数学表达式为:P(t) 二工匕卢口⑴，O ^ t ^ I ；J=O 其中，t为曲线参数，bj表示第j+Ι个控制点； 伯恩腿麵数β#)=Ρ ’ ^0, 1,2 ； 步骤2:1yp值在起点和终点的y值之间时，设置第二个控制点的搜索范围为:X e [xp-5, xp+5]，y e [yp-5, yp+5];当yp值不在起点和终点的y值之间时，计算Pi各相邻两点间连线的斜率，得到前后斜率相差最大的点Pk (xk, yk)，设置第二个控制点的搜索范围为:X e [xk-5, xk+5]，y e [yk-5, yk+5] ；(3)当PP点不存在，设置第二个控制点的搜索范围为:X e [xk-2, xk+2]，y e [yk-2, yk+2]； 步骤3:在步骤2得到的搜索范围内，搜索使目标函数值最大的B6Zier曲线，目标函数F(t)为:F(t) = [(gt-ggt)，其中gt表示参数t从O取到I时曲线上点P的像素值，ggt表 t=0示点P外侧相邻点的像素值。
全文摘要
本发明提供了一种基于Bézier曲线的车道线重构方法，用于智能车辆安全辅助驾驶领域。本发明方法基于梯度特征和灰度特征在感兴趣区内搜索图像中车道线的起始块位置，以块形式延伸搜索，引入车道线间断搜索机制及变向搜索机制，实现间断及弯道识别；对识别出的各块分别进行自适应二值化处理，得到车道线上的点；按照车道线弯曲程度分别采用一条或两条二次Bézier曲线拟合车道线。本发明方法能够较好地适应光照变化、道路阴影、车道线间断以及障碍物等复杂环境，而且不用对图像进行预处理，提高了实时性，用分段Bézier曲线拟合车道线提高了对变曲率弯道重构的准确性。
文档编号G06F17/30GK103150337SQ201310043750
公开日2013年6月12日 申请日期2013年2月4日 优先权日2013年2月4日
发明者徐国艳, 高峰, 丁能根, 黄小云, 邢龙龙, 刘建行 申请人:北京航空航天大学