专利名称：基于机器视觉的车道局部几何结构和车辆位置估计方法
技术领域：
本发明涉及的是一种属于智能车辆领域的方法，具体地说，是一种基于机器视觉的车道局部几何结构和车辆位置估计方法。
背景技术：
在车辆智能巡航控制、车道偏离警告、横向控制和自动驾驶系统中，需要通过某种方式可靠地估计车辆在车道中的位置和车道的局部几何结构。
经对现有技术的文献检索发现，Jun Miura等人在《IEEE Transactions onIntelligent Transportation Systems》(2002，3(2)，pp.136-146)(《IEEE智能交通系统学报》)上发表“Toward vision-based intelligent navigatorits concept and prototype”(“基于视觉的智能导航概念与原型”)。该文利用车道标线亮度高的特点分割出图像中对应于车道标线的高亮度区域，随后用直线来拟合这些高亮度区域，拟合后的两条直线作为车道的标线。依据这两条直线在图像中的位置确定车辆在车道中的横向位置和车道的宽度。其缺陷和不足是(1)当图像对比度低或阴影严重时，该方法不能可靠地分割出对应于车道标线的区域；(2)技术用直线来拟合车道标线，在车道非直线时计算出的车道宽度和车辆在车道中的横向位置误差大；(3)该技术不能提取车道的曲率信息和车辆的头向角。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于机器视觉的车道局部几何结构和车辆位置估计方法，使其能在道路图像对比度差或者阴影严重的情况下准确估计车道宽度、车道曲率、车辆在车道中的横向偏离距离以及车辆纵向中心线与车道中心线的夹角(头向角)。
本发明是通过以下技术方案实现的，本发明利用摄像系统获取车辆前方道路的图像并传给微处理器，微处理器经过运算输出车辆运行前方车道的宽度和曲率、车辆在车道中的横向偏离距离和头向角，对输入的道路图像进行边缘检测，得到梯度大小图像和梯度方向图像，用一个变形模板来表示图像中车道标线的形状，将车道几何和车辆位置估计问题转化为一个最大后验概率估计(MAP)问题，利用例子群优化(Particle Swarm Optimization)算法来计算最大后验概率，根据优化算法输出的最大后验概率估计，结合摄像机参数计算出车道的宽度和曲率、车辆在车道中的横向位置和头向。
以下对本发明方法作进一步的说明，方法步骤如下(1)建立图像坐标车道变形模板假设车道标线是在水平面上，在世界坐标的参数方程如下ϵ=12Cl2η=l---(1)]]>其中，世界坐标的原点是车道边界上的一个参考点，η，ε分别沿车道边界的切线向前和向右，让(η，ε)表示车道边界上的一个点，C是车道边界的曲率，l是车道边界分割的弧长。在图像坐标中车道边界模型为n＝K/(n-m0)+B(m-n0)+n0(2)其中，m和n分别是图像的行数和列数，K=αuαvCH2cos3φ,B=αvdcosφαvH,]]>(m0，n0)是车道边界切线消失点的坐标，m0＝-αvtanφ+u0，n0＝-αuθ/cosφ+v0，αu和αv分别是摄像机的水平尺度因子和垂直尺度因子，φ是摄像机光轴与地面的夹角，θ是车头方向和车道边界切线方向的夹角，H是摄像机光学中心距地面的高度，d是摄像机光学中心在地面上的投影与车道边界的最短距离，(u0，v0)是图像中心坐标。系数K，B和n0分别与车道的曲率、车辆在车道中的位置和车辆的头向有关。参数(u0，v0)、(αu，αv)、H和φ可以通过摄像机内部标定和外部标定来确定。假如变形模板参数已知，车道的曲率、车辆的在车道中的横向偏离和车头方向就可以确定。假定车道左标线是通过沿X轴平移右标线一定距离形成。那么，左右车道标线在它们与X轴相交处有相等的曲率和切线方向，K和n0相等。总之，车道在图像坐标中的形状可以通过四个参数K，BL，BR和n0来确定。这些参数完全决定车辆在车道中的位置、车辆的头向、车道的宽度和曲率。
(2)对道路图像进行梯度计算采用3×3的Sobel算子进行图像梯度计算，得到一幅梯度大小图像和一幅梯度方向图像。本发明中，当梯度大小图像中某象素值小于5时，梯度大小图像的该象素点和对应位置的梯度方向图像的象素点不参加后续的计算。这样可以在减少计算量的同时保证结果的可靠。
3×3的Sobel算子是一个用来计算图像梯度的卷积模板，具有如下的形式sx=18-101-202-101,sy=18121000-1-2-1]]>sx和sy分别是计算x和y方向梯度大小的卷积模板。对某象素来说，如果计算出的x方向和y方向的梯度大小分别为Gx和Gy，则该象素点的梯度大小为 梯度方向为arctan(Gy/Gx)。
(3)似然函数计算方法定义一个似然函数p(z|xd)，该似然函数表示给定变形模板参数xd＝[K，BL，BR，n0]，在图像中看到真实车道的概率。似然函数测量由参数确定的车道形状与图像中实际存在的车道的符合程度。似然函数为P(z|xd)∝Σu,v(fm(u,v)×W(DL(u,v))×|cos(βL)|+fm(u,v)×W(DR(u,v))×|cos(βR)|)---(3)]]>其中，DL(u，v)和DR(u，v)分别是从点(u，v)到由x表示的左右车道边界的最小距离，βL和βR分别是点(u，v)的梯度方向与由x表示的左右车道边界到(u，v)距离最小处的切线方向的夹角。W(D)是一个加权函数，它可以解释为一个模糊隶属度函数。W(0)＝1，W(D)从0到R单调减小，当D≥R时，W(D)＝0。W(D)按如下的公式定义W(D)=e-D2/σ2,0≤D<R0else.---(4)]]>(4)先验概率密度函数计算方法先验概率密度函数P(xd)表示对道路图像中车道边界位置的限制。在车道模型参数集上构建如下的先验概率密度函数
P(xd)∝exp(-(BR-BL-μR)2σR2)---(5)]]>(5)将确定变形模板参数问题转化为最大后验概率(MAP)估计在灰度图像中的车道检测问题可以转化为一个决定最大后验概率问题。最大后验概率估计可以表示为如下的形式xd*=argmaxx∈R4P(xd|z)---(6)]]>xd*=argmaxx∈R4P(z|xd)P(xd)]]>=argmaxx∈R4exp((BR-BL-μ)2σR2)×Σu,v(fm(u,v)×W(DL(u,v))×|cos(βL)|+fm(u,v)×W(DL(u,v))×|cos(βL)|)]]>(7)(6)基于粒子群优化来计算最大后验概率估计令xd＝[xd1，xd2，xd3，xd4]T＝[K，BL，BR，n0]T，最大化f(xd)＝P(xd)P(z|xd)。适应度函数为f(xd)＝P(xd)P(z|xd)，粒子群尺寸s＝10，最大迭代次数为20次。粒子的初始值随机选取。计算得出的优化值为xd*=[xd1*,xd2*,xd3*,xd4*]T.]]>即，对应最大后验概率的变形模板参数为xd=[K*,BL*,BR*,n0*]T.]]>(7)确定车道宽度和曲率以及车辆在车道中的横向位置和头向dL*=αvBL*Hαucosφ,dR*=αvBR*Hαucosφ]]>车道宽度为d=dR*-dL*=αvHαucosφ(BR*-BL*),]]>车道曲率为C=2K*cos3φαuαvH,]]>车辆距离车道中心线的距离为dd=d/2-dR*,]]>当dd大于0时，车辆位于车道中心线右侧，当dd小于0时，车辆位于车道中心线左侧。车辆中心线与车道中心线的夹角(即车辆的头向角)为θ=-(n0-v0)cosφαu.]]>本发明将世界坐标中定义的车道模型转换为图像坐标中的一个变形模板。由于变形模板的参数分别对应车道的局部几何结构参数和车辆位置参数，问题转化为在图像中确定车道标线的问题，即确定变形模板参数的问题。用粒子群优化算法计算出模板参数的最大后验概率估计后，根据此估计计算出车道宽度、车道曲率、车辆相对车道中心的横向偏离距离和车辆纵向中心线与车道中心线的夹角。
本发明克服了当图像对比度低或阴影严重情况下车道具备参数及车辆位置参数计算困难的问题。本发明方法具有如下优点(1)在道路图像对比度差或阴影严重时能可靠地计算车道局部几何结构参数和车辆位置参数；(2)不仅可以计算车道宽度和车辆的横向位置，还可以计算车道的曲率、车辆纵向中心线与车道中心线的夹角；(3)当车道是曲线时，计算出的车道宽度和横向位置依然很准确。
图1是实施例所包含的设备示意图；图2是实施例摄像机安装位置示意图；图3是图像中车道标线变形模板示意图。
具体实施例方式
(1)如图1所示，本实施例所包含的设备包括摄像系统和微处理器，摄像系统拍摄车辆运行前方道路的图像并传给微处理器，微处理器对图像进行处理来获取车道的宽度、曲率，以及车辆在车道中的横向位置和头向。
(2)如图2所示，摄像机安装于车辆挡风玻璃后，摄像机距离地面的高度是H，摄像机光轴与地面的夹角是φ，摄像机的偏航角与滚动角是0，图像中心坐标是(u0，v0)，αu和αv分别是摄像机的水平尺度因子和垂直尺度因子。
(3)如图3所示，图像坐标中的车道标线用变形模板来表示，变形模板参数与车道的宽度、曲率，车辆的横向位置及头向有关。
左车道标线的变形模板为n＝K/(m-m0)+BL(m-m0)+n0(1)右车道标线的变形模板为n＝K/(m-m0)+BR(m-m0)+n0(2)其中，m和n分别是图像的行数和列数，K=αuαvCH2cos3φ,BL=αvdLcosφαvH,]]>BR=αudRcosφαvH,]]>(m0，n0)是车道边界切线消失点的坐标，m0＝-αvtanφ+u0，n0＝-αuθ/cosφ+v0，θ是车头方向和车道边界切线方向的夹角，dL和dR分别是摄像机光学中心在地面上的投影与左右车道边界的最短距离，C是车道曲率。
在图像中车道的局部形状和车辆在车道中的位置和方位完全由K，BL，BR和n0决定。
(4)对摄像设备传过来的道路图像进行梯度计算。
将输入图像用Sobel算子进行边缘检测，得到一幅梯度大小图像fm(u，v)和一幅梯度方向图像fd(u，v)。当梯度的大小小于一个很低的阈值的时候，则该象素的数据被忽略，不参加随后的运算以节约计算时间。当梯度的大小大于一个很低的阈值的时候，保存该象素的梯度大小值和方向值。
(5)将在图像中检测车道的问题可以转化为一个最大后验概率估计(MAP)问题。
令xd＝[K，BL，BR，n0]，最大后验概率估计可以表示为如下的形式xd*=argmaxx∈R4P(z|xd)P(xd)---(3)]]>实际的车道不可能太宽或者太窄，因此可以在车道模型参数集上构建如下的先验概率密度函数P(xd)∝exp(-(BR-BL-μR)2σR2)---(4)]]>P(z|xd)∝Σu,v(fm(u,v)×W(DL(u,v))×|cos(βL)|+fm(u,v)×W(DR(u,v))×|cos(βR)|)---(5)]]>其中，DL(u，v)和DR(u，v)分别是从点(u，v)到由x表示的左右车道边界的最小距离，βL和βR分别是点(u，v)的梯度方向与由x表示的左右车道边界到(u，v)距离最小处的切线方向的夹角。W(D)是一个加权函数，它可以解释为一个模糊隶属度函数。W(0)＝1，W(D)从0到R单调减小，当D≥R时，W(D)＝0。W(D)按如下的公式定义
W(D)=e-D2/σ2,0≤D<R0else.---(6)]]>(6)基于粒子群优化来计算最大后验概率估计。令xd＝[xd1，xd2，xd3，xd4]T＝[K，BL，BR，n0]T，最大化f(xd)＝P(xd)P(z|xd)。适应度函数为f(xd)＝P(xd)p(z|xd)，粒子群尺寸s＝10，最大迭代次数为20次。粒子的初始值随机选取。计算的出的优化值为xd*=[xd1*,xd2*,xd3-*,xd4*]T.]]>即，对应最大后验概率的变形模板参数为xd=[K*,BL*,BR*,n0*]T.]]>(7)确定车道宽度和曲率以及车辆在车道中的横向位置和头向。
dL*=αvBL*Hαucosφ,dR*=αvBR*Hαucosφ]]>车道宽度为d=dR*-dL*=αvHαucosφ(BR*-BL*),]]>车道曲率为C=2K*cos3φαuαvH,]]>车辆距离车道中心线的距离为dd=d/2-dR*,]]>当dd大于0时，车辆位于车道中心线右侧，当小于0时位于车道中心线左侧，车辆中心线与车道中心线的夹角(即车辆的头向角)为θ=-(n0-v0)cosφαu.]]>
权利要求
1.一种基于机器视觉的车道局部几何结构和车辆位置估计方法，其特征在于，利用摄像系统获取车辆前方道路的图像并传给微处理器，微处理器经过运算输出车辆运行前方车道的宽度和曲率、车辆在车道中的横向偏离距离和头向角，对输入的道路图像进行边缘检测，得到梯度大小图像和梯度方向图像，用一个变形模板来表示图像中车道标线的形状，将车道几何和车辆位置估计问题转化为一个最大后验概率估计问题，利用例子群优化算法来计算最大后验概率，根据优化算法输出的最大后验概率估计，结合摄像机参数计算出车道的宽度和曲率、车辆在车道中的横向位置和头向。
2.根据权利要求1所述的基于机器视觉的车道局部几何结构和车辆位置估计方法，其特征是，包括以下步骤(1)建立图像坐标车道变形模板在图像坐标中车道边界模型为n＝K/(m-m0)+B(m-m0)+n0其中，m和n分别是图像的行数和列数，K=αuαvCH2cos3φ,]]>B=αudcosφαvH,]]>(m0，n0)是车道边界切线消失点的坐标，m0＝-αvtanφ+u0，n0＝-αuθ/cosφ+v0，αu和αv分别是摄像机的水平尺度因子和垂直尺度因子，φ是摄像机光轴与地面的夹角，θ是车头方向和车道边界切线方向的夹角，H是摄像机光学中心距地面的高度，d是摄像机光学中心在地面上的投影与车道边界的最短距离，(u0，v0)是图像中心坐标；(2)对道路图像进行梯度计算采用3×3的Sobel算子进行图像梯度计算，得到一幅梯度大小图像和一幅梯度方向图像；(3)采用似然函数计算方法似然函数为P(z|xd)∝Σu,v(fm(u,v)×W(DL(u,v))×|cos(βL)|+fm(u,v)×W(DR(u,v))×|cos(βR)|)]]>其中，DL(u，v)和DR(u，v)分别是从点(u，v)到由x表示的左右车道边界的最小距离，βL和βR分别是点(u，v)的梯度方向与由x表示的左右车道边界到(u，v)距离最小处的切线方向的夹角，W(D)是一个加权函数；(4)采用先验概率密度函数计算方法先验概率密度函数P(xd)表示对道路图像中车道边界位置的限制，在车道模型参数集上构建如下的先验概率密度函数P(xd)∝exp(-(BR-BL-μR)2σR2);]]>(5)将确定变形模板参数问题转化为最大后验概率估计在灰度图像中的车道检测问题转化为一个决定最大后验概率问题，最大后验概率估计表示为如下的形式xd*=argmaxx∈R4P(xd|z)]]>xd*=argmaxx∈R4P(z|xd)P(xd)]]>=argmaxx∈R4exp((BR-BL-μ)2σR2)×Σu,v(fm(u,v)×W(DL(u,v))×|cos(βL)|+fm(u,v)×W(DL(u,v))×|cos(βL)|);]]>(6)基于粒子群优化来计算最大后验概率估计令xd＝[xd1，xd2，xd3，xd4]T＝[K，BL，BR，n0]T，最大化f(xd)＝P(xd)P(z|xd)，适应度函数为f(xd)＝P(xd)P(z|xd)，粒子群尺寸s＝10，最大迭代次数为20次，粒子的初始值随机选取，计算得出的优化值为xd*=[xd1*,xd2*,xd3*,xd4*]T,]]>即对应最大后验概率的变形模板参数为xd=[K*,BL*,BR*,n0*]T;]]>(7)确定车道宽度和曲率以及车辆在车道中的横向位置和头向dL*=αvBL*Hαucosφ,]]>dR*=αvBR*Hαucosφ,]]>车道宽度为d=dR*-dL*=αvHαucosφ(BR*-BL*),]]>车道曲率为C=2K*cos3φαuαvH,]]>车辆距离车道中心线的距离为dd=d/2-dR*,]]>车辆中心线与车道中心线的夹角(即车辆的头向角)为θ=-(n0-v0)cosφαu.]]>
3.根据权利要求2所述的基于机器视觉的车道局部几何结构和车辆位置估计方法，其特征是，所述的dd，当dd大于0时，车辆位于车道中心线右侧，当dd小于0时，车辆位于车道中心线左侧。
4.根据权利要求2所述的基于机器视觉的车道局部几何结构和车辆位置估计方法，其特征是，所述的步骤(2)中，当梯度大小图像中某象素值小于5时，梯度大小图像的该象素点和对应位置的梯度方向图像的象素点不参加后续的计算。
5.根据权利要求2所述的基于机器视觉的车道局部几何结构和车辆位置估计方法，其特征是，所述的步骤(2)中，3×3的Sobel算子是一个用来计算图像梯度的卷积模板，具有如下的形式sx=18-101-202-101,]]>sy=18121000-1-2-1]]>sx和sy分别是计算x和y方向梯度大小的卷积模板。
6.根据权利要求5所述的基于机器视觉的车道局部几何结构和车辆位置估计方法，其特征是，所述的步骤(2)中，对某象素来说，如果计算出的x方向和y方向的梯度大小分别为Gx和Gy，则该象素点的梯度大小为 梯度方向为arctan(Gy/Gx)。
7.根据权利要求2所述的基于机器视觉的车道局部几何结构和车辆位置估计方法，其特征是，所述的W(D)是一个模糊隶属度函数，W(0)＝1，W(D)从0到R单调减小，当D≥R时，W(D)＝0，W(D)按如下的公式定义W(D)=e-D2/σ2,0≤D<R0else..]]>
全文摘要
一种基于机器视觉的车道局部几何结构和车辆位置估计方法，属于智能车辆领域。本发明将车辆前方道路的图像进行边缘检测，利用在图像坐标中车道标线的变形模板，用最大后验概率估计计算变形模板的参数，用粒子群优化算法来计算该最大后验概率估计，根据计算出的最大后验概率估计结合摄像机参数计算车道的宽度和曲率，以及车辆距离车道中心的距离和车辆中心线与车道中心线的夹角。本发明能在道路图像对比度差或者阴影严重的情况下准确估计车道宽度、车道曲率、车辆在车道中的横向偏离距离以及车辆纵向中心线与车道中心线的夹角(头向角)。
文档编号G08G1/123GK1804928SQ20051011065
公开日2006年7月19日 申请日期2005年11月24日 优先权日2005年11月24日
发明者周勇, 叶庆泰, 徐榕, 胡小锋 申请人:上海交通大学