一种车道线追踪方法及系统的制作方法
一种车道线追踪方法及系统的制作方法
【专利摘要】本发明公开了一种车道线追踪方法及系统，属于图像处理【技术领域】。该方法包括：获取车辆前方视频帧图像；根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图；根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线；根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。采用本发明，使得车道边缘检测在不同光照、天气条件、不同的车道类型下均有良好的检测效果，从而提高车道线追踪的精确度。
【专利说明】一种车道线追踪方法及系统
【技术领域】
[0001]本发明涉及图像处理【技术领域】，尤其涉及一种车道线追踪方法及系统。
【背景技术】
[0002]车道偏离预警系统，是一种通过报警的方式辅助驾驶员减少汽车因车道偏离而发生交通事故的系统。目前，车道偏离预警系统的实现方式都是基于计算机视觉的方法实现，首先在采集的道路视频图像中识别车道线，再根据车辆位置与车道线的关系判断是否发出偏离预警。然而，传统的卷积核(如:Sobel, Canny, Roberts等算子)，在多种车道类型,特别是车道存在污物、阴影，或破损，或路面有反光等干扰时，无法得到良好的检测效果，导致车道线检测精确度较低。
【发明内容】
[0003]有鉴于此，本发明要解决的技术问题是提供一种车道线检测精确度较高的车道线追踪方法及系统。
[0004]本发明解决上述技术问题所采用的技术方案如下:
[0005]根据本发明的一个方面，提供的一种车道线追踪方法包括:
[0006]获取车辆前方视频帧图像；
[0007]根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图；
[0008]根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线；
[0009]根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
[0010]优选地，事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核包括:
[0011]获取训练车道的样本视频图像集；
[0012]对样本视频图像进行边缘检测，得到样本边缘图；
[0013]对样本边缘图进行人工筛选，并进行归一化处理；
[0014]对样本归一化的像素点值展开得到的向量IXw进行聚类；
[0015]将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核；
[0016]其中，I为长，W为宽。
[0017]优选地，根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图包括:
[0018]获取帧图像的灰度图；
[0019]分别使用所有边缘卷积核与灰度图进行卷积；
[0020]取所有卷积核在该像素点卷积的最大值作为该点的数值；
[0021]将每一个像素点的数值归一化，得到边缘图。
[0022]优选地，根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线包括:[0023]根据前一帧获取的车道线的位置，在边缘图中确定当前帧的左、右初始车道线检测区域；
[0024]将左、右初始车道线检测区域分别划分为至少两个小检测区域；
[0025]根据每个小检测区域的边缘图数值和每个小检测区域的像素点的总数，确定精确车道线检测区域；
[0026]从精确车道线检测区域中获取当前帧的车道线。
[0027]优选地，初始车道线检测区域为前一帧获取的车道线的两端点分别在上边和下边上的平行四边形；小检测区域为将初始车道线检测区域的上边和下边分别分割为N个小线段，将上边的小线段分别与下边的小线段相连形成NXN个面积相等的平行四边形，其中，N大于2。
[0028]优选地，从精确车道线检测区域中获取当前帧的车道线包括:将确定为精确车道线检测区域的小检测区域的上下边的中线作为当前帧的车道线的边缘线。
[0029]优选地,上述方法还包括:
[0030]当检测到当前帧的车道线位于车辆前方图像的中间区域时，扩大每个小检测区域，中间区域的宽度小于等于车辆前方图像宽度的1/2 ；
[0031]当检测到车道宽度突变或者连续超过预设的帧数找不到车道线后，重新确定左、右初始车道线检测区域。
[0032]根据本发明的另一个方面，提供的一种车道线追踪系统包括:
[0033]视频采集模块，用于获取车辆前方视频帧图像；
[0034]边缘检测模块，用于根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对视频帧图像进行横向边缘检测，得到边缘图；
[0035]车道线获取模块，用于根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线；
[0036]横向位置输出模块，用于根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
[0037]优选的，上述系统还包括学习模块，用于事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核；学习模块包括:
[0038]样本图像获取单元，用于获取训练车道的样本视频图像集；
[0039]样本边缘检测单元，用于对样本视频图像进行边缘检测，得到样本边缘图；
[0040]归一化单元，用于对样本边缘图进行人工筛选，并进行归一化处理；
[0041]聚类单元，用于对样本归一化的像素点值展开得到的向量IXw进行聚类，其中，I为长，w为宽；
[0042]变换单元，用于将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核。
[0043]优选的,边缘检测模块包括:
[0044]灰度图获取单元，用于获取帧图像的灰度图；
[0045]卷积单元，用于分别使用所有边缘卷积核与灰度图进行卷积；
[0046]数值获取单元，用于取所有卷积核在该像素点卷积的最大值作为该点的数值；
[0047]归一化单元，用于将每一个像素点的数值归一化，得到边缘图。
[0048]与现有技术相比，本发明的车道线追踪方法及系统，通过对半自动化标定得到的车道边缘图像进行非监督学习，获取不同光照条件、天气条件、以及不同的车道线类型(包括清晰及破损程度)下的多个边缘卷积核。再利用多个边缘卷积核对图像进行卷积，取多个卷积核的最大值作为边缘检测的结果。使得车道边缘检测在不同光照、天气条件、不同的车道类型下均有良好的检测效果，从而提高车道线追踪的精确度。
【专利附图】
【附图说明】
[0049]图1为本发明实施例提供的车道线追踪方法流程图；
[0050]图2为本发明实施例提供的车道线识别系统组成示意图；
[0051]图3为本发明优选实施例提供的边缘检测方法的流程图；
[0052]图4为本发明优选实施例提供车道线获取方法的流程图；
[0053]图5为本发明优选实施例提供的初始左车道线检测区域的示意图；
[0054]图6为本发明优选实施例提供的初始左车道线检测区域的划分示意图；
[0055]图7为本发明优选实施例提供的车道线追踪方法的流程图；
[0056]图8为本发明优选实施例提供的卷积核训练方法的流程图；
[0057]图9为本发明实施例提供的车道线追踪系统的模块结构图；
[0058]图10为本发明优选实施例提供的车道线获取模块的模块结构图。
[0059]图11为本发明优选实施例提供的车道线追踪系统的模块结构图。
[0060]图12为本发明优选实施例提供的学习模块的模块结构图。
【具体实施方式】
[0061]为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0062]实施例一
[0063]如图1所示，本发明实施例提供的车道线追踪方法包括:
[0064]S101、获取车辆前方视频帧图像。
[0065]具体地，本步骤SlOl可以通过视频采集设备，如通过一个或更多的摄像头采集车辆前方图像作为输入。
[0066]请参阅图2，车辆101在当前的车道上行走，车辆的速度可以是任意的。车道线102和103分别代表左边和右边的车道线，视频采集设备104被安装在车辆101上，能获取车辆前方的景象。视频采集设备104包括至少一个摄像头，并附有或可连接上显示屏。为了确保视频采集设备104的可视区域包括车道标记102和103，视频采集设备104要尽量安装在车辆中间的位置。其中一种安装的方法是将其固定在挡风玻璃的顶部中间。
[0067]在本步骤SlOl之前，还包括安装设定步骤，其目的是调整摄像头，使它水平安装在车辆的中间。具体地，在显示屏上显示一条横线和两条呈八字的对称斜线，调整摄像头位置和角度使横线和前方远处的地平线重叠，并且斜线在近区的车道线附近位置。将八字对称斜线作为初始帧的车道线进行存储，左边斜线为左车道线，右边斜线为右车道线，左右车道线分开存储。虽然算法有自适应的机制，能把些微设置误差的影响排除，但此设定还是会对位置计算有决定性的影响，故此安装以准确为上。此安装设定步骤在摄像头位置有变化后才需要进行，如果位置没有变化则可忽略。
[0068]S102、根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图。
[0069]请参阅图3，本步骤S102进一步包括:
[0070]S1021、获取帧图像的灰度图；
[0071]S1022、分别使用所有边缘卷积核与灰度图进行卷积；
[0072]S1023、取所有卷积核在该像素点卷积的最大值作为该点的数值；
[0073]S1024、将每一个像素点的数值归一化，得到边缘图。
[0074]具体来说，首先把从视频采集设备采集的彩色图像转换成灰度图，然后通过训练好的边缘卷积核进行横向边缘检测，对于车道左边缘的检测，使用卷积核Ku，KL2, L, KLn,而对于车道右边缘的检测，使用以下卷积核KK1，KE2, L, IV。
[0075]采用以上卷积核与灰度图进行卷积后，取所有卷积核在该像素点卷积的最大值作为该点的数值，例如:灰度图1经过左边缘卷积核卷积后的值为L =max(I*Ku，I*KL2, L, I*Kj，其中max取矩阵中逐点最大值；接着把每一点的数值归一化，得到一幅边缘图。边缘图可以点阵图表示，或以矩阵表示，每个元素是O至I之间的实数，代表该点属于边缘的概率。其中，归一化可以是以线性函数转换y = (X-MinValue)/(MaxValue-MinVa lue),也可以用非线性函数来先排除数值小的边缘,此处可使用所有能进行归一化的方法对数值进行归一化处理。
[0076]S103、根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线。
[0077]请参阅图4,本步骤S103进一步包括:
[0078]S1031、根据前一帧获取的车道线的位置，在边缘图中确定当前帧的左、右初始车道线检测区域；
[0079]具体地，根据前一帧获取的左车道线的位置，在左车道线边缘图中确定初始左车道线检测区域，根据前一帧获取的右车道线的位置，在右车道线边缘图中确定初始右车道线检测区域。
[0080]请参阅图5所示的初始左车道线检测区域的示意图，近区的车道线可以看做是直线，因此可以用两个端点Hl1和Hl2来定义前一帧获取的左车道线Hl1Hl2，初始左车道线检测区域为平行四边形，这两个端点Hl1和Hl2分别也就是平行四边形上下底的中点。初始左车道线检测区域由上边S1Id1,下边a2b2、左边a21a2和右边Id1Id2组成。Hi1和m2也是上边S1Id1和下边a2b2的中点。
[0081]S1032、将左、右初始车道线检测区域分别划分为至少两个小检测区域；
[0082]具体地，将初始左、右车道线检测区域分别划分为N个小检测区域，N大于等于2。以初始左车道线检测区域为平行四边形为例，在步骤S1032中，将平行四边形的上边和下边分别分割为N个小线段，N大于等于2，将上边的小线段分别与下边的小线段相连形成NXN个面积相等的小平行四边形。
[0083]请参阅读图6所示的初始左车道线检测区域的划分示意图，把上下平行横线各等分成N份线段，每份包含M个像素点，那么总共就有(N-1)个分割点。另外，加上线的头尾端点，共有(N+1)个点。为方便说明，将这些点从左到右顺序用英文字母命名，上平行横线的点为 a1; C1, (I1, e1； Hi1, fv g!，Ii1, Id1,而下平行横线的点贝丨』定义为 a2, c2, d2, e2, m2, f2, g2, h2, b2,上平行横线的每一个点都可以跟下平行横线的点连成直线，分成很多小平行四边形，例如B1B2C2C1, B1C2Cl2C1, S1C^e2C1,…等NXN个小平行四边形。理论上每个小平行四边形的面积是一样的，但实际上因为图像边界的原因，车道线区域可能有部分不在图像的范围内。对于640X480的图像，建议N = 9，M = 5，实际的数值定义可因应图像解析度调节。
[0084]S1033、根据每个小检测区域的边缘图数值和每个小检测区域的像素点的总数，确定精确车道线检测区域。
[0085]具体地，将每个小检测区域中所有像素点的边缘图数值加起来再除以每个小检测区域中像素点的总数，每个小检测区域都会得到一个数值，这个数值代表了这个小检测区域包括车道线的机会率，数值越大，机会率越大，选取数值最大的小检测区域为精确车道线检测区域。精确车道线检测区域包括精确左车道线检测区域和精确右车道线检测区域。
[0086]S1034、从精确车道线检测区域中获取当前帧的车道线。
[0087]具体地，在区域内最有可能包含车道线左边界和右边界的小平行四边形找出来后，如果左右边界都能找到并且左右边界的距离在设定的范围内，则判断车道线找到，将确定为精确车道线检测区域的小检测区域的上下边的中线作为当前帧的车道线的边缘线。
[0088]S104、根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
[0089]具体地，可以首先计算出左右车道线在图像上的斜率，代入以下方程:
[0090]车辆与左车道线的距离=(Hl1/(Hi1-Hir)) X车道宽度
[0091]其中，Hi1和m,分别是左和右车道线的斜率，车辆与左车道线的距离代表车辆相对车道的横向位置。它可以表示成相对车道宽度的百分比，如果知道当前的车道宽度，也可以用绝对距离表示。最后，输出车辆当前的横向位置作为是否预警的依据。
[0092]实施例二
[0093]图7为本发明优选实施例提供的车道线追踪方法的流程图，该方法包括以下步骤:
[0094]S201、获取车辆前方视频帧图像。
[0095]S202、根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图。
[0096]S203、根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线。
[0097]具体来说，在左车道线左、右边缘图中划分一个左平行四边形，在右车道线左、右边缘图中划分一个右平行四边形，左平行四边形的上下边中点分别与原存储的左车道线的两端点重合，右平行四边形的上下边中点分别与原存储的右车道线的两端点重合，左平行四边形和右平行四边形的上下边都分别包含45个像素点。
[0098]从左平行四边形中划分出9X9个面积相等的小左平行四边形，从右平行四边形中划分出9X9个面积相等的小右平行四边形，每个小左平行四边形的上边和下边分别与左平行四边形的上边和下边在同一条直线上，每个小右平行四边形的上边和下边分别与右平行四边形的上边和下边在同一条直线上。
[0099]根据每个小左平行四边形的左边缘图数值和每个小左平行四边形中像素点的总数，判断出包含左车道线左边界的小左平行四边形，将小左平行四边形上下边中点连接形成的直线记录为当前左车道线左边界；根据每个小左平行四边形的右边缘图数值和每个小左平行四边形中像素点的总数，判断出包含左车道线右边界的小左平行四边形，将小左平行四边形上下边中点连接形成的直线记录为当前左车道线右边界。判断左边界和右边界的距离是否在一定范围内。如果在符合要求的范围内，则将左右边界线的中线作为当前左车道线的位置代替原存储的左车道线。
[0100]根据每个小右平行四边形的边缘图数值和每个小右平行四边形中像素点的总数，判断出包含右车道线左边界的小右平行四边形，将小右平行四边形上下边中点连接形成的直线记录为当前右车道线左边界；根据每个小右平行四边形的右边缘图数值和每个小右平行四边形中像素点的总数，判断出包含右车道线右边界的小右平行四边形，将小右平行四边形上下边中点连接形成的直线记录为当前右车道线右边界。判断左边界和右边界的距离是否在一定范围内。如果在符合要求的范围内，则将左右边界线的中线作为当前右车道线的位置代替原存储的右车道线。
[0101]S204、检测左车道线或右车道线是否位于车辆前方图像的中间区域，如果是，执行步骤S205，否则执行步骤S206。
[0102]具体地，在车辆离开现行车道时，其中一条车道线会从图的左边走到右边，由于透视投影法的关系，车道线在图片中间区域时的横向运动速度会较快，所以本实施例采用根据位置调整车道线区域的适应性方法来提高追踪的稳定性。
[0103]S205、扩大每个小检测区域，返回步骤S203重新检测车道线。
[0104]具体地，当车道线区域进入整个车辆前方图像的中间范围里，就把所有小平行四边形宽度M加倍，这样整个车道线区域的宽度也会加倍。但因为小平行四边形点的数量加倍，所以相应的阈值亦需要降低一半。中间区域的宽度小于等于车辆前方图像宽度的1/2，优选为1/5图像宽度。
[0105]S206、检测车道宽度是否突变，如果是，执行步骤S208，否则执行步骤S207。
[0106]具体地，我们假设车道的宽度短时间内不会发生较大的变化。计算当前帧前若干帧(如100帧)的车道宽度平均值。其中，通过在线更新的方法计算宽度平均值，从而提高运算速度。即通过前一帧对应的若干帧的车道宽度之和减去时间最早的一帧的车道宽度再加上前一帧的车道宽度，然后除以帧数量(如100)即得到当前帧前若干帧的宽度均值wavg。如果当前帧的宽度w>r Xwavg,则判定为车道宽度突变，进入初始化/更新模式。参数r大于1，比如可取值为1.5。
[0107]S207、检测是否连续超过预设的帧数找不到车道线，如果是，执行步骤S208，否则执行步骤S209。
[0108]具体地，在实际应用上，路况会很复杂，车辆前方图像中可能出现没有车道线的情况，因此需要增加一个判断车辆前方图像中有没有车道线的步骤，具体可以通过设定一个阈值来区分有车道线和无车道线两种情况，当每个小检测区域中所有像素点的边缘图平均数值大于预设的阈值则为有车道线，小于预设的阈值则为无车道线，即检测区域里找不到车道线。预设的阈值可以通过经验得到，也可以通过机器学习的方法得到。当当前帧没有获取到车道线时，当前帧的下一帧在确定初始车道线检测区域时是依据当前帧的前一帧获取到的车道线的位置在边缘图中确定初始车道线检测区域，直到启动初始化/更新模式。
[0109]此外，对于虚线的情况，有些虚线比较短，短到不在初始车道线检测区域里，因此不能单纯以一个视频帧图像来判断有没有车道线，故通过检测到连续超过预设的帧数找不到车道线时，才判定为没有车道线，启动初始化/更新模式。
[0110]S208、重新确定初始车道线检测区域，步骤S203重新检测车道线。
[0111]当用在车道偏离预警时、换道时，发出警告之后，可以自动发出更新指令以重新搜寻和追踪新的车道。重新确定初始车道线检测区域，是指根据初始帧的车道线的位置，在边缘图中确定当前帧的左、右初始车道线检测区域。
[0112]S209、根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
[0113]实施例三
[0114]如图8所示为本发明优选实施例提供的卷积核训练方法的流程图，该方法包括:
[0115]S301、获取训练车道的样本视频图像集。
[0116]具体地，该车道视频集中应包含不同光照，不同天气条件，不同车道类型(包括不同完整度)的车道视频。
[0117]S302、对样本视频图像进行边缘检测，得到样本边缘图。
[0118]具体地，以采用Sobel为卷积核得到的车道线检测上的点为中心，提取长为1( 一般不大于车道的像素宽度)，宽为w ( —般取3到4个像素点，以图像的分辨率为依据进行选择，分辨率越高所取的像素点越多)。
[0119]S303、对样本边缘图进行人工筛选,并进行归一化处理。
[0120]具体地，对步骤S302得到的样本边缘图进行人工筛选，去除检测错误的结果，并加入一定数量漏检的样本，对筛选后的样本进行归一化处理。可以采用以下归一化方法包括但不限于:(I)每个像素点值除以255 ; (2)减去样本区域像素点值的均值。
[0121]S304、对样本归一化的像素点值展开得到的向量IXw进行聚类。
[0122]其中，I为长，w为宽。举例来说，可以采用K-means，自组织神经网络等聚类方法对样本归一化的像素点值展开得到的向量(向量维度为IXw)进行聚类。
[0123]S305、将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核。
[0124]其中，聚类中心的数目可以采用贝叶斯信息准则进行估计。
[0125]本发明实施例，通过对半自动标定得到的车道边缘图进行非监督学习，获取不同光照条件、不同天气条件以及不同车道类型(包括不同完整度)下的多个边缘卷积核，替换传统的卷积核，能提高检测效果。
[0126]实施例四
[0127]如图9所示为本发明实施例提供的车道线追踪系统的模块结构图，该系统包括:
[0128]视频采集模块10，用于获取车辆前方视频帧图像。
[0129]边缘检测模块20，用于根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对视频帧图像进行横向边缘检测，得到边缘图。
[0130]具体地，首先把从视频采集设备采集的彩色图像转换成灰度图，然后通过训练好的边缘卷积核进行横向边缘检测，对于车道左边缘的检测，使用卷积核Ku，KL2, L, KLn,而对于车道右边缘的检测，使用以下卷积核KK1，KE2, L, IV。采用以上卷积核与灰度图进行卷积后，取所有卷积核在该像素点卷积的最大值作为该点的数值，例如:灰度图1经过左边缘卷积核卷积后的值为L = max(I*Ku，I*KL2, L, I*Kj，其中max取矩阵中逐点最大值；接着把每一点的数值归一化，得到一幅边缘图。边缘图可以点阵图表示，或以矩阵表示，每个元素是O至I之间的实数，代表该点属于边缘的概率。其中，归一化可以是以线性函数转换y =(x-MinValue)/ (MaxValue-MinValue),也可以用非线性函数来先排除数值小的边缘,此处可使用所有能进行归一化的方法对数值进行归一化处理。
[0131]车道线获取模块30，用于根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线；
[0132]横向位置输出模块40，用于根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
[0133]请参阅图10所示的边缘检测模块20的模块结构图，边缘检测模块20进一步包括灰度图获取单元201、卷积单元202、数值获取单元203和归一化单元204，其中:
[0134]灰度图获取单元201，用于获取帧图像的灰度图；
[0135]卷积单元202，用于分别使用所有边缘卷积核与灰度图进行卷积；
[0136]数值获取单元203，用于取所有卷积核在该像素点卷积的最大值作为该点的数值；
[0137]归一化单元204，用于将每一个像素点的数值归一化，得到边缘图。
[0138]需要说明的是，上述实施例一中的技术特征在本实施例四中的系统同样对应适用，这里不再重述。
[0139]实施例五
[0140]如图11为本发明优选实施例提供的车道线追踪系统的模块结构图，本实施例在实施例四的基础上，增加了学习模块50、检测区域扩大模块60和重新初始化模块70，其中:
[0141]学习模块50，用于事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核。
[0142]请参阅图12，学习模块50包括:
[0143]样本图像获取单元501，用于获取训练车道的样本视频图像集；
[0144]样本边缘检测单元502，用于对样本视频图像进行边缘检测，得到样本边缘图；
[0145]归一化单元503，用于对样本边缘图进行人工筛选，并进行归一化处理；
[0146]聚类单元504，用于对样本归一化的像素点值展开得到的向量IXw进行聚类，其中，I为长，W为宽；
[0147]变换单元505，用于将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核。
[0148]具体地，样本图像获取单元501获取的车道视频集中应包含不同光照，不同天气条件，不同车道类型(包括不同完整度)的车道视频。样本边缘检测单元502以采用Sobel为卷积核得到的车道线检测上的点为中心，提取长为I ( 一般不大于车道的像素宽度)，宽为w( —般取3到4个像素点，以图像的分辨率为依据进行选择，分辨率越高所取的像素点越多)。归一化单元503得到的样本边缘图进行人工筛选，去除检测错误的结果，并加入一定数量漏检的样本，对筛选后的样本进行归一化处理。可以采用以下归一化方法包括但不限于:(1)每个像素点值除以255 ; (2)减去样本区域像素点值的均值。聚类单元504对样本归一化的像素点值展开得到的向量IXw进行聚类。其中，I为长，w为宽。举例来说，可以采用K-means，自组织神经网络等聚类方法对样本归一化的像素点值展开得到的向量(向量维度为IXw)进行聚类。变换单元505将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核。其中，聚类中心的数目可以采用贝叶斯信息准则进行估计。检测区域扩大模块60，用于当检测到当前帧的车道线位于车辆前方图像的中间区域时，扩大每个小检测区域，其中，中间区域的宽度小于等于车辆前方图像宽度的1/2。
[0149]重新初始化模块70，用于当检测到车道宽度突变或者连续超过预设的帧数找不到车道线后，重新确定初始车道线检测区域。
[0150]具体地，我们假设车道的宽度短时间内不会发生较大的变化。计算当前帧前若干帧(如100帧)的车道宽度平均值。其中，通过在线更新的方法计算宽度平均值，从而提高运算速度。即通过前一帧对应的若干帧的车道宽度之和减去时间最早的一帧的车道宽度再加上前一帧的车道宽度，然后除以帧数量(如100)即得到当前帧前若干帧的宽度均值wavg。如果当前帧的宽度W>r X wavg，则判定为车道宽度突变，进入初始化/更新模式。参数r大于1，比如可取值为1.5。
[0151]具体地，在实际应用上，路况会很复杂，车辆前方图像中可能出现没有车道线的情况，因此需要增加一个判断车辆前方图像中有没有车道线的步骤，具体可以通过设定一个阈值来区分有车道线和无车道线两种情况，当每个小检测区域中所有像素点的边缘图平均数值大于预设的阈值则为有车道线，小于预设的阈值则为无车道线，即检测区域里找不到车道线。预设的阈值可以通过经验得到，也可以通过机器学习的方法得到。当当前帧没有获取到车道线时，当前帧的下一帧在确定初始车道线检测区域时是依据当前帧的前一帧获取到的车道线的位置在边缘图中确定初始车道线检测区域，直到启动初始化/更新模式。
[0152]此外，对于虚线的情况，有些虚线比较短，短到不在初始车道线检测区域里，因此不能单纯以一个视频帧图像来判断有没有车道线，故通过检测到连续超过预设的帧数找不到车道线时，才判定为没有车道线，启动初始化/更新模式。
[0153]本发明实施例，通过对半自动标定得到的车道边缘图进行非监督学习，获取不同光照条件、不同天气条件以及不同车道类型(包括不同完整度)下的多个边缘卷积核，替换传统的卷积核，能提高检测效果。此外，还充分考虑路况的复杂性，调整每个小检测区域或者重新确定初始车道线，进一步提高检测效果。
[0154]需要说明的是，上述实施例二中的技术特征在本实施例四中的系统同样对应适用，这里不再重述。
[0155]本发明提供的车道线追踪方法及系统，通过对半自动化标定得到的车道边缘图像进行非监督学习，获取不同光照条件、天气条件、以及不同的车道线类型(包括清晰及破损程度)下的多个边缘卷积核。再利用多个边缘卷积核对图像进行卷积，取多个卷积核的最大值作为边缘检测的结果。使得车道边缘检测在不同光照、天气条件、不同的车道类型下均有良好的检测效果，从而提闻车道线追踪的精确度。
[0156]以上参照【专利附图】
【附图说明】了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。
【权利要求】
1.一种车道线追踪方法，其特征在于，该方法包括: 获取车辆前方视频帧图像； 根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图； 根据前一帧获取的车道线的位置和所述边缘图获取当前帧的车道线； 根据所述当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
2.根据权利要求1所述的车道线追踪方法，其特征在于，事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核包括: 获取训练车道的样本视频图像集； 对所述样本视频图像进行边缘检测，得到样本边缘图； 对所述样本边缘图进行人工筛选，并进行归一化处理； 对样本归一化的像素点值展开得到的向量IXw进行聚类； 将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核； 其中，I为长，W为宽。
3.根据权利要求1所述的车道线追踪方法，其特征在于，所述根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图包括: 获取所述帧图像的灰度图； 分别使用所有边缘卷积核与所述灰度图进行卷积； 取所有卷积核在该像素点卷积的最大值作为该点的数值； 将每一个像素点的数值归一化，得到边缘图。
4.根据权利要求1所述的车道线追踪方法，其特征在于，所述根据前一帧获取的车道线的位置和所述边缘图获取当前帧的车道线包括: 根据前一帧获取的车道线的位置，在所述边缘图中确定当前帧的左、右初始车道线检测区域； 将所述左、右初始车道线检测区域分别划分为至少两个小检测区域； 根据每个小检测区域的边缘图数值和每个小检测区域的像素点的总数，确定精确车道线检测区域； 从所述精确车道线检测区域中获取当前帧的车道线。
5.根据权利要求4所述的车道线追踪方法，其特征在于， 所述初始车道线检测区域为前一帧获取的车道线的两端点分别在上边和下边上的平行四边形； 所述小检测区域为将所述初始车道线检测区域的上边和下边分别分割为N个小线段，将所述上边的小线段分别与所述下边的小线段相连形成NXN个面积相等的平行四边形，其中，N大于2。
6.根据权利要求5所述的车道线追踪方法，其特征在于，所述从所述精确车道线检测区域中获取当前帧的车道线包括:将确定为精确车道线检测区域的小检测区域的上下边的中线作为当前帧的车道线的边缘线。
7.根据权利要求4-6任意一项权利要求所述的车道线追踪方法，其特征在于，所述方法还包括: 当检测到所述当前帧的车道线位于所述车辆前方图像的中间区域时，扩大所述每个小检测区域，所述中间区域的宽度小于等于所述车辆前方图像宽度的1/2 ； 当检测到车道宽度突变或者连续超过预设的帧数找不到车道线后，重新确定左、右初始车道线检测区域。
8.一种车道线追踪系统，其特征在于，该系统包括: 视频采集模块，用于获取车辆前方视频帧图像； 边缘检测模块，用于根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对所述视频帧图像进行横向边缘检测，得到边缘图； 车道线获取模块，用于根据前一帧获取的车道线的位置和所述边缘图获取当前帧的车道线； 横向位置输出模块，用于根据所述当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
9.根据权利要求8所述的车道线追踪系统，其特征在于，所述系统还包括学习模块，用于事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核；所述学习模块包括: 样本图像获取单元， 用于获取训练车道的样本视频图像集； 样本边缘检测单元，用于对所述样本视频图像进行边缘检测，得到样本边缘图； 归一化单元，用于对所述样本边缘图进行人工筛选，并进行归一化处理； 聚类单元，用于对样本归一化的像素点值展开得到的向量IXw进行聚类，其中，I为长，W为宽； 变换单元，用于将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核。
10.根据权利要求8所述的车道线追踪系统，其特征在于，所述边缘检测模块包括: 灰度图获取单元，用于获取所述帧图像的灰度图； 卷积单元，用于分别使用所有边缘卷积核与所述灰度图进行卷积； 数值获取单元，用于取所有卷积核在该像素点卷积的最大值作为该点的数值； 归一化单元，用于将每一个像素点的数值归一化，得到边缘图。
【文档编号】G06T7/00GK104036253SQ201410280085
【公开日】2014年9月10日 申请日期:2014年6月20日 优先权日:2014年6月20日
【发明者】覃剑钊, 胡景强, 丁宁, 阎镜予, 黄卜夫 申请人:智慧城市系统服务（中国）有限公司
【专利摘要】本发明公开了一种车道线追踪方法及系统，属于图像处理【技术领域】。该方法包括：获取车辆前方视频帧图像；根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图；根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线；根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。采用本发明，使得车道边缘检测在不同光照、天气条件、不同的车道类型下均有良好的检测效果，从而提高车道线追踪的精确度。
【专利说明】一种车道线追踪方法及系统
【技术领域】
[0001]本发明涉及图像处理【技术领域】，尤其涉及一种车道线追踪方法及系统。
【背景技术】
[0002]车道偏离预警系统，是一种通过报警的方式辅助驾驶员减少汽车因车道偏离而发生交通事故的系统。目前，车道偏离预警系统的实现方式都是基于计算机视觉的方法实现，首先在采集的道路视频图像中识别车道线，再根据车辆位置与车道线的关系判断是否发出偏离预警。然而，传统的卷积核(如:Sobel, Canny, Roberts等算子)，在多种车道类型,特别是车道存在污物、阴影，或破损，或路面有反光等干扰时，无法得到良好的检测效果，导致车道线检测精确度较低。
【发明内容】
[0003]有鉴于此，本发明要解决的技术问题是提供一种车道线检测精确度较高的车道线追踪方法及系统。
[0004]本发明解决上述技术问题所采用的技术方案如下:
[0005]根据本发明的一个方面，提供的一种车道线追踪方法包括:
[0006]获取车辆前方视频帧图像；
[0007]根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图；
[0008]根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线；
[0009]根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
[0010]优选地，事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核包括:
[0011]获取训练车道的样本视频图像集；
[0012]对样本视频图像进行边缘检测，得到样本边缘图；
[0013]对样本边缘图进行人工筛选，并进行归一化处理；
[0014]对样本归一化的像素点值展开得到的向量IXw进行聚类；
[0015]将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核；
[0016]其中，I为长，W为宽。
[0017]优选地，根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图包括:
[0018]获取帧图像的灰度图；
[0019]分别使用所有边缘卷积核与灰度图进行卷积；
[0020]取所有卷积核在该像素点卷积的最大值作为该点的数值；
[0021]将每一个像素点的数值归一化，得到边缘图。
[0022]优选地，根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线包括:[0023]根据前一帧获取的车道线的位置，在边缘图中确定当前帧的左、右初始车道线检测区域；
[0024]将左、右初始车道线检测区域分别划分为至少两个小检测区域；
[0025]根据每个小检测区域的边缘图数值和每个小检测区域的像素点的总数，确定精确车道线检测区域；
[0026]从精确车道线检测区域中获取当前帧的车道线。
[0027]优选地，初始车道线检测区域为前一帧获取的车道线的两端点分别在上边和下边上的平行四边形；小检测区域为将初始车道线检测区域的上边和下边分别分割为N个小线段，将上边的小线段分别与下边的小线段相连形成NXN个面积相等的平行四边形，其中，N大于2。
[0028]优选地，从精确车道线检测区域中获取当前帧的车道线包括:将确定为精确车道线检测区域的小检测区域的上下边的中线作为当前帧的车道线的边缘线。
[0029]优选地,上述方法还包括:
[0030]当检测到当前帧的车道线位于车辆前方图像的中间区域时，扩大每个小检测区域，中间区域的宽度小于等于车辆前方图像宽度的1/2 ；
[0031]当检测到车道宽度突变或者连续超过预设的帧数找不到车道线后，重新确定左、右初始车道线检测区域。
[0032]根据本发明的另一个方面，提供的一种车道线追踪系统包括:
[0033]视频采集模块，用于获取车辆前方视频帧图像；
[0034]边缘检测模块，用于根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对视频帧图像进行横向边缘检测，得到边缘图；
[0035]车道线获取模块，用于根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线；
[0036]横向位置输出模块，用于根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
[0037]优选的，上述系统还包括学习模块，用于事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核；学习模块包括:
[0038]样本图像获取单元，用于获取训练车道的样本视频图像集；
[0039]样本边缘检测单元，用于对样本视频图像进行边缘检测，得到样本边缘图；
[0040]归一化单元，用于对样本边缘图进行人工筛选，并进行归一化处理；
[0041]聚类单元，用于对样本归一化的像素点值展开得到的向量IXw进行聚类，其中，I为长，w为宽；
[0042]变换单元，用于将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核。
[0043]优选的,边缘检测模块包括:
[0044]灰度图获取单元，用于获取帧图像的灰度图；
[0045]卷积单元，用于分别使用所有边缘卷积核与灰度图进行卷积；
[0046]数值获取单元，用于取所有卷积核在该像素点卷积的最大值作为该点的数值；
[0047]归一化单元，用于将每一个像素点的数值归一化，得到边缘图。
[0048]与现有技术相比，本发明的车道线追踪方法及系统，通过对半自动化标定得到的车道边缘图像进行非监督学习，获取不同光照条件、天气条件、以及不同的车道线类型(包括清晰及破损程度)下的多个边缘卷积核。再利用多个边缘卷积核对图像进行卷积，取多个卷积核的最大值作为边缘检测的结果。使得车道边缘检测在不同光照、天气条件、不同的车道类型下均有良好的检测效果，从而提高车道线追踪的精确度。
【专利附图】
【附图说明】
[0049]图1为本发明实施例提供的车道线追踪方法流程图；
[0050]图2为本发明实施例提供的车道线识别系统组成示意图；
[0051]图3为本发明优选实施例提供的边缘检测方法的流程图；
[0052]图4为本发明优选实施例提供车道线获取方法的流程图；
[0053]图5为本发明优选实施例提供的初始左车道线检测区域的示意图；
[0054]图6为本发明优选实施例提供的初始左车道线检测区域的划分示意图；
[0055]图7为本发明优选实施例提供的车道线追踪方法的流程图；
[0056]图8为本发明优选实施例提供的卷积核训练方法的流程图；
[0057]图9为本发明实施例提供的车道线追踪系统的模块结构图；
[0058]图10为本发明优选实施例提供的车道线获取模块的模块结构图。
[0059]图11为本发明优选实施例提供的车道线追踪系统的模块结构图。
[0060]图12为本发明优选实施例提供的学习模块的模块结构图。
【具体实施方式】
[0061]为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0062]实施例一
[0063]如图1所示，本发明实施例提供的车道线追踪方法包括:
[0064]S101、获取车辆前方视频帧图像。
[0065]具体地，本步骤SlOl可以通过视频采集设备，如通过一个或更多的摄像头采集车辆前方图像作为输入。
[0066]请参阅图2，车辆101在当前的车道上行走，车辆的速度可以是任意的。车道线102和103分别代表左边和右边的车道线，视频采集设备104被安装在车辆101上，能获取车辆前方的景象。视频采集设备104包括至少一个摄像头，并附有或可连接上显示屏。为了确保视频采集设备104的可视区域包括车道标记102和103，视频采集设备104要尽量安装在车辆中间的位置。其中一种安装的方法是将其固定在挡风玻璃的顶部中间。
[0067]在本步骤SlOl之前，还包括安装设定步骤，其目的是调整摄像头，使它水平安装在车辆的中间。具体地，在显示屏上显示一条横线和两条呈八字的对称斜线，调整摄像头位置和角度使横线和前方远处的地平线重叠，并且斜线在近区的车道线附近位置。将八字对称斜线作为初始帧的车道线进行存储，左边斜线为左车道线，右边斜线为右车道线，左右车道线分开存储。虽然算法有自适应的机制，能把些微设置误差的影响排除，但此设定还是会对位置计算有决定性的影响，故此安装以准确为上。此安装设定步骤在摄像头位置有变化后才需要进行，如果位置没有变化则可忽略。
[0068]S102、根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图。
[0069]请参阅图3，本步骤S102进一步包括:
[0070]S1021、获取帧图像的灰度图；
[0071]S1022、分别使用所有边缘卷积核与灰度图进行卷积；
[0072]S1023、取所有卷积核在该像素点卷积的最大值作为该点的数值；
[0073]S1024、将每一个像素点的数值归一化，得到边缘图。
[0074]具体来说，首先把从视频采集设备采集的彩色图像转换成灰度图，然后通过训练好的边缘卷积核进行横向边缘检测，对于车道左边缘的检测，使用卷积核Ku，KL2, L, KLn,而对于车道右边缘的检测，使用以下卷积核KK1，KE2, L, IV。
[0075]采用以上卷积核与灰度图进行卷积后，取所有卷积核在该像素点卷积的最大值作为该点的数值，例如:灰度图1经过左边缘卷积核卷积后的值为L =max(I*Ku，I*KL2, L, I*Kj，其中max取矩阵中逐点最大值；接着把每一点的数值归一化，得到一幅边缘图。边缘图可以点阵图表示，或以矩阵表示，每个元素是O至I之间的实数，代表该点属于边缘的概率。其中，归一化可以是以线性函数转换y = (X-MinValue)/(MaxValue-MinVa lue),也可以用非线性函数来先排除数值小的边缘,此处可使用所有能进行归一化的方法对数值进行归一化处理。
[0076]S103、根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线。
[0077]请参阅图4,本步骤S103进一步包括:
[0078]S1031、根据前一帧获取的车道线的位置，在边缘图中确定当前帧的左、右初始车道线检测区域；
[0079]具体地，根据前一帧获取的左车道线的位置，在左车道线边缘图中确定初始左车道线检测区域，根据前一帧获取的右车道线的位置，在右车道线边缘图中确定初始右车道线检测区域。
[0080]请参阅图5所示的初始左车道线检测区域的示意图，近区的车道线可以看做是直线，因此可以用两个端点Hl1和Hl2来定义前一帧获取的左车道线Hl1Hl2，初始左车道线检测区域为平行四边形，这两个端点Hl1和Hl2分别也就是平行四边形上下底的中点。初始左车道线检测区域由上边S1Id1,下边a2b2、左边a21a2和右边Id1Id2组成。Hi1和m2也是上边S1Id1和下边a2b2的中点。
[0081]S1032、将左、右初始车道线检测区域分别划分为至少两个小检测区域；
[0082]具体地，将初始左、右车道线检测区域分别划分为N个小检测区域，N大于等于2。以初始左车道线检测区域为平行四边形为例，在步骤S1032中，将平行四边形的上边和下边分别分割为N个小线段，N大于等于2，将上边的小线段分别与下边的小线段相连形成NXN个面积相等的小平行四边形。
[0083]请参阅读图6所示的初始左车道线检测区域的划分示意图，把上下平行横线各等分成N份线段，每份包含M个像素点，那么总共就有(N-1)个分割点。另外，加上线的头尾端点，共有(N+1)个点。为方便说明，将这些点从左到右顺序用英文字母命名，上平行横线的点为 a1; C1, (I1, e1； Hi1, fv g!，Ii1, Id1,而下平行横线的点贝丨』定义为 a2, c2, d2, e2, m2, f2, g2, h2, b2,上平行横线的每一个点都可以跟下平行横线的点连成直线，分成很多小平行四边形，例如B1B2C2C1, B1C2Cl2C1, S1C^e2C1,…等NXN个小平行四边形。理论上每个小平行四边形的面积是一样的，但实际上因为图像边界的原因，车道线区域可能有部分不在图像的范围内。对于640X480的图像，建议N = 9，M = 5，实际的数值定义可因应图像解析度调节。
[0084]S1033、根据每个小检测区域的边缘图数值和每个小检测区域的像素点的总数，确定精确车道线检测区域。
[0085]具体地，将每个小检测区域中所有像素点的边缘图数值加起来再除以每个小检测区域中像素点的总数，每个小检测区域都会得到一个数值，这个数值代表了这个小检测区域包括车道线的机会率，数值越大，机会率越大，选取数值最大的小检测区域为精确车道线检测区域。精确车道线检测区域包括精确左车道线检测区域和精确右车道线检测区域。
[0086]S1034、从精确车道线检测区域中获取当前帧的车道线。
[0087]具体地，在区域内最有可能包含车道线左边界和右边界的小平行四边形找出来后，如果左右边界都能找到并且左右边界的距离在设定的范围内，则判断车道线找到，将确定为精确车道线检测区域的小检测区域的上下边的中线作为当前帧的车道线的边缘线。
[0088]S104、根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
[0089]具体地，可以首先计算出左右车道线在图像上的斜率，代入以下方程:
[0090]车辆与左车道线的距离=(Hl1/(Hi1-Hir)) X车道宽度
[0091]其中，Hi1和m,分别是左和右车道线的斜率，车辆与左车道线的距离代表车辆相对车道的横向位置。它可以表示成相对车道宽度的百分比，如果知道当前的车道宽度，也可以用绝对距离表示。最后，输出车辆当前的横向位置作为是否预警的依据。
[0092]实施例二
[0093]图7为本发明优选实施例提供的车道线追踪方法的流程图，该方法包括以下步骤:
[0094]S201、获取车辆前方视频帧图像。
[0095]S202、根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图。
[0096]S203、根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线。
[0097]具体来说，在左车道线左、右边缘图中划分一个左平行四边形，在右车道线左、右边缘图中划分一个右平行四边形，左平行四边形的上下边中点分别与原存储的左车道线的两端点重合，右平行四边形的上下边中点分别与原存储的右车道线的两端点重合，左平行四边形和右平行四边形的上下边都分别包含45个像素点。
[0098]从左平行四边形中划分出9X9个面积相等的小左平行四边形，从右平行四边形中划分出9X9个面积相等的小右平行四边形，每个小左平行四边形的上边和下边分别与左平行四边形的上边和下边在同一条直线上，每个小右平行四边形的上边和下边分别与右平行四边形的上边和下边在同一条直线上。
[0099]根据每个小左平行四边形的左边缘图数值和每个小左平行四边形中像素点的总数，判断出包含左车道线左边界的小左平行四边形，将小左平行四边形上下边中点连接形成的直线记录为当前左车道线左边界；根据每个小左平行四边形的右边缘图数值和每个小左平行四边形中像素点的总数，判断出包含左车道线右边界的小左平行四边形，将小左平行四边形上下边中点连接形成的直线记录为当前左车道线右边界。判断左边界和右边界的距离是否在一定范围内。如果在符合要求的范围内，则将左右边界线的中线作为当前左车道线的位置代替原存储的左车道线。
[0100]根据每个小右平行四边形的边缘图数值和每个小右平行四边形中像素点的总数，判断出包含右车道线左边界的小右平行四边形，将小右平行四边形上下边中点连接形成的直线记录为当前右车道线左边界；根据每个小右平行四边形的右边缘图数值和每个小右平行四边形中像素点的总数，判断出包含右车道线右边界的小右平行四边形，将小右平行四边形上下边中点连接形成的直线记录为当前右车道线右边界。判断左边界和右边界的距离是否在一定范围内。如果在符合要求的范围内，则将左右边界线的中线作为当前右车道线的位置代替原存储的右车道线。
[0101]S204、检测左车道线或右车道线是否位于车辆前方图像的中间区域，如果是，执行步骤S205，否则执行步骤S206。
[0102]具体地，在车辆离开现行车道时，其中一条车道线会从图的左边走到右边，由于透视投影法的关系，车道线在图片中间区域时的横向运动速度会较快，所以本实施例采用根据位置调整车道线区域的适应性方法来提高追踪的稳定性。
[0103]S205、扩大每个小检测区域，返回步骤S203重新检测车道线。
[0104]具体地，当车道线区域进入整个车辆前方图像的中间范围里，就把所有小平行四边形宽度M加倍，这样整个车道线区域的宽度也会加倍。但因为小平行四边形点的数量加倍，所以相应的阈值亦需要降低一半。中间区域的宽度小于等于车辆前方图像宽度的1/2，优选为1/5图像宽度。
[0105]S206、检测车道宽度是否突变，如果是，执行步骤S208，否则执行步骤S207。
[0106]具体地，我们假设车道的宽度短时间内不会发生较大的变化。计算当前帧前若干帧(如100帧)的车道宽度平均值。其中，通过在线更新的方法计算宽度平均值，从而提高运算速度。即通过前一帧对应的若干帧的车道宽度之和减去时间最早的一帧的车道宽度再加上前一帧的车道宽度，然后除以帧数量(如100)即得到当前帧前若干帧的宽度均值wavg。如果当前帧的宽度w>r Xwavg,则判定为车道宽度突变，进入初始化/更新模式。参数r大于1，比如可取值为1.5。
[0107]S207、检测是否连续超过预设的帧数找不到车道线，如果是，执行步骤S208，否则执行步骤S209。
[0108]具体地，在实际应用上，路况会很复杂，车辆前方图像中可能出现没有车道线的情况，因此需要增加一个判断车辆前方图像中有没有车道线的步骤，具体可以通过设定一个阈值来区分有车道线和无车道线两种情况，当每个小检测区域中所有像素点的边缘图平均数值大于预设的阈值则为有车道线，小于预设的阈值则为无车道线，即检测区域里找不到车道线。预设的阈值可以通过经验得到，也可以通过机器学习的方法得到。当当前帧没有获取到车道线时，当前帧的下一帧在确定初始车道线检测区域时是依据当前帧的前一帧获取到的车道线的位置在边缘图中确定初始车道线检测区域，直到启动初始化/更新模式。
[0109]此外，对于虚线的情况，有些虚线比较短，短到不在初始车道线检测区域里，因此不能单纯以一个视频帧图像来判断有没有车道线，故通过检测到连续超过预设的帧数找不到车道线时，才判定为没有车道线，启动初始化/更新模式。
[0110]S208、重新确定初始车道线检测区域，步骤S203重新检测车道线。
[0111]当用在车道偏离预警时、换道时，发出警告之后，可以自动发出更新指令以重新搜寻和追踪新的车道。重新确定初始车道线检测区域，是指根据初始帧的车道线的位置，在边缘图中确定当前帧的左、右初始车道线检测区域。
[0112]S209、根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
[0113]实施例三
[0114]如图8所示为本发明优选实施例提供的卷积核训练方法的流程图，该方法包括:
[0115]S301、获取训练车道的样本视频图像集。
[0116]具体地，该车道视频集中应包含不同光照，不同天气条件，不同车道类型(包括不同完整度)的车道视频。
[0117]S302、对样本视频图像进行边缘检测，得到样本边缘图。
[0118]具体地，以采用Sobel为卷积核得到的车道线检测上的点为中心，提取长为1( 一般不大于车道的像素宽度)，宽为w ( —般取3到4个像素点，以图像的分辨率为依据进行选择，分辨率越高所取的像素点越多)。
[0119]S303、对样本边缘图进行人工筛选,并进行归一化处理。
[0120]具体地，对步骤S302得到的样本边缘图进行人工筛选，去除检测错误的结果，并加入一定数量漏检的样本，对筛选后的样本进行归一化处理。可以采用以下归一化方法包括但不限于:(I)每个像素点值除以255 ; (2)减去样本区域像素点值的均值。
[0121]S304、对样本归一化的像素点值展开得到的向量IXw进行聚类。
[0122]其中，I为长，w为宽。举例来说，可以采用K-means，自组织神经网络等聚类方法对样本归一化的像素点值展开得到的向量(向量维度为IXw)进行聚类。
[0123]S305、将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核。
[0124]其中，聚类中心的数目可以采用贝叶斯信息准则进行估计。
[0125]本发明实施例，通过对半自动标定得到的车道边缘图进行非监督学习，获取不同光照条件、不同天气条件以及不同车道类型(包括不同完整度)下的多个边缘卷积核，替换传统的卷积核，能提高检测效果。
[0126]实施例四
[0127]如图9所示为本发明实施例提供的车道线追踪系统的模块结构图，该系统包括:
[0128]视频采集模块10，用于获取车辆前方视频帧图像。
[0129]边缘检测模块20，用于根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对视频帧图像进行横向边缘检测，得到边缘图。
[0130]具体地，首先把从视频采集设备采集的彩色图像转换成灰度图，然后通过训练好的边缘卷积核进行横向边缘检测，对于车道左边缘的检测，使用卷积核Ku，KL2, L, KLn,而对于车道右边缘的检测，使用以下卷积核KK1，KE2, L, IV。采用以上卷积核与灰度图进行卷积后，取所有卷积核在该像素点卷积的最大值作为该点的数值，例如:灰度图1经过左边缘卷积核卷积后的值为L = max(I*Ku，I*KL2, L, I*Kj，其中max取矩阵中逐点最大值；接着把每一点的数值归一化，得到一幅边缘图。边缘图可以点阵图表示，或以矩阵表示，每个元素是O至I之间的实数，代表该点属于边缘的概率。其中，归一化可以是以线性函数转换y =(x-MinValue)/ (MaxValue-MinValue),也可以用非线性函数来先排除数值小的边缘,此处可使用所有能进行归一化的方法对数值进行归一化处理。
[0131]车道线获取模块30，用于根据前一帧获取的车道线的位置和边缘图获取当前帧的车道线；
[0132]横向位置输出模块40，用于根据当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
[0133]请参阅图10所示的边缘检测模块20的模块结构图，边缘检测模块20进一步包括灰度图获取单元201、卷积单元202、数值获取单元203和归一化单元204，其中:
[0134]灰度图获取单元201，用于获取帧图像的灰度图；
[0135]卷积单元202，用于分别使用所有边缘卷积核与灰度图进行卷积；
[0136]数值获取单元203，用于取所有卷积核在该像素点卷积的最大值作为该点的数值；
[0137]归一化单元204，用于将每一个像素点的数值归一化，得到边缘图。
[0138]需要说明的是，上述实施例一中的技术特征在本实施例四中的系统同样对应适用，这里不再重述。
[0139]实施例五
[0140]如图11为本发明优选实施例提供的车道线追踪系统的模块结构图，本实施例在实施例四的基础上，增加了学习模块50、检测区域扩大模块60和重新初始化模块70，其中:
[0141]学习模块50，用于事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核。
[0142]请参阅图12，学习模块50包括:
[0143]样本图像获取单元501，用于获取训练车道的样本视频图像集；
[0144]样本边缘检测单元502，用于对样本视频图像进行边缘检测，得到样本边缘图；
[0145]归一化单元503，用于对样本边缘图进行人工筛选，并进行归一化处理；
[0146]聚类单元504，用于对样本归一化的像素点值展开得到的向量IXw进行聚类，其中，I为长，W为宽；
[0147]变换单元505，用于将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核。
[0148]具体地，样本图像获取单元501获取的车道视频集中应包含不同光照，不同天气条件，不同车道类型(包括不同完整度)的车道视频。样本边缘检测单元502以采用Sobel为卷积核得到的车道线检测上的点为中心，提取长为I ( 一般不大于车道的像素宽度)，宽为w( —般取3到4个像素点，以图像的分辨率为依据进行选择，分辨率越高所取的像素点越多)。归一化单元503得到的样本边缘图进行人工筛选，去除检测错误的结果，并加入一定数量漏检的样本，对筛选后的样本进行归一化处理。可以采用以下归一化方法包括但不限于:(1)每个像素点值除以255 ; (2)减去样本区域像素点值的均值。聚类单元504对样本归一化的像素点值展开得到的向量IXw进行聚类。其中，I为长，w为宽。举例来说，可以采用K-means，自组织神经网络等聚类方法对样本归一化的像素点值展开得到的向量(向量维度为IXw)进行聚类。变换单元505将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核。其中，聚类中心的数目可以采用贝叶斯信息准则进行估计。检测区域扩大模块60，用于当检测到当前帧的车道线位于车辆前方图像的中间区域时，扩大每个小检测区域，其中，中间区域的宽度小于等于车辆前方图像宽度的1/2。
[0149]重新初始化模块70，用于当检测到车道宽度突变或者连续超过预设的帧数找不到车道线后，重新确定初始车道线检测区域。
[0150]具体地，我们假设车道的宽度短时间内不会发生较大的变化。计算当前帧前若干帧(如100帧)的车道宽度平均值。其中，通过在线更新的方法计算宽度平均值，从而提高运算速度。即通过前一帧对应的若干帧的车道宽度之和减去时间最早的一帧的车道宽度再加上前一帧的车道宽度，然后除以帧数量(如100)即得到当前帧前若干帧的宽度均值wavg。如果当前帧的宽度W>r X wavg，则判定为车道宽度突变，进入初始化/更新模式。参数r大于1，比如可取值为1.5。
[0151]具体地，在实际应用上，路况会很复杂，车辆前方图像中可能出现没有车道线的情况，因此需要增加一个判断车辆前方图像中有没有车道线的步骤，具体可以通过设定一个阈值来区分有车道线和无车道线两种情况，当每个小检测区域中所有像素点的边缘图平均数值大于预设的阈值则为有车道线，小于预设的阈值则为无车道线，即检测区域里找不到车道线。预设的阈值可以通过经验得到，也可以通过机器学习的方法得到。当当前帧没有获取到车道线时，当前帧的下一帧在确定初始车道线检测区域时是依据当前帧的前一帧获取到的车道线的位置在边缘图中确定初始车道线检测区域，直到启动初始化/更新模式。
[0152]此外，对于虚线的情况，有些虚线比较短，短到不在初始车道线检测区域里，因此不能单纯以一个视频帧图像来判断有没有车道线，故通过检测到连续超过预设的帧数找不到车道线时，才判定为没有车道线，启动初始化/更新模式。
[0153]本发明实施例，通过对半自动标定得到的车道边缘图进行非监督学习，获取不同光照条件、不同天气条件以及不同车道类型(包括不同完整度)下的多个边缘卷积核，替换传统的卷积核，能提高检测效果。此外，还充分考虑路况的复杂性，调整每个小检测区域或者重新确定初始车道线，进一步提高检测效果。
[0154]需要说明的是，上述实施例二中的技术特征在本实施例四中的系统同样对应适用，这里不再重述。
[0155]本发明提供的车道线追踪方法及系统，通过对半自动化标定得到的车道边缘图像进行非监督学习，获取不同光照条件、天气条件、以及不同的车道线类型(包括清晰及破损程度)下的多个边缘卷积核。再利用多个边缘卷积核对图像进行卷积，取多个卷积核的最大值作为边缘检测的结果。使得车道边缘检测在不同光照、天气条件、不同的车道类型下均有良好的检测效果，从而提闻车道线追踪的精确度。
[0156]以上参照【专利附图】
【附图说明】了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。
【权利要求】
1.一种车道线追踪方法，其特征在于，该方法包括: 获取车辆前方视频帧图像； 根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图； 根据前一帧获取的车道线的位置和所述边缘图获取当前帧的车道线； 根据所述当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
2.根据权利要求1所述的车道线追踪方法，其特征在于，事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核包括: 获取训练车道的样本视频图像集； 对所述样本视频图像进行边缘检测，得到样本边缘图； 对所述样本边缘图进行人工筛选，并进行归一化处理； 对样本归一化的像素点值展开得到的向量IXw进行聚类； 将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核； 其中，I为长，W为宽。
3.根据权利要求1所述的车道线追踪方法，其特征在于，所述根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对帧图像进行横向边缘检测，得到边缘图包括: 获取所述帧图像的灰度图； 分别使用所有边缘卷积核与所述灰度图进行卷积； 取所有卷积核在该像素点卷积的最大值作为该点的数值； 将每一个像素点的数值归一化，得到边缘图。
4.根据权利要求1所述的车道线追踪方法，其特征在于，所述根据前一帧获取的车道线的位置和所述边缘图获取当前帧的车道线包括: 根据前一帧获取的车道线的位置，在所述边缘图中确定当前帧的左、右初始车道线检测区域； 将所述左、右初始车道线检测区域分别划分为至少两个小检测区域； 根据每个小检测区域的边缘图数值和每个小检测区域的像素点的总数，确定精确车道线检测区域； 从所述精确车道线检测区域中获取当前帧的车道线。
5.根据权利要求4所述的车道线追踪方法，其特征在于， 所述初始车道线检测区域为前一帧获取的车道线的两端点分别在上边和下边上的平行四边形； 所述小检测区域为将所述初始车道线检测区域的上边和下边分别分割为N个小线段，将所述上边的小线段分别与所述下边的小线段相连形成NXN个面积相等的平行四边形，其中，N大于2。
6.根据权利要求5所述的车道线追踪方法，其特征在于，所述从所述精确车道线检测区域中获取当前帧的车道线包括:将确定为精确车道线检测区域的小检测区域的上下边的中线作为当前帧的车道线的边缘线。
7.根据权利要求4-6任意一项权利要求所述的车道线追踪方法，其特征在于，所述方法还包括: 当检测到所述当前帧的车道线位于所述车辆前方图像的中间区域时，扩大所述每个小检测区域，所述中间区域的宽度小于等于所述车辆前方图像宽度的1/2 ； 当检测到车道宽度突变或者连续超过预设的帧数找不到车道线后，重新确定左、右初始车道线检测区域。
8.一种车道线追踪系统，其特征在于，该系统包括: 视频采集模块，用于获取车辆前方视频帧图像； 边缘检测模块，用于根据事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核，对所述视频帧图像进行横向边缘检测，得到边缘图； 车道线获取模块，用于根据前一帧获取的车道线的位置和所述边缘图获取当前帧的车道线； 横向位置输出模块，用于根据所述当前帧的车道线的位置，计算并输出当前车辆相对追踪车道的横向位置。
9.根据权利要求8所述的车道线追踪系统，其特征在于，所述系统还包括学习模块，用于事先采用半自动化标定车道边缘图像进行非监督学习得到的至少两个边缘卷积核；所述学习模块包括: 样本图像获取单元， 用于获取训练车道的样本视频图像集； 样本边缘检测单元，用于对所述样本视频图像进行边缘检测，得到样本边缘图； 归一化单元，用于对所述样本边缘图进行人工筛选，并进行归一化处理； 聚类单元，用于对样本归一化的像素点值展开得到的向量IXw进行聚类，其中，I为长，W为宽； 变换单元，用于将各个聚类中心点的向量变换为对应的IXw的矩阵作为卷积核。
10.根据权利要求8所述的车道线追踪系统，其特征在于，所述边缘检测模块包括: 灰度图获取单元，用于获取所述帧图像的灰度图； 卷积单元，用于分别使用所有边缘卷积核与所述灰度图进行卷积； 数值获取单元，用于取所有卷积核在该像素点卷积的最大值作为该点的数值； 归一化单元，用于将每一个像素点的数值归一化，得到边缘图。
【文档编号】G06T7/00GK104036253SQ201410280085
【公开日】2014年9月10日 申请日期:2014年6月20日 优先权日:2014年6月20日
【发明者】覃剑钊, 胡景强, 丁宁, 阎镜予, 黄卜夫 申请人:智慧城市系统服务（中国）有限公司
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1