一种适于无人驾驶的夜间车道标志线视频检测方法与流程

本发明涉及智能交通主动安全领域，尤其是涉及一种适于无人驾驶的夜间车道标志线视频检测方法。

背景技术

随着我国城市经济的快速发展，小汽车拥有量逐年上升，交通安全问题也逐渐显现。据国家统计局的官方数据表明2015年我国发生的交通事故18万余起，其中伤亡人数已经超过25万人，事故的死亡率高达30％。其中由于驾驶员注意力不集中，致使车辆偏离正常行驶车道而导致重大交通伤亡事故的现象屡见不鲜。因此，研究道路标志线检测的主动安全技术尤显重要。

道路检测技术可以用于驾驶辅助系统，同时也是无人驾驶车辆研发过程中的关键技术。目前欧美日已投入研发部分车道检测系统，其中具有代表性的系统如ralph系统、start系统、aurora系统和alvinn系统。在上述系统中，利用不同的道路模型和不同的边界提取技术来进行道路的检测。但是上述检测算法主要适用白天均匀光照场景，算法缺乏对光线变化的适应能力。

而目前我国尚未有专门针对夜间场景进行道路检测的产品。有关于道路检测的研究主要停留在白天均匀光照场景上。由于夜间场景复杂，光照不均匀，路面阴影繁杂，少有关于夜间复杂场景的研究。而无人驾驶车辆不可避免的需要解决在夜间行驶的需求。因此需要研究可靠的夜间道路检测技术，从而提高无人驾驶的安全性和实用性。

并且目前的道路检测算法中建立的感兴趣区域主要采用固定不变的感兴趣区域或采用kalman滤波方法建立自适应感兴趣区域，而感兴趣区域通常为矩形。实际上车道线在图像中呈“八”字形分布，矩形感兴趣区域中存在95％以上的无用面积，同时容易受噪音干扰。近期，国外有研究建立的感兴趣区域为“λ”型。但夜间车道标识线由于照明器单侧布置，左右车道经边缘增强后分布存在差异，感兴趣区域仍有优化空间。对于夜间图像的感兴趣区域的优化，可以提高算法的速度，从而满足无人驾驶车辆的实时性要求。

总的来说，目前我国缺乏针对夜间场景进行道路检测的相关产品，并且现有研究不足以满足无人驾驶技术的发展，缺乏可靠性和实时性。为避免车道偏离导致的安全事故，本发明提出了一种适于无人驾驶的夜间车道标志线视频检测技术。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种适于无人驾驶的夜间车道标志线视频检测方法。

本发明的目的可以通过以下技术方案来实现：

一种适于无人驾驶的夜间车道标志线视频检测方法，包括以下步骤：

1)获取夜间道路图像，并且进行预处理，包括采用中值滤波抑制图像噪声以及采用sobel算子进行道路边缘增强，消除图像中的无用信息；

2)根据预处理后的夜间道路图像生成“八”字形自适应感兴趣区域；

3)在“八”字形自适应感兴趣区域内进行道路边界特征点进行分类，并根据分类结果分别获得左车道感兴趣四边形区域和右车道感兴趣四边形区域；

4)采用改进hough变换拟合识别车道标志线。

所述的步骤2)具体包括以下步骤：

21)建立初始化“八”字形感兴趣区域：

在边缘增强后的首幅图像内设置矩形的初始化区域bi，通过设置波动系数fl扩大初始化区域bi的宽度，在扩大后的初始化区域bi中进行多方向搜索获取道路边界点的端点，在首幅图像内形成初始化“八”字形感兴趣区域；

22)建立“八”字形自适应感兴趣区域：

根据上一幅边缘增强后的夜间道路图像的感兴趣区域ra，采用横向扩大系数扩大ra得到扩大后的区域rb，并且在区域rb中进行多方向搜索获取当前图像中道路边界点的端点。

所述的多方向搜索获取道路边界点的端点具体步骤为：

对于初始化区域内的任一组横向相邻边缘点a和b，若yb-ya≥dmin∩yb-ya≤dmax，则将该两点为道路边界点的端点并划入道路边界点集b中，其中，xa,ya、xb,yb分别为边缘点a和b的像素坐标，dmin和dmax为相邻距离的最小值和最大值。

所述的步骤3)中，进行道路边界特征点进行分类具体为：

对于在左平面的道路边界点：

若f(x,y)∈b∩f(x,y)∈rcl∩sy＞0，则f(x,y)∈blo；

若f(x,y)∈b∩f(x,y)∈rcl∩sy＜0，则f(x,y)∈bli；

对于在右平面的道路边界点：

若f(x,y)∈b∩f(x,y)∈rcr∩sy＞0，则f(x,y)∈bro；

若f(x,y)∈b∩f(x,y)∈rcr∩sy＜0，则f(x,y)∈bri；

其中，f(x,y)为“八”字形自适应感兴趣区域内的像素点位置，b为道路边界点集，blo为左外边界集，bro为右外边界集，bli为左内边界集，bri为右内边界集，rcl为“八”字形自适应感兴趣区域的左侧部分，rcr为“八”字形自适应感兴趣区域的右侧部分，sy为像素点值经过3×3的纵向sobel算子模板计算得到的值。

所述的步骤4)中，将图像分为左右两个部分，分别识别车道标志线，获取道路的左右边界。

所述的步骤4)中，设定左波动角度afl和右波动角度afr，则左车道的边界与x线brcr的法线角度。

与现有技术相比，本发明具有以下优点：

(1)建立自适应“八”字形感兴趣区域

根据左右车道边界点的分布独立建立四边形感兴趣区域，适用于夜间道路亮度分布不均衡的场景，可以有效规避噪音的干扰，同时大幅减小筛选道路边界点的范围，使处理图像的时间减少。

(2)基于道路边界纹理特征分类车道边界点

发现了道路边界纹理特征，并在建立的“八”字形感兴趣区域上根据该特征将车道边界点分为左外边界集、左内边界集、右外边界集合右内边界集，有助于后续进行车道线识别。

(3)基于改进的hough变换识别道路标志线

在进行hough变换检测道路标志线的过程中，基于建立的“八”字形感兴趣区域中两个四边形侧面的角度，控制左右车道线的搜索角度，从而减少车道线的检测时间。

附图说明

图1为适于无人驾驶的夜间车道标志线视频检测算法流程图。

图2为采集的夜间道路原始图像。

图3为经中值滤波后的夜间道路图像。

图4为sobel算子边缘增强图。

图5为初始化感兴趣区域流程图。

图6为多方向搜索道路边界点端点示意图。图中白色框内区域为矩形初始化区域bi，白色箭头表示搜索方向，密集的白色点是筛选得到的车道边界点，白色圆点表示搜索得到的道路边界点的端点。

图7为初始化感兴趣区域图。图中白色框内区域是根据图5所示的方法建立得到的初始化感兴趣区域。

图8为“八”字形自适应感兴趣区域流程图。

图9为多方向搜索道路边界点端点示意图。图中白色框内区域为将上一张图片的感兴趣区域扩大后的rb。白色箭头表示搜索方向，密集的白色点是筛选得到的车道边界点，白色圆点表示搜索得到的道路边界点的端点。

图10为“八”字形自适应感兴趣区域图。图中白色框内区域是根据图8所示的方法建立得到的“八”字形自适应感兴趣区域。

图11为hough变换坐标系图。图中四边形alblcldl和四边形arbrcrdr分别为形成的左右车道的感兴趣区域。α和β是分别是左、右车道的边界与x轴所成的夹角。

图12为夜间道路标志线检测结果图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明提供一种适于无人驾驶的夜间车道标志线视频检测方法，通过中值滤波和sobel算子对图像进行预处理，接着基于车道线几何特征建立自适应“八”字形感兴趣区域并根据道路边界的纹理特征对边界点进行分类，然后，采用改进的hough变换检测出道路边界。本发明可以进行夜间道路检测，避免发生由于分心驾驶而发生车道偏离导致的交通事故，同时可以为无人驾驶车辆服务，保障出行者的安全，具体步骤为：

步骤1；进行夜间道路检测难点分析：夜间道路检测比白天均匀光照场景下的道路检测更为复杂，主要体现在：

1、夜间道路图像灰度整体较低，提取车道边界点难度大。

2、路面出现交替的光斑，边缘增强后仍存在边缘缺失。

3、夜间图像受车灯影响，近景处的亮度高，远景处亮度低，远景处的车道线边缘易缺失。

4、车辆挡风玻璃容易反光，在图像中形成亮度区域，扩大了区域内像素的灰度值。

步骤2；夜间道路图像预处理：由于夜间图像的复杂性增加了道路检测的难度，使其处理方法区别于白天均匀光照场景下采集图像的处理。首先采用中值滤波抑制图像噪声，其在一定条件下可以克服线性滤波器如均值滤波、最小均方滤波等带来的图像细节模糊问题，有效保护边缘和轮廓信息。同时其在实际运算中不需要图像的统计特征，因此处理速度相对较快，适用于无人驾驶车辆的道路图像预处理。然后基于sobel算子进行道路边缘增强。sobel算子是一种一阶微分算子，能够有效消除图像中大部分无用信息。

步骤3；构建“八”字形自适应感兴趣区域：

首先建立初始化感兴趣区域：输入经过sobel算子边缘增强后的图像并设置矩形初始化区域bi，假定bi内横向相邻边缘点的像素为f(xa,ya)和f(xb,yb)，道路边界集b，相邻最小距离dmin，相邻最大距离dmax，根据内外道路边界点距离特征提取道路边界点。如果yb-ya≥dmin∩yb-ya≤dmax，则f(xa,ya)∈b,f(xb,yb)∈b。在bi内多方向搜索道路边界点的端点。为了考虑尽可能多的道路边界点，设置感兴趣区域波动系数fl，扩大感兴趣区域宽度，形成初始化“八”字形感兴趣区域。

然后建立“八”字形自适应感兴趣区域：基于上一张图片的道路边界端点计算其感兴趣区域ra边界的线性关系，并根据横向扩大系数eh扩大ra得到rb。输入经过sobel算子边缘增强后的新图像，在rb中根据距离特征提取道路边界点。在rb内多方向搜索道路边界点的端点。设置感兴趣区域波动系数fl，扩大感兴趣区域宽度，形成“八”字形自适应感兴趣区域。

步骤4；道路边界点分类：定义在感兴趣区域中的道路边界点集为b，建立的“八”字形感兴趣区域的左侧部分为rcl，右侧部分为rcr，左外边界集blo，左内边界集bli，右外边界集bro，右内边界集bri。假定当前像素f，其在图像中的位置为(x,y)，根据道路边界的纹理特征对各个边界点进行以下分类：对于在左平面的道路边界点。①如果f(x,y)∈b∩f(x,y)∈rcl∩sy＞0，则f(x,y)∈blo。②如果f(x,y)∈b∩f(x,y)∈rcl∩sy＜0，则f(x,y)∈bli。对于在右平面的道路边界点。③如果f(x,y)∈b∩f(x,y)∈rcr∩sy＞0，则f(x,y)∈bro。④如果f(x,y)∈b∩f(x,y)∈rcr∩sy＜0，则f(x,y)∈bri。上述分类方法是在“八”字形自适应感兴趣区域内对道路边界特征点进行的，可以有效规避噪音干扰，满足准确性的要求。

步骤5；道路标志线识别：本文的车道模型选为直线模型，选用改进的hough变换识别车道边界。在hough变换坐标系图中四边形alblcldl和四边形arbrcrdr分别为形成的左右车道的感兴趣区域。假定左侧区域中直线aldl在直角坐标系的线性关系为y＝klox+blo，其法线的角度为直线blcl的线性关系为y＝klix+bli，其法线的角度为且0＜klo≤kli；右侧区域中直线ardr的线性关系为y＝krix+bri，其法线的角度为直线ardr的线性关系为y＝krox+bri，其法线的角度为且kri≤kro＜0。

为了提高计算得效率，提出以下搜索前提：①左车道位于图像的左边平面，右车道位于图像的由半平面。因此在车道检测过程中，将图像分成左右两部分，分别识别道路的左右边界；②假定左、右搜索波动角度为afl和afr，左、右车道的边界与x轴所成的夹角分别为α和β，将α和β的计算范围控制在③在四边形alblcldl感兴趣区域内搜索左车道线，在四边形arbrcrdr感兴趣区域内搜索右车道线，减少车道线检测的时间。

步骤6；算法优化：为了满足无人驾驶车辆的道路检测实用性和安全性，对上述道路检测算法提出了优化措施如下：①当建立的“八”字形感兴趣区域的klo、kli、kri和kro与上一次道路检测对应值差异大于阈值cf，则认为感兴趣区域建立出错。将出错的k设为上一次道路检测的对应值，并利用线性关系扩大感兴趣区域，继续进行后续操作。②当建立的感兴趣区域面积小于阈值sf时，利用线性关系扩大感兴趣区域，继续进行后续操作。③当方向搜索道路边界端点出错时，则认为由于亮度低，sobel算子边缘增强后道路边界点数量过少导致的。将1.2.1改为canny边缘增强，重新进行操作。④当利用hough变化识别道路标志线出错时，认为是由于道路边界点数量过少，无法满足hough变换拟合要求。处理方法同③。