自动驾驶中基于前向摄像头的道路标线提取方法
【技术领域】
[0001]本发明涉及自动驾驶行业的交通信息检测领域，具体涉及一种自动驾驶中基于前向摄像头的道路标线提取方法。
【背景技术】
[0002]随着计算机科学和机器人技术的发展，自动驾驶车辆在军事、民用和科学研究等诸多方面得到了广泛的应用，它集中了结构学、电子学、控制论和人工智能等多学科的最新研究成果，具有广阔的应用前景。
[0003]能够实时检测到当前道路的行驶环境，是自动驾驶、车辆自主行驶技术的核心功能，而针对车道线、路面交通标志等道路标线的实时提取，又是构成安全、智能行驶环境的重要前提。
[0004]现阶段基于摄像头的道路标线提取方法大多数对影像采集环境有较高的要求，比如采集到的影像中可能仅包含当前车辆行驶的道路部分，一旦在复杂的城市交通环境中进行应用，极易受到其他车辆车体、道路两侧树木阴影等环境因素的干扰，无法得到准确的提取结果。
[0005]有实用价值的车辆自动驾驶道路标线提取方法，必须同时具备实时性、鲁棒性、实用性条件，否则在具体应用过程中，会受到极大的限制，高速、准确、实用的自动驾驶道路标线提取方法在智能交通检测系统中占据着基础的核心地位。
【发明内容】
[0006]针对现阶段技术的不足，本发明的目的是提供一种自动驾驶中基于前向摄像头的道路标线提取方法，用于满足先进自动驾驶系统对于获取车辆当前行驶环境信息的实时性、鲁棒性、实用性需求。
[0007]—种自动驾驶中基于前向摄像头的道路标线提取方法，其包括以下步骤:
[0008]S1、采集当前前方道路场景视频流，获取当前帧的图像数据，对采集到的每一帧图像数据进行逆透视变换矩阵操作，并结合预先标定参数，得到车辆前方的正射影像视图；
[0009]S2、根据常规车辆行驶方式形成的部分先验知识，约束当前求解道路分割初始化阈值，通过初始分割阈值进行图像分割，得到道路场景的序列图像；
[0010]S3、在经过图像分割之后得到的图像序列之中，通过对车辆前向可通行区域的求取，判别不同于道路场景的部分；
[0011]S4、分别对经过图像阈值分割后的图像序列作AND操作，得到道路平面区域内的二值图，通过分析透视特性、平行关系，进行道路标线的判定与识别。
[0012]本发明提供一种自动驾驶中基于前向摄像头的道路标线提取方法，其通过逆透视变换得到当前车辆前方道路标线的正射视图，并根据常规车辆行驶方式形成的部分先验知识，约束当前求解道路分割初始化阈值，采用初始化阈值对正射影像视图进行分割，判断边缘像素点是否呈现的平行性、投影直方图呈现的等距性，最终提取得到车道线、路面交通标志、车辆停止线、斑马线等道路标线。
[0013]本发明所述道路标线提取方法的执行速率高，能够满足城市环境下路面交通标志的快速检测与提取，通过对投影直方图进行操作，能够降低残缺图像细节对于检测、提取的影响，提高提取方法的鲁棒性。同时增加了少量先验知识的约束，采用近似、分治、降维的技术手段，进一步降低复杂问题的求解难度，合理的降低了提取精度范围，限制部分道路场景子区域的处理，进一步增加了本发明方法的实用性。
【附图说明】
[0014]图1是本发明实施例中所述的自动驾驶中基于前向摄像头的道路标线提取方法的流程框图；
[0015]图2是本发明实施例中所述自动驾驶车辆车载前向相机系统中摄像头安装角度示意图；
[0016]图3是图1中步骤S2的流程框图；
[0017]图4是本发明实施例中基于粗划分区域的图像分割的示意性场景；
[0018]图5是本发明实施例中阈值分割时的摄像头场景示意性图像；
[0019]图6是本发明实施例中进行示意性阈值分割之后所得到的阈值分割序列图像；
[0020]其中a)为当前场景中属于路面较暗部分的像素点分类示意图；b)为当前场景中属于普通路面部分的像素点分类示意图；c)为当前场景中属于道路标线部分的像素点分类示意图；d)为当前场景中属于路面部分受到强光照影响部分的像素点分类示意图；
[0021]图7是图1中步骤S3的流程框图；
[0022]图8是图1中步骤S4的流程框图；
[0023]图9是本发明实施例中由检测到的两侧行道线确定的停止线检测、路面标志检测的兴趣区域示意图。
【具体实施方式】
[0024]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0025]如图1所示，本发明提供一种自动驾驶中基于前向摄像头的道路标线提取方法，其包括以下步骤:
[0026]S1、自动驾驶车辆上前向安装的摄像头实时采集当前前方道路场景视频流，并获取当前帧的图像数据，对摄像头采集到的每一帧场景图像进行逆透视变换矩阵操作，并结合预先标定参数，得到当前运行时车辆前方的碎片化的正射影像视图；
?0027] 所述预先标定参数包括以下三部分参数，摄像头的相机内参数，摄像头安装时距离地面的高度，以及摄像头的相机视场角度。
[0028]如图2所示，图2表示的是摄像头安装参数的示意图，其中摄像头安装时距地高度h，摄像头视场与地面夹角由theta标示;通过对当前摄像头采集的图像应用逆透视变换矩阵，将视角转为鸟瞰形式，即得到当前道路场景的正射影像碎片。
[0029]S2、自动驾驶车辆在正常的、结构化的城市道路中行驶，根据常规车辆行驶方式，可以形成部分先验知识，用于约束当前求解道路分割初始化阈值。如图3所示，具体包括如下子步骤:
[0030]S21、基于粗划分区域的方法标示得到初始路面像素采样区域；
[0031]S22、在每一帧正射碎片图像中，对初始路面像素采样区域进行局部的采样与计算，得到初始的影像分割阈值；
[0032]S23、估计道路与天空分界的消失线的位置；
[0033]S24、在初始分割阈值辅助下，进行图像分割，得到分割后的道路场景的序列图像。
[0034]如图4所示，距离当前自动驾驶车辆前方0.5m范围内，如果未出现任何车辆图像，则可以取得一小块像素的梯度值均衡区域，作为当前道路路面像素点的初始采样区域。
[0035]图4中，矩形ABCD界定为自动驾驶车辆前向摄像头直接拍摄所得到的场景图示，图像左上角点ο为坐标原点，水平向右方向为X轴方向，垂直向下为y轴方向。根据逆透视变换关系，可以将自动驾驶车辆前方0.5m及车辆宽度的视野区域，即图4中浅灰色四边形0PQR，作为默认的初始路面像素采样区域。
[0036]另外，在图4中标记出了估计的道路与天空分界的消失线Line_S的位置，在不改变摄像头安装状态，以及有关道路延伸为平面的先验性假设的条件下，消失线Line_S在摄像头拍摄的场景中不会发生上下位移。消失线Line_S在场景图像ABCD中由线段MN表示，消失线Line_S以下的图像部分即为当前道路场景图像；
[0037]其中，在对消失线Line_S位置的估计运算中，可选地，包括以下3种位置估计运算方式:
[0038]直接在本实施例中设定固定的高度比例值；
[0039]和/或基于天空像素色彩和地面像素色彩的先验信息，计算每行图像像素值的统计方差直方图中的局部极小值；
[0040]和/或基于天空像素色彩的先验信息，通过统计图像中每行的蓝色色彩分量的直方图分布得到。
[0041]通过初始路面像素采样区域可以计算得到初始分割阈值，在初始分割阈值辅助下，根据多类别之间的类间方差方法(OTSU)，和/或KMeans聚类方法，和/或FloodFill运算，对当前道路场景图像中所有像素值进行图像分割，得到分割后的道路场景的序列图像。
[0042]所述序列图像由多张二值图像组成，二值图像由O或I表示每一个像素点的像素值，每一张二值图像则代表不同分类类别中，属于这一个类别的场景像素点的分布，如果某一像素点隶属于此分类类别，则将在序列中这一分类二值图像中标示像素值为I;
[0043]如图5和图6所示，在本实施例中针对图5灰度图进行图像分割处理后，得到阈值分割序列图像，其中:
[0044]a)为当前场景中属于路面较暗部分的像素点分类示意图；
[0045]b)为当前场景中属于普通路面部分的像素点分类示意图；
[0046]c)为当前场景中属于道路标线部分的像素点分类示意图；
[0047]d)为当前场景中属于路面部分受到强光照影响部分的像素点分类示意图。
[0048