一种基于卷积神经网络的车道边缘检测方法与流程

本发明涉及驾驶辅助控制领域，尤其是涉及一种基于卷积神经网络的车道边缘检测方法。

背景技术：

车道边缘检测是车道偏离预警系统(ldw)以及车道保持辅助系统(lka)的核心算法，其准确性直接影响相关adas(advanceddriverassistantsystems，高级驾驶辅助)系统的性能。现有视觉算法大部分依据图像纹理信息提取车道线相关特征，并按照特定车道线模型拟合相应特征。此类算法过度依赖于特征提取的阈值以及车道线模型的设置，对光照变化、阴影以及道路积水等情况效果较差，并且此类功能在无车道线的公路无法正常使用。也有部分双目视觉算法利用视差信息计算道路高度以获取路肩、隔离带等道路边界信息，结合图像纹理特征，可识别包括路肩、车道线在内的大部分车道边界，但此类算法运算量极大、实时性差，无法在现有嵌入式系统中实时实现。

技术实现要素：

本发明主要是解决现有技术所存在的对环境要求较高、适用面窄、运算量大等的技术问题，提供一种准确率高且实时性好，自适应性强，适用场景广的基于卷积神经网络的车道边缘检测方法。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种基于卷积神经网络的车道边缘检测方法，包括以下步骤：

s001、从视觉系统输入原始图片；

s002、对图像进行预处理，预处理包括除畸变、平滑处理等操作；

s003、对预处理后的图像划定车道边缘检测区域，对车道边缘检测区域的图像进行逆投影变换；车道边缘检测区域是指以车辆纵向中心线为边界，向左右两侧各三米的地面范围，由于视觉系统的盲区相机相对车身静止，拍摄角度固定，因此可以在图像上直接划定车道边缘检测区域；逆投影变换为通过映射表将图像坐标系中的点(单位为像素)转换为地面坐标系的点(单位为米)，映射表可以通过相机参数标定获得；

s004、将逆投影变换后的左右车道边缘检测区域范围进行尺寸归一化，并输入到训练好的卷积神经网络中；

s005、输出结果，即为对应左右车道边缘的位置信息。

如果相机安装角度近似垂直于地面，可省略逆投影变换的步骤。

作为优选，基于卷积神经网络的车道边缘检测方法还包括卷积神经网络建立训练过程，具体包括以下步骤：

s101、建立原始卷积神经网络；

s102、建立车道边缘数据库；

s103、利用车道边缘数据库训练原始神经网络。

作为优选，步骤s101中，原始卷积神经网络包括依次连接的输入层、卷积层一、卷积层二、池化层一、卷积层三、卷积层四、池化层二、卷积层五、卷积层六、池化层三、全连接层一、全连接层二和全连接层三；

所述输入层的输入为rgb格式图像，大小为64*64*3；前两个64分别指输入图像的长度和宽度(单位均为像素)，3指rgb三个颜色通道；

所述各个卷积层均采用3*3尺寸的卷积滑窗，以及“0”像素值边缘填充，步长为1，卷积层一和卷积层二的深度为64，卷积层三和卷积层四的深度为128，卷积层五和卷积层六的深度为256；

所述各个池化层均采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2；

所述全连接层一和全连接层二为防止模型过拟合的dropout层，自动丢弃该全连接层内一定比例的神经元，参数为0.5；全连接层三为用于障碍物类别检测的分类器，输出为64维向量，即该区域属于对应障碍物种类的概率。

作为优选，每个卷积层后设有激活层，激活层所使用的激活方程为修正线性单元，表达式为：max(0,x)，x为该神经元的输入。

作为优选，步骤s102具体为：采集不同地点、天候、天气的车道边缘数据图像，采集量不小于10万张，对图像的车道边缘检测区域进行逆投影变换，对逆投影变换后的图像中的车道边缘位置进行人工筛选并标定数据样本，训练样本标签内容为车道边缘靠近车辆前端的起始位置。

作为优选，所述步骤s103中，训练过程采用基于迷你批量方式的梯度下降方法，即每个循环内，基于反相递推的方法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成，softmax损失计算公式为：

其中，zj为输出向量的每个元素；用户可设置参数为迷你批量样本大小n、学习速率lr、权重衰退系数wd以及动量系数m。

作为优选，在训练之前，对训练样本进行镜像、拉伸、旋转、平移和/或缩放运算，这样可以增大训练样本数量。

作为优选，步骤s004中，如需检测曲线，则将左右车道边缘检测区域范围沿车辆纵向运动方向划分为若干区域并分别输入至卷积神经网络中，通过多段线拟合获得相应曲线检测结果。

作为优选，步骤s005之后，根据adas系统需求，将输出结果转化为相应的系统输入，从而让检测结果直接为adas系统服务。

本发明带来的实质性效果是，无需要耗费大量时间进行车道边缘特征算子设计即可适用于各种车道边缘(包括：车道线(虚线、实线、双黄线)以及隔离带、护栏、路肩等)检测；算法应用灵活，适用的车道边缘检测类别可通过添加、删减相应类别的训练样本来调节，辅助以卷积神经网络结构的微调以保证实时性；相比于已有算法此类方法准确率高且实时性好，自适应性强，适用场景广，可应用于前视、盲区以及后视系统中的车道边缘检测；检测结果不仅可应用于车道辅助、车道偏离预警，还可应用于部分半自动驾驶系统中。

附图说明

图1是本发明的一种基于卷积神经网络的车道边缘检测方法流程图；

图2是本发明的一种卷积神经网络架构图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种基于卷积神经网络的车道边缘检测方法，如图1所示，包括以下步骤：

s001、从视觉系统输入原始图片；

s002、对图像进行预处理，预处理包括除畸变、平滑处理等操作；

s003、对预处理后的图像划定车道边缘检测区域，根据相机标定的内外参数对车道边缘检测区域的图像进行逆投影变换；车道边缘检测区域是指以车辆纵向中心线为边界，向左右两侧各三米的地面范围，由于视觉系统的盲区相机相对车身静止，拍摄角度固定，因此可以在图像上直接划定车道边缘检测区域；逆投影变换为通过映射表将图像坐标系中的点(单位为像素)转换为地面坐标系的点(单位为米)，映射表可以通过相机参数标定获得；

s004、将逆投影变换后的左右车道边缘检测区域范围进行尺寸归一化，并输入到训练好的卷积神经网络中；如需检测曲线，则将左右车道边缘检测区域范围沿车辆纵向运动方向划分为若干区域并分别输入至卷积神经网络中，通过多段线拟合获得相应曲线检测结果；

s005、输出结果，即为对应左右车道边缘的位置信息；之后可以用kalman滤波跟踪检测出的车道线位置；

s006、根据adas系统需求，将输出结果转化为相应的系统输入，从而让检测结果直接为adas系统服务。

如果相机安装角度近似垂直于地面，可省略逆投影变换的步骤。

基于卷积神经网络的车道边缘检测方法还包括卷积神经网络建立训练过程，具体包括以下步骤：

s101、建立原始卷积神经网络；

s102、建立车道边缘数据库；

s103、利用车道边缘数据库训练原始神经网络。

步骤s101中，原始卷积神经网络包括依次连接的输入层、卷积层一、卷积层二、池化层一、卷积层三、卷积层四、池化层二、卷积层五、卷积层六、池化层三、全连接层一、全连接层二和全连接层三；

所述输入层的输入为rgb格式图像，大小为64*64*3；前两个64分别指输入图像的长度和宽度(单位均为像素)，3指rgb三个颜色通道；

所述各个卷积层均采用3*3尺寸的卷积滑窗，以及“0”像素值边缘填充，步长为1，卷积层一和卷积层二的深度为64，卷积层三和卷积层四的深度为128，卷积层五和卷积层六的深度为256；

所述各个池化层均采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2；

所述全连接层一和全连接层二为防止模型过拟合的dropout层，自动丢弃该全连接层内一定比例的神经元，参数为0.5；全连接层三为用于障碍物类别检测的分类器，输出为64维向量，即该区域属于对应障碍物种类的概率。

每个卷积层后设有激活层，激活层所使用的激活方程为修正线性单元，表达式为：max(0,x)，x为该神经元的输入。

步骤s102具体为：采集不同地点、天候、天气的车道边缘数据图像，采集量不小于10万张，对图像的车道边缘检测区域进行逆投影变换，对逆投影变换后的图像中的车道边缘位置进行人工筛选并标定数据样本，训练样本标签内容为车道边缘靠近车辆前端的起始位置。

所述步骤s103中，在训练之前，对训练样本进行镜像、拉伸、旋转、平移和/或缩放运算，这样可以增大训练样本数量。训练过程采用基于迷你批量方式的梯度下降方法，即每个循环内，基于反相递推的方法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成，softmax损失计算公式为：

其中，zj为输出向量的每个元素；用户可设置参数为迷你批量样本大小n、学习速率lr、权重衰退系数wd以及动量系数m。

本方案能够有效识别出的车道边缘包括：车道线(虚线、实线、双黄线)以及隔离带、护栏、路肩等。此检测方法准确率高且实时性好，自适应性强，适用场景广，可应用于前视、盲区以及后视系统中的车道边缘检测。检测结果可应用于车道辅助、车道偏离预警以及半自动驾驶系统中。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了卷积神经网络、逆投影变换、车道边缘等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。