一种特殊线型车道线检测方法及系统与流程

本发明涉及一种智能驾驶技术领域，具体涉及一种车道线检测方法及系统。

背景技术：

随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。车道线检测技术是先进驾驶辅助系统的道路场景分析中的重要元素，是自动驾驶技术中一个不可或缺的部分。具体的，车辆的摄像头等传感器可以获取车辆当前所处的环境的视觉图像，采用车道线检测技术对传感器获取的车辆前方或后方道路图像信息进行处理，可以得到图像中的车道线的位置，从而指导车辆的驾驶。正常的车道线通常以多种样式的标记线的形式标记在道路地面上。在道路出现匝道的地方，通常会出现一种特殊线型的车道线，也就是y型线，如图1所示。

现有的车道线检测方法，一类是基于特征的算法，主要是利用颜色、纹理、形状等信息来提取车道线。但是当路面光照发生变化、标志线磨损或者路面出现水渍、阴影等情况时，都将会影响检测效果。一类是基于模型的算法，这种方法首先估计道路模型，然后利用霍夫变换或者其他图像信息确定模型参数，常用的道路模型有直线模型，抛物线模型，三次样条曲线模型等。大量研究发现：直线模型虽然算法简单运行速度快，但是不适合弯曲的车道线检测，应用范围窄；抛物线模型易受到复杂道路环境的影响，鲁棒性不好；三次样条曲线模型虽然检测效果比较好，但是算法复杂计算量大。此外，现有的车道线检测方法不能很好地解决特殊线型如y型线检测问题。

技术实现要素：

有鉴于此，本申请提出了一种车道线检测方法，其特征在于：所述方法包括以下步骤：

步骤s1：获取待检测道路图像；

步骤s2：将所述待检测道路图像输入到车道线检测模型，得到神经网络模型的输出信息，

所述输出信息包括至少两种不同类型车道线的概率；

步骤s3：对所述输出信息进行解析，得到所有预测的车道线；

步骤s4：对所有预测的车道线进行非极大值抑制后处理，得到最终的车道线检测结果。

优选地，所述车道线检测模型的训练方法包括以下步骤：

步骤11：获取道路样本图像，所述道路样本图像标注有正常车道线与y型车道线的位置信息；

步骤12：将所述道路样本图像输入到预先建立的初始神经网络模型；

步骤13：利用所述道路样本图像训练所述初始神经网络模型，得到所述车道线检测模型。

优选地，在步骤12中，可以采用fasterr-cnn作为初始神经网络模型，修改其部分结构后，对其进行微调，得到车道线检测模型。

优选地，在步骤s2中，所述输出信息还包括至少两种不同类型车道线的回归信息。

优选地，在步骤s3中，解析方式如下：(1)在正常车道线的分类预测值中预测此单元是车道线的概率大于正常车道线阈值，且y型车道线的分类预测值中预测此单元是车道线的概率小于y型车道线阈值时，认为此区域内存在正常车道线，同时将正常车道线的回归结果返回；(2)在正常车道线的分类预测值中预测此单元是车道线的概率大于正常车道线阈值，且y型车道线的分类预测值中预测此单元是车道线的概率大于y型车道线阈值时，认为此区域内存在y型车道线，同时将y型车道线的回归结果返回；(3)在正常车道线的分类预测值中预测此单元是车道线的概率小于正常车道线阈值时，认为此单元内不含车道线。

本发明还提供了一种车道线检测系统，其特征在于：所述系统包括：待检测道路图像获取单元、车道线检测模型、预测解析单元、处理单元；

所述系统所述将待检测道路图像获取单元获取的图像输入到所述车道线检测模型，所述车道线检测模型输出神经网络模型的输出信息，述输出信息包括至少两种不同类型车道线的概率；

所述预测解析单元对所述输出信息进行解析，得到所有预测的车道线；

所述处理单元对所有预测的车道线进行非极大值抑制后处理，得到最终的车道线检测结果。

优选地，所述车道线检测模型的训练方法包括以下步骤：

步骤11：获取道路样本图像，所述道路样本图像标注有正常车道线与y型车道线的位置信息；

步骤12：将所述道路样本图像输入到预先建立的初始神经网络模型；

步骤13：利用所述道路样本图像训练所述神经网络模型，得到所述车道线检测模型。

优选地，采用fasterr-cnn作为初始神经网络模型，修改其部分结构后，对其进行微调，得到车道线检测模型。

优选地，所述输出信息还包括至少两种不同类型车道线的回归信息。

优选地，所述预测解析单元解析方式如下：(1)在正常车道线的分类预测值中预测此单元是车道线的概率大于正常车道线阈值，且y型车道线的分类预测值中预测此单元是车道线的概率小于y型车道线阈值时，认为此区域内存在正常车道线，同时将正常车道线的回归结果返回；(2)在正常车道线的分类预测值中预测此单元是车道线的概率大于正常车道线阈值，且y型车道线的分类预测值中预测此单元是车道线的概率大于y型车道线阈值时，认为此区域内存在y型车道线，同时将y型车道线的回归结果返回；(3)在正常车道线的分类预测值中预测此单元是车道线的概率小于正常车道线阈值时，认为此单元内不含车道线。

本发明的发明点在于以下几点，但不限于以下几点：

(1)本发明基于深度卷积神经网络，将车道线检测形式化为正常车道线和y型线两种类型的检测，直接用两条线联合表示y型线，进行通过分支分离，一个分支负责预测正常的线型，一个分支专注预测y型线，可以很好的解决y型线的检测问题；在这里，分支分离与深度卷积神经网络处于解决y型线检测识别的目的相互配合，不是两者的简单叠加。

(2)本发明通过将在对象检测领域取得非常好的结果的卷积神经网络方法引入车道线检测中，并且对其进行优化，既可以有效地解决多种路面状况下车道线检测鲁棒性差的问题，又可以实现对特殊线型的检测，与传统方法相比有很大进步。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为正常的车道线与特殊型线y型线的示意图；

图2为本申请实施例中一种特殊线型车道线检测模型的训练方法的流程图；

图3为本申请实施例中一种特殊线型车道线检测方法的流程图；

图4为本申请实施例一种可能的实现方式的算法框架。

具体实施例

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

本申请实例提供了一种特殊线型车道线检测模型的训练方法和基于该特殊线型车道线检测模型的特殊线型车道线检测方法。上述特殊线型车道线检测模型以及特殊线型车道线检测方法，可以应用于终端、服务器或者二者的结合。其中，终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如，wi-fi、lan、蜂窝、同轴电缆等)实现与服务器交互的任何用户设备，包括但不限于：现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本申请实施例中服务器可以是现有的、正在研发的或将来研发的、能够向用户提供信息推荐的应用服务的设备的一个实例。本申请的实施方式在此方面不受任何限制。

下面结合附图对本申请实施例的具体实现方式进行介绍。

首先，对本申请实施例中提供的一种特殊线型车道线检测模型的训练方法的具体实现方式进行介绍。

图2所示为本申请实例提供的一种特殊线型车道线检测模型的训练方法的流程图，应用于自动驾驶领域，参见图2，该方法包括：

步骤201：获取道路样本图像，所述道路样本图像标注有正常车道线与y型车道线的位置信息。

道路样本图像可以视为用于训练特殊线型车道线检测模型的样本图像。本申请实施例中，训练模型采用了有监督的训练方式，因而，道路样本图像中标注有车道线位置信息。通过标注车道线位置信息，可以加快模型训练的速率，提高模型检测的准确率。

其中，车道线位置是指由车道标识线所标记出的。车道线位置在数学上，可以理解为一条曲线，可以通过多种形式进行表征。对于一条曲线，通常可以采用多项式拟合函数、坐标等方式进行表示。在本申请实施例的一些可能的实现方式中，采用一个向量来表示车道线位置，这个向量中的数值表示车道线上均匀分布的点的坐标。其中，对正常的车道线而言，这个向量的维度为n；而对y型车道线而言，这个向量的长度为m，其中m＝2*n，这里我们将y型线表示成两条正常车道线，特点是其下端共线的部分数值是相等的。在本申请实施例的一些可能的实现方式也可以采用其他方式进行标注。

在本申请实施例的一些可能的实现方式中，我们所处理的图像可以是由位于车身的前部或后部等位置的摄像头所获取到的道路图像，如图1所示，这里是由车辆的前部摄像头获取到的图像，图像的下部即为当前驾驶的车辆。倒车的时候，要处理的图像则为通过后部的摄像头获取的图像，这种情况下图像的上部为当前驾驶的车辆的位置。

在本申请实施例中，可以预先建立样本库，从样本库中获取样本图像。其中，样本库可以采用公开的数据集中的图像，也可以从车辆的存储设备中获取车辆的摄像头所采集的图像，对图像中的车位区域进行标注，从而建立样本库。在有些情况下，也可以直接获取样本图像，例如，直接获取车辆的摄像头实时采集的图像，对图像的车位区域进行标注，将标注后的图像作为样本图像。

步骤202：将所述道路图像输入到预先建立的初始神经网络模型。

在获取到道路样本图像后，可以将道路样本图像输入到预先建立的初始神经网络模型，以便利用道路样本图像对初始神经网络模型进行训练。

在本申请实施例的一些可能的实现方式中，在将道路样本图像输入预先建立的初始神经网络模型之前，还可以将道路样本图像缩放至预设尺寸。如此，可以使得初始神经网络模型对同一尺寸的道路样本图像进行学习，从而能够更快速、更准确地对道路样本进行处理，提高模型的训练效率。在本申请实施例的另外一些可能的实现方式中，所述预先建立的初始神经网络模型中可能包含空间金字塔池化层，可以适应任意大小的图片，则可以不对道路样本图像进行缩放，以避免图像信息的损失。

步骤203：利用所述样本图像训练所述神经网络模型，得到特殊线型车道线检测模型。

为了便于理解，首先对神经网络模型的概念进行简单介绍。神经网络是由大量的、简单的处理单元广泛地互相连接而形成的网络系统，它是一个高度复杂的非线性动力学习系统，具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。神经网络模型即为基于神经网络建立的一种数学模型，基于神经网络模型的强大的学习能力，神经网络模型在许多领域都得到广泛的应用。

其中，在图像处理和模式识别领域，常常采用卷积神经网络模型进行模式识别。由于卷积神经网络模型中的卷积层局部连接以及权值共享的特性，使得需要训练的参数大大减少，简化了网络模型，提高了训练效率。

具体到本实施例，可以采用深度卷积神经网络作为初始神经网络模型，利用道路样本图像，对神经网络模型进行训练。除了自行设计新的深度卷积神经网络，也可以采用迁移学习的方法，利用已有的在对象检测领域取得较好结果的深度卷积神经网络，如fasterr-cnn等，对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改，并直接采用原有网络模型中已有的已经充分训练的参数，作为初始神经网络模型，采用微调的方法，利用道路样本图像，对神经网络进行训练。具体为初始神经网络模型中的卷积层充分学习道路样本图像中的车道线位置的特征，根据学习到的道路样本图像的相关特征，初始神经网络模型中的全连接层可以对相关特征进行映射，得到车道线位置的识别结果，将车道线位置的识别结果与道路样本图像预先标注的车道线位置进行比较，可以对初始神经网络模型的参数进行优化，当初始神经网络模型经过较多训练样本的迭代训练后，可以获得特殊线型车道线检测模型。

由上可知，本申请提供了一种特殊线型车道线检测模型的训练方法。获取道路样本图像，道路样本图像中标注有车道线位置，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行训练或者微调，得到特殊线型车道线检测模型。采用标注有车道线位置的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的特殊线型车道线检测模型在对车道线位置进行预测时具有较高的准确度和效率。

基于上述实施例中提供的一种特殊线型车道线检测模型的训练方法，本申请实施例中还提供了一种基于所述特殊线型车道线检测模型的特殊线型车道线检测方法。

接下来，结合附图对本申请实施例中提供的一种特殊线型车道线检测方法进行详细说明。

图3为本申请实施例中提供的一种特殊线型车道线检测方法的流程图，该方法应用于自动驾驶领域，参见图3，该方法包括：

步骤301：获取当前道路图像。

当前道路图像指的是车辆当前所处位置前方、后方或其他位置的图像。在本实施例中，当前道路图像为需要检测车道线位置的图像。

可以理解，当前道路图像可以是实时获取的道路图像。在本申请实施例的一些可能的实现方式中，可以对车辆的前视或后视摄像头拍摄到的图像进行一些必要的操作，将得到的道路图像作为当前道路图像。在一些可能的实现方式中，也可能使用其他方式获取车辆所在位置的道路图像。

在一些情况下，当前道路图像也可以是接收到的其他设备所发送的道路图像。例如，当车辆的摄像头出现故障时，车上的乘客可以通过手机等设备拍摄当前所在位置的道路图像，如此，可以从用户的设备上获取当前道路图像，以便通过该图像进行车道线位置检测。

以上仅为获取当前道路图像的一些具体示例，本申请对当前道路图像的获取方式不做限定，可以根据需求采取不同的实现方式。

步骤302：将当前道路图像输入到特殊线型车道线检测模型，得到神经网络模型的输出信息。

所述特殊线型车道线检测模型是根据上述实施例中提供的特殊线型车道线检测模型的训练方法生成的特殊线型车道线检测模型。

将当前道路图像输入到特殊线型车道线检测模型后，特殊线型车道线检测模型可以通过对当前道路图像进行特征提取，并对提取到的特征进行映射，得到表征车道线的向量，该向量即为特殊线型车道线检测模型的输出结果。

这里对输出结果的一种可能的形式进行说明。算法的框架如图4所示。神经网络会将整个图像划分为若干个单元，而每个单元会输出四组向量，其中cls_norm对应的正常车道线的分类预测值，维度为2，第一维cls_norm[0]对应的是该单元不是正常车道线的概率，cls_norm[1]对应的是该单元是车道线的概率。reg_norm对应的是正常车道线的回归，维度是n,我们用这样的n维向量表示一条车道线。cls_ylane和cls_norm类似，维度为2维，表示y型线的分类概率；reg_ylane和reg_norm类似，是y型线的回归结果，维度是m，这里我们采用m＝2*n，将y型线表示成两条正常车道线，特点是其下端共线的部分数值是相等的。

步骤303：预测阶段，对各单元输出的思维向量进行解析，得到所有车道线。

在步骤302中我们通过当前道路图像输入到特殊线型车道线检测模型，得到正常车道线和y型车道线的预测和回归信息。在一些实施例中，预测的结果指是或者不是，例如预测结果为是正常车道线并可以给出相应的概率；回归信息是指预测的目标的位置，例如y型车道线的位置。

在预测阶段，我们通过对逐个单元输出的四组向量进行解析来得到图中所有的车道线。例如对于单元(h,w)，解析如下：

也就是说，(1)在正常车道线的分类预测值中预测此单元是车道线的概率大于正常车道线阈值，且y型车道线的分类预测值中预测此单元是车道线的概率小于y型车道线阈值时，认为此区域内存在正常车道线，同时将正常车道线的回归结果返回；(2)在正常车道线的分类预测值中预测此单元是车道线的概率大于正常车道线阈值，且y型车道线的分类预测值中预测此单元是车道线的概率大于y型车道线阈值时，认为此区域内存在y型车道线，同时将y型车道线的回归结果返回；(3)在正常车道线的分类预测值中预测此单元是车道线的概率小于正常车道线阈值时，认为此单元内不含车道线。

经过这样的解析后，我们会得到每个单元预测的车道线结果。

步骤304：对所有预测的车道线进行非极大值抑制后处理，得到最终的车道线检测结果。

在经过步骤303的预测解析处理后，对每个单元我们获得了一个车道线的预测结果，但是还有以下问题没有解决：(1)这些单元可能会产生重叠的情况，(2)y型车道线的下部与正常车道线相同，可能会被错误预测为正常车道线。为了解决以上问题，我们引入非极大值抑制的方法对之前的结果进行处理，抑制那些冗余以及y型线被预测为正常线的单元结果。

首先，将所有单元结果的分类预测值排序，选出最高分及其对应的单元。但y型线的结果与正常车道线的结果相互抑制时，优先保留y型线的结果。之后，遍历其余所有的单元，如果和当前最高分单元的车道线预测结果的重叠面积大于一定阈值，将这个单元的结果删除。最后，从未处理的单元中继续选一个分类预测概率最高的，重复上述过程。

通过上述非极大值抑制方法，我们最终可以得到单独、分离的车道线检测结果。

基于这种方法，我们可以对正常车道线及特殊线型车道线进行检测，大大拓展了应用场景。

由上可知，本申请实施例中提供了一种特殊线型车道线位置的检测方法，通过将当前道路图像输入到预先训练的特殊线型车道线检测模型，基于特殊线型车道线检测模型的输出结果，可以确定当前道路图像中的正常车道线及特殊线型车道线位置。本申请实施例中提供的特殊线型车道线检测方法将y型线当作新的线性,直接用两条线联合表示y型线,进行通过分支分离,一个分支负责预测正常的线型,一个分支专注预测y型线,可以很好的解决y型线的检测问题。并且，该模型是采用海量样本道路图像结合深度学习的方式训练得到，在对车道线位置进行检测时具有较高的准确度和效率。

以上实施例，主要是以卷积神经网络模型作为神经网络模型，进行训练得到特殊线型车道线检测模型，并基于该特殊线型车道线检测模型对当前道路图像中的车道线位置进行检测。而随着机器学习的不断发展，卷积神经网络模型也在不断发展。具体的，基于所要训练的模型的功能以及该模型所要处理的数据，可以采用不同类型的卷积神经网络作为初始神经网络。常见的用于对象检测的卷积神经网络包括r-cnn、fastr-cnn、fasterr-cnn、r-fcn、yolo、yolo9000、ssd、nasnet、maskr-cnn等。在一些可能的实现方式中，可以采用fasterr-cnn作为初始神经网络模型，修改其部分结构后，对其进行微调，得到特殊线型车道线检测模型。在一些可能的实现方式中，可以采用上述提到的其他卷积神经网络，或者采用其他在此领域中取得较好结果的网络。本申请的实施方式在此方面不受任何限制。

由此可见，本申请实施例中提供了一种特殊线型车道线检测模型的训练方法以及特殊线型车道线检测方法。获取道路样本图像，道路样本图像中标注有车道线位置，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行微调，得到特殊线型车道线检测模型。采用标注有车道线位置的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的特殊线型车道线检测模型在对车道线位置进行预测时具有较高的准确度和效率。通过将当前道路图像输入到预先训练的特殊线型车道线检测模型，基于特殊线型车道线检测模型的输出结果，可以确定当前道路图像中的正常及y型车道线位置。本申请实施例中提供的特殊线型车道线检测方法不需要再利用图像处理技术提取轮廓的结构化信息以使不同模块之间互通。并且，该模型是采用海量样本道路图像结合深度学习的方式训练得到，在对正常及特殊线型车道线进行检测时具有较高的准确度和效率。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例中所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。