一种车道线实例检测方法和装置与流程

本发明涉及计算机视觉领域，特别涉及一种车道线实例检测方法和装置。

背景技术：

目前，高级辅助驾驶系统(advanceddriverassistancesystems，adas)的一个主要研究点在于提高车辆自身或者车辆行驶的安全性并减少道路事故。智能车辆和无人驾驶车辆有望解决道路安全、交通问题和乘客的舒适性问题。在针对智能车辆或无人车辆的研究任务中，车道线检测是一个复杂且具有挑战性的任务。车道线作为道路的一个主要部分，起到为无人驾驶车辆提供参考、指导安全驾驶的作用。

在目前的技术方案中，通常通过语义分割的方法来识别图像中的车道线。语义分割方法通过给图像数据中的每个像素标定一个类别，来得到由相同类别的像素构成的物体。

但是，目前的车道线检测方案无法准确有效地在车道线类别的像素中检测出不同的车道线实例。

技术实现要素：

有鉴于此，本发明实施例提供了一种车道线实例检测方法和装置，用以解决现有技术中无法准确有效地检测出车道线实例的问题。

一方面，本申请实施例提供了一种车道线实例检测方法，包括：

从车辆驾驶环境的图像数据中提取出车道线图像数据；其中，车道线图像中包括多个车道线像素；

从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；

将一组车道线像素确定为一个车道线实例，得到多个车道线实例。

另一方面，本申请实施例提供了一种车道线实例检测装置，包括：

提取模块，用于从车辆驾驶环境的图像数据中提取出车道线图像数据；其中，车道线图像中包括多个车道线像素；

识别模块，用于从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；

确定模块，用于将一组车道线像素确定为一个车道线实例，得到多个车道线实例。

另一方面，本申请实施例提供了一种车道线实例检测装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行：

从车辆驾驶环境的图像数据中提取出车道线图像数据；其中，车道线图像中包括多个车道线像素；

从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；

将一组车道线像素确定为一个车道线实例，得到多个车道线实例。

根据本发明实施例提供的技术方案，车道线实例检测方法从车辆驾驶环境的图像数据中提取出车道线图像，车道线图像中包括多个车道线像素；从车道线图像数据中识别出多组车道线像素，每组内的车道线像素具有相同的特征；将一组车道线像素确定为一个车道线实例，得到多个车道线实例；从而能够有效准确地识别出车道线类别中的车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本申请实施例提供的车道线实例检测方法的处理流程图；

图2为图1中步骤102的处理流程图；

图3为图1中步骤103的处理流程图；

图4为本申请实施例中训练神经网络的示意图；

图5为根据图4训练得到的神经网络模型；

图6为本申请实施例中的相关图像示例；

图7为本申请实施例提供的车道线实例检测装置的结构框图；

图8为本申请实施例提供的车道线实例检测装置的另一结构框图；

图9为本申请实施例提供的车道线实例检测装置的另一结构框图；

图10为本申请实施例提供的车道线实例检测装置的另一结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

针对现有技术中存在无法准确有效地检测出车道线实例的问题，本申请实施例提供了一种车道线实例检测方法和装置，用以解决该问题。

在本申请实施例提供的车道线实例检测方案中，车道线实例检测装置从车辆驾驶环境的图像数据中提取出车道线图像，车道线图像中包括多个车道线像素；从车道线图像数据中识别出多组车道线像素，每组内的车道线像素具有相同的特征；将一组车道线像素确定为一个车道线实例，得到多个车道线实例；从而能够有效准确地识别出车道线类别中的车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。

以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

图1示出了本申请实施例提供的车道线实例检测方法的处理流程，该方法包括如下的处理过程：

步骤101、车道线实例检测装置从车辆驾驶环境的图像数据中提取出车道线图像数据；其中，车道线图像中包括多个车道线像素。

其中，图像数据可以是通过车辆上的车载摄像头获取的。

从图像数据中提取出车道线图像数据的操作，可以通过多种方式实现，包括通过语义分割的方式从图像数据中提取出车道线图像数据。具体包括：将图像数据作为输入提供给预先训练得到的语义分割模型，语义分割模型输出得到车道线图像数据。其中，语义分割模型是预先根据驾驶环境的历史图像数据和真实数据迭代训练神经网络得到的，并且训练得到的语义分割模型可以用于车道线的图像检测和处理。

在具体应用的过程中，还可以通过其它方式提取出车道线图像数据，本申请这里不做具体限定。

步骤102、从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；

具体地，步骤102可以包括如图2所示的如下步骤：

步骤1021、将车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型。

具体地，车道线图像数据可以是通过语义分割模型从图像数据中提取出来的特征图，该特征图中只包括车道线像素。

步骤1022、车道线实例检测模型确定任意两个车道线像素在特征空间中的距离。

具体地，车道线实例检测模型确定任意两个车道线像素在特征空间中的特征表达之间的距离。

车道线实例检测模型可以随机地选取一个车道线像素作为第一像素或者是锚像素，还可以根据预先设置的规则来选取车道线像素；并确定与第一像素在特征空间中的特征表达的距离最近的特征表达对应的第二像素，以及与第一像素距离的特征表达的距离最远的特征表达对应的第三像素。

步骤1023、车道线实例检测模型根据确定得到的距离，得到距离度量空间中的多组车道线像素；其中，每组内的车道线像素具有的相同的特之间的距离小于组间任意两个车道线像素之间的距离。

在该步骤中，由于车道线实例检测模型已经确定得到了任意两个车道线像素在特征空间中的特征表达之间的距离，能够得到在距离度量空间中聚类的多组车道线像素；其中，通过可视化的操作可以将聚类的多组车道线像素输出到距离度量空间中，从而可以清楚地观察到车道线像素的特征表达的聚类情况。

其中，车道线实例检测模型是预先根据真实数据并使用三元损失函数对神经网络进行有监督的迭代训练得到的，该训练得到的神经网络可以用于车道线实例检测。

步骤103、将一组车道线像素确定为一个车道线实例，得到多个车道线实例。

具体地，步骤103可以如图3所示，包括如下步骤：

步骤1031、对距离度量空间中的所有车道线像素进行聚类，提取得到多组车道线像素；

由于在步骤1023中，车道线实例检测模型已经得到距离度量空间中的多组车道线像素，通过聚类的方法可以提取得到这多组车道线像素；

步骤1032、将一组车道线像素确定为一个车道线实例，得到多个车道线实例。

在如图1所示的处理过程中，在步骤102中，在通过图像处理得到的车道线图像中，车道线像素在特征空间中的特征表达是分散分布的，仅根据车道线图像无法有效地在属于车道线类别的多个像素特征表达中识别出不同车道线实例。通过三元损失函数能够确定得到任意两个车道线像素之间的距离，能够有效地区分出距离一个车道线像素距离最近的像素和距离最远的像素，从而输出得到多组车道线像素，其中组内车道线像素之间的距离小于组间车道线像素之间的距离。并且进一步地，通过聚类的方法提取得到多组车道线像素，一组车行道像素也即一个车道线实例，从而得到多个车道线实例。可见通过本申请实施例提供的方法，能够有效地识别得到车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。

下面通过一个具体实例来进一步地说明本申请实施例的技术方案。

在具体应用中，为了实现如图1所示的处理，可以预先迭代训练深度神经网络，分别得到实现步骤102和步骤103的功能的模型，也即训练得到语义分割模型进行语义分割，并且通过三元损失函数训练得到车道线实例检测模型来进行车道线实例检测，分别实现步骤102和步骤103的功能。

图4中示出了一个训练神经网络的示意图，在图4中将图像数据作为输入提供给深度神经网络，这里的深度神经网络包括两个分支，一个分支用于训练得到语义分割模型，另一个分支用于训练得到车道线实例检测模型。

输入的图像数据可以是车辆的驾驶环境的历史图像数据，以及该驾驶环境的真实数据；其中，真实数据中包括对物体类别的正确标注，真实数据也可以被称为实例图。

在图4中，深度神经网络左边的部分用于根据输入的图像数据和真实数据训练得到语义分割模型，深度神经网络右边的部分用于根据输入的图像数据和真实数据通过三元损失函数训练得车道线实例检测模型。

训练得到的模型如图5所示。训练得到的语义分割模型用于对输入的图像数据进行标定，输出得到语义分割结果，也即车道线图像，其中包括多个车道线像素；也即语义分割模型输出得到像素级别的车道线信息。

图6示出了相关的图像示例，图6左边的图像为一个原始的图像数据，图6中间部分的图像为执行了语义分割、标注了车道线类别后的图像数据，图6右边的图像为提取出的车道线图像。

通过三元损失函数训练得到的车道线实例检测模型用于针对输入的车道线图像中的车道线像素，确定任意两个像素在特征空间中的特征表达之间的距离；根据确定得到的距离，在距离度量空间中输出车道线像素，得到距离度量空间中的多组车道线像素。

在图5中，进一步针对距离度量空间中的多组车道线像素进行聚类操作，提取出多组车道线像素，一组车道线像素即为一个车道线实例。

从而，如图5所示的处理过程能够识别提取出输入图像数据中的车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。

基于相同的发明构思，本申请实施例还提供了一种车道线实例检测装置。

如图7所示，本申请实施例提供的车道线实例检测装置包括：

提取模块71，用于从车辆驾驶环境的图像数据中提取出车道线图像数据；

识别模块72，用于从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；

确定模块73，用于将一组车道线像素确定为一个车道线实例，得到多个车道线实例。

其中，提取模块71从车辆驾驶环境的图像数据中提取出车道线图像数据，包括：将图像数据作为输入提供给预先训练得到的语义分割模型，语义分割模型输出得到车道线图像数据。

识别模块72从车道线图像数据中识别出多组车道线像素，包括：将车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型；车道线实例检测模型确定任意两个车道线像素在特征空间中的距离；车道线示例检测模型根据确定得到的距离，得到距离度量空间中的多组车道线像素；其中，每组内的车道线像素具有相同的特征，包括：在距离度量空间中，组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离。也即识别模块72实现如图2所示的处理过程。

确定模块73将一组车道线像素确定为一个车道线实例，得到多个车道线实例，包括：对距离度量空间中的所有车道线像素进行聚类，提取得到多组车道线像素；将一组车道线像素确定为一个车道线实例，得到多个车道线实例。也即，确定模块73实现如图3所示的处理过程。

进一步地，如图8所示，本申请提供的车道线实例检测装置还可以包括：

第一预训练模块74，用于预先根据驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的语义分割模型。

第二预训练模块75，用于预先根据真实数据并使用三元损失函数对神经网络进行有监督的迭代训练，得到用于车道线实例检测的车道线实例检测模型；其中，车道线实例检测模型表达多个像素和像素之间的距离的对应关系。

在另一些实施例中，第一预训练模块74和第二预训练模块75也可以合并设置为预训练模块76，如图9所示，预训练模块76的功能和第一预训练模块74以及第二预训练模块75相同。

通过如图7、图8或者图9所示的装置，针对提取模块71提取得到的车道线图像数据，识别模块72能够通过三元损失函数确定得到任意两个车道像素之间的距离，能够有效地区分出距离一个车道线像素距离最近的像素和距离最远的像素，得到距离度量空间中的多组车道线像素，并提取得到多组车道线像素，将一组车道线像素确定为一个车道线实例，能够得到多个车道线实例。从而，本申请实施例提供的装置能够有效地识别得到车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。

基于相同的发明构思，本申请实施例还提供了一种车道线实例检测装置。

如图10所示，本申请实施例提供的车道线包括一个处理器1001和至少一个存储器1002，至少一个存储器1002中存储有至少一条机器可执行指令，处理器1001执行至少一条机器可执行指令以执行：

从车辆驾驶环境的图像数据中提取出车道线图像数据；其中，车道线图像中包括多个车道线像素；

从车道线图像数据中识别出多组车道线像素；其中，每组内的车道线像素具有相同的特征；

将一组车道线像素确定为一个车道线实例，得到多个车道线实例。其中，处理器1001执行至少一条机器可执行指令以执行从车辆驾驶环境的图像数据中提取出车道线图像数据，包括：将图像数据作为输入提供给预先训练得到的语义分割模型，语义分割模型输出得到车道线图像数据。

处理器1001执行至少一条机器可执行指令还执行：预先根据驾驶环境的历史图像数据和真实数据迭代训练神经网络得到用于车道线检测的语义分割模型。

处理器1001执行至少一条机器可执行指令以实现从车道线图像数据中识别出多组车道线像素，包括：将车道线图像数据中的车道线像素作为输入提供给预先根据三元损失函数训练得到的车道线实例检测模型；车道线实例检测模型确定任意两个车道线像素在特征空间中的距离；车道线实例检测模型根据确定得到的距离，得到距离度量空间中的多组车道线像素；其中，每组内的车道线像素具有相同的特征，包括：在距离度量空间中，组内任意两个车道线像素之间的距离小于组间任意两个车道线像素之间的距离。

处理器1001执行至少一条机器可执行指令还实现：预先根据真实数据并使用三元损失函数对神经网络进行有监督的迭代训练，得到用于车道线实例检测模型；其中，车道线实例检测模型表达多个像素和像素之间的距离的对应关系。

处理器1001执行至少一条机器可执行指令以执行将一组车道线像素确定为一个车道线实例，得到多个车道线实例，包括：对距离度量空间中的所有车道线像素进行聚类，提取得到多组车道线像素；将一组车道线像素确定为一个车道线实例，得到多个车道线实例。

根据本申请实施例提供的装置，针对提取得到的车道线图像数据，通过三元损失函数确定得到任意两个车道像素之间的距离，能够有效地区分出距离一个车道线像素距离最近的像素和距离最远的像素，得到距离度量空间中的多组车道线像素，并提取得到多组车道线像素，将一组车道线像素确定为一个车道线实例，能够得到多个车道线实例。从而，本申请实施例提供的装置能够有效地识别得到车道线实例，能够解决现有技术中无法准确有效地检测出车道线实例的问题。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。