一种道路线检测模型的训练方法、道路线检测方法及装置与流程

本发明涉及图像处理领域，还涉及智能驾驶领域，尤其涉及一种道路线检测模型的训练方法、道路线检测方法及装置。

背景技术：

近年来，智能化系统被广泛应用于驾驶领域，目的在于实现自动驾驶功能或辅助驾驶功能。在智能驾驶的视觉感知系统中，车道检测是一个重要的功能模块，通常需要从车辆周围的道路图像中检测出车道线，进而指导驾驶车辆。

目前，学术界和工业界针对检测车道线和道路边界线，开发了许多深度学习方法，其中，具有代表性的有lanenet和scnn。lanenet引自在2018年ieeeivconference公开的论文“towardsend-to-endlanedetection:aninstancesegmentationapproach”。该方法的流程图如图1所示，lanenet训练了两个分支，通过对图像的像素点进行车道线点和非车道线点的语义分割后，再对分割结果进行类聚，得到属于若干根车道线的像素集合。scnn引自在2018年aaaiconferenceonartificialintelligence公开的论文“spatialasdeep:spatialcnnfortrafficsceneunderstanding”。该方法的流程图如图2所示，scnn首先通过卷积神经网提取图像的特征，再采用spatialcnn对图像的横向和纵向连续性进行建模。

上述两种方法取得了较好的检测效果，但在实际工况中也存在各自的缺陷。例如，采用lanenet方法时，容易得到断断续续的检测结果，采用scnn时，容易将路面的连续污渍等误检为车道线或道路边界线。而且不适用于车道线或道路边界线被遮挡的情况，而在实际应用场景中，车道线和道路边界线被遮挡的情况十分常见，采用上述方法中的任意一种均对检测结果存在干扰。

技术实现要素：

本发明所要解决的技术问题在于，提供一种道路线检测模型的训练方法、道路线检测方法及装置，解决现有技术无法对车道线和道路分界线进行准确检测的问题和检测效果不佳的问题。

有鉴于此，本发明提供一种道路线检测模型的训练方法，所述道路线检测模型的训练方法包括：

获取道路样本图像，

具体地，所述道路样本图像至少包括标注的道路线数据。

通过卷积网络提取所述道路样本图像的特征，获得特征图。

采用连续线形算子提取所述特征图的深层特征，

具体地，所述深层特征包括道路线的空间位置连续性和道路线的线形形态。

根据所述深层特征，以标注的道路线数据进行监督训练，优化深度学习网络损失函数，调整网络参数，得到道路线检测模型。

进一步地，采用连续线形算子提取所述特征图的深层特征的步骤包括：

采用卷积核对所述特征图的横向和纵向进行迭代卷积，

具体地，所述横向和纵向包括从右到左、从左到右、从上到下和从下到上。

获取所述特征图在一方向上的点概率值。

根据所述点概率值，判断所述特征图在该方向上是否存在线形形态，

若存在，则提取所述特征图的深层特征；

若不存在，则抑制不存在线形形态的方向。

进一步地，所述判断所述特征图在该方向上是否存在线形形态的步骤为：

判断该方向上的点概率值之和是否大于第一阈值；

若大于，则判断该方向上的点概率值之差是否小于第二阈值；

若小于，则判定所述特征图在该方向上存在线形形态。

可替换地，所述判断所述特征图在该方向上是否存在线形形态的步骤为：

判断该方向上的点概率值之差是否小于第二阈值；

若小于，则判断该方向上的点概率值之和是否大于第一阈值；

若大于，则判定所述特征图在该方向上存在线形形态。

相应地，本发明还提供了一种道路线检测方法，所述道路线检测方法包括：

获取当前道路图像，并输入道路线检测模型生成当前道路信息，所述道路线检测模型是上述任意一项所述的道路线检测模型的训练方法监督训练得到的道路线检测模型；

根据车辆运动轨迹和历史道路信息生成预测道路信息；

基于未被遮挡道路线和预测道路线，判断所述当前道路信息与所述预测道路信息是否关联；

若关联，则根据预测道路信息校正当前道路信息，

具体地，所述预测道路信息至少包括预测道路线；

具体地，所述当前道路信息至少包括未被遮挡道路线；

具体地，根据预测道路信息校正当前道路信息采用扩展卡尔曼滤波算法。

进一步地，判断所述当前道路信息与所述预测道路信息是否关联之前，所述道路线检测方法还包括：计算所述未被遮挡道路线与所述预测道路线间的距离。

进一步地，判断所述当前道路信息与所述预测道路信息是否关联的步骤包括：

判断所述距离是否小于预设阈值；

若是，则判定所述当前道路信息与所述预测道路信息关联，

具体地，采用期望最大化算法减少计算误差。

相应地，本发明还提供了一种道路线检测模型的训练装置，所述道路线检测模型的训练装置包括：

道路样本图像获取单元，用于获取道路样本图像。

提取单元，用于提取所述道路样本图像的特征和所述特征图的深层特征。

具体地，所述提取单元包括第一提取单元和第二提取单元：

第一提取单元，用于提取所述道路样本图像的特征；

第二提取单元，用于提取所述特征图的连续性和线形形态的深层特征。

训练单元，用于以标注的道路线数据进行监督训练，优化深度学习网络损失函数，调整网络参数，得到道路线检测模型。

进一步地，所述道路线检测模型的训练装置还包括：

第一判断单元，用于判断所述特征图在一方向上是否存在连续性；

第二判断单元，用于判断所述特征图在局部区域是否存在线形形态。

实施本发明实施例，具有如下有益效果：

本发明公开的道路线检测模型的训练方法、道路线检测方法及装置，采用连续线形算子提取特征图的空间位置连续性和道路线的线性形态，监督训练获得深度道路线检测模型，多帧融合技术根据车辆运动轨迹和历史道路信息生成预测道路信息，根据预测道路线校正当前道路线中被遮挡的部分，加强了检测的鲁棒性，使得道路线检测模型更适合在实际工况中应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是lanenet深度学习方法的流程示意图；

图2是scnn深度学习方法的流程示意图；

图3是本发明实施例提供的一种道路线检测模型的训练方法的流程示意图；

图4是本发明实施例提供的一种道路线检测方法的流程示意图；

图5是本发明实施例提供的一种道路线检测模型的训练装置的结构示意图；

图6是本发明实施例提供的一种迭代运算示意图；

图7是一特征图的局部区域图；

图8是一方向局部线形形态的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。显然，所描述的实施例仅仅是本发明一个实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，此处所称的“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。并且，术语“第一”、“第二”是用于区别类似对象，而不用于描述特定的顺序或者先后顺序。应该理解这样的使用数据在适当的情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。需要理解的是，术语“上”、“下”、“左”、“右”等指示方位或者位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明或简化描述，而不是指示或暗示特定的方位，因此，不能理解为对本发明的限制。此外，术语“包括”和“为”以及其任何形式的变形，意图在于覆盖不排他的包括，例如，包含了一系列的步骤和单元，不必限于清楚地列出哪些步骤和单元，而是能够包括没有清楚地列出的或对于这里方法和装置的其他步骤和单元。

实施例

请参考图3，其所示为本发明实施例提供的一种道路线检测模型的训练方法的流程示意图，本说明书提供了如流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的方法操作步骤。实施例中列举的步骤顺序仅仅为众多步骤操作顺序中的一种，不代表唯一的操作步骤，在实际的训练过程中，可以按照实施顺序或者附图所示的步骤操作顺序执行。具体的如图3所示，所述道路线检测模型的训练方法包括：

s110获取道路样本图像；

需要说明的是，在本说明书实施例中，所述道路样本图像至少包括标注的道路线数据。

s120通过卷积网络提取所述道路样本图像的特征，获得特征图。

s130采用连续线形算子提取所述特征图的深层特征；

需要说明的是，在本说明书实施例中，所述深层特征包括道路线的空间位置连续性和道路线的线形形态。

在本说明书实施例中，采用连续线形算子提取所述特征图的深层特征的步骤包括：

采用卷积核对所述特征图的横向和纵向进行迭代卷积；

获取所述特征图在一方向上的点概率值；

根据所述点概率值，判断所述特征图在该方向上是否存在线形形态；

若存在，则提取所述特征图的深层特征；

若不存在，则抑制不存在线形形态的方向。

具体地，所述横向和纵向包括从右向左、从左向右、从上向下和从下向上四个方向，所述卷积核可以是递归神经网络的形式，也可以是其他形式，本说明书实施例不作具体限定。例如，以从左到右为例，用同一构造的卷积核对所述特征图的每一列进行卷积，并保存结果，与同一组权值共同作用于下一列进行卷积。具体地如图6所示，其中x表示输入，o表示输出，u、v、w为权值，s为隐藏层状态。在本说明书实施例中，四个方向的卷积核构造一致，每个方向的权值一致。

具体地，所述判断所述特征图在该方向上是否存在线形形态的步骤为：

判断该方向上的点概率值之和是否大于第一阈值；

若大于，则判断该方向上的点概率值之差是否小于第二阈值；

若小于，则判定所述特征图在该方向上存在线形形态。

可替换地，所述判断所述特征图在该方向上是否存在线形形态的步骤为：

判断该方向上的点概率值之差是否小于第二阈值；

若小于，则判断该方向上的点概率值之和是否大于第一阈值；

若大于，则判定所述特征图在该方向上存在线形形态。

在本说明书实施例中，判断点概率值之和是否大于第一阈值和判断点概率值之差是否小于第二阈值，所述第一阈值为一确定值，所述第二阈值也为一确定值，分别判断四个方向时，所述第一阈值大小一致，所述第二阈值大小一致。例如，如图7所示为一特征图的局部区域图，其中，灰度的高低表示存在道路线的概率，如图8所示，图中a,b,c,d围绕中心点，以a方向为例，计算4,5,6点与12,13,14点的概率之差，若该差值大于第一阈值，且小于第二阈值，则认为a方向存在线形形态，以此类推，分别计算b,c,d方向是否存在线形形态。对存在多个方向的情况，选取概率之和最大的方向为主方向，并抑制其他方向。

s140根据所述深层特征，以标注的道路线数据进行监督训练，优化深度学习网络损失函数，调整网络参数，得到道路线检测模型。

请参考图4，其所示为本发明实施例提供的一种道路线检测方法的流程示意图，本说明书提供了如流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的方法操作步骤。实施例中列举的步骤顺序仅仅为众多步骤操作顺序中的一种，不代表唯一的操作步骤，在实际的训练过程中，可以按照实施顺序或者附图所示的步骤操作顺序执行。具体的如图4所示，所述道路线检测方法包括：

s210获取当前道路图像，并输入道路线检测模型生成当前道路信息；

在本说明书实施例中，所述道路线检测模型是上述任意一项所述的道路线检测模型的训练方法监督训练得到的道路线检测模型。

在本说明书书实施例中，所述当前道路信息至少包括未被遮挡道路线。

s220根据车辆运动轨迹和历史道路信息生成预测道路信息；

在本说明书实施例中，所述预测道路信息至少包括预测道路线。

s230基于未被遮挡道路线和预测道路线，判断所述当前道路信息与所述预测道路信息是否关联；

在本说明书实施例中，判断所述当前道路信息与所述预测道路信息是否关联之前，所述道路线检测方法还包括：计算所述未被遮挡道路线与所述预测道路线间的距离。

在本说明书实施例中，判断所述当前道路信息与所述预测道路信息是否关联的步骤包括：

判断所述距离是否小于预设阈值；

若是，则判定所述当前道路信息与所述预测道路信息关联。

若不是，则判定所述当前道路信息与所述预测道路信息不关联。

具体地，采用期望最大化算法减少计算误差。

s240若关联，则根据预测道路信息校正当前道路信息；

在本说明书实施例中，根据预测道路信息校正当前道路信息采用扩展卡尔曼滤波算法。

请参考图5，其所示为本发明实施例提供的一种道路线检测模型的训练装置的结构示意图，本说明书提供了如结构示意图所示的组成单元，但基于常规或者无创造性的劳动可以包括更多或者更少的组成单元。实施例中列举的组成单元仅仅是众多组成单元中的一种，不代表唯一的组成单元，在实际的结构中，可以为附图所示的组成单元。具体的如图5所示，所述道路线检测模型的训练装置包括：

道路样本图像获取单元310，用于获取道路样本图像。

提取单元320，用于提取所述道路样本图像的特征和所述特征图的深层特征。

在本说明书实施例中，所述提取单元包括第一提取单元和第二提取单元；

第一提取单元，用于提取所述道路样本图像的特征；

第二提取单元，用于提取所述特征图的连续性和线形形态的深层特征。

训练单元330，用于以标注的道路线数据进行监督训练，优化深度学习网络损失函数，调整网络参数，得到道路线检测模型。

所述道路线检测模型的训练装置还包括：

第一判断单元，用于判断所述特征图在一方向上是否存在连续性；

第二判断单元，用于判断所述特征图在局部区域是否存在线形形态。

采用本发明实施例提供的一种道路线检测模型的训练方法、道路线检测方法及装置，采用连续线形算子提取特征图的空间位置连续性和道路线的线性形态，监督训练获得深度道路线检测模型，多帧融合技术根据车辆运动轨迹和历史道路信息生成预测道路信息，根据预测道路线校正当前道路线中被遮挡的部分，加强了检测的鲁棒性，使得道路线检测模型更适合在实际工况中应用。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣，且上述本说明书特定实施例进行了描述，其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或者步骤可以按照不同于实施例中的顺序来执行并且能够实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能够实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的均为与其他实施例的不同之处。尤其，对于装置的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述程序可以存储于一种计算机可读介质中。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。