车道线的检测及驾驶控制方法、装置和电子设备与流程

本发明实施例涉及计算机视觉技术领域，尤其涉及一种车道线的检测及驾驶控制方法、装置和电子设备。

背景技术：

车道线检测技术是实现辅助驾驶、自动驾驶等智能驾驶的关键技术之一。车道线检查主要用于视觉导航系统，从已拍摄的道路图像中找出车道线在道路图中的位置。

车道线检测的主要工作是车道线的拟合，车道线的拟合的准确性直接影响车道线检测的准确性，进而决定了智能驾驶的安全性。

技术实现要素：

本发明实施例提供一种车道线的检测技术方案。

第一方面，本发明实施例提供车道线的检测方法，包括：

获取道路图，其中，所述道路图包括至少二条车道线；

对所述道路图进行车道线预测，得到至少二条车道线的预测结果；

根据所述至少二条车道线的预测结果确定所述至少二条车道线的消失点；

根据所述至少二条车道线的预测结果和所述消失点，输出所述道路图的车道线检测结果。

在第一方面的一种可能的实现方式中，所述对所述道路图进行车道线预测，得到至少二条车道线的预测结果，包括：

将所述道路图输入神经网络，以经所述神经网络输出所述至少二条车道线的第一车道线概率图；

根据所述第一车道线概率图中概率值大于设定阈值的至少部分像素点，确定所述至少二条车道线的第一预测拟合曲线。

在第一方面的另一种可能的实现方式中，所述根据所述第一车道线概率图中概率大于设定阈值的至少部分像素点，确定所述至少二条车道线的第一预测拟合曲线，包括：

对所述第一车道线概率图中概率值大于预设值的各概率点进行采样，确定所述至少二条第一车道线概率图的采样点；

对所述至少二条第一车道线概率图的采样点对应的像素点进行曲线拟合，确定所述至少两条车道线的第一预测拟合曲线。

在第一方面的另一种可能的实现方式中，所述对所述至少二条第一车道线概率图中概率值大于预设值的各概率点进行采样，确定所述至少二条第一车道线概率图的采样点，包括：

对所述第一车道线概率图中概率值大于预设值的各概率点进行高斯采样，确定所述至少二条第一车道线概率图的采样点。

在第一方面的另一种可能的实现方式中，所述根据所述至少二条车道线的预测结果确定所述至少二条车道线的消失点，包括：

确定所述至少两条车道线的第一预测拟合曲线的公共交点为所述至少二条车道线的消失点。

在第一方面的另一种可能的实现方式中，所述根据所述至少二条车道线的预测结果和所述消失点，输出所述道路图的车道线检测结果，包括：

根据所述第一车道线概率图中概率值大于设定阈值的至少部分像素点和所述消失点进行曲线拟合，确定并输出所述车道线的第一检测拟合曲线。

在第一方面的另一种可能的实现方式中，所述获取道路图，包括：

经车载摄像头采集车辆所在场景中的道路图。

在第一方面的另一种可能的实现方式中，所述道路图为带有车道线标注信息的道路训练图，所述将所述道路图输入神经网络之前，还包括：

基于所述道路训练图以及所述道路训练图中的车道线的消失点，训练所述神经网络。

在第一方面的另一种可能的实现方式中，所述基于所述道路训练图以及所述道路训练图中的车道线的消失点，训练所述神经网络，包括：

将所述道路训练图输入神经网络，以经所述神经网络输出所述至少二条车道线的第二车道线概率图；

根据所述第二车道线概率图中概率值大于设定阈值的至少部分像素点，确定所述至少二条车道线的第二预测拟合曲线；

根据确定所述至少二条车道线的第二预测拟合曲线，确定所述至少二条车道线的消失点；

根据所述第二车道线概率图中概率值大于设定阈值的至少部分像素点和所述消失点进行曲线拟合，确定所述至少二条车道线的第二检测拟合曲线；

根据每条车道线的第二预测拟合曲线和每条车道线的真值的第一差异、以及每条车道线的第二检测拟合曲线和每条车道线的真值的第二差异，调整所述神经网络的网络参数。

在第一方面的另一种可能的实现方式中，所述根据每条车道线的第二预测拟合曲线和每条车道线的真值的第一差异、以及每条车道线的第二检测拟合曲线和每条车道线的真值的第二差异，调整所述神经网络的网络参数，包括：

针对所述至少两条车道线中的每条车道线，确定该所述车道线的第二预测拟合曲线与该车道线的真值之间的第一差异、以及该车道线的第二检测拟合曲线与该车道线的真值之间的第二差异；

根据每条所述车道线的第一差异和第二差异，确定所述神经网络的检测损失；

根据所述检测损失调整所述神经网络的网络参数。

在第一方面的另一种可能的实现方式中，所述确定该车道线的第二预测拟合曲线与该车道线的真值之间的第一差异，包括：

将该车道线的第二预测拟合曲线与该车道线的真值之间的最小二乘运算结果作为该车道线的第一差异。

在第一方面的另一种可能的实现方式中，所述确定该车道线的第二检测拟合曲线与该车道线的真值之间的第二差异，包括：

将该车道线的第二检测拟合曲线与该车道线的真值之间的交叉熵作为该车道线的所述第二差异。

在第一方面的另一种可能的实现方式中，所述根据每条所述车道线的第一误差和第二误差，确定所述神经网络的检测损失，包括：

将每条所述车道线的第一误差和第二误差之和，作为所述神经网络的检测损失。

第二方面，本发明实施例提供一种车道线的检测装置，包括：

获取模块，用于获取道路图，其中，所述道路图包括至少二条车道线；

预测模块，用于对所述道路图进行车道线预测，得到至少二条车道线的预测结果；

确定模块，用于根据所述至少二条车道线的预测结果确定所述至少二条车道线的消失点；

输出模块，用于根据所述至少二条车道线的预测结果和所述消失点，输出所述道路图的车道线检测结果。

在第二方面的一种可能的实现方式中，所述预测模块包括：

第一预测单元，用于将所述道路图输入神经网络，以经所述神经网络输出所述至少二条车道线的第一车道线概率图；

第一拟合单元，用于根据所述第一车道线概率图中概率值大于设定阈值的至少部分像素点，确定所述至少二条车道线的第一预测拟合曲线。

在第二方面的另一种可能的实现方式中，所述第一拟合单元，具体用于对所述第一车道线概率图中概率值大于预设值的各概率点进行采样，确定所述至少二条第一车道线概率图的采样点；并对所述至少二条第一车道线概率图的采样点对应的像素点进行曲线拟合，确定所述至少两条车道线的第一预测拟合曲线。

在第二方面的另一种可能的实现方式中，所述第一拟合单元，具体用于对所述第一车道线概率图中概率值大于预设值的各概率点进行高斯采样，确定所述至少二条第一车道线概率图的采样点。

在第二方面的另一种可能的实现方式中，所述第一拟合单元，具体用于确定所述至少两条车道线的第一预测拟合曲线的公共交点为所述至少二条车道线的消失点。

在第二方面的另一种可能的实现方式中，所述第一拟合单元，具体用于根据所述第一车道线概率图中概率值大于设定阈值的至少部分像素点和所述消失点进行曲线拟合，确定并输出所述车道线的第一检测拟合曲线。

在第二方面的另一种可能的实现方式中，所述获取模块，具体用于经车载摄像头采集车辆所在场景中的道路图。

在第二方面的另一种可能的实现方式中，所述道路图为带有车道线标注信息的道路训练图，所述装置还包括训练模块：

所述训练模块，用于基于所述道路训练图以及所述道路训练图中的车道线的消失点，训练所述神经网络。

在第二方面的另一种可能的实现方式中，所述训练模块包括：

第二预测单元，用于将所述道路训练图输入神经网络，以经所述神经网络输出所述至少二条车道线的第二车道线概率图；

第二拟合单元，用于根据所述第二车道线概率图中概率值大于设定阈值的至少部分像素点，确定所述至少二条车道线的第二预测拟合曲线；

消失点确定单元，用于根据确定所述至少二条车道线的第二预测拟合曲线，确定所述至少二条车道线的消失点；

所述第二拟合单元，还用于根据所述第二车道线概率图中概率值大于设定阈值的至少部分像素点和所述消失点进行曲线拟合，确定所述至少二条车道线的第二检测拟合曲线；

调整单元，用于根据每条车道线的第二预测拟合曲线和每条车道线的真值的第一差异、以及每条车道线的第二检测拟合曲线和每条车道线的真值的第二差异，调整所述神经网络的网络参数。

在第二方面的另一种可能的实现方式中，所述调整单元包括：

所述差异子单元，用于针对所述至少两条车道线中的每条车道线，确定该所述车道线的第二预测拟合曲线与该车道线的真值之间的第一差异、以及该车道线的第二检测拟合曲线与该车道线的真值之间的第二差异；

损失确定子单元，用于根据每条所述车道线的第一差异和第二差异，确定所述神经网络的检测损失；

调整子单元，用于根据所述检测损失调整所述神经网络的网络参数。

在第二方面的另一种可能的实现方式中，所述差异子单元，具体用于将该车道线的第二预测拟合曲线与该车道线的真值之间的最小二乘运算结果作为该车道线的第一差异。

在第二方面的另一种可能的实现方式中，所述差异子单元，具体用于将该车道线的第二检测拟合曲线与该车道线的真值之间的交叉熵作为该车道线的所述第二差异。

在第二方面的另一种可能的实现方式中，损失确定子单元，用于将每条所述车道线的第一误差和第二误差之和，作为所述神经网络的检测损失。

第三方面，本发明实施例提供一种驾驶控制方法，包括：

驾驶控制装置获取道路图的车道线检测结果，所述道路图的车道线检测结果采用如第一方面任一项所述的车道线的检测方法得到；

所述驾驶控制装置根据所述车道线检测结果输出提示信息和/或对车辆进行驾驶控制。

第四方面，本发明实施例提供一种驾驶控制装置，包括：

获取模块，用于获取道路图的车道线检测结果，所述道路图的车道线检测结果采用如第一方面任一项所述的车道线的检测方法得到；

驾驶控制模块，用于根据所述车道线检测结果输出提示信息和/或对车辆进行驾驶控制。

第五方面，本发明实施例提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现第一方面所述的车道线的检测方法。

第六方面，本发明实施例提供一种电子设备，包括：

所述摄像头，用于获取道路图，其中，所述道路图包括至少二条车道线；

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现第一方面所述的车道线的检测方法。

第七方面，本发明实施例提供一种智能驾驶系统，包括：通信连接的相机、如第五方面或第六方面所述的电子设备和如第四方面所述的驾驶控制装置，所述相机用于获取道路图。

第八方面，本发明实施例提供一种计算机存储介质，所述存储介质中存储计算机程序，所述计算机程序在执行时实现第一方面所述的车道线的检测方法。

本发明实施例提供的车道线的检测及驾驶控制方法、装置和电子设备，通过获取道路图，对所述道路图进行车道线预测，得到至少二条车道线的预测结果；根据所述至少二条车道线的预测结果确定所述至少二条车道线的消失点；根据所述至少二条车道线的预测结果和所述消失点，输出所述道路图的车道线检测结果。本申请实施例，通过获取车道线的消失点，基于消失点对车道线的预测结果进行校正，不仅可以补全车道线，生成更加完整的车道线，而且可以去除预测与实际偏差很大的点，提高了车道线检测的准确性，为车道线偏离系统和车辆变道系统等奠定技术基础，提高了智能驾驶的安全性和可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的车道线的检测方法的流程图；

图2为本发明实施例二提供的车道线的检测方法的流程图；

图3为本实施例涉及的神经网络模型结构示意图；

图4为本实施例涉及的道路图；

图5为图4所示的道路图对应的概率图；

图6a为本实施例涉及的各预测拟合曲线的相交示意图；

图6b为本实施例涉及的预测拟合曲线的示意图；

图6c为本实施例涉及的检测拟合曲线的示意图；

图7为本发明实施例三提供的车道线的检测方法的流程图；

图8为本发明实施例一提供的车道线的检测装置的结构示意图；

图9为本发明实施例二提供的车道线的检测装置的结构示意图；

图10为本发明实施例三提供的车道线的检测装置的结构示意图；

图11为本发明实施例四提供的车道线的检测装置的结构示意图；

图12为本发明实施例五提供的车道线的检测装置的结构示意图；

图13为本发明一实施例提供的电子设备的结构示意图；

图14为本发明一实施例提供的电子设备的结构示意图；

图15为本发明一实施例提供的驾驶控制方法的流程示意图；

图16为本发明一实施例提供的驾驶控制装置的结构示意图；

图17为本发明实施例提供的智能驾驶系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的方法适用于计算机视觉、智能驾驶等需要获得车道线的拟合曲线的领域。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明实施例一提供的车道线的检测方法的流程图。该如图1所示，本实施例的方法可以包括：

s101、获取道路图。

本实施例的执行主体为电子设备，该电子设备可以但不限于是智能手机、计算机、车载系统等。本实施例的执行主体具体为上述电子设备中的处理器。

可选的，本实施例的电子设备还可以具有摄像头或可与摄像头连接，通过摄像头可以拍摄车辆运行前方(或四周)的场景的道路图，并由电子设备的处理器对该道路图进行处理。其中，该道路图可以为单帧图像，也可为拍摄的视频流中的帧图像。

可选的，上述道路图还可以是预设的，例如用户输入道路图用于测试电子设备的车道线检测功能。

可选的，上述道路图还可以是道路训练图，该道路训练图带有车道线标注信息，可以用于对电子设备的车道线检测准确性进行训练。

本实施例对电子设备获得道路图的具体方式不做限制。

本实施例的道路图中包括至少两条车道线。

s102、对所述道路图进行车道线预测，得到至少二条车道线的预测结果。

可选的，本实施例可以采用边缘检测法，对道路图进行车道线预测，得到至少二条车道线的预测结果。

可选的，本实施例可以采用支持向量机法，对道路图进行车道线预测，得到至少二条车道线的预测结果。

可选的，本实施例还可以采用其他的车道线检测方法，对道路图进行车道线预测，得到至少二条车道线的预测结果。

s103、根据所述至少二条车道线的预测结果确定所述至少二条车道线的消失点。

车道线在真实世界的3d空间中是平行的，但它们在二维相机图像中车道线最终会相交于一点，将该交点称为车道线的消失点(vanishingpoint)。

这样，基于上述的至少二条车道线的预测结果，可以获得车道线的消失点。

s104、根据所述至少二条车道线的预测结果和所述消失点，输出所述道路图的车道线检测结果。

基于上述步骤获得车道线的预测结果和消失点，使用消失点对车道线的预测结果进行校正，不仅可以补全车道线，生成更加完整的车道线，而且可以去除预测与实际偏差很大的点。

可选的，将预测的车道线与消失点进行连接，将连接后的车道线作为道路图的车道线检测结果。

可选的，还可以将预测的车道线与消失点重新进行拟合，将拟合后的车道线作为道路图的车道线检测结果。

本发明实施例提供的车道线的检测方法，通过获取道路图，对所述道路图进行车道线预测，得到至少二条车道线的预测结果；根据所述至少二条车道线的预测结果确定所述至少二条车道线的消失点；根据所述至少二条车道线的预测结果和所述消失点，输出所述道路图的车道线检测结果。本申请实施例，通过获取车道线的消失点，基于消失点对车道线的预测结果进行校正，不仅可以补全车道线，生成更加完整的车道线，而且可以去除预测与实际偏差很大的点，提高了车道线检测的准确性，为车道线偏离系统和车辆变道系统等奠定技术基础，提高了智能驾驶的安全性和可靠性。

图2为本发明实施例二提供的车道线的检测方法的流程图，在上述实施例的基础上，本实施例涉及的车道线检测的具体过程，如图2所示，本实施例的方法可以包括：

s201、获取道路图。

本实施例的道路图可以为车辆运行环境的实时道路图，例如为经车载摄像头采集车辆所在场景中的道路图。

基于该道路图对车辆运行前方的车道线进行实时检测，为车道线偏离系统和车辆变道系统提供参照。

s202、将所述道路图输入神经网络，以经所述神经网络输出所述至少二条车道线的第一车道线概率图。

本实施例预设的神经网络可以是fcn(fullyconvolutionalnetworks，全卷积网络)、resnet(residualnetwork，残差网络)或卷积神经网络等。

可选的，如图3所示，本实施例的神经网络包括7个卷积层，分别为：第一个卷积层的参数为145*169*16，第二个卷积层的参数为73*85*32，第三个卷积层的参数为37*43*64，第四个卷积层的参数为19*22*128，第五个卷积层的参数为73*85*32，第六个卷积层的参数为145*169*16，第七个卷积层的参数为289*337*5。

如图3所示，本实施例的神经网络可以为事先训练好，将图4所示的道路图输入到该神经网络时，该神经网络输出道路图中每条车道线的车道线概率图，记为第一车道线概率图，如图5所示。

s203、根据所述第一车道线概率图中概率值大于设定阈值的至少部分像素点，确定所述至少二条车道线的第一预测拟合曲线。

每条车道线的车道线概率图包括多个概率点，每个概率点与道路图中的像素点一一对应。每个概率点的值为道路图中对应位置的像素点为该车道线的概率值。

以图5中最右侧车道线为例，每个概率点的值表示道路图中对应位置的像素点为车道线的概率值，如图5所示，例如白色概率点的概率值为1，黑色概率点的概率值为0。

接着，基于图5所示的第一车道线概率图，获取图5中概率值大于预设值的概率点，对这些概率点对应的像素点进行曲线拟合，生成该车道线的第一预测拟合曲线。

其中预设值为划分概率点对应的像素点是否为车道线上的标准，该预设值可以根据实际需要进行确定。

例如，预设值为0.8，这样可以选出图5中概率值大于0.8的点，即图5中白色概率点，对这些白色概率点对应的像素点进行曲线拟合，可以获得该车道线的第一预测拟合曲线。

可选的，本实施例在进行曲线拟合时，可以使用一次函数曲线拟合、二次函数曲线拟合、三次函数曲线拟合，或者高次函数曲线拟合。本实施例对第一预测拟合曲线的拟合方式不做限制，具体根据实际需要确定。

在一种示例中，上述s203可以包括：对所述第一车道线概率图中概率值大于预设值的各概率点进行采样，确定所述至少二条第一车道线概率图的采样点；对所述至少二条第一车道线概率图的采样点对应的像素点进行曲线拟合，确定所述至少两条车道线的第一预测拟合曲线。

道路图中车道线对应的像素点数量较大，对车道线对应的每个像素点进行拟合运行，其运算量大，拟合速度慢。

为了解决上述问题，本实施例对车道线对应的像素点进行筛选，选出满足条件的一部分像素点进行曲线拟合。

具体是，从每条车道线的第一车道线概率图中选取概率值大于预设值的至少部分概率点，该预设值为划分像素点是否为车道线的参照，即当像素点的概率值大于该预设值，则该像素点为车道线上的点，可以保留。当像素点的概率值小于该预设值，则该像素点不是车道线上的点，可以舍弃。

为了便于阐述，将每条车道线的车道线概率图中概率值大于预设值的各概率点，记为采样点，采样点对应的像素点均为车道线上的点。

可选的，可以使用马尔科夫链蒙特卡洛采样方法(markovchainmontocarlo)，吉布斯采样(gibbssampling)等采样方式进行采样。

可选的，本实施例对第一车道线概率图中概率值大于预设值的各概率点进行高斯采样，确定至少二条第一车道线概率图的采样点。

s204、确定所述至少两条车道线的第一预测拟合曲线的公共交点为所述至少二条车道线的消失点。

根据上述步骤，获得道路图中的每一车道线的第一预测拟合曲线，由上述可知，由于拍摄角度的不同，同一张道路图中各车道线的延长线交于一点a，将点a记为各第一预测拟合曲线的公共交点。

例如，如图6a所示，假设道路图包括3条车道线，根据上述预设的神经网络，可以获得第一条车道线的第一预测拟合曲线为y＝f1(x)，第二条车道线的第一预测拟合曲线为y＝f2(x)，第三条车道线的第一预测拟合曲线为y＝f3(x)。

令f1(x)＝f3(x)＝f2(x)，求出上述3条第一预测拟合曲线的公共交点，例如公共交点a＝(723，607)。

即上述每条车道线的第一预测拟合曲线均经过该消失点，这样可以利用该消失点对上述各预测拟合曲线进行校正，例如将不完整的第一预测拟合曲线补全，并且可以去除预测与实际偏差很大的点。

s205、根据所述第一车道线概率图中概率值大于设定阈值的至少部分像素点和所述消失点进行曲线拟合，确定并输出所述车道线的第一检测拟合曲线。

本实施例，根据上述步骤获得的车道线的第一车道线概率图、第一预测拟合曲线和消失点，重新拟合车道线的曲线，生成车道线的第一检测拟合曲线。

具体是，以一条车道线为例，获取该车道线的第一车道线概率图中概率值大于预设值的概率点，使用已有的曲线拟合方法，将这些该概率点对应的像素点和消失点作为拟合点，进行曲线拟合，生成该车道线的第一检测拟合曲线。

在实际应用中，上述第一预测拟合曲线的消失点在车道线上，本实施例在曲线拟合时，加入了已知的消失点，可以将不完整的第一预测拟合曲线补全，并且可以去除预测与实际偏差很大的点，使得拟合结果更准确。

可选的，在进行曲线拟合时，将消失点的拟合等级提高，在进行曲线拟合时，使得拟合曲线必须过消失点，这样可以过滤掉偏离真实情况较远的拟合点，进一步提高曲线拟合的准确性。

本实施例对车道线的预测结果进行后续处理，具体是，根据预测的各第一预测拟合曲线的消失点，对第一预测拟合曲线进行重新拟合，获得第一检测拟合曲线，提高了车道线检测的准确性。

由于神经网络来预测概率图的过程耗时长，而本实施例在对第一预测拟合曲线进行校正的过程中，使用神经网络第一次生成的概率图，不需要重新返回神经网络模型预测概率图，其第一检测拟合曲线的拟合过程花费的时间短，进而在提高车道线检测准确性的同时，保证了车道线检测的速度。

图6b为基于预设的神经网络获得的第一预测拟合曲线的示意图，图6c为使用本实施例的车道线的检测方法获得的第一检测拟合曲线的示意图。

进一步的，如图6b和图6c所示，在车道线的拟合过程中，本实施例拟合生成的第一检测拟合曲线可以补全车道线，生成更加完整的车道线，而且可以去除预测与实际偏差很大的点。

本发明实施例提供的车道线的检测方法，通过将所述道路图输入神经网络，以经所述神经网络输出所述至少二条车道线的第一车道线概率图；根据所述第一车道线概率图中概率大于设定阈值的至少部分像素点，确定所述至少二条车道线的第一预测拟合曲线；确定所述至少两条车道线的第一预测拟合曲线的公共交点为所述至少二条车道线的消失点；根据所述第一车道线概率图中概率大于设定阈值的至少部分像素点和所述消失点进行曲线拟合，确定并输出所述车道线的第一检测拟合曲线。即本实施例，基于消失点和车道线概率图对应的像素点，拟合生成各车道线的第一检测拟合曲线，这样可以补全车道线，生成更加完整的车道线，而且可以去除预测与实际偏差很大的点，提高了车道线的检测准确性，且拟合过程耗时短。

本实施例如图2所示，将道路图输入神经网络，进行车道线检测之前，还包括对神经网络进行训练，即基于所述道路训练图以及所述道路训练图中的车道线的消失点，训练所述神经网络，具体如图7所示。

图7为本发明实施例三提供的车道线的检测方法的流程图。在上述实施例的基础上，本实施例涉及的是对神经网络进行训练的具体过程。如图7所示，本实施例的方法可以包括：

s301、将所述道路训练图输入神经网络，以经所述神经网络输出所述至少二条车道线的第二车道线概率图。

s303、根据所述第二车道线概率图中概率值大于设定阈值的至少部分像素点，确定所述至少二条车道线的第二预测拟合曲线。

该道路训练图上带有车道线标注信息，将该道路训练图输入到神经网络中，输出至少二条车道线的第二车道线概率图。针对每条车道线，从该车道线的第二车道线概率图中确定概率值大于设定阈值的至少部分概率点，对该部分概率点对应的像素点进行曲线拟合，生成该车道线的第二预测拟合曲线。其具体过程可以参照上述第一车道线概率图和第一预测拟合曲线的确定过程，在此不再赘述。

s303、根据确定所述至少二条车道线的第二预测拟合曲线，确定所述至少二条车道线的消失点。

可选的，可以将上述至少二条车道线的第二预测拟合曲线的公共交点，作为至少二条车道线的消失点。

s304、根据所述第二车道线概率图中概率值大于设定阈值的至少部分像素点和所述消失点进行曲线拟合，确定所述车道线的第二检测拟合曲线。

针对每条车道线，从上述获得该条车道线的第二车道线概率图中，确定概率值大于预设阈值的概率点，将这些概率点对应的像素点以及s303中的消失点作为拟合点，进行曲线拟合，生成该车道线的第二检测拟合曲线。

s305、根据所述第二预测拟合曲线和车道线的真值的第一差异、以及所述第二检测拟合曲线和车道线的真值的第二差异，调整所述神经网络的网络参数。

本实施例所述的车道线的真值，可以是客观存在的车道线、或者是标注车道线，或者是根据标注信息拟合得到的车道线，在神经网络训练过程中作为监督信息，以对预测的车道线或检测的车道线进行校正。

将每条车道线的第二预测拟合曲线与该车道线的真值进行比较，确定每条车道线的预测拟合曲线与真值之间的差异(即偏差)，将该差异记为第一差异。

将每条车道线的第二检测拟合曲线与该车道线的真值进行比较，确定每条车道线的第二检测拟合曲线与真值之间的差异(即偏差)，将该差异记为第二差异。

根据上述第一差异和第二差异，调整神经网络的网络参数，例如调整神经网络的卷积核参数、矩阵权重等网络参数。

在一种示例中，上述s305可以包括：针对所述至少两条车道线中的每条车道线，确定该所述车道线的第二预测拟合曲线与该车道线的真值之间的第一差异、以及该车道线的第二检测拟合曲线与该车道线的真值之间的第二差异；根据每条所述车道线的第一差异和第二差异，确定所述神经网络的检测损失；根据所述检测损失调整所述神经网络的网络参数。

本实施例对确定每条车道线的第二预测拟合曲线与每条车道线的真值之间的第一差异的具体方法不做限制。

例如，假设以车道线j为例，该车道线j的第二预测拟合曲线f1j(xi)与车道线j的真值f0j(xi)之间的第一差异ε1j可以使用公式(1)到公式(4)中的任意一公式确定，其中i为拟合点，i＝0，1，…，m，j为车道线，j＝0，1，…，n：

即本实施例可以使用上述任一公式，确定每条车道线的第二预测拟合曲线与每条车道线的真值之间的第一误差。可以理解，上述公式也仅为示例性的，第一差异可以采用上述公式的变形或者与上述公式不同的其他公式或者其他方式进行确定，本申请实施例对此并不限制。

在一种示例中，上述确定每条所述车道线的第二预测拟合曲线与每条所述车道线的真值之间的第一差异，包括：

将每条所述车道线的第二预测拟合曲线与每条所述车道线的真值之间的最小二乘运算结果作为所述第一差异。

具体是，根据下列公式(5)，对将每条所述车道线的第二预测拟合曲线与每条所述车道线的真值之间的最小二乘运算结果作为所述第一差异。

其中，xi表示拟合点i的横坐标，f1j(xi)表示车道线j对应的第二预测拟合曲线上拟合点i的纵坐标。f0j(xi)表示车道线j对应的真值上拟合点i的纵坐标。

由于最小二乘运行其运算过程简单，且考虑了整体的误差分布，因此，本实施例可以根据上述公式(5)，快速准确地确定出每条车道线的第二预测拟合曲线和真值之间的第一差异。可以理解，上述公式(5)也仅为示例性的，第一差异可以采用上述公式(5)的变形或者与上述公式(5)不同的其他公式或者其他方式进行确定，本申请实施例对此并不限制。

本实施例对确定每条车道线的第二检测拟合曲线与每条车道线的真值之间的第二差异的具体方法不做限制。

例如，假设以车道线j为例，该车道线j的第二检测拟合曲线f2j(xi)与车道线j的真值f0j(xi)之间的第二差异ε2j可以使用以下公式(6)到公式(9)中的任意一公式确定，其中i＝0，1，…，m，j＝0，1，…，n：：

即本实施例可以使用上述任一种差异确定的方法，来确定车道线的第二检测拟合曲线与该车道线1的真值之间的第二差异。可以理解，上述公式(6)到公式(9)也仅为示例性的，第二差异可以采用上述公式的变形或者与上述公式不同的其他公式或者其他方式进行确定，本申请实施例对此并不限制。

在一种示例中，上述确定每条所述车道线的第二检测拟合曲线与每条所述车道线的真值之间的第二差异，包括：

将每条所述车道线的第二检测拟合曲线与每条所述车道线的真值之间的交叉熵作为所述第二差异。

具体的，根据下列公式(10)，对将每条所述车道线的第二检测拟合曲线与每条所述车道线的真值之间的交叉熵作为所述第二差异。

其中，f2j(xi)表示车道线j对应的第二检测拟合曲线上拟合点i的纵坐标。

这样根据上述公式(10)可以准确确定出每条车道线的第二检测拟合曲线和真值之间的第二差异。可以理解，上述公式(10)也仅为示例性的，第二差异可以采用上述公式(10)的变形或者与上述公式(10)不同的其他公式或者其他方式进行确定，本申请实施例对此并不限制。

在另一种示例中，本实施例还可以将每条所述车道线的第二预测拟合曲线与每条所述车道线的真值之间的交叉熵作为所述第一差异，将每条所述车道线的第二检测拟合曲线与每条所述车道线的真值之间的交叉熵作为所述第二差异。

可选的，还可以将每条所述车道线的第二预测拟合曲线与每条所述车道线的真值之间的最小二乘运算结果作为所述第一差异，将每条所述车道线的第二检测拟合曲线与每条所述车道线的真值之间的最小二乘运算结果作为所述第二差异。

可选的，还可以将每条所述车道线的第二预测拟合曲线与每条所述车道线的真值之间的交叉熵作为所述第一差异，将每条所述车道线的第二检测拟合曲线与每条所述车道线的真值之间的最小二乘运算结果作为所述第二差异。

可选的，本实施例对解决第一差异和第二差异的方法可以相同也可以不同，本实施例对此不做限制。

接着，每条所述车道线的第一差异和第二差异，确定所述神经网络的检测损失。

具体的，将上述确定的每条车道线的第一差异和第二差异，带入神经网络的损失函数中，确定神经网络的检测损失。

在一种示例中，本实施例可以将每条车道线的第一差异和第二差异的加权和作为神经网络模型的损失函数。

例如，各第一差异ε1j的权重为a，各第二差异ε2j的权重为b，这样，可以确定神经网络的损失函数的值loss为：

其中，n表示道路图中车道线的总数量。

在一种示例中，本实施例还可以将每条车道线的第一差异和第二差异的最小二乘运行结果作为神经网络的检测损失。

在另一中示例中，本实施例还可以将每条车道线的第一差异和第二差异之和，作为神经网络的检测损失。

具体是，将各第二差异ε2j与各第一差异ε1j之和，作为神经网络的检测损失，即神经网络的损失函数的值loss为：

根据所述检测损失调整所述神经网络的网络参数，例如，将神经网络的检测损失与预设损失进行比较，反向梯度传播调整神经网络的网络参数。

接着，基于调整后的网格参数，继续进行车道线的检测，具体是，将新的道路训练图输入到调整后的神经网络中，执行上述步骤，确定神经网络的检测损失。判断该检测损失是否达到收敛条件，例如判断该检测损失是否小于预设损失，若是，则确定神经网络训练完成，使用训练好的神经网络进行车道线的预测。若检测损失没有达到收敛条件，则继续调整神经网络的网络参数，并使用新的道路训练图，对调整后的神经网络继续进行训练，直到神经网络的检测损失满足收敛条件为止。

这样，经过大量的迭代训练之后，可以有效提升神经网络的预测精度，这样在实际车道线的检测过程中，该高精度的神经网络可以准确预测出车道线的第二预测拟合曲线。接着，基于各第二预测拟合曲线的消失点，对第二预测拟合曲线进行校正，生成精度更高的检测拟合曲线，进一步提高对车道线的准确检测，为智能驾驶的推广提供保障。

本发明实施例提供的车道线的检测方法，通过将将所述道路训练图输入神经网络，以经所述神经网络输出所述至少二条车道线的第二车道线概率图，根据所述第二车道线概率图中概率值大于设定阈值的至少部分像素点，确定所述至少二条车道线的第二预测拟合曲线，根据确定所述至少二条车道线的预测拟合曲线，确定所述至少二条车道线的消失点；根据所述第二车道线概率图中概率值大于设定阈值的至少部分像素点和所述消失点进行曲线拟合，确定所述车道线的第二检测拟合曲线；根据所述第二预测拟合曲线和车道线的真值的第一差异、以及所述第二检测拟合曲线和车道线的真值的第二差异，调整所述神经网络的网络参数，以实现对神经网络的训练，进而提高神经网络的车道线预测精度。

图8为本发明实施例一提供的车道线的检测装置的结构示意图。如图8所示，本实施例的车道线的检测装置100可以包括：

获取模块110，用于获取道路图，其中，所述道路图包括至少二条车道线；

预测模块120，用于对所述道路图进行车道线预测，得到至少二条车道线的预测结果；

确定模块130，用于根据所述至少二条车道线的预测结果确定所述至少二条车道线的消失点；

输出模块140，用于根据所述至少二条车道线的预测结果和所述消失点，输出所述道路图的车道线检测结果。

本发明实施例的车道线的检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图9为本发明实施例二提供的车道线的检测装置的结构示意图。如图9所示，上述预测模块120包括：第一预测单元121和第一拟合单元122；

第一预测单元121，用于将所述道路图输入神经网络，以经所述神经网络输出所述至少二条车道线的第一车道线概率图；

第一拟合单元122，用于根据所述第一车道线概率图中概率值大于设定阈值的至少部分像素点，确定所述至少二条车道线的第一预测拟合曲线。

在本实施例的一种可能的实现方式中，所述第一拟合单元122，具体用于对所述第一车道线概率图中概率值大于预设值的各概率点进行采样，确定所述至少二条第一车道线概率图的采样点；并对所述至少二条第一车道线概率图的采样点对应的像素点进行曲线拟合，确定所述至少两条车道线的第一预测拟合曲线。

在本实施例的另一种可能的实现方式中，所述第一拟合单元122，具体用于对所述第一车道线概率图中概率值大于预设值的各概率点进行高斯采样，确定所述至少二条第一车道线概率图的采样点。

在本实施例的另一种可能的实现方式中，所述第一拟合单元122，具体用于确定所述至少两条车道线的第一预测拟合曲线的公共交点为所述至少二条车道线的消失点。

在本实施例的另一种可能的实现方式中，所述第一拟合单元122，具体用于根据所述第一车道线概率图中概率值大于设定阈值的至少部分像素点和所述消失点进行曲线拟合，确定并输出所述车道线的第一检测拟合曲线。

在本实施例的另一种可能的实现方式中，所述获取模块110，具体用于经车载摄像头采集车辆所在场景中的道路图。

本发明实施例的车道线的检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图10为本发明实施例三提供的车道线的检测装置的结构示意图。如图10所示，所述装置还包括：训练模块150；

所述训练模块150，用于基于所述道路训练图以及所述道路训练图中的车道线的消失点，训练所述神经网络。

图11为本发明实施例四提供的车道线的检测装置的结构示意图，在上述实施例的基础上，上述训练模块150包括：第二预测单元151、第二拟合单元152、消失点确定单元153和调整单元154；

第二预测单元151，用于将所述道路训练图输入神经网络，以经所述神经网络输出所述至少二条车道线的第二车道线概率图；

第二拟合单元152，用于根据所述第二车道线概率图中概率值大于设定阈值的至少部分像素点，确定所述至少二条车道线的第二预测拟合曲线；

消失点确定单元153，用于根据确定所述至少二条车道线的第二预测拟合曲线，确定所述至少二条车道线的消失点；

所述第二拟合单元152，还用于根据所述第二车道线概率图中概率值大于设定阈值的至少部分像素点和所述消失点进行曲线拟合，确定所述至少二条车道线的第二检测拟合曲线；

调整单元154，用于根据每条车道线的第二预测拟合曲线和每条车道线的真值的第一差异、以及每条车道线的第二检测拟合曲线和每条车道线的真值的第二差异，调整所述神经网络的网络参数。

本发明实施例的车道线的检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图12为本发明实施例五提供的车道线的检测装置的结构示意图，在上述实施例的基础上，上述调整单元154包括：差异子单元1541、损失确定子单元1542和调整子单元1543；

所述差异子单元1541，用于针对所述至少两条车道线中的每条车道线，确定该所述车道线的第二预测拟合曲线与该车道线的真值之间的第一差异、以及该车道线的第二检测拟合曲线与该车道线的真值之间的第二差异；

损失确定子单元1542，用于根据每条所述车道线的第一差异和第二差异，确定所述神经网络的检测损失；

调整子单元1543，用于根据所述检测损失调整所述神经网络的网络参数。

在一种可能的实现方式中，上述差异子单元1541，具体用于将该车道线的第二预测拟合曲线与该车道线的真值之间的最小二乘运算结果作为该车道线的第一差异。

在另一种可能的实现方式中，上述差异子单元1541，具体用于将该车道线的第二检测拟合曲线与该车道线的真值之间的交叉熵作为该车道线的所述第二差异。

在另一种可能的实现方式中，上述损失确定子单元1542，具体用于将每条所述车道线的第一误差和第二误差之和，作为所述神经网络的检测损失。

本发明实施例的车道线的检测装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图13为本发明一实施例提供的电子设备的结构示意图，如图13所示，本实施例的电子设备30包括：

存储器31，用于存储计算机程序；

处理器32，用于执行所述计算机程序，以实现上述车道线的检测方法，其实现原理和技术效果类似，此处不再赘述。

图14为本发明一实施例提供的电子设备的结构示意图，如图14所示，本实施例的电子设备40包括：

所述摄像头41，用于获取道路图，其中，所述道路图包括至少二条车道线；

存储器42，用于存储计算机程序；

处理器43，用于执行所述计算机程序，以实现上述车道线的检测方法，其实现原理和技术效果类似，此处不再赘述。

图15为本发明一实施例提供的驾驶控制方法的流程示意图，在上述实施例的基础上，本申请实施例还提供一种驾驶控制方法，包括：

s401、驾驶控制装置获取道路图的车道线检测结果。

s402、驾驶控制装置根据所述车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。

本实施例的执行主体是驾驶控制装置，本实施例的驾驶控制装置和上述实施例所述的电子设备可以位于同一设备中，也可以单独设备在不同的设备中。其中本实施例的驾驶控制装置与上述的电子设备之间通信连接。

其中，道路图的车道线检测结果为上述实施例的车道线的检测方法得到，具体过程参照上述实施例的描述，在此不再赘述。

具体的，电子设备执行上述车道线的检测方法，获得道路图的车道线检测结果，并将道路图的车道线检测结果输出。驾驶控制装置获取道路图的车道线检测结果，并根据道路图的车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。

其中，提示信息可以包括车道线偏离预警提示，或者，进行车道线保持提示等。

本实施例的智能驾驶包括辅助驾驶和/或自动驾驶。

上述智能驾驶控制可以包括：制动、改变行驶速度、改变行驶方向、车道线保持、改变车灯状态、驾驶模式切换等，其中，驾驶模式切换可以是辅助驾驶与自动驾驶之间的切换，例如，将辅助驾驶切换为自动驾驶。

本实施例提供的车辆驾驶方法，驾驶控制装置通过获取道路图的车道线检测结果，并根据道路图的车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制，进而提高了智能驾驶的安全性和可靠性。

图16为本发明一实施例提供的驾驶控制装置的结构示意图，在上述实施例的基础上，本申请实施例的驾驶控制装置200，包括：

获取模块210，用于获取道路图的车道线检测结果，所述道路图的车道线检测结果采用如上述的车道线的检测方法得到；

驾驶控制模块220，用于根据所述车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。

本发明实施例的驾驶控制装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图17为本发明实施例提供的智能驾驶系统的示意图，如图17所示，本实施例的智能驾驶系统50包括：通信连接的相机51、电子设备30和驾驶控制装置200，其中电子设备30如图13或14所示，驾驶控制装置200如图16所示，相机51用于拍摄道路图。

具体的，如图17所示，在实际使用时，相机51拍摄道路图，并将道路图发送给电子设备30，电子设备30接收到道路图后，根据上述车道线的检测方法对道路图进行处理，获得道路图的车道线检测结果。接着，电子设备30将获得的道路图的车道线检测结果发送给驾驶控制装置200，驾驶控制装置200根据道路图的车道线检测结果输出提示信息和/或对车辆进行智能驾驶控制。

进一步的，当本发明实施例中车道线的检测方法和/或驾驶控制方法的至少一部分功能通过软件实现时，本发明实施例还提供一种计算机存储介质，计算机存储介质用于储存为上述车道线的检测的计算机软件指令，当其在计算机上运行时，使得计算机可以执行上述方法实施例中各种可能的车道线的检测方法和/或驾驶控制方法。在计算机上加载和执行所述计算机执行指令时，可全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机指令可以存储在计算机存储介质中，或者从一个计算机存储介质向另一个计算机存储介质传输，所述传输可以通过无线(例如蜂窝通信、红外、短距离无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如ssd)等。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。