车道线提取方法及装置与流程

本发明涉及一种车道线提取方法及装置，具体地说，尤其涉及一种直接利用激光雷达和深度学习进行车道线提取方法及装置。

背景技术：

自动驾驶车辆在行驶的过程中需要感知周围环境，特别是车道线信息，利用车道线信息进行车辆的定位，车道保持等功能。同时对于自动驾驶构建地图时，也需要进行车道线的感知用于地图中车道线的拓扑构建和提取。

进行车道线提取时，需要利用传感器进行车道线的检测和提取，目前现有方法大都利用摄像头进行车道线的检测。主要分为利用摄像头进行车道线的检测，和利用摄像头进行车道线的分割。因为深度学习和大数据的兴起，基于深度学习和摄像头的方法可以很好的进行车道线的检测和分割，完成2d下的车道线感知。但是自动驾驶车辆在进行环境感知时，要感知的是3d世界，特别是车道线信息，2d下的车道线信息仍要恢复出3d信息。但是从摄像头恢复出3d信息并不容易。

从图像中感知到的车道线信息，要恢复出3d信息，一般需要一些复杂的数学转化过程，包括利用摄像头距离地面的高度，摄像头内参，摄像头的俯仰角度等等。利用这些已知的参数，结合一些立体几何的数学计算过程，从而恢复出3d信息。然而上述过程并非完美，摄像头距离地面的高度，摄像头的俯仰角等这些参数经常存在误差，从而导致恢复出的3d车道线信息不够准确，不能满足自动驾驶的需求。

因此急需开发一种克服上述缺陷的车道线提取方法及装置。

技术实现要素：

本发明所要解决的技术问题在于提供一种车道线提取方法，其中，包括：

步骤s1：采集车辆行驶中的行驶数据；

步骤s2：对所述行驶数据中的每一帧数据的车道线信息进行标记；

步骤s3：通过深度学习分割网络对行驶数据进行分割；

步骤s4：根据标记后的数据及分割结果获得车道线分割模型；

步骤s5：通过所述车道线分割模型提取实时行驶数据中的车道线信息。

上述的车道线提取方法，其中，于所述步骤s2中包括：

步骤s21：将所述行驶数据中的多帧数据根据已知位置进行融合，形成点云数据；

步骤s22：对所述点云数据的车道线信息进行标记；

步骤s23：将所述点云数据投影成单帧点云数据。

上述的车道线提取方法，其中，于所述步骤s3中包括：

步骤s31：通过卷积和池化操作对所述行驶数据进行编码，获得2d俯视图结构；

步骤s32：通过深度学习技术对所述2d俯视图结构进行编码；

步骤s33：对编码后的所述2d俯视图结构进行解码获得所述分割结果。

上述的车道线提取方法，其中，于所述步骤s4中包括：

步骤s41：根据标记后的数据及分割结果进行网络训练获得车道线分割模型；

步骤s42：通过多个参数对所述车道线分割模型进行评估以获得最优的车道线分割模型。

上述的车道线提取方法，其中，所述行驶数据包括三维坐标信息及反射强度信息。

本发明还提供一种车道线提取装置，其中，包括：

采集单元，采集车辆行驶中的行驶数据；

标记单元，对所述行驶数据中的每一帧数据的车道线信息进行标记；

分割单元，通过深度学习分割网络对行驶数据进行分割；

模型构建单元，根据标记后的数据及分割结果获得车道线分割模型；

车道线信息输出单元，通过所述车道线分割模型提取实时行驶数据中的车道线信息。

上述的车道线提取装置，其中，所述步骤标记单元包括：

融合模块，将所述行驶数据中的多帧数据根据已知位置进行融合，形成点云数据；

标记模块，对所述点云数据的车道线信息进行标记；

投影模块，将所述点云数据投影成单帧点云数据。

上述的车道线提取装置，其中，所述分割单元包括：

第一编码模块，通过卷积和池化操作对所述行驶数据进行编码，获得2d俯视图结构；

第二编码模块，通过深度学习技术对所述2d俯视图结构进行编码；

解码模块，对编码后的所述2d俯视图结构进行解码获得所述分割结果。

上述的车道线提取装置，其中，所述模型构建单元包括：

模型获得模块，根据标记后的数据及分割结果进行网络训练获得车道线分割模型；

模型评估模块，通过多个参数对所述车道线分割模型进行评估以获得最优的车道线分割模型。

上述的车道线提取装置，其中，所述行驶数据包括三维坐标信息及反射强度信息。

本发明针对于现有技术其功效在于：本发明提出了一种直接利用激光雷达，利用深度学习进行车道线检测的方法省去了繁琐的立体几何和标定参数依赖问题,方便了3d车道线信息的获取。

附图说明

图1为本发明车道线提取方法的流程图；

图2为图1中步骤s2的分步骤流程图；

图3为图1中步骤s3的分步骤流程图；

图4为图1中步骤s4的分步骤流程图；

图5为车道线提取装置的结构示意图。

其中，附图标记：

采集单元11

标记单元12

融合模块121

标记模块122

投影模块123

分割单元13

第一编码模块131

第二编码模块132

解码模块133

模型构建单元14

模型获得模块141

模型评估模块142

车道线信息输出单元15

具体实施方式

兹有关本发明的详细内容及技术说明，现以一较佳实施例来作进一步说明，但不应被解释为对本发明实施的限制。

激光雷达除了提供了现实世界的3d信息，还提供了物体的反射强度信息、地面上的标识、车道线、停止线等等标识的反射强度相对于其他地面点的反射强度都要高。对于这个特性，可以很好的区分一些车道线信息，检测出车道线。所以正好可以利用深度学习方法，结合大数据，自动发现反射强度信息和车道线的关系，从而自动检测出激光雷达中的车道线。

本发明利用激光雷达数据作为输入，设计深度学习分割网络进行车道线自动提取，省去了经典的基于图像的方法还要依赖外参的问题，如摄像机内参、相对于地面高度等等，方法高效且计算量小。其中，激光雷达数据至少包括三维坐标信息和反射强度信息。

请参照图1-图4，图1为本发明车道线提取方法的流程图；图2为图1中步骤s2的分步骤流程图；图3为图1中步骤s3的分步骤流程图；图4为图1中步骤s4的分步骤流程图。如图1-图4所示，本发明的车道线提取方法包括：

步骤s1：采集车辆行驶中的行驶数据；其中，在本实施例中，通过激光雷达采集的激光雷达数据，激光雷达数据至少包括三维坐标信息和反射强度信息。

相比于摄像头,激光雷达直接提供了现实世界的3d信息，利用这些3d信息，可以直接完成车道线的3d感知。当然，相比于摄像头，激光雷达也有缺点，就是激光雷达相对比较稀疏，车道线不好辨认。但是利用大数据和深度学习技术，本发明提出了一种克服激光雷达缺点，利用激光雷达直接检测车道线信息的方法。

步骤s2：对所述行驶数据中的每一帧数据的车道线信息进行标记。

其中，于所述步骤s2中包括：

步骤s21：将所述行驶数据中的多帧数据根据已知位置进行融合，形成点云数据；

步骤s22：对所述点云数据的车道线信息进行标记；

步骤s23：将所述点云数据投影成单帧点云数据。

具体地说，首先人工标注员要完成大量的人工数据标注，即每帧激光雷达数据中标注出哪些点是车道线.利用大量的这些标注数据，我们就可以训练深度学习网络，深度学习网络的任务就是完成每帧激光雷达中车道线的分割，即区分出哪些点是车道线，哪些点不是，标注员可以通过激光雷达的反射强度信息看出哪些点是车道线，但是由于激光雷达太稀疏，车道线信息有时不好区分。因此本发明利用多帧数据进行标注，即将多帧数据根据已知的位置进行融合，融合成一个很稠密的点云数据后，再进行人工标注。融合后的点云因为比较稠密，相比于单帧的数据，车道线更加清晰可见，更利于标注。人工标注完融合后的点云后，再利用算法重新投影回原始的单帧点云数据上，即完成了标注。

步骤s3：通过深度学习分割网络对行驶数据进行分割。

其中，于所述步骤s3中包括：

步骤s31：通过卷积和池化操作对所述行驶数据进行编码，获得2d俯视图结构；

步骤s32：通过深度学习技术对所述2d俯视图结构进行编码；

步骤s33：对编码后的所述2d俯视图结构进行解码获得所述分割结果。

具体地说，本发明的深度学习分割网络不同于传统的图像上的2d深度学习分割网络，激光雷达数据是3d形式的，虽然现在已经有了一些3d上的卷积操作，类似3d卷积等等，但是由于3d计算量大和消耗内存多等问题，本发明并不采用3d深度神经网络的方案。

针对3d的空间结构，本发明先利用卷积和池化操作对z轴进行编码，编码之后，3d结构就压缩为了2d俯视图结构；然后本发明就可以利用2d图像上的深度学习技术对2d俯视图结构进行编码；再对编码后的所述2d俯视图结构进行解码，得到2d俯视图结构的分割结果，从而完成激光雷达的分割结果。整个分割网络分为z轴数据的编码、2d俯视图的深度学习编码、2d俯视图的深度学习解码三个部分。

需要说明的是，编码和解码过程可以利用经典的深度学习2d图像分割网络的现有方法，具体地说，在本实施例中采用pspnet类似的网络结果进行俯视图的编码和解码为较佳的实施方式，但本发明并不以此为限。

步骤s4：根据标记后的数据及分割结果获得车道线分割模型。

其中，于所述步骤s4中包括：

步骤s41：根据标记后的数据及分割结果进行网络训练获得车道线分割模型；

步骤s42：通过多个参数对所述车道线分割模型进行评估以获得最优的车道线分割模型。

具体地说，根据标记后的数据及分割结果，进行网络的训练，得到激光雷达的车道线分割模型。训练模型结束之后，利用一些人工标注的数据，可以测试本发明模型的效果如何，其中，在本实施例中，利用准确率和召回率来评估车道线分割模型。

值得注意的是，由于真实的驾驶场景复杂多样，模型不一定对所有场景都能得到一个比较好的效果。通过评估模型效果，本发明可以及时发现一些错误，了解模型的实际使用情况，针对一些效果不好的场景，可以通过采集更多的数据，进行人工标注，再加入训练数据集中，来完善模型效果。如此循环，直至模型效果满足要求，获得最优的车道线分割模型。

步骤s5：通过所述车道线分割模型提取实时行驶数据中的车道线信息。

相比于现有车道线的检测方法，如图像检测车道线结合立体几何恢复3d信息,本方法提出了一种直接利用激光雷达进行车道线检测的方法，利用深度学习技术，可以很好的在激光雷达数据上直接进行车道线的检测，同时利用激光雷达的3d信息，可以直接得到3d的车道线，省去了复杂且不准确的立体几何后处理步骤。

请参照图5，图5为车道线提取装置的结构示意图。如图5所示，本发明的车道线提取装置包括：采集单元11、标记单元12、分割单元13、模型构建单元14及车道线信息输出单元15；采集单元11采集车辆行驶中的行驶数据；标记单元12对所述行驶数据中的每一帧数据的车道线信息进行标记；分割单元13通过深度学习分割网络对行驶数据进行分割；模型构建单元14根据标记后的数据及分割结果获得车道线分割模型；车道线信息输出单元15通过所述车道线分割模型提取实时行驶数据中的车道线信息。

进一步地，所述步骤标记单元12包括：融合模块121、标记模块122及投影模块123；融合模块121将所述行驶数据中的多帧数据根据已知位置进行融合，形成点云数据；标记模块122对所述点云数据的车道线信息进行标记；投影模块123将所述点云数据投影成单帧点云数据。

再进一步地，所述分割单元13包括：第一编码模块131、第二编码模块132及解码模块133；第一编码模块131通过卷积和池化操作对所述行驶数据进行编码，获得2d俯视图结构；第二编码模块132通过深度学习技术对所述2d俯视图结构进行编码；解码模块133对编码后的所述2d俯视图结构进行解码获得所述分割结果。

又进一步地，所述模型构建单元14包括：模型获得模块141及模型评估模块142；模型获得模块141根据标记后的数据及分割结果进行网络训练获得车道线分割模型；模型评估模块142通过多个参数对所述车道线分割模型进行评估以获得最优的车道线分割模型。

更进一步地，所述行驶数据包括三维坐标信息及反射强度信息。

本发明具有以下效果：

1)不再需要类似图像的立体几何后处理方法，直接就可以得到3d信息的车道线，省去了内参依赖；

2)减少了计算步骤，计算量更小，算法更加鲁邦，可控性更强。

上述仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。