一种车道线绘制方法、装置及存储介质与流程

本发明涉及计算机技术领域，尤其涉及一种车道线绘制方法、装置及存储介质。

背景技术：

在自动驾驶领域，为精准控制车辆，为车辆轨迹规划提供可靠参考，常需要绘制高精度地图。高精度地图绘制需要精确到车道线级别，而在地图制作时，基于众包数据的绘制就需要较高的数据精度。

若直接通过人工进行车道线绘制时，不仅效率低而且存在误差，而通过测绘车辆采集高精度点云，从高精度点云数据中提取车道线虽然可以保障车道线的准确度，但对采集设备以及点云数据处理要求较高，导致车道线绘制成本较高。

技术实现要素：

有鉴于此，本发明实施例提供了一种车道线绘制方法、装置及存储介质，可以降低车道线绘制陈本。

在本发明实施例的第一方面，提供了一种车道线绘制方法，包括：

采集车道线数据，所述车道线数据包括车道线图像、gps数据、惯性测量数据及里程数据；

基于深度学习检测所述车道线图像提取车道线，并计算所述车道线在相机坐标系下的三维散点；

根据所述惯性测量数据和所述里程数据，计算所述车道线图像间的相对位姿；

根据所述车道线图像间的相对位姿，拼接所述三维散点得到车道线，并将拼接得到的车道线关联到所述gps数据中对应的位置；

对拼接得到的车道线聚类，并拟合聚类后的车道线。

在本发明实施例的第二方面，提供了一种车道线绘制装置，包括：

采集模块，用于采集车道线数据，所述车道线数据包括车道线图像、gps数据、惯性测量数据及里程数据；

提取模块，用于基于深度学习检测所述车道线图像提取车道线，并计算所述车道线在相机坐标系下的三维散点；

计算模块，用于根据所述惯性测量数据和所述里程数据，计算所述车道线图像间的相对位姿；

拼接模块，用于根据所述车道线图像间的相对位姿，拼接所述三维散点得到车道线，并将拼接得到的车道线关联到所述gps数据中对应的位置；

拟合模块，用于对拼接得到的车道线聚类，并拟合聚类后的车道线。

在本发明实施例的第三方面，提供了一种装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

本发明实施例的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

本发明实施例中，通过采集车道线数据，提取图像中车道线后，基于图像间的相对位姿，拼接三维散点得到车道线，对得到的车道线簇聚类拟合，获得真实的车道线。本实施可以极大降低对采集的车道线数据精度要求，通过价格低廉的传感器，通过深度学习提取，位姿计算即可准确得到车道线。相较于直接直接聚类获取车道线，通过相对位姿计算可以校准低廉传感器、gps设备采集数据带来的误差，保障车道线绘制的准确，同时保障绘制效率，又降低数据采集陈本，方便对高精度地图中众包数据的处理。

附图说明

图1为本发明实施例提供的一种车道线绘制方法的流程示意图；

图2为本发明实施例提供的一种车道线绘制装置的结构示意图。

具体实施方式

本发明实施例提供了一种车道线绘制方法、装置及存储介质，用于降低高精度地图中车道线绘制成本，降低数据采集要求。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一：

请参阅图1，本发明实施例提供的车道线绘制方法的流程示意图，包括：

s101、采集车道线数据，所述车道线数据包括车道线图像、gps数据、惯性测量数据及里程数据；

所述车道线图像为车载相机拍摄的车道图像，车道中包含有清晰可辨的车道线。所述惯性测量数据即imu(inertialmeasurementunit，惯性测量单元)中测量数据，可以获取车辆翻滚、俯仰及偏航数据，同时便于提取车辆的行驶速度及加速度，所述里程数据即车身里程计测量数据。所述车道线图像、gps数据、惯性测量数据及里程数据均可以通过廉价设备或传感器采集，对数据测量精准度无较高要求。

进一步的，采集所述车道线图像、所述惯性测量数据及所述里程数据，并为所述车道线图像、所述惯性测量数据和所述里程数据添加基于所述gps数据采集时间的时间戳。添加时间戳不仅可以关联数据，而且方便后续基于时序对车道线进行提取拼接。

s102、基于深度学习检测所述车道线图像提取车道线，并计算所述车道线在相机坐标系下的三维散点；

所述深度学习基于图像特征的学习可以提取车道线图像中的车道线，得到车道线的深度图信息。所述相机坐标系是以相机聚焦中心为坐标原点光轴为z轴建立的三维坐标系，将车道线的深度信息分布到空间三维坐标系，可以通过三维散点表示车道线，便于对精度不高车道线进行重构。

可选的，设u、v为车道线图像坐标系下的任意坐标点，u0、v0表示车道线图像的中心坐标，xw、yw、zw表示世界坐标系下的三维坐标点，zc表示相机坐标的z轴值，即目标到相机的距离，f表示相机的焦距，dx、dy表示图像传感器在车道线图像坐标系下的两个坐标轴方向上的尺寸，则世界坐标系的三维点坐标系值为：

xw＝zc(u-u0)dx/f

yw＝zc(u-u0)dy/f

zw＝zc

其中，zc是基于深度学习模型估算结果，将世界坐标系定义在相机坐标系下，则世界坐标系定义和相机坐标系重合。

可选的，当所述车道线图像为双目相机采集时，对左目和右目相机采集的图像中的目标车道线进行匹配，再基于orb特征算子匹配，计算左目相机与右目相机视差，根据所述视差求取车道线在相机坐标系中位置。通过左右目相机的视差，可以获取车道线的深度信息。

s103、根据所述惯性测量数据和所述里程数据，计算所述车道线图像间的相对位姿；

由于车道线图像拍摄时车辆行驶速度、航向角等存在差异，导致映射到相机坐标系下的车道线散点存在角度、位置位置的偏移，通过计算相对位姿可以校准车道线三维散点位置，便于车道线拼接。

具体的，计算车道线图像的初始位姿后，基于视觉里程计对车道线图像位姿进行估算；将估算结果作为扩展卡尔曼滤波的观测值，基于所述里程数据及车道线图像中车道线的定位对车道线图像位姿进行验算，并计算车道线图像中车道线的相对位姿。

示例性的，车道线位姿可以通过3×3旋转矩阵表示，用3×1矩阵表示偏移向量，该3×1矩阵即可表示相对位姿。

s104、根据所述车道线图像间的相对位姿，拼接所述三维散点得到车道线，并将拼接得到的车道线关联到所述gps数据中对应的位置；

将不同位姿的车道线三维散点，基于图像间的相对位姿，对三维散点进行变换拼接。所述拼接得到的车道线以三维散点形式或三维散点连线表示，所述车道线有多条，根据车道线图像及gps数据采集时间的对应关系，对车道线或车道线三维散点进行位置关联。

优选的，选取采集的车道线图像中预设数量的gps信号及置信度最高对应的车道线三维散点，基于所述车道线图像间的相对位姿，对车道线三维散点进行位姿转换。选取若干gps信号较好的散点，可以提高车道线精准度。

s105、对拼接得到的车道线聚类，并拟合聚类后的车道线。

所述车道线聚类即是将拼接的车道线转换至平面坐标系，通过二维车道线簇表示车道线聚合关系。所述拟合车道线即通过一条车道线表征车道线。

具体的，将车道线聚类得到的车道线簇转换到笛卡尔坐标系，按预定距离对车道线簇进行分割，根据切割点分布，选取切割点分布的峰值对应的点作为车道线中心点；根据车道线中心点拟合车道线。一般的，切割点分布符合二元正态分布，正态分布曲线峰值对应的点可以表示车道线位置中心点，对多个车道线中心点连线后平滑处理，能够得到拟合的车道线。

需要注意的是，本实施例中车道线图像中包含车道线，对车道线处理得到车道线的三维散点，车道线的重构可以通过三维散点进行绘制。所述车道线图像或车道线的位姿均可以基于采集车辆的位姿表示，一般可包括坐标位置、速度及航线角，根据位姿的不同，对同一坐标系下的散点进行变换，方便在同一位姿下进行车道线的拼接，拼接的车道线及拟合的车道线，均可由三维散点表征。

本实施例提供的方法，基于低廉设备或传感器采集的众包数据，通过算法修正原始数据精度不高的问题，可以降低采集设备要求，进一步降低采集成本，同时保证车道线绘制的准确。

实施例二：

图2为本发明实施例二提供的车道线绘制装置的结构示意图，包括：

采集模块210，用于采集车道线数据，所述车道线数据包括车道线图像、gps数据、惯性测量数据及里程数据；

可选的，所述采集车道线数据还包括：

采集所述车道线图像、所述惯性测量数据及所述里程数据，并为所述车道线图像、所述惯性测量数据和所述里程数据添加基于所述gps数据采集时间的时间戳。

提取模块220，用于基于深度学习检测所述车道线图像提取车道线，并计算所述车道线在相机坐标系下的三维散点；

可选的，所述计算所述车道线在相机坐标系下的三维散点具体为：

设u、v为车道线图像坐标系下的任意坐标点，u0、v0表示车道线图像的中心坐标，xw、yw、zw表示世界坐标系下的三维坐标点，zc表示相机坐标的z轴值，即目标到相机的距离，f表示相机的焦距，dx、dy表示图像传感器在车道线图像坐标系下的两个坐标轴方向上的尺寸，则世界坐标系的三维点坐标系值为：

xw＝zc(u-u0)dx/f

yw＝zc(u-u0)dy/f

zw＝zc

其中，zc是基于深度学习模型的深度估算结果，将世界坐标系定义在相机坐标系下，则世界坐标系定义和相机坐标系重合。

可选的，所述基于深度学习检测所述车道线图像提取车道线，并计算所述车道线在相机坐标系下的三维散点还包括：

当所述车道线图像为双目相机采集时，对左目和右目相机采集的图像中的目标车道线进行匹配，再基于orb特征算子匹配，计算左目相机与右目相机视差，根据所述视差求取车道线在相机坐标系中位置。

计算模块230，用于根据所述惯性测量数据和所述里程数据，计算所述车道线图像间的相对位姿；

可选的，所述计算模块230包括：

建立单元，用于根据所述车道线图像及惯性测量数据，建立视觉里程计；

估算单元，用于计算车道线图像的初始位姿后，基于视觉里程计对车道线图像位姿进行估算；

计算单元，用于将估算结果作为扩展卡尔曼滤波的观测值，基于所述里程数据及车道线图像中车道线的定位对车道线图像位姿进行验算，并计算车道线图像中车道线的相对位姿。

拼接模块240，用于根据所述车道线图像间的相对位姿，拼接所述三维散点得到车道线，并将拼接得到的车道线关联到所述gps数据中对应的位置；

可选的，所述根据所述车道线图像间的相对位姿，拼接所述三维散点得到车道线还包括：

选取采集的车道线图像中预设数量的gps信号及置信度最高对应的车道线三维散点，基于所述车道线图像间的相对位姿，对车道线三维散点进行位姿转换。

拟合模块250，用于对拼接得到的车道线聚类，并拟合聚类后的车道线。

可选的，所述拟合模块250包括：

选取单元，用于将车道线聚类得到的车道线簇转换到笛卡尔坐标系，按预定距离对车道线簇进行分割，根据切割点分布，选取切割点分布的峰值对应的点作为车道线中心点；

拟合单元，用于根据车道线中心点拟合车道线。

通过本实施例的装置，可以降低车道线数据采集成本，基于车道线提取，位姿计算，拼接及拟合，可以从算法上弥补数据精准度的不足，同时降低设备陈本保障效率。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括步骤s101至s105，所述的存储介质包括如：rom/ram、磁碟、光盘等。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。