车道线更新方法、装置、设备、系统及可读存储介质与流程
本发明实施例涉及高精地图技术，尤其涉及一种车道线更新方法、装置、设备、系统及可读存储介质。
背景技术：
高精地图也称为高分辨率地图(highdefinitionmap，hdmap)，是一种专门为无人驾驶服务的地图。与传统导航地图不同的是，高精地图除了能提供的道路(road)级别的导航信息外，还能够提供车道(lane)级别的导航信息。现实场景中，由于道路拓宽或重新规划，导致车道线也随之变化，有必要对高精地图中的车道线进行更新。
目前，高精地图中车道线的更新方法为：通过搭载高精度全球定位系统(globalpositioningsystem，gps)、惯性测量单元(inertialmeasurementunit，imu)及工业相机的采集车，采集车道线图像。再将车道线图像中的车道线数据与高精地图中的车道线数据作差，得到横向偏移量。如果车道线的横向偏移量超过一定阈值，则更新高精地图中的车道线数据。
上述方法的缺陷在于，由于gps总是存在一定的误差，每次采集的车道线数据与高精地图中的车道线数据之差不会完全相同。如果某次得到的横向偏移量超过一定阈值，可能会造成车道线的错误更新。
技术实现要素：
本发明实施例提供一种车道线更新方法、装置、设备、系统及可读存储介质，以提高车道线更新的准确性。
第一方面，本发明实施例提供了一种车道线更新方法，包括：
获取对车道线进行拍摄得到的多张原始图像和拍摄每张原始图像的定位信息；
从每张原始图像中，识别车道线像素点；
根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，计算每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合；
对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量；
根据每个离散点关联的聚合向量所指向的目标偏移点，对所述待更新车道线进行更新。
第二方面，本发明实施例还提供了一种车道线更新装置，包括：
获取模块，用于获取对车道线进行拍摄得到的多张原始图像和拍摄每张原始图像的定位信息；
识别模块，用于从每张原始图像中，识别车道线像素点；
计算模块，用于根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，计算每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合；
聚合模块，用于对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量；
更新模块，用于根据每个离散点关联的聚合向量所指向的目标偏移点，对所述待更新车道线进行更新。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的车道线更新方法。
第四方面，本发明实施例还提供了一种车道线更新系统，包括：采集车和任一实施例所述的电子设备；
所述电子设备集成于所述采集车中，或者独立于所述采集车并与所述采集车通信连接；
其中，所述采集车包括车辆本体、搭载在所述车辆本体上的拍摄设备和定位设备；
所述拍摄设备用于：对车道线进行拍摄得到多张原始图像；
所述定位设备用于：对拍摄每张原始图像时的车辆本体进行定位，得到拍摄每张原始图像的定位信息；
所述采集车用于：将所述多张原始图像和拍摄每张原始图像的定位信息发送至所述电子设备中，以供所述电子设备对所述待更新车道线进行更新。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的车道线更新方法。
本发明实施例中，通过获取对车道线进行拍摄得到的多张原始图像和拍摄每张原始图像的定位信息，从每张原始图像中，识别车道线像素点，并根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，计算每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合，从而得到每个离散点关联的多个偏移向量，而不是单个偏移向量；通过对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量，并根据每个离散点关联的聚合向量所指向的目标偏移点，对所述待更新车道线进行更新，从而通过对大量偏移向量聚合的方式，抵消掉单次偏移向量带来的误差，提高车道线更新的准确性、现势性和稳定性。本发明实施例由于采用了大量偏移向量聚合的方式，不需要高精度的拍摄设备和定位设备，也不需要连续拍摄图像，减少数据传输流量，降低了更新车道线的成本；同时，本实施例不需要对原始图像直接进行高精度的车道线拟合，也不需要高精度的更新算法，仅需要一般准确率和召回率的算法即可，能够有效减少数据处理量和计算时间。
附图说明
图1a是本发明实施例一提供的一种车道线更新系统的结构示意图；
图1b是本发明实施例一提供的一种车道线更新方法的流程图；
图2a是本发明实施例二提供的一种车道线更新方法的流程图；
图2b是本发明实施例二提供的原始图像中偏移向量的示意图；
图3a是本发明实施例三提供的一种车道线更新方法的流程图；
图3b是本发明实施例三提供的反投影点与原始图像的拍摄点之间的距离的示意图；
图4是本发明实施例四提供的一种车道线更新装置的结构示意图；
图5是本发明实施例五提供的一种电子设备的结构示意图；
图6是本发明实施例六提供的一种车道线更新系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
为清楚介绍本发明实施例的技术方案，首先基于图1a介绍本发明实施例所适用的车道线更新系统的结构示意图。图1a中，车道线更新系统主要包括电子设备和采集车。
采集车包括但不限于小轿车、汽车、客车等各种路面行驶车辆，可以是无人驾驶车或者有人驾驶车。采集车包括：车辆本体、搭载在车辆本体上的拍摄设备和定位设备。
拍摄设备和定位设备可以设置在采集车的后视镜上。拍摄设备用于对采集车前方路面进行拍摄，例如，广角摄像头、鱼眼摄像头等。定位设备用于对采集车进行实时定位，定位设备集成有定位系统，例如，全球定位系统(globalpositioningsystem，gps)、北斗定位系统等。
电子设备可以集成于采集车中，或者独立于采集车并与采集车通信连接。电子设备用于执行车道线的更新操作。
基于上述车道线更新系统，本发明实施例一提供一种车道线更新方法，其流程图如图1b所示，可适用于对路面上的车道线进行采集，并根据采集结果对高精地图中的车道线进行更新的情况。该方法可以由车道线更新装置来执行，并一般集成在上述车道线更新系统中的电子设备中。
结合图1b，本实施例提供的方法具体包括：
s110、获取对车道线进行拍摄得到的多张原始图像和拍摄每张原始图像的定位信息。
在采集车在路面上行驶的过程中，拍摄设备对路面上的车道线进行拍摄，得到多张原始图像。
本实施例中，不需要拍摄设备进行连续拍摄，即不需要连续帧，对车道线拍摄完全即可。
在采集车在路面上行驶的过程中，定位设备对采集车的车辆本体进行定位。在拍摄每张原始图像时，从定位设备获取车辆本体的定位信息，即拍摄每张原始图像的定位信息。
s120、从每张原始图像中，识别车道线像素点。
车道线像素点为属于车道线类别的像素点。可选地，采用深度神经网络模型对每张原始图像进行语义分割，得到每张原始图像中每个像素点对应的语义类别标签，例如车道线类别、树木类别或者路标类别等。从每个像素点中，识别出属于车道线类别的像素点。
其中，深度神经网络模型包括但不限于卷积神经网络。
s130、根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，计算每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合。
其中，高精地图数据中的现有车道线为待更新车道线。将待更新车道线沿车道线延伸方向按预设长度进行分段，取每段车道线的中心点，得到待更新车道线的多个离散点。多个离散点构成车道线的离散化表示。
从高精地图的地图数据中，根据离散点的坐标获取对应的定位信息。根据拍摄每张原始图像的定位信息，可得到车道线像素点的定位信息。由于车道线像素点从原始图像中识别得到，代表了车道线的真实位置。那么，根据离散点的定位信息和车道线像素点的定位信息之间的偏差，可以得到每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合。值得说明的是，参与计算的车道线像素点应是与离散点在定位上相互对应的像素点，例如，参与计算的车道线像素点的纵轴坐标与离散点的纵轴坐标相同。
在一示例中，一共取10个离散点，20张原始图像，经过本操作，得到每个离散点相对于每张原始图像中车道线像素点的偏移向量，也就是，得到10个偏移向量集合，每个偏移向量集合包括最多20个偏移向量。值得说明的是，由于拍摄视角的原因，有的原始图像中不包括与某些离散点在定位上相互对应的车道线像素点，则得不到相应的偏移向量，导致偏移向量集合包括最多20个偏移向量。但是，本实施例中，每个偏移点对应的偏移向量集合包括至少两个偏移向量，即对于每个离散点，存在至少两张原始图像包括与离散点在定位上相互对应的车道线像素点。偏移向量的起点为离散点，终点为车道线像素点。
s140、对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量。
由于定位设备和/或拍摄设备带来的误差，使得单个偏移向量不能准确表示车道线的偏差，为此，本实施例采用至少两个偏移向量聚合的方式，抵消掉单个偏移向量带来的误差。
具体地，对于每个偏移向量集合，对其中的偏移向量进行向量聚合，得到每个离散点关联的聚合向量。可选地，对偏移向量进行向量叠加，得到聚合向量。
s150、根据每个离散点关联的聚合向量所指向的目标偏移点，对待更新车道线进行更新。
离散点与偏移向量集合是一对一的关系，那么，离散点与聚合向量也是一对一的关系。聚合向量的起点为离散点，终点为目标偏移点。可见，目标偏移点与离散点也是一对一的关系。
目标偏移点是车道线应该更新到的位置，基于此，生成经过目标偏移点的曲线，得到更新后的车道线的地图数据。其中，车道线的地图数据为车道线在世界坐标系中的坐标序列。
可选地，求解曲线的方法包括但不限于待定系数法、定义法、参数法和曲线拟合法。以曲线拟合法为例，根据每个离散点关联的聚合向量所指向的目标偏移点进行曲线拟合，得到更新后的车道线的地图数据。值得说明的是，如果拟合后的曲线不在世界坐标系中，还需要将拟合后的曲线投影至世界坐标系中，得到更新后的车道线的地图数据。后续，将车道线的地图数据转换为高精地图的格式，并存储在高精地图数据库中。
本发明实施例中，通过获取对车道线进行拍摄得到的多张原始图像和拍摄每张原始图像的定位信息，从每张原始图像中，识别车道线像素点，并根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，计算每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合，从而得到每个离散点关联的多个偏移向量，而不是单个偏移向量；通过对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量，并根据每个离散点关联的聚合向量所指向的目标偏移点，对待更新车道线进行更新，从而通过对大量偏移向量聚合的方式，抵消掉单次偏移向量带来的误差，提高车道线更新的准确性、现势性和稳定性。本发明实施例由于采用了大量偏移向量聚合的方式，不需要高精度的拍摄设备和定位设备，也不需要连续拍摄图像，减少数据传输流量，降低了更新车道线的成本；同时，本实施例不需要对原始图像直接进行高精度的车道线拟合，也不需要高精度的更新算法，仅需要一般准确率和召回率的算法即可，能够有效减少数据处理量和计算时间。
实施例二
本实施例在上述实施例各可选实施方式的基础上，进一步优化。可选地，将“根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，计算每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合”优化为“根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，将多个离散点投影至对应的原始图像中，得到对应的投影点；根据每张原始图像中，每个投影点的位置信息和车道线像素点的位置信息，计算每个投影点相对于车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合”；或者，优化为“根据拍摄每张原始图像的定位信息，将每张原始图像中的车道线像素点投影至世界坐标系的路面空间中，得到多个反投影点；根据地图数据中待更新车道线的多个离散点的定位信息，将每个离散点投影至世界坐标系的路面空间中，得到每个离散点的位置信息；根据世界坐标系的路面空间中，每个离散点的位置信息和每个反投影点的位置信息，计算每个离散点相对于每个反投影点的偏移向量，得到每个离散点关联的偏移向量集合”，从而在二维空间：原始图像或者世界坐标系的路面空间中，计算每个离散点关联的偏移向量集合。
图2a是本发明实施例二提供的一种车道线更新方法的流程图。本实施例提供的方法包括以下操作：
s210、获取对车道线进行拍摄得到的多张原始图像和拍摄每张原始图像的定位信息。
s220、从每张原始图像中，识别车道线像素点。继续执行s230或者s240。
下述操作s230-s231，在原始图像中计算偏移向量集合，操作s240-s241，在世界坐标系的路面空间中计算偏移向量集合。本领域技术人员可以根据数据处理量和精度，自由选择计算偏移向量集合的二维空间。
s230、根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，将多个离散点投影至对应的原始图像中，得到对应的投影点。继续执行s231。
离散点所在的高精地图是按照世界坐标系构建的，需要将多个离散点从世界坐标系中投影到图像坐标系中。考虑到原始图像的拍摄视角有限，为了避免多余的计算量，对于每张原始图像，将其拍摄视角范围内的离散点投影至对应的原始图像中。其中，拍摄视角范围可以为拍摄设备前方预设距离内。
首先，根据定位信息，计算拍摄设备的外参，拍摄设备的外参包括拍摄设备在世界坐标系中的位置信息和姿态信息。
具体地，首先，根据定位信息，获取拍摄设备搭载在的采集车在世界坐标系中的位置信息和姿态信息(t1，r1)，或者称为平移向量和旋转矩阵。其中，姿态信息中的偏航角，可根据定位信息中采集车的运动方位角估算出。为了简化计算，姿态信息中的翻滚角和俯仰角设置为0。位置信息可从定位信息中直接得到。
接着，根据采集车在世界坐标系中的位置信息和姿态信息(t1，r1)，以及拍摄设备在采集车坐标系中的位置信息和姿态信息(t2，r2)，得到拍摄设备在世界坐标系中的位置信息和姿态信息(t，r)。
其中，拍摄设备在采集车坐标系中的位置信息和姿态信息可在拍摄设备安装的时候标定好，在拍摄图像的过程中保持不变。将(t2，r2)构成的矩阵乘以(t1，r1)构成的矩阵，得到拍摄设备在世界坐标系中的位置信息和姿态信息(t，r)。
接着，通过拍摄设备的内参和外参，将离散点投影至对应的原始图像中，得到每个离散点对应的投影点。其中，拍摄设备的内参包括：感光芯片上像素的实际大小(dx，dy)，图像平面中心(u0，v0)和焦距f。相机内参可采用事先标定值或相机出厂型号进行推算。
每个离散点对应的投影点的计算方法如式(1)所示：
m＝k[r,t]x；(1)
其中，m是投影点的像素坐标(u,v)，k是内参矩阵，
s231、根据每张原始图像中，每个投影点的位置信息和车道线像素点的位置信息，计算每个投影点相对于车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合。继续执行s250。
图2b是本发明实施例二提供的原始图像中偏移向量的示意图，结合图2b，s231包括以下四步：
第一步：在每张原始图像中，绘制分别穿过每个投影点的平行基准线。
不同的基准线穿过不同的投影点，不同的基准线之间是平行的。可选地，基准线可以是与原始图像的横轴平行的线，或者与横轴成一定夹角的线，例如2度、5度。
第二步：在每张原始图像的车道线像素点中，选取与每个投影点在同一基准线上的左边缘点和右边缘点。
第三步：根据每张原始图像中，每个投影点对应的左边缘点和右边缘点，计算每个投影点对应的中心点。
原始图像中存在多个车道线像素点，多个车道线像素点构成车道线区域。基准线穿过投影点和车道线区域，并与车道线区域的边缘相交于左边缘点和右边缘点。根据左边缘点和右边缘点的位置信息，计算左边缘点和右边缘点的连线中点，即投影点对应的中心点。
值得说明的是，当存在多个左边缘点和右边缘点时，说明原始图像中存在至少两块车道线区域，如图2b所示。则需要选择与投影点距离最近的左边缘点和右边缘点，进而根据与投影点距离最近的左边缘点和右边缘点计算中心点。
第四步：根据每张原始图像中，每个投影点的位置信息和对应的中心点的位置信息，计算每个投影点相对于中心点的偏移向量，得到每个离散点关联的偏移向量集合。
其中，偏移向量的起点是投影点，中点是中心点。偏移向量的方向代表偏移方向，偏移向量的大小代表偏移程度。
图2b示出了2个投影点n1和n2，穿过投影点n1的基准线l1与距离最近的车道线区域相交于p1和p2，穿过投影点n2的基准线l2与距离最近的车道线区域相交于p3和p4。p1和p2的连线中点为p5，p3和p4的连线中点为p6。接着，根据投影点n1的位置信息和p5的位置信息，计算投影点n1相对于p5的偏移向量
s240、根据拍摄每张原始图像的定位信息，将每张原始图像中的车道线像素点投影至世界坐标系的路面空间中，得到多个反投影点。继续执行s241。
首先，将世界坐标系中的路面空间划分为多个网格，得到包括多个网格的路面图像。
为了与像素点的形状一致，将路面空间划分为多个正方形的网格。网格的尺寸根据车道线精度确定，如果车道线精度是厘米级别的，需要将网格的尺寸设置为厘米级别的。在一示例中，将路面空间离散成20厘米乘以20厘米的网格，则整个路面空间可表示为一张路面图像，该路面图像上每个像素点(或者每个网格)对应现实中20厘米乘以20厘米大小的路面。
然后，根据拍摄每张原始图像的定位信息，得到每张原始图像中的车道线像素点对应的网格坐标。本操作包括以下四个步骤。
第一步：根据定位信息，计算拍摄设备的外参，拍摄设备的外参包括拍摄设备在世界坐标系中的位置信息和姿态信息。
第二步：根据拍摄设备的外参和内参，将车道线像素点投影至世界坐标系中。
其中，拍摄设备的内参和外参详见上述实施例的描述，此处不再赘述。
在几何上，车道线像素点在世界坐标系中的投影是从拍摄设备中心出发并通过车道线像素点的一条射线。该射线的参数方程如下：
式(2)中，w是射线x的参数，j是车道线像素点的像素坐标。
假设，投影矩阵p＝k[r,t]，式(2)中的h是投影矩阵p的前3列构成的矩阵，p4是投影矩阵p的第4列构成的矩阵。
第三步：根据路面的高度，将世界坐标系中的车道线像素点投影至路面空间中，得到投影坐标。
其中，路面的高度可以预先标定，可以通过定位信息计算。具体地，假设拍摄设备的中心点与定位设备等高，则从定位信息中获取高程值，并从高程值中减去定位设备距离地面的高度，得到路面的高度h。
z＝h；(3)
将式(2)与式(3)联立，解出w，并得到世界坐标系中的车道线像素点(即射线x)在路面空间中的投影点的坐标(简称为投影坐标)。
第四步：根据投影坐标在路面图像中的位置，确定投影坐标对应的网格坐标。
每个车道线像素点的投影坐标对应一块区域。根据投影坐标在路面图像中的位置，将投影坐标对应到网格坐标(a,b)中。原始图像中每一个车道线像素点均可以从图像坐标系中投影到路面空间中，并计算出对应的网格坐标。
得到每张原始图像中的车道线像素点对应的网格坐标之后，将车道线像素点投影到对应的网格坐标中，得到多个反投影点；同时，也得到了每张原始图像对应的路面图像。
s241、根据地图数据中待更新车道线的多个离散点的定位信息，将每个离散点投影至世界坐标系的路面空间中，得到每个离散点的位置信息。继续执行s242。
s242、根据世界坐标系的路面空间中，每个离散点的位置信息和每个反投影点的位置信息，计算每个离散点相对于每个反投影点的偏移向量，得到每个离散点关联的偏移向量集合。继续执行s251。
离散点所在的坐标系是世界坐标系。首先根据路面的高度和地图数据中离散点的定位信息，计算离散点在路面空间中的位置信息。然后，将离散点投影到对应的路面图像中。
可选地，首先，在上述每张路面图像中，绘制分别穿过每个离散点的平行基准线；接着，在每张路面图像的反投影点中，选取与每个离散点在同一基准线上的左边缘点和右边缘点；然后，根据每张路面图像中，每个离散点对应的左边缘点和右边缘点，计算每个离散点对应的中心点；根据每张路面图像中，每个离散点的位置信息和对应的中心点的位置信息，计算每个离散点相对于中心点的偏移向量，得到每个离散点关联的偏移向量集合。此处描述与s231处的描述大体相同，不同之处仅在于图像类型与穿过的点的类型不同，但是方法实质均相同，此处不再赘述。
s250、将每个偏移向量集合中的偏移向量投影至世界坐标系的路面空间中。继续执行s251。
具体地，将世界坐标系中的路面空间划分为多个网络，得到包括多个网格的路面图像；根据拍摄每张原始图像的定位信息，计算每张原始图像中的每个偏移向量的起终点对应的网格坐标；将每个偏移向量的起终点投影到对应的网格坐标中。
此处描述与s240处的描述大体相同，不同之处仅在于待投影的点的类型不同，但是方法实质均相同，此处不再赘述。
s251、在世界坐标系的路面空间中，对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量。
s260、根据每个离散点关联的聚合向量所指向的目标偏移点，对待更新车道线进行更新。
本实施例提供了两个二维空间：原始图像和世界坐标系的路面空间。在任一二维空间中均可计算每个离散点关联的偏移向量集合。此外，通过采用网格划分的方式将路面空间离散化，便于将车道线像素点投影至路面空间中。通过将车道线像素点投影至路面空间中，并在路面空间中计算偏移向量，或者，将原始图像中的偏移向量投影至路面空间中，去除了拍摄视角以及采集车的位置和姿态对偏移向量的影响，提高车道线更新的准确性。
实施例三
本发明实施例在上述各实施例的技术方案的基础上进行操作优化。可选地，将操作“对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量”优化为“将每个偏移向量集合中的偏移向量进行向量相加，得到每个离散点关联的聚合向量”，或者，优化为“计算每个偏移向量集合中每个偏移向量对应的车道线像素点，在世界坐标系的路面空间中的投影点；根据每个投影点的定位信息，以及每个投影点所在的原始图像的定位信息，计算每个投影点与对应原始图像的拍摄点之间的距离；根据每个投影点与对应原始图像的拍摄点之间的距离，配置每个偏移向量的权重；根据每个偏移向量的权重，对每个偏移向量集合中的偏移向量进行向量加权相加，得到聚合向量”，从而提高聚合向量的准确性。如图3a所示的一种车道线更新方法，包括：
s310、获取对车道线进行拍摄得到的多张原始图像和拍摄每张原始图像的定位信息。
s320、从每张原始图像中，识别车道线像素点。
s330、根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，计算每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合。继续执行s340或者s350。
s345和s350的不同之处在于，s340直接采用向量加法法则，将偏移向量集合中各偏移向量进行相加，得到聚合向量。s350对偏移向量配置了权重，再采用向量加法法则，对各偏移向量进行加权相加。
s340、将每个偏移向量集合中的偏移向量进行向量相加，得到每个离散点关联的聚合向量。继续执行s360。
s350、获取每个偏移向量集合中每个偏移向量对应的车道线像素点，在世界坐标系的路面空间中的反投影点。继续执行s351。
如果偏移向量本身位于世界坐标系的路面空间中，在直接从路面空间中获取偏移向量对应的车道线像素点，例如上述实施例中的中心点。
如果偏移向量本身不位于世界坐标系的路面空间中，例如，位于上述实施例中的原始图像中，则需要将对应的车道线像素点(如上述实施例中的中心点)投影至世界坐标系的路面空间中，得到反投影点。具体的投影方法详见对s240的描述，此处不再赘述。
s351、根据每个反投影点的位置信息，以及拍摄对应的车道线像素点所在的原始图像的定位信息，计算每个反投影点与对应原始图像的拍摄点之间的距离。继续执行s352。
拍摄原始图像的定位信息实质是世界坐标系下的定位信息，可根据路面高度，将该定位信息转换到世界坐标系的路面空间中，并在路面空间中，计算每个反投影点与对应原始图像的拍摄点之间的距离。
图3b是本发明实施例三提供的反投影点与原始图像的拍摄点之间的距离的示意图。假设，某个离散点关联有3个偏移向量，则对应3个反投影点和3张原始图像，3个反投影点分别为y1、y2和y3，3张原始图像的拍摄点分别为o1、o2和o3，反投影点y1与拍摄点o1之间的距离为s1，反投影点y2与拍摄点o2之间的距离为s2，反投影点y3与拍摄点o3之间的距离为s3。可见s1>s2>s3。
值得说明的是，如果定位设备和拍摄设备的精度足够高，与某个离散点对应的若干个反投影点实质是同一个点。也就是说，在理想情况下，y1、y2和y3实质是同一个点。但是由于设备的误差，计算得到的反投影点y1、y2和y3有略微的差别。
s352、根据每个反投影点与对应原始图像的拍摄点之间的距离，配置每个偏移向量的权重。
距离越远的反投影点受到拍摄视角以及采集车的位置和姿态的影响越大，则将距离远的反投影点对应的偏移向量的权重配置为较小值；相反，将距离近的反投影点对应的偏移向量的权重配置为较大值。可见，距离与权重呈负相关。
s353、根据每个偏移向量的权重，对每个偏移向量集合中的偏移向量进行向量加权相加，得到聚合向量。继续执行s360。
结合图3b，假设反投影点y1对应的偏移向量
s360、根据每个离散点关联的聚合向量所指向的目标偏移点，对待更新车道线进行更新。
可选地，获取同一条车道线上的多个邻接的离散点所关联的聚合向量；对多个邻接的离散点所关联的聚合向量进行相似度验证；如果多个邻接的离散点所关联的聚合向量通过相似度验证，根据多个聚合向量所指向的目标偏移点，对待更新车道线进行更新。
其中，邻接的离散点为连续排布的离散点。可选地，在同一条车道线的任意区段，选取预设数量的多个邻接的离散点，进而获取多个邻接的离散点关联的聚合向量。
对多个聚合向量进行相似度验证包括：验证多个聚合向量的长度之差是否小于长度阈值，和/或，验证多个聚合向量的角度之差是否小于角度阈值。如果验证结果为是，则为有效偏移，根据多个聚合向量所指向的目标偏移点，对待更新车道线进行更新；如果验证结果为否，则为无效偏移，不对待更新车道线进行更新，或者，继续获取同一条车道线上另外多个邻接的离散点所关联的聚合向量，并进行相似度验证。
本实施例中，通过对偏移向量直接进行向量相加或者向量加权相加，实现了向量聚合，抵消掉单次偏移向量带来的误差，提高车道线更新的准确性、现势性和稳定性；通过对聚合向量进行相似度验证，以判定偏移的有效性，进一步提高了车道线更新的准确性。
实施例四
图4是本发明实施例四提供的一种车道线更新装置的结构示意图，本发明实施例适用于对路面上的车道线进行采集，并根据采集结果对高精地图中的车道线进行更新的情况，结合图4,车道线更新装置包括：获取模块410、识别模块420、计算模块430、聚合模块440和更新模块450。
获取模块410，用于获取对车道线进行拍摄得到的多张原始图像和拍摄每张原始图像的定位信息；
识别模块420，用于从每张原始图像中，识别车道线像素点；
计算模块430，用于根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，计算每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合；
聚合模块440，用于对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量；
更新模块450，用于根据每个离散点关联的聚合向量所指向的目标偏移点，对待更新车道线进行更新。
本发明实施例中，通过获取对车道线进行拍摄得到的多张原始图像和拍摄每张原始图像的定位信息，从每张原始图像中，识别车道线像素点，并根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，计算每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合，从而得到每个离散点关联的多个偏移向量，而不是单个偏移向量；通过对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量，并根据每个离散点关联的聚合向量所指向的目标偏移点，对待更新车道线进行更新，从而通过对大量偏移向量聚合的方式，抵消掉单次偏移向量带来的误差，提高车道线更新的准确性、现势性和稳定性。本发明实施例由于采用了大量偏移向量聚合的方式，不需要高精度的拍摄设备和定位设备，也不需要连续拍摄图像，减少数据传输流量，降低了更新车道线的成本；同时，本实施例不需要对原始图像直接进行高精度的车道线拟合，也不需要高精度的更新算法，仅需要一般准确率和召回率的算法即可，能够有效减少数据处理量和计算时间。
可选地，计算模块430在根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，计算每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合时，具体用于：根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，将多个离散点投影至对应的原始图像中，得到对应的投影点；根据每张原始图像中，每个投影点的位置信息和车道线像素点的位置信息，计算每个投影点相对于车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合。
可选地，计算模块430在根据地图数据中待更新车道线的多个离散点的定位信息和拍摄每张原始图像的定位信息，计算每个离散点相对于每张原始图像中车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合时，具体用于：根据拍摄每张原始图像的定位信息，将每张原始图像中的车道线像素点投影至世界坐标系的路面空间中，得到多个反投影点；根据地图数据中待更新车道线的多个离散点的定位信息，将每个离散点投影至所述世界坐标系的路面空间中，得到每个离散点的位置信息；根据世界坐标系的路面空间中，每个离散点的位置信息和每个反投影点的位置信息，计算每个离散点相对于每个反投影点的偏移向量，得到每个离散点关联的偏移向量集合。
可选地，计算模块430在根据每张原始图像中，每个投影点的位置信息和车道线像素点的位置信息，计算每个投影点相对于车道线像素点的偏移向量，得到每个离散点关联的偏移向量集合时，具体用于：在每张原始图像中，绘制分别穿过每个投影点的平行基准线；在每张原始图像的车道线像素点中，选取与每个投影点在同一基准线上的左边缘点和右边缘点；根据每张原始图像中，每个投影点对应的左边缘点和右边缘点，计算每个投影点对应的中心点；根据每张原始图像中，每个投影点的位置信息和对应的中心点的位置信息，计算每个投影点相对于中心点的偏移向量，得到每个离散点关联的偏移向量集合。
可选地，聚合模块440在对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量时，具体用于：将每个偏移向量集合中的偏移向量投影至世界坐标系的路面空间中；在世界坐标系的路面空间中，对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量。
可选地，聚合模块440在将每个偏移向量集合中的偏移向量投影至世界坐标系的路面空间中时，具体用于：将世界坐标系中的路面空间划分为多个网络，得到包括多个网格的路面图像；根据拍摄每张原始图像的定位信息，计算每张原始图像中的每个偏移向量的起终点对应的网格坐标；将每个偏移向量的起终点投影到对应的网格坐标中。
可选地，聚合模块440在对每个偏移向量集合中的偏移向量分别进行向量聚合，得到每个离散点关联的聚合向量时，具体用于：将每个偏移向量集合中的偏移向量进行向量相加，得到每个离散点关联的聚合向量；或者，获取每个偏移向量集合中每个偏移向量对应的车道线像素点，在世界坐标系的路面空间中的反投影点；根据每个反投影点的位置信息，以及拍摄对应的车道线像素点所在的原始图像的定位信息，计算每个反投影点与对应原始图像的拍摄点之间的距离；根据每个反投影点与对应原始图像的拍摄点之间的距离，配置每个偏移向量的权重；根据每个偏移向量的权重，对每个偏移向量集合中的偏移向量进行向量加权相加，得到每个离散点关联的聚合向量。
可选地，更新模块450在根据每个离散点关联的聚合向量所指向的目标偏移点，对待更新车道线进行更新时，具体用于：获取同一条车道线上的多个邻接的离散点所关联的聚合向量；对多个邻接的离散点所关联的聚合向量进行相似度验证；如果多个邻接的离散点所关联的聚合向量通过相似度验证，根据多个聚合向量所指向的目标偏移点，对待更新车道线进行更新。
可选地，更新模块450在根据每个离散点关联的聚合向量所指向的目标偏移点，对待更新车道线进行更新时，具体用于：根据每个离散点关联的聚合向量所指向的目标偏移点进行曲线拟合，得到更新后的车道线的地图数据。
本发明实施例所提供的车道线更新装置可执行本发明任意实施例所提供的车道线更新方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如采集车)通信，将从采集车获取的原始图片和定位信息存储到系统存储器28中。电子设备还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的车道线更新方法。处理单元16得到更新后的车道线的地图数据后，将车道线的地图数据转换为高精地图的格式，并存储在系统存储器28的高精地图数据库中。
实施例六
本实施例提供一种车道线更新系统，结合图1a和图6，车道线更新系统主要包括电子设备和采集车。
在上述实施例的基础上，拍摄设备用于：对车道线进行拍摄得到多张原始图像；定位设备用于：对拍摄每张原始图像时的车辆本体进行定位，得到拍摄每张原始图像的定位信息；采集车用于：将多张原始图像和拍摄每张原始图像的定位信息发送至电子设备中，以供电子设备对待更新车道线进行更新。电子设备更新车道线的地图数据的过程详见上述实施例的描述，此处不再赘述。
本实施例对定位设备和拍摄设备的精度要求较低，采用普通精度的设备即可，例如30万像素或者50万像素的cmos摄像头。
在上述实施例的基础上，如图6所示，采集车还包括与拍摄设备连接的拍摄设备控制模块，用于控制拍摄设备开启或者停止拍摄。采集车还包括与拍摄设备和定位设备连接的存储器，用于存储原始图像和定位信息。采集车还包括与电子设备进行通讯的通讯模块，以及与通讯模块连接的上传模块，通讯模块例如是网卡，调制解调器，4g网络模块等等。采集车通过通讯模块和上传模块，将存储器中存储的原始图像和定位信息发送至电子设备。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例的车道线更新方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
- 还没有人留言评论。精彩留言会获得点赞！