车道线生成方法、设备和介质与流程

1.本公开一般涉及智能驾驶领域，尤其涉及一种车道线生成方法、设备和介质。


背景技术：

2.随着汽车产业的发展，自动驾驶、辅助驾驶等成为热门发展方向，车道线生成是其中的重要环节。车载设备可以实时生成车道线，为车辆行驶提供指导。例如，司机可以根据车载设备生成的车道线驾驶车辆，无人驾驶场景下也可以根据车载设备生成的生成车道线实现车辆的自动驾驶。
3.目前，可以获取路面的3d点云数据，再通过人工方式对3d点云数据进行标注，获得车道线的坐标。还可以将车道线坐标存储在地图数据库中，后续可以在用户使用时基于行驶路线显示车道线。
4.但是，人工标注3d点云数据的难度很高，同时标注结果也存在较大误差。目前车道线生成仍存在准确度不高的问题。


技术实现要素：

5.鉴于现有技术中的上述缺陷或不足，期望提供一种车道线生成方法、设备和介质，能够提高车道线生成的准确度。
6.第一方面，提供了一种车道线生成方法，包括：
7.获取待标注路面的多个点云数据，以及待标注路面在不同视角下的二维道路图像；
8.根据不同视角下的二维道路图像确定待标注路面的参考车道线；参考车道线包含多个标注点；
9.针对参考车道线中的每一标注点，从多个点云数据中确定与标注点匹配的目标点云数据；
10.基于所有标注点对应的目标点云数据，生成待标注路面的车道线。
11.第二方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述第一方面所述的方法。
12.第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述第一方面所述的方法。
13.第四方面，提供了一种计算机程序产品，计算机程序产品中包含指令，该指令被处理器运行时实现上述第一方面所述的方法。
14.本技术实施例提供的车道线生成方法、设备和介质，获取路面的点云数据以及路面在多个视角下的二维道路图像后，可以基于二维道路图像生成参考车道线。基于参考车道线包含的每一标注点，可以从点云数据中确定标注点匹配的点云数据，根据所有标注点匹配到的点云数据生成车道线。本技术提供的方法在借助点云数据生成车道线的同时，还可以基于路面在多视角下的二维道路图像对点云坐标进行筛选、融合，结合两种模态的数
据来生成车道线，既可以保留图像数据信息量大的优势，也可以保留点云数据抗干扰力强的特性，有效地改善了车道线生成的准确性。另外，相比于人工标注3d点云数据获得车道线的技术方案来说，大大降低了实现难度，同时也提高了标注结果的准确度。
15.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
16.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
17.图1为本技术实施例提供的模型训练示意图；
18.图2为本技术实施例的实施环境示意图；
19.图3为本技术实施例提供的车道线生成方法的流程示意图；
20.图4为本技术实施例提供的标注点示意图；
21.图5为本技术实施例提供的标注点匹配示意图；
22.图6为本技术实施例提供的标注点示意图；
23.图7为本技术实施例提供的标注点匹配示意图；
24.图8为本技术实施例提供的坐标融合示意图；
25.图9为本技术实施例提供的车道线生成方法的另一流程示意图；
26.图10为本技术实施例提供的车道线生成装置的结构示意图；
27.图11为本技术实施例提供的计算机设备的结构示意图。
具体实施方式
28.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
29.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
30.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安全防控、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能
电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
31.首先，对本技术涉及的术语进行解释说明。
32.(1)车道线
33.车道线，还可以称为导向车道线，是引导方向的车道标线。可以用来指示车辆的行驶方向。在智能驾驶领域，可以在车辆显示屏显示的路面图像上标注车道线，提示行驶方向。
34.(2)点云坐标
35.点云数据(point cloud data)是指利用传感器发射的信号对目标物体进行扫描所获得的数据，可以表征目标物体的三维形态。每一个点云数据可以是三维坐标系统中的坐标。因此，点云数据可以包括点云坐标，点云坐标是三维坐标。
36.(3)模型训练：将大量已知分类结果的数据输入初始模型，让模型内部的算法学习到这些数据的分类规则，从而使得训练出的模型能够对未知数据进行分类。
37.其中，输入模型的大量已知分类结果的数据可以称为模型的训练样本。以有监督的机器学习为例，训练样本的真实分类结果可以作为训练样本的标签。在模型训练过程中，对训练样本进行特征提取，将提取到的特征输入模型的分类函数，可以获得模型的输出结果。进一步，还可以根据损失函数确定模型的输出结果与训练样本的标签之间的损失，根据损失对模型进行迭代训练，直至模型的输出结果接近训练样本的标签。也就是说，模型具备了对数据进行准确分类的能力。另外，模型对模型输入进行特征提取获得的特征可以称为模型的训练特征，通常可以是对模型输入进行识别、分类的关键特征。例如，在对图片中的人脸进行识别时，参考的关键特征可以是“脸部轮廓”、“眼睛”、“嘴巴”等，模型可以对输入图片进行特征提取获得脸部轮廓特征、眼睛特征、嘴巴特征等，模型的分类函数可以基于这些特征输出模型的识别结果。
38.目前，主要借助3d点云数据进行车道线生成。首先可以采集路面的点云坐标，还可以通过人工标注点云坐标的方式获得路面的车道线。这种方式存在人工标注误差大，标注结果精度低的问题。为了提供标注效率，还可以借助机器学习模型实现车道线的自动标注，为用户提供道路信息、行驶方向等辅助功能。上述机器学习模型的训练过程中需要获取路面的3d点云数据，再由人工基于3d点云数据标注车道线，获得训练样本和标签(即人工标注的车道线)。训练过程参考图1，将训练样本输入神经网络模型，神经网络模型对训练样本进行特征提取、标注，从而可以输出车道线预测结果。还可以根据模型预测的车道线与人工标注车道线之间的损失对神经网络模型进行迭代训练，直至模型预测的车道线无限接近人工标注车道线，学习到基于点云数据标注车道线的能力。
39.由于人工标注3d点云数据的难度很高，同时标注结果也存在较大误差。因此，导致训练样本的准确度不高，从而使得机器学习模型的性能受限，例如，机器学习模型输出的车道线生成结果的准确度不高。
40.基于此，本技术提出一种车道线生成方法、设备和存储介质，能够基于道路的点云坐标和二维图像获得构成车道线的坐标，基于这些坐标生成车道线，无需人工进行3d点云数据的标注，节省成本。另外，基于点云坐标、二维图像这两种模态的数据获取车道线的坐标，相比于仅仅根据点云数据生成车道线的方案来说，能够提高车道线的准确性。
41.图2为本技术所提供方法适用的智能驾驶系统。参考图2，该系统包括客户端10和
后台服务器20。在智能驾驶领域，客户端10设置在车辆上，可以是安装在车载设备的应用程序或车载设备，也可以是用户的个人设备(例如，手机)上安装的应用程序。客户端10可以获取车辆相关的道路信息，例如，拥堵信息、速度信息、车道线等，并向用户输出道路信息，作为司机驾驶的辅助信息。或者，客户端10也可以基于道路信息控制车辆的其他设备(例如，线控系统)，实现车辆的自动行驶。
42.其中，服务器20支持客户端10所提供的各种功能的后台实现。例如，服务器20可以向客户端10发送拥堵信息，以便客户端10提示接收到的拥堵信息。
43.上述后台服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
44.客户端202可以是终端，也可以是终端上安装的应用程序。终端可以是包括但不限于个人计算、平台电脑、智能手机、车载终端等设备，本技术实施例对此不作限定。
45.本技术实施例提供一种车道线生成方法，该方法的执行主体可以是前文所述的客户端10，也可以是后台服务器20。参考图3，该方法包括以下步骤：
46.301、获取待标注路面的多个点云数据，以及待标注路面在不同视角下的二维路面图像；
47.302、根据多个二维道路图像确定待标注路面的参考车道线；参考车道线包含多个标注点；
48.303、针对参考车道线中的每一标注点，从多个点云数据中确定与该标注点匹配的目标点云数据；
49.304、基于参考车道线的所有标注点对应的目标点云数据，生成所述待标注路面的车道线。
50.需要说明的是，可以预先对道路进行信息采集，将采集到的信息存储在地图数据库中。在车辆行驶中可以获取客户端(例如，车载设备上安装的应用程序)的定位结果，并基于车辆的定位结果在地图数据库中匹配到相应的道路信息，并基于获取到的道路信息提供智能驾驶服务，例如，辅助驾驶或自动驾驶。其中，道路信息可以包括车道线信息。本技术实施例提供的方法，能够基于道路的点云数据和二维道路图像生成精度较高的车道线，可以应用在创建地图数据库的阶段，即利用本技术实施例提供的方法生成车道线，还可以将车道线的信息存储在地图数据库中，后续在实际驾驶场景中，客户端可以根据地图数据库中的车道线信息确定当前行驶路面的车道线。或者，本技术也可以应用在实时驾驶中，即应用本技术实施例提供的方法在实时驾驶的过程中针对当前行驶路面生成车道线。
51.在上述步骤s301的一种可能的实现方式中，可以由传感器对路面进行扫描，获得路面的点云数据。点云数据可以包括待标注路面的多个点云坐标。另外，可以对待标注路面进行图像采集，获得待标注路面在不同视角下的二维道路图像。
52.示例性的，在对待标注路面进行图像采集时，可以在不同位置(车辆的不同位置)设置多个图像采集设备。其中，各个图像采集设备的视角不同。在上述多个图像采集设备对待标注路面进行拍摄后，可以获取待标注路面在多个二维道路图像，每一二维道路图像对应不同的视角。或者，在对待标注路面进行图像采集时，也可以仅设置一个图像采集设备，
控制该图像采集设备进行拍摄视角切换，则可以获得待标注路面在多个不同视角下的二维道路图像。
53.本技术实施例中，可以对多个二维道路图像进行融合，基于融合图像生成参考车道线，也可以基于每一二维道路图像生成参考车道线。具体包括以下两种方式：
54.第一种、对上述多个二维道路图像进行融合处理，获得融合图像。进一步基于所述融合图像生成所述参考车道线，可以对融合图像进行车道线生成处理，获得待标注路面的参考车道线。
55.具体实现中，可以利用多个视角的相机内外参，可以将上述多个二维道路图像投影到同一平面，获得融合图像。
56.第二种、分别对每一二维道路图像进行车道线生成处理，获得每一二维道路图像中的参考车道线。
57.在一种可能的实现方式中，前文涉及的车道线生成处理可以通过人工方式对路面二维道路图像进行手工标注，获得每一二维道路图像中的参考车道线。
58.另一种实现方式中，车道线生成处理也可以通过机器学习模型来实现。示例性的，将二维道路图像输入车道线检测模型，获得二维道路图像中的参考车道线。或者，可以将融合图像输入车道线检测模型，获得融合图像中的参考车道线。其中，车道线检测模型是基于多个历史二维道路图像和所述历史二维道路图像中已标注的车道线训练获得的。
59.在一种可能的实现方式中，待标注路面的二维道路图像输入车道线检测模型后，可以通过预设的特征提取规则对二维道路图像进行特征提取处理，基于提取到的特征得到二维道路图像中的车道线生成结果。其中，车道线检测模型是通过对样本数据进行训练，从而学习到具备车道线生成能力的网络结构模型。车道线检测模型的输入为二维道路图像，输出为二维道路图像中的标注车道线，且具有对输入二维道路图像进行图像识别的能力，是能够预测输入二维道路图像中的车道线的神经网络模型。车道线检测模型可以包括多层网络结构，不同层的网络结构对输入其的数据进行不同的处理，并将其输出结果传输至下一网络层，直至通过最后一个网络层进行处理，得到输入图像的车道线生成结果。
60.可选的，上述特征提取规则是指根据实际应用场景预先设置的特征提取策略，也可以是通用的特征提取算法等。作为一种可实现方式，特征提取算法可以是采用尺度不变特征变换(scale-invariant feature transform，sift)算法，也可以是加速稳健特征((speeded up robust features，surf)算法，还可以是orb特征检测(oriented fast and rotated brief，orb)等得到输入图像的车道线生成结果。
61.需要说明的是，上述对待识别图像进行特征提取，得到参考车道线的各个实现方式仅仅是作为一种示例，本技术实施例对此不做限定。
62.一种可能的实现方式中，本技术实施例对车道线标注点的具体实现方式不作限定，可以通过聚类或筛选的方式获得标注点。示例性的，车道线包括多个坐标点，可以基于坐标值对车道线包含的坐标点进行聚类，将聚类坐标(即聚类中心)作为标注点，则可以获得车道线的多个标注点。也可以根据车道线的线段曲率对车道线包含的多个坐标点进行筛选，获得多个坐标点，筛选出的坐标点连接后形成的线段与车道线相同或相近。
63.需要说明的是，确定标注点的目标点云数据，即待标注路面的多个点云数据中筛选与该标注点相似度最高的点云数据。虽然点云数据和标注点是不同模态下的数据，点云
数据往往可以包含被扫描对象的高度信息，而标注点是二维图像上的点，不能表征被扫描对象的高度信息，但针对同一扫描对象，其点云数据和二维图像上的标注点之间是具有相似性的。当标注点与某个点云数据的相似度较大，可以认为该标注点与该点云数据是针对同一对象的成像数据，二者存在匹配关系。
64.一种可能的实现方式中，可以确定标注点与上述多个点云数据中每一点云数据之间的相似度，将其中相似度最大的点云数据作为该标注点匹配的目标点云数据。
65.示例性的，可以对点云数据进行维度转化，得到与标注点维度相同的数据。在基于转化后的点云数据和标注点计算标注点与点云数据之间的相似度。例如，点云数据为三维数据(x1，y1，z1)，标注点为二维数据(x2，y2)，可以将三维数据(x1，y1，z1)转化成二维数据(x0，y0)，在基于二维数据(x0，y0)和二维数据(x2，y2)确定标注点与点云数据之间的相似度。
66.一种可能的实现方式中，坐标之间的相似度可以是坐标之间的欧氏距离。坐标之间的相似度与坐标之间的距离负相关，坐标之间的距离越小，坐标之间的相似度越高。例如，待标注路面的点云数据为(x1，y1，z1)、(x2，y2，z2)，进行维度转化后得到(x3，y3)和(x4，y4)。标注点为(w0，v0)，分别计算(w0，v0)与(x3，y3)、(x4，y4)的距离，假设(x4，y4)与(w0，v0)的距离较近，则将(x4，y4)对应的点云数据(x2，y2，z2)作为标注点的目标点云数据。
67.一种可能的实现方式中，可以对所有标注点在各视角下所对应的目标点云数据进行融合处理，获得待标注路面的车道线。其中，融合处理的粒度是标注点，即单个标注点对应的目标点云数据进行融合，不同标注点的目标点云数据则不进行融合。单个标注点进行融合处理的结果与该标注点对应的各个目标点云数据的特性相关。
68.示例性的，可以对每一标注点对应的所有目标点云数据进行融合，并基于每一标注点的融合结果生成车道线。
69.本技术实施例提供的方法中，获取路面的点云数据以及路面在多个视角下的二维道路图像后，可以基于二维道路图像生成参考车道线。基于参考车道线包含的每一标注点，可以从点云数据中确定标注点匹配的点云数据，根据所有标注点匹配到的点云数据生成车道线。本技术提供的方法在借助点云数据生成车道线的同时，还可以基于路面在多视角下的二维道路图像对点云坐标进行筛选、融合，结合两种模态的数据来生成车道线，既可以保留图像数据信息量大的优势，也可以保留点云数据抗干扰力强的特性，有效地改善了车道线生成的准确性。另外，相比于人工标注3d点云数据获得车道线的技术方案来说，大大降低了实现难度，同时也提高了标注结果的准确度。
70.在本技术的另一实施例中，待标注路面的点云数据包括三维坐标，可以将三维坐标映射到二维平面，得到二维映射坐标。再基于点云数据的二维映射坐标确定点云数据与标注点之间的相似度，即点云数据与标注点是否匹配，以确定标注点的目标点云数据。
71.示例性的，前文涉及的“从多个点云数据中确定与标注点匹配的目标点云数据”，包括：将各个所述点云数据转化成相应的二维映射坐标，从得到的多个所述二维映射坐标中确定所述标注点的匹配坐标；将多个所述点云数据中与所述匹配坐标对应的点云数据，作为所述标注点匹配的目标点云数据。
72.具体实现中，采集点云坐标的传感器的坐标系可以是三维坐标系，因此点云数据中的点云坐标往往是三维坐标(还可以称为3d坐标)。可以选择一个二维坐标系，将点云数据中的点云坐标分别映射至该二维坐标系中，获得每一点云数据对应的二维映射坐标。获
得点云数据的二维映射坐标后，可以从多个二维映射坐标中确定与标注点匹配的二维坐标，即标注点的匹配坐标。
73.在一种可能的实现方式中，标注点的匹配坐标可以是多个点云数据转化获得的多个二维映射坐标中，与该标注点的相似度最高的二维坐标。其中，标注点与二维映射坐标之间的相似度与二者之间的距离负相关，标注点与二维映射坐标之间的距离越小，二者的相似度越高。示例性的，计算标注点与每一二维映射坐标之间的距离，将距离最小的二维映射坐标作为标注点的匹配坐标。
74.在本技术的另一实施例中，标注点在多个视角下均存在匹配坐标。可以遍历每一视角的二维道路图像，确定标注点在每一视角下的匹配坐标。示例性的，针对每一视角，确定标注点在该视角下的二维道路图像中的原始坐标；进一步，确定原始坐标与每一二维映射坐标的相似度，将与所述原始坐标相似度最高的二维映射坐标作为标注点在该视角下的匹配坐标。
75.一种可能的实现方式中，对多个二维道路图像进行融合，基于融合图像获得参考车道线，可以对融合图像中的参考车道线进行标注，获得多个标注点。进一步，可以根据标注点反算标注点在二维道路图像中对应的原始坐标，从而基于原始坐标和上述二维映射坐标的相似度确定标注点的匹配坐标；
76.示例性的，首先通过反算方法确定融合图像中的标注点在各个二维道路图像)中对应的原始坐标；还可以针对该标注点对应的每一原始坐标，计算该原始坐标与多个二维映射坐标的相似度，将与原始坐标相似度最高的二维映射坐标作为标注点的匹配坐标。也就是说，在一个视角的二维道路图像中可以确定标注点的一个原始坐标，根据该原始坐标与各个二维映射坐标之间的相似度，可以确定标注点在一个视角下的匹配坐标，进而可以获得标注点在各个视角下的匹配坐标。
77.以图4作为示例，获取待标注路面在三个多个视角下的二维道路图像，分别图像1、图像2和图像3，对图像1、图像2和图像3投影至同一屏幕，获得融合图像4。对图像4进行车道线生成处理，获得参考车道线。其中，参考车道线包括标注点a1-a10。
78.基于图像1和图像4的投影关系，对标注点a1-a10进行反算处理，获得图像1中与标注点a1-a10依次对应的原始坐标a1、a2、a3
…
a10；基于图像2和图像4的投影关系，对标注点a1-a10进行反算处理，获得图像2中与标注点a1-a10依次对应的原始坐标b1、b2、b3
…
b10；基于图像3和图像4的投影关系，对标注点a1-a10进行反算处理，获得图像3中与标注点a1-a10依次对应的原始坐标c1、c2、c3
…
c10。即标注点a1在不同视角下的原始坐标是a1、b1、c1，标注点a2在不同视角下的原始坐标是a2、b2、c2
…
标注点a10在不同视角下的原始坐标是a10、b10、c10。
79.参考图5，针对标注点a1，计算原始坐标a1和多个二维映射坐标的相似度，将其中相似度最高的二维映射坐标作为标注点a1在一个视角下的匹配坐标1；类似地，分别计算原始坐标b1、c1与多个二维映射坐标的相似度，可以确定标注点a1在另外两个视角下的匹配坐标2和匹配坐标3。以此类推，可以确定a1～a10在三个不同视角下的匹配坐标。
80.另一种可能的实现方式中，可以对多个二维道路图像分别进行车道线生成处理，获得多个参考车道线。每一参考车道线是由多个坐标点组成的，可以对这些坐标点进行聚类处理，获得多个标注点。当获取了待标注路面在多个视角下的二维道路图像，其中每一个
二维道路图像的参考车道线包括的坐标点经过聚类处理，均可以获得原始标注点(也可以称为原始坐标)。针对不同二维道路图像中的原始标注点，若原始标注点之间的坐标差异小于预设阈值，则认为是同一标注点。
81.示例性的，获取待标注路面在三个多个视角下的二维道路图像，分别是图6所示的图像1、图像2和图像3。其中，图像1中参考车道线包括的坐标点进行聚类后，获得原始标注点a1、a2、a3
…
a10，图像2中参考车道线包括的坐标点进行聚类后，获得原始标注点b1、b2、b3
…
b10，图像3中参考车道线包括的坐标点进行聚类后，获得原始标注点c1、c2、c3
…
c10。
82.其中，a1、b1、c1的坐标值的差异小于预设阈值，认为是同一标注点1。a2、b2、c2的坐标值的差异小于预设阈值，认为是同一标注点2。以此类推，a10、b10、c10的坐标值的差异小于预设阈值，认为是同一标注点10。也就是说，图像1、图像2和图像3对应了10个标注点。
83.在通过聚类方式确定标注点后，还可以根据标注点在某一视角的二维道路图像中对应的原始标注点与二维映射坐标之间的相似度，确定标注点在当前视角下的匹配坐标。
84.示例性的，参考图7，标注点1在图像1中的原始标注点为(x1,y1)，在图像2中的原始标注点为(x2,y2)，在二维道路图像3中的原始标注点为(x3,y3)。上述多个二维映射坐标中与(x1,y1)相似度最高的坐标是(w1,z1)，与(x2,y2)相似度最高的坐标是(w2,z2)，与(x3,y3)相似度最高的坐标是(w3,z3)。则各个视角下，与标注点1匹配的二维映射坐标是(w1,z1)、(w2,z2)和(w3,z3)。以此类推，可以确定每一标注点在多个视角下的匹配坐标。
85.需要说明的是，二维映射坐标与标注点的相似度与二者之间的距离负相关，可以通过计算二维映射坐标与标注点之间的距离，选择距离最近的二维映射坐标为标注点的匹配点。
86.以图4、图5为基础，在确定标注点的匹配坐标后，可以基于匹配坐标确定标注点的目标点云数据，将匹配坐标对应的点云数据作为标注点的目标点云数据。例如，参考图8，3个不同视角下，标注点1反算得出的原始坐标分别是(x1,y1)、(x2,y2)、(x3,y3)。(x1,y1)、(x2,y2)、(x3,y3)在3个不同视角下对应的匹配坐标分别是(w1,z1)、(w2,z2)和(w3,z3)。其中(w1,z1)转化前的点云坐标是(o1,p1,q1)，(w2,z2)转化前的点云坐标是(o2,p2,q2)，(w3,z3)转化前的点云坐标是(o3,p3,q3)，即标注点1对应的所有点云坐标是(o1,p1,q1)、(o2,p2,q2)和(o3,p3,q3)；以此类推，可以确定标注点2～标注点10对应的所有点云坐标。
87.进一步，参考图8，可以对标注点1～标注点10各自对应的点云坐标进行融合处理，获得标注点1～标注点10各自对应的融合坐标。进一步，可以根据标注点1～标注点10对应的融合坐标生成车道线。
88.在本技术的另一实施例中，对点云数据进行转化的二维坐标系可以是图像采集设备的坐标系。示例性的，可以基于图像采集设备的内参和外参，将所述点云数据转化成所述图像采集设备的成像坐标；所述成像坐标为二维坐标。
89.其中，内参可以是相机内参，用于实现某一坐标从相机坐标系到像素坐标系的转换。外参可以是相机外参，用于实现某一坐标从世界坐标系到相机坐标系的转换。
90.一种可能的实现方式中，采集点云坐标的传感器和上述图像采集设备可以是关联使用的。即使用上述传感器以及关联使用的图像采集设备对同一对象进行扫描，可以认为传感器和图像采集设备是关联使用的设备。例如，在对确定待标注路面的车道线时，同一车辆的激光传感器和摄像头对待标注路面进行扫描。
91.具体地，，当传感器和图像采集设备关联使用时，图像采集设备的成像视角与传感器的成像视角存在关联关系，可以基于图像采集设备的内参和外参，将待标注路面的多个点云数据转化成图像采集设备的成像坐标(二维映射坐标)。
92.一种可能的实现方式中，利用以下公式(1)将点云坐标(xw，yw，zw)转化为成像坐标(u，v)：
[0093][0094]
其中，zc是归一化系数，k是所述内参，r、t为所述外参。
[0095]
在本技术的另一实施例中，还可以对传感器获得的点云数据进行预处理，提高点云数据的精确度。示例性的，前文涉及的获取待标注路面的多个点云数据，包括：首先获取传感器扫描待标注路面获得的初始点云数据，滤除初始点云数据中的非路面点云数据，获得候选点云数据；进一步，基于候选点云数据对待标注路面进行曲面拟合处理，获得待标注路面的多个点云数据。
[0096]
可以理解的是，路面高度可能是平滑没有突变的，因此可以利用点云数据中点云坐标的高度信息来过滤非路面点云，去除初始点云数据中的非路面点云数据。示例性的，假设点云坐标为(x，y，z)，其中x，y是二维平面上的位置信息，z是高度信息，可以将z坐标非零的点云坐标过滤掉，获得候选点云数据。
[0097]
对非路面点云坐标进行过滤后，点云坐标会变得稀疏，例如，路面障碍物处的点云数据会变成空洞。还可以基于候选点云数据对待标注路面进行曲面拟合处理，补全这些空洞。示例性的，可以利用最小二乘法对候选点云数据进行参数化处理，进一步还可以利用参数化处理的结果进行曲面拟合，实现对点云空洞的补齐。
[0098]
在本技术的另一实施例中，还提供了基于标注点的目标点云数据生成车道线的具体实现方式。示例性的，针对每一标注点，可以将该标注点对应的目标点云数据进行融合，获得该标注点的融合点云。进一步，基于所有标注点的融合点云生成待标注路面的车道线。
[0099]
其中，一个标注点对应的目标点云数据的融合处理，可以是对相同维度的点云信息进行求均值处理，获得融合点云中该维度的数据。例如，可以对同一坐标轴上的坐标值进行求均值处理，获得该坐标轴对应的融合值。融合点云可以包括各个坐标轴的融合值。
[0100]
例如，针对点云坐标系的每一坐标轴，对标注点对应的所有点云坐标在某一坐标轴上的坐标值进行均值处理，获得该标注点在该坐标轴上的融合坐标。
[0101]
示例性的，标注点1对应的所有点云坐标是(o1,p1,q1)、(o2,p2,q2)和(o3,p3,q3)，对各个坐标值上对应的坐标值进行均值处理获得融合坐标[(o1+o2+o3)/3,(p1+p2+p3)/3,(q1+q2+q3)]。进一步，可以对标注点1～标注点10的融合坐标进行连线处理，获得车道线。
[0102]
本技术实施例还提供了一种车道线生成方法，如图9所示，该方法包括以下步骤：
[0103]
s1、对待标注路面进行扫描，获得待标注路面的初始点云数据和待标注路面在不同视角的二维道路图像；
[0104]
其中，车载设备可以在同一时刻控制传感器和图像采集设备对待标注路面进行扫
描，传感器可以向车载设备发送待标注路面的点云数据，图像采集设备可以向车载设备发送待标注路面在不同视角的二维道路图像。
[0105]
s2、将初始点云数据中的非路面点云数据过滤，获得候选点云数据；
[0106]
s3、基于候选点云数据进行曲面拟合，补齐点云空洞，获得待标注路面的点云数据；
[0107]
s4、基于图像扫描设备的内参、外参，将待标注路面的点云数据转化成二维映射坐标；
[0108]
s5、对多个二维道路图像进行融合，基于融合图像生成参考车道线；
[0109]
具体地，可以将融合图像输入预先训练的车道线检测模型，获得车道线检测模型输出的预测车道线，即为待标注路面的参考车道线。
[0110]
s6、针对参考车道线中的每一标注点，确定标注点在二维道路图像上的原始坐标。
[0111]
具体地，不同二维车道图像对应一个视角，基于融合图像和该二维道路图像的映射关系，可以反算出标注点在该视角的二维道路图像中的原始坐标。以此类推，可以确定出标注点在每一视角下对应的原始坐标，即一个标注点对应多个原始坐标。
[0112]
s7、针对每一标注点，根据标注点的原始坐标，确定标注点在每一视角下的匹配坐标。
[0113]
具体地，针对任意一个视角a，计算标注点在视角a下对应的原始坐标1与每一二维映射坐标之间的距离，将距离最近的二维映射坐标作为标注点在视角a下的匹配坐标。
[0114]
相应的，可以确定标注点在每一视角下的匹配坐标。
[0115]
s8、针对每一标注点，对该标注点在所有视角下的所有匹配坐标进行融合，获得该标注点对应的融合坐标；
[0116]
具体地，上述匹配坐标的融合即将同一维度的信息进行均值处理，获得融合坐标中该维度的信息。
[0117]
s9、根据所有标注点的融合坐标生成待标注路面的车道线。
[0118]
本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术实施例描述的车道线生成方法。例如，可以执行图3所示方法的各个步骤。
[0119]
本技术实施例提供了一种计算机程序产品，计算机程序产品中包含指令，该指令被处理器运行时实现前文图3所示方法的各个步骤。
[0120]
应当注意，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。
[0121]
图10为本技术一个实施例的车道线生成装置的方框示意图。参考图10，该装置包括获取单元1001、标注单元1002、匹配单元1003以及生成单元1004。
[0122]
获取单元1001，用于获取待标注路面的多个点云数据，以及所述待标注路面在不同视角下的二维道路图像；
[0123]
标注单元1002，用于根据所述不同视角下的二维道路图像确定所述待标注路面的参考车道线；所述参考车道线包含多个标注点；
[0124]
匹配单元1003，用于针对所述参考车道线中的每一标注点，从所述多个点云数据
中确定与所述标注点匹配的目标点云数据；
[0125]
生成单元1004，基于所有所述标注点对应的目标点云数据，生成所述待标注路面的车道线。
[0126]
在一个实施例中，匹配单元1003具体用于，将各个所述点云数据转化成相应的二维映射坐标，从所述多个二维映射坐标中确定所述标注点的匹配坐标；
[0127]
将多个所述点云数据中与所述匹配坐标对应的点云数据，作为所述标注点匹配的目标点云数据。
[0128]
在一个实施例中，匹配单元1003将所述点云数据转化成多个二维映射坐标，包括：
[0129]
基于图像采集设备的内参和外参，将所述点云数据转化成所述图像采集设备的成像坐标；所述成像坐标为二维坐标；所述图像采集设备与采集所述多个点云数据的传感器为关联使用的设备。
[0130]
在一个实施例中，匹配单元1003从所述多个二维映射坐标中确定所述标注点的匹配坐标，包括：
[0131]
针对每一所述视角，确定所述标注点在所述视角下的所述二维道路图像中的原始坐标；
[0132]
确定所述原始坐标与每一所述二维映射坐标的相似度，将与所述原始坐标相似度最高的二维映射坐标作为所述标注点的匹配坐标。
[0133]
在一个实施例中，标注单元1002具体用于，对所述多个二维道路图像进行融合处理，获得融合图像；
[0134]
基于所述融合图像生成所述参考车道线。
[0135]
在一个实施例中，标注单元1002对所述融合图像进行车道线生成处理，获得所述参考车道线，包括：
[0136]
将所述融合图像输入车道线检测模型，获得所述车道线检测模型所输出的所述融合图像中的参考车道线；所述车道线检测模型是基于多个历史二维道路图像和所述历史二维道路图像中已标注的车道线训练获得的。
[0137]
在一个实施例中，生成单元1004具体用于，针对每一所述标注点，对所述标注点在各视角下所对应的目标点云数据进行融合处理，，获得每一所述标注点对应的融合点云；
[0138]
基于所有所述标注点对应的融合点云生成所述车道线。
[0139]
在一个实施例中，获取单元1001具体用于，获取传感器扫描所述待标注路面获得的初始点云数据，滤除所述初始点云数据中的非路面点云数据，获得候选点云数据；
[0140]
基于所述候选点云数据对所述待标注路面进行曲面拟合处理，获得所述待标注路面的多个点云数据。
[0141]
本技术实施例提供的车道线生成装置，获取路面的点云数据以及路面在多个视角下的二维道路图像后，可以基于二维道路图像生成参考车道线。基于参考车道线包含的每一标注点，可以从点云数据中确定标注点匹配的点云数据，根据所有标注点匹配到的点云数据生成车道线。本技术提供的方法在借助点云数据生成车道线的同时，还可以基于路面在多视角下的二维道路图像对点云坐标进行筛选、融合，结合两种模态的数据来生成车道线，既可以保留图像数据信息量大的优势，也可以保留点云数据抗干扰力强的特性，有效地改善了车道线生成的准确性。另外，相比于人工标注3d点云数据获得车道线的技术方案来
说，大大降低了实现难度，同时也提高了标注结果的准确度。
[0142]
应当理解，车道线生成方法中记载的诸单元与参考图3描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于模型训练装置及其中包含的单元，在此不再赘述。模型训练装置可以预先实现在计算机设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到计算机设备的浏览器或其安全应用中。模型训练装置中的相应单元可以与计算机设备中的单元相互配合以实现本技术实施例的方案。
[0143]
在上文详细描述中提及的若干模块或者单元，这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0144]
需要说明的是，本技术实施例的异常识别装置、模型训练装置中未披露的细节，请参照本技术上述实施例中所披露的细节，这里不再赘述。
[0145]
下面参考图11，图11示出了适于用来实现本技术实施例的计算机设备的结构示意图。如图11所示，计算机系统包括中央处理单元(cpu)1101，其可以根据存储在只读存储器(rom)1102中的程序或者从存储部分1108加载到随机访问存储器(ram)1103中的程序而执行各种适当的动作和处理。在ram1103中，还存储有系统的操作指令所需的各种程序和数据。cpu1101、rom1102以及ram1103通过总线1104彼此相连。输入/输出(i/o)接口1105也连接至总线1104。
[0146]
以下部件连接至i/o接口1105；包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
[0147]
特别地，根据本技术的实施例，上文参考流程图图3或图9描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(cpu)1101执行时，执行本技术的系统中限定的上述功能。
[0148]
需要说明的是，本技术所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本
申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以为的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0149]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作指令。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连接表示的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作指令的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0150]
描述于本技术实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一收取模块、第二收取模块和发送模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
[0151]
作为另一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或多个程序，当上述程序被一个或者一个以上的处理器用来执行描述于本技术的车道线生成方法。
[0152]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。