地图数据标注方法、装置、设备及存储介质与流程

本申请实施例涉及计算机技术领域，尤其涉及一种地图数据标注方法、装置、设备及存储介质。

背景技术：

自动驾驶技术需要依赖高精地图，车辆可以基于高精地图中的道路信息行驶，因此，高精地图中的道路信息需要非常全面和准确。这就导致高精地图的复杂度非常高，包括的各种道路元素(比如，红绿灯、道路线等)的数据非常多，为高精地图的生产难度非常大，生产效率非常低。

目前在高精地图的生成过程中，通常是直接从点云中识别并提取出道路元素，再将道路元素在点云中的三维数据标注到高精地图中，在这种方式中，基于点云的识别处理较复杂，耗时较长，效率较低。

技术实现要素：

本申请实施例提供一种地图数据标注方法、装置、设备及存储介质，用以提高地图数据尤其是三维地图数据的标注效率。

本申请实施例第一方面提供一种地图数据标注方法，包括：获取目标场景的点云数据；基于所述点云数据，拟合地面，并生成所述目标场景的二维地图；基于地表元素在二维地图中的第一位置，确定所述地表元素在所述地面上的第二位置，其中所述地表元素是指绘制在路面上的道路标识；基于所述点云数据获取所述地表元素在所述第二位置上的三维数据，并将所述地表元素的所述三维数据标注到三维地图中。

本申请实施例第二方面提供一种地图数据标注装置，包括：第一获取模块，用于获取目标场景的点云数据；生成模块，用于基于所述点云数据，拟合地面，并生成所述目标场景的二维地图；第一确定模块，用于基于地表元素在二维地图中的第一位置，确定所述地表元素在所述地面上的第二位置，其中所述地表元素是指绘制在路面上的道路标识；第一标注模块，用于基于所述点云数据获取所述地表元素在所述第二位置上的三维数据，并将所述地表元素的所述三维数据标注到三维地图中。

本申请实施例第三方面提供一种计算机设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面所述的方法。

本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。

基于以上各方面，本申请实施例通过获取目标场景的点云数据，基于点云数据拟合地面，并生成目标场景的二维地图，基于地表元素在二维地图中的第一位置，确定地表元素在上述拟合获得的地面上的第二位置，从而基于点云中携带的三维数据，将地表元素在第二位置上的三维数据标注到三维地图中。由于本申请实施例是通过二维地图来识别地表元素，并基于地表元素在二维地图中的第一位置来确定地表元素在点云中的第二位置的，因而无需直接从点云中识别出地表元素，减少了对点云中三维数据的处理，降低了处理复杂度，提高了三维地图中数据的标注效率。

应当理解，上述发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本公申请的其它特征将通过以下的描述变得容易理解。

附图说明

图1a是本申请实施例提供的一种车道的点云示意图；

图1b是基于图1a生成的部车道的二维地图；

图1c是基于图1a和图1b得到的三维地图；

图2是本申请实施例提供的一种地图数据标注方法的流程图；

图3是本申请实施例提供的一种地图数据标注方法的流程；

图4是本申请实施例提供的一种地图数据标注装置的结构示意图；

图5是本申请实施例提供的一种地图数据标注装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有技术在生成一个场景的三维地图时，通常是直接从该场景的点云中识别出场景中的物体元素(比如道路元素等)，再将物体元素在点云中的三维数据标注到三维地图中。然而由于点云中的数据维度较多，在基于点云进行识别处理时，常常会因为较大的计算量和较复杂的处理过程，导致数据标注的耗时较长，效率较低。

针对现有技术存在的上述问题，本申请实施例提供了一种地图数据标注方案。示例的，图1a是本申请实施例提供的一种车道的点云示意图，图1b是基于图1a生成的部分车道的二维地图，图1c是基于图1a和图1b得到的三维地图。如图1a-图1c所示，示例性的，该方案先通过图1a所示的点云数据建立车道的二维地图，这里为了方便，仅以图1b所示的部分车道的二维地图为例，在获得图1b所示的二维地图后，从图1b所示的二维地图中识别地表元素(其中，地表元素是指绘制在路面上的道路标识，比如车道线，车道上的文字等)并确定地表元素在二维地图中的位置，在获得地表元素在二维地图中的位置后，基于二维地图中的点与点云中的点之间的对应关系，从点云中获得地表元素的三维数据，并根据该三维数据将该地表元素标注到三维地图中，从而实现对图1c中地表元素的标注。由于本申请是通过二维地图来识别地表元素，并基于地表元素在二维地图中的第一位置来确定地表元素在点云中的第二位置的，因而无需直接从点云中识别出地表元素，减少了对点云中三维数据的处理，降低了处理复杂度，提高了三维地图中数据的标注效率。

以下将结合附图来具体描述本申请实施例的技术方案。

图2是本申请实施例提供的一种地图数据标注方法的流程图，该方法可以由一种地图数据标注装置来执行。参见图2，该方法包括步骤s11-s14：

s11、获取目标场景的点云数据。

其中，本实施例所称的目标场景是指待生成三维地图的场景(比如，某一城市、街区甚至街道等)。

本实施例获取点云数据的方法包括多种，其中，在一种可能的方式中，可以通过激光扫描仪来获取目标场景的激光点云数据，在另一种可能的方式中，可以通过航拍设备(比如无人机)搭载的深度摄像头拍摄获取目标场景的影像，再基于目标场景的所述影像获得目标场景的点云数据，其中基于深度影像获得点云数据的方法可以参见现有技术，本实施例不做赘述。当然本领域技术人员应该了解的是：上述两种获取点云数据的方式仅是本实施用来示例说明的两种方式而不是可用于获取点云数据的全部方式。

s12、基于所述点云数据，拟合地面，并生成所述目标场景的二维地图。

举例来说，假设点云中的点在xy平面上的坐标为(x,y)，垂直于xy平面的高度坐标为z，则可以根据点云中的点在xy平面上的坐标(x,y)生成目标场景的二维地图。

进一步的，为了降低计算量和计算难度，本实施例可以基于点云数据生成目标场景的灰度图，在灰度图中地表元素进行识别和定位。或者，在生成二维的灰度地图之后，本实施例还可以包括将二维灰度地图转换为黑白图的步骤，基于黑白图采用边缘检测等方法来识别地表元素，进而确定地表元素在黑白图中的第一位置。

s13、基于地表元素在二维地图中的第一位置，确定所述地表元素在所述地面上的第二位置，其中所述地表元素是指绘制在路面上的道路标识。

其中，本实施例中对于“第一位置”的命名仅用于将地表元素在二维地图中的位置与地表元素在拟合地面上的位置进行区分，而不具有其他含义。

本实施例确定第一位置的方法可以有多种，具体的：

在一种可能的方法中，可以将二维地图输入预设模型中，通过预设模型来输出地表元素在二维地图中的第一位置。其中，对于预设模型的种类和具体形式，本实施例不做具体限定，比如，在一种可能的实现方式中，可以通过预先标注好地表元素的样本图片来训练神经网络模型，通过训练好的神经网络模型来识别二维地图中的地表元素，当然这里仅是示例性说明而不是唯一性限定。

在另一种可能的方法中，可以通过边缘检测的方法从二维地图中检测获得地表元素。以车道线为例，在获得目标场景的二维地图后，可以先对二维地图进行截取处理，获得只包括车道的第一图像，进一步的再对第一图像进行灰度处理获得第二图像，对第二图像进行滤波处理，并对滤波处理后的图像进行边缘检测处理，获得地表元素以及地表元素在二维地图中的第一位置。

当然本领域技术人员应该了解的是，上述两种确定第一位置的方法仅是为了方便理解所做的示例性说明，而不是对本申请的唯一性限定。

进一步的，由于目标场景的二维地图是基于目标场景的点云数据生成的，二维地图上的点与点云中的点存在对应关系，在从二维地图中识别出地表元素并获得地表元素的位置后，可以根据二维地图上的点与点云中的点之间的对应关系，确定地表元素在拟合地面上的第二位置。

s14、基于所述点云数据获取所述地表元素在所述第二位置上的三维数据，并将所述地表元素的所述三维数据标注到三维地图中。

由于点云中包括点的三维坐标数据，在确定地表元素在拟合地面上的第二位置后，可以根据第二位置上的点在点云中的高度值，赋予第二位置上的点高度值，从而得到地表元素的三维数据，将该三维数据标注到三维地图中即可完成地表元素在三维地图中的标注。举例来说，假设地表元素上的一点在二维地图上的坐标为(x1,y1)，其在拟合地面上的对应坐标为(x2,y2)，拟合地面上坐标为(x2,y2)的点的高度为z，则该点的三维坐标为(x2,y2,z)。当然这里仅为示例说明而不是对本发明的唯一限定。

本实施例的上述内容描述了地表元素在三维地图中的标注方法，上述方法能够提高地表元素在三维地图中的标注效率，进而提高整个三维地图的标注效率。然而在三维地图中不仅包括地表元素，还包括空间元素，其中，本实施例中所称的空间元素是指高于地面的物体。对于空间元素本实施例可以采用与现有技术类似的方法，直接基于目标场景的点云数据对空间元素进行识别操作，在识别获得空间元素后，将点云数据中包括的所述空间元素的三维数据在三维地图中进行标注。这样就能同时实现对三维地图中地表元素和空间元素的标注。

本实施例通过获取目标场景的点云数据，基于点云数据拟合地面，并生成目标场景的二维地图，基于地表元素在二维地图中的第一位置，确定地表元素在上述拟合获得的地面上的第二位置，从而基于点云中携带的三维数据，将地表元素在第二位置上的三维数据标注到三维地图中。由于本实施例是通过二维地图来识别地表元素，并基于地表元素在二维地图中的第一位置来确定地表元素在点云中的第二位置的，因而无需直接从点云中识别出地表元素，减少了对点云中三维数据的处理，降低了处理复杂度，提高了三维地图中数据的标注效率。

下面结合附图对上述实施例进行进一步的优化和扩展。

图3是本申请实施例提供的一种地图数据标注方法的流程图。如图3所示，在图2实施例的基础上，本实施例还可以包括步骤s21-s24.

s21、基于双目摄像头获取所述目标场景的影像。

s22、基于所述目标场景在所述三维地图中的标注数据，将所述三维地图投影到所述影像上。

s23、若所述三维地图在所述影像上的投影与所述影像重合，则确定所述三维地图标注准确。

s24、若所述三维地图在所述影像上的投影与所述影像不重合，则确定所述三维地图标注不准确。

以车道线为例，在一些场景中道路上形式或者路边停靠的车辆经常会对道路上的车道线造成遮挡，如果通过激光扫描仪等离地距离不高的设备获取路面的点云时，势必会因为遮挡的问题导致部分车道线的点云缺失，从而进一步导致三维地图中车道线的缺失。

针对上述问题，本实施例利用双目摄像头的优势，基于双目摄像头拍摄获得的影像对图2实施例获得的三维地图进行校验，以提高三维地图的准确性。具体的，首先通过双目摄像头拍摄获得目标场景的影像，进一步的，根据预设算法将目标场景的三维地图投影到光幕摄像头拍摄的影响上，若三维地图的投影与所述影像重合则确定三维地图准确，否则不准确。进一步的，若确定三维地图不准确，则可以基于三维地图上的元素与影像上相应元素之间的偏移量对三维地图进行校准，以使三维地图与双目摄像头拍摄的影像重合。

本实施例通过双目摄像头拍摄获取目标场景的影像，并将目标场景的三维地图投影到双目摄像头拍摄获取目标场景的影像，通过二者之间的偏移量对三维地图进行校准，能够提高三维地图的准确性。

图4是本申请实施例提供的一种地图数据标注装置的结构示意图，如图4所示，该装置40包括：

第一获取模块41，用于获取目标场景的点云数据；

生成模块42，用于基于所述点云数据，拟合地面，并生成所述目标场景的二维地图；

第一确定模块43，用于基于地表元素在二维地图中的第一位置，确定所述地表元素在所述地面上的第二位置，其中所述地表元素是指绘制在路面上的道路标识；

第一标注模块44，用于基于所述点云数据获取所述地表元素在所述第二位置上的三维数据，并将所述地表元素的所述三维数据标注到三维地图中。

在一种可能的设计中，所述第一获取模块41，包括：

第一获取子模块，用于获取目标场景的激光点云数据。

在一种可能的设计中，所述第一获取模块41，包括：

第二获取子模块，用于获取目标场景的航拍影像；基于所述航拍影像获得所述目标场景的点云数据。

在一种可能的设计中，所述生成模块42，具体用于：

基于所述点云数据，生成所述目标场景的二维灰度地图。

在一种可能的设计中，所述装置还包括：

第二标注模块，用于从所述点云数据中提取空间元素的三维数据，并将所述空间元素的三维数据标注到所述三维地图中，其中所述空间元素是指高度高于地面的物体。

本实施例通过的装置能够用于执行图2实施例的方法，其执行方式和有益效果类似，在这里不再赘述。

图5是本申请实施例提供的一种地图数据标注装置的结构示意图，如图5所示，在图4实施例的基础上，装置40还可以包括：

第二获取模块45，用于基于双目摄像头获取所述目标场景的影像；

投影模块46，用于基于所述目标场景在所述三维地图中的标注数据，将所述三维地图投影到所述影像上；

第二确定模块47，用于在所述三维地图在所述影像上的投影与所述影像重合时，确定所述三维地图标注准确；

第三确定模块48，用于在所述三维地图在所述影像上的投影与所述影像不重合时，确定所述三维地图标注不准确。

本实施例通过的装置能够用于执行图3实施例的方法，其执行方式和有益效果类似，在这里不再赘述。

本申请实施例还提供一种计算机设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。

本申请实施例还提供在一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的方法。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。