地图构建方法、装置、设备和系统与流程

本申请涉及地图构建技术领域，且更具体地，涉及一种地图构建方法、装置、设备和系统。

背景技术：

可移动设备(例如，自动驾驶机器人)执行任务之前，首先要有移动环境(例如，场景路网)的先验知识，即高精度地图。一方面，高精度地图可以减轻实时感知的难度，另一方面，也可以加入全局信息以获得更优决策，所以高精度地图是当前自动驾驶必不可少的基础设施。

现有数字地图由于精度和细节不足不能直接用于自动驾驶。目前自动驾驶中的高精度地图主要通过配置高端传感器的专用采集设备(例如，采集车)获取的数据加上处理算法计算得到，常用的传感器包括高精全球定位系统(gps)/实时动态差分(rtk)、高精惯性测量单元(imu)及组合导航系统、激光雷达、相机等，所得到的地图一般是全面高精度的度量地图，然后再通过人工编辑或者算法处理进而得到高精车道地图，主要包括车道线、交通标志等。

上述通过专用采集设备绘制的地图信息精度很高，然而也存在以下问题：1)数据采集代价高：设备代价、采集代价都比较高；2)更新频率底：由于需要专用采集设备和算法处理，因此，更新频率很难保证，只能获得以年为单位的更新周期；3)存储处理复杂：一般需要存储全面高精度度量地图，并需要人工编辑得到高精度地图。

技术实现要素：

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种地图构建方法、地图构建装置、可移动设备、服务器设备、地图构建系统、计算机程序产品和计算机可读存储介质，其可以生成高精度语义地图。

根据本申请的一个方面，提供了一种地图构建方法，应用于可移动设备，所述方法包括：接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据；至少根据所述位置数据来确定所述可移动设备的绝对位姿信息；根据所述图像数据来检测所述当前移动环境中的语义实体，所述语义实体是可能影响移动的实体；根据所述可移动设备的绝对位姿信息和所述图像数据来确定所述语义实体的属性信息，所述属性信息表明了所述语义实体的物理特性；以及根据所述语义实体及其属性信息来构建所述当前移动环境的实时语义地图。

根据本申请的另一方面，提供了一种地图构建方法，应用于服务器设备，所述方法包括：接收从可移动设备上传的所述可移动设备正在其中移动的当前移动环境的实时语义地图；对所述实时语义地图进行解析，以确定其中的语义实体及其属性信息；检测是否存在所述当前移动环境的先验语义地图；以及响应于存在所述先验语义地图，对所述实时语义地图和所述先验语义地图进行融合，以生成融合后的语义地图，作为所述当前移动环境的先验语义地图。

根据本申请的另一方面，提供了一种地图构建装置，应用于可移动设备，所述装置包括：样本数据接收单元，用于接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据；位姿信息确定单元，用于至少根据所述位置数据来确定所述可移动设备的绝对位姿信息；语义实体检测单元，用于根据所述图像数据来检测所述当前移动环境中的语义实体，所述语义实体是可能影响移动的实体；属性信息确定单元，用于根据所述可移动设备的绝对位姿信息和所述图像数据来确定所述语义实体的属性信息，所述属性信息表明了所述语义实体的物理特性；以及语义地图构建单元，用于根据所述语义实体及其属性信息来构建所述当前移动环境的实时语义地图。

根据本申请的另一方面，提供了一种地图构建装置，应用于服务器设备，所述装置包括：语义地图接收单元，用于接收从可移动设备上传的所述可移动设备正在其中移动的当前移动环境的实时语义地图；语义地图解析单元，用于对所述实时语义地图进行解析，以确定其中的语义实体及其属性信息；语义地图检测单元，用于检测是否存在所述当前移动环境的先验语义地图；以及语义地图融合单元，用于响应于存在所述先验语义地图，对所述实时语义地图和所述先验语义地图进行融合，以生成融合后的语义地图，作为所述当前移动环境的先验语义地图。

根据本申请的另一方面，提供了一种可移动设备，包括：处理器；存储器；以及存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的地图构建方法。

根据本申请的另一方面，提供了一种服务器设备，包括：处理器；存储器；以及存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的地图构建方法。

根据本申请的另一方面，提供了一种地图构建系统，包括：上述的可移动设备；以及上述的服务器设备。

与现有技术相比，采用根据本申请实施例的地图构建方法、地图构建装置、可移动设备、服务器设备、地图构建系统、计算机程序产品和计算机可读存储介质，可以接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据；至少根据所述位置数据来确定所述可移动设备的绝对位姿信息；根据所述图像数据来检测所述当前移动环境中的语义实体，所述语义实体是可能影响移动的实体；根据所述可移动设备的绝对位姿信息和所述图像数据来确定所述语义实体的属性信息，所述属性信息表明了所述语义实体的物理特性；并且根据所述语义实体及其属性信息来构建所述当前移动环境的实时语义地图。因此，可以生成高精度语义地图。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的地图构建系统的框图。

图2图示了根据本申请实施例的地图构建方法的流程图。

图3图示了根据本申请实施例的语义实体检测步骤的流程图。

图4图示了根据本申请实施例的位姿信息修正步骤的流程图。

图5图示了根据本申请实施例的空间属性信息确定步骤的流程图。

图6图示了根据本申请实施例的语义地图生成步骤的流程图。

图7图示了根据本申请实施例的传感器误差产生的示意图。

图8图示了根据本申请实施例的地图构建方法的流程图。

图9图示了根据本申请实施例的语义地图融合步骤的流程图。

图10a图示了根据本申请实施例第一具体示例的地图构建场景的示意图；而图10b图示了根据本申请实施例第一具体示例所构建的地图的示意图。

图11a图示了根据本申请实施例第二具体示例的地图构建场景的示意图；而图11b图示了根据本申请实施例第二具体示例所构建的地图的示意图。

图12图示了根据本申请实施例的地图构建装置的框图。

图13图示了根据本申请实施例的地图构建装置的框图。

图14图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

针对现有技术中存在的问题，本申请的基本构思是提出一种地图构建方法、地图构建装置、可移动设备、服务器设备、计算机程序产品和计算机可读存储介质，其可以采用众包在线学习的方式来生成高精度语义地图。即，通过本发明构思，在没有语义地图的地方，有可移动设备(例如，车辆)走过的时候可以新建立语义地图，在已有语义地图的地方，车辆走过的时候既可以利用当前的地图，也可以将这次行驶得到的语义标志融合到已有地图中，形成一种动态学习过程。

这样，构建地图的过程只需要低成本的地图采集设备，一般比如高级驾驶辅助系统(adas)或者普通采集设备(采集车)(装备有普通精度的gps、imu、摄像头)即可实现。通过安装具有实际意义设备的众包模式，可以获得更高的更新频率，能够达到分钟级，成为一种实时动态高精度地图构建机制。此外，所构建的是一种低存储和处理成本的地图，这是由于语义地图是以语义实体的属性表示的地图，其存储和处理比全面高精度的度量地图小很多。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1图示了根据本申请实施例的地图构建系统的框图。

如图1所示，根据本申请实施例的地图构建系统包括可移动设备100和服务器设备200。

该可移动设备100可以在已知或未知的移动环境中进行移动。当在没有先验语义地图的未知移动环境中移动时，其可以根据采集到的环境样本数据，新建未知移动环境的实时语义地图。当在存在先验语义地图的已知移动环境中移动时，其可以根据在当前移动过程中采集到的环境样本数据，生成新的语义标志，并将新的语义标志融合到该先验语义地图中。最后，该可移动设备100还可以将新建或融合得到的语义地图上传到服务器设备200中，以实现语义地图的动态学习过程。

该服务器设备200可以接收可移动设备100的请求，检测是否存在可移动设备100正在其中移动的当前移动环境的先验语义地图，如果存在，则将该先验语义地图提供给该可移动设备100。此外，该服务器设备200还可以接收该可移动设备100上传的实时语义地图，对该实时语义地图和先验语义地图进行融合，以实现语义地图的动态学习过程。

例如，该可移动设备100可以是能够在移动环境中移动的任何类型的电子设备。例如，该移动环境例如可以是室内环境和/或室外环境。并且，该可移动设备100可以是用于各种用途的可移动机器人，例如，可以是诸如车辆、飞行器、航天器、水中运载工具之类的交通工具等。当然，本申请不限于此。例如，它也可以是扫地机器人、擦窗机器人、空气净化机器人、安防机器人、家电管理机器人、提醒机器人、巡逻机器人等。

该服务器设备200可以是云端服务器，其运算处理能力较强，并可包含多个处理引擎对语义地图进行融合。当然，本申请不限于此。例如，该服务器设备200也可以位于可移动设备100的本地端，并且形成分布式服务器的架构。

需要注意的是，图1所示的地图构建系统仅是为了便于理解本申请的精神和原理而示出，本申请的实施例不限于此。例如，该可移动设备100和或该服务器设备200可以是一个或多个。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。为了描述方便，将以在道路上行驶的车辆和云端服务器分别作为可移动设备100和服务器设备200的示例进行说明。

可移动设备的示例性方法

首先，将描述根据本申请实施例的应用于可移动设备100的地图构建方法。

图2图示了根据本申请实施例的地图构建方法的流程图。

如图2所示，根据本申请实施例的地图构建方法可以应用于可移动设备100，并且包括：

在步骤s110中，接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据。

可移动设备100(例如，车辆)可以在移动环境(例如，道路)中进行移动，同时它可以利用在其上装备的环境传感器来捕捉所述移动环境的样本数据。

例如，该环境传感器可以用于获取所述可移动设备正在其中移动的当前移动环境的样本数据，它可以是各种类型的传感器。例如，它可以包括：用于捕捉图像数据的图像传感器，其可以是摄像头或摄像头阵列；用于捕捉扫描数据的激光传感器；用于获取可移动设备100的实时位置坐标的gps器件；用于基于载波相位观测值进行实时动态定位的rtk器件、用于基于物体三轴姿态角(或角速率)以及加速度进行定位的imu器件等。当然，该环境传感器也可以是其他各种器件，只要其能够产生用于描述移动环境的样本数据即可。需要说明的是，在本申请的实施例中，该环境传感器无需采用高端传感器，而可以是低成本的采集器件即可。

例如，基本地，环境传感器获取到的样本数据可以包括车辆的位置数据以及该车辆周围环境的图像数据。例如，该位置数据可以是该可移动设备100的绝对位置坐标(例如，gps器件直接得到的经纬度)，也可以是相对位置坐标(例如，由车辆车轮的转动圈数、速度等得到的累计运动参数，诸如距离等)。该图像数据可以是相机视觉图像，也可以是激光扫描图像。更进一步地，该样本数据还可以包括姿态数据，其可以是通过差分gps而获得的绝对朝向角度，也可以是相对朝向角度(例如，由车辆车轮的转动角度等得到的累计运动参数，诸如方向等)。例如，该姿态数据可以与位置数据相结合而形成位姿数据。

在步骤s120中，至少根据所述位置数据来确定所述可移动设备的绝对位姿信息。

简单地，可以仅仅根据所采集的位置数据来确定所述可移动设备在当前移动环境中的绝对位姿信息。例如，可以直接将车辆的gps经纬度参数作为它的绝对位置坐标，并通过前后两帧gps参数的差分计算出绝对朝向角度，而结合生成绝对位姿信息。

替换地，也可以根据所采集的位置数据和姿态数据(位姿数据)来确定所述可移动设备在当前移动环境中的绝对位姿信息。例如，可以根据车辆启动时的绝对位姿信息和所得到的累计运动距离和方向等参数来确定该车辆的绝对位姿信息。

由于gps可能存在遮挡、多径效应等因素影响其定位精确度，而累计运动参数也可能存在误差累计等因素而产生定位偏差，进一步地，也可以对两者结果进行融合，以获得更加准确可靠的绝对位姿信息。

在步骤s130中，根据所述图像数据来检测所述当前移动环境中的语义实体，所述语义实体是可能影响移动的实体。

在步骤s120之前、之后、或与之同时地，可以根据所采集的图像数据来检测当前移动环境中存在哪些语义实体。所述语义实体是所述当前移动环境中可能影响物体移动的实体。例如，所述语义实体可以是可能影响可移动设备100自身移动的实体。当然，本申请不限于此。例如，更广义地，它也可以是可能影响除了可移动设备100之外其他关注物体移动的实体。这是因为例如，尽管可移动设备100是车辆，但是其在构建地图的过程中，可以同样考虑到可能在该道路上出现的其他交通实体(例如，行人、自行车等)作为将来使用该地图的潜在主体。

例如，在可移动设备100是车辆的情况下，该语义实体可以是可行驶道路、路沿、交通标志(例如，诸如信号灯、摄像头、路牌等立体标志，诸如车道线、停止线、人行横道等路面标志)、隔离带、绿化带等。

通常来说，所述语义实体遵循一定规范并具有具体意义。例如，它可能具有特定的几何形状(例如，圆形、正方形、三角形、长条形等)，或者可能具有特定的特征标识(例如，二维码等)。另外，它上面可能画有停止标记、慢行标记、前方落石标记等，从而体现出它的含义。

图3图示了根据本申请实施例的语义实体检测步骤的流程图。

如图3所示，步骤s130可以包括：

在子步骤s131中，对所述图像数据进行检测跟踪识别。

在子步骤s132中，根据检测跟踪识别的结果来确定所述当前移动环境中的语义实体。

例如，每辆车可以根据本地计算进行语义实体的检测跟踪识别。具体地，可以通过预先基于大量样本训练好的机器学习模型来提取所述图像数据中的特征表示，并且根据所述特征表示来进行语义实体检测。例如，该机器学习模型可以采用诸如卷积神经网络、深度置信网络之类的各种机器学习模型来实现。

在步骤s140中，根据所述可移动设备的绝对位姿信息和所述图像数据来确定所述语义实体的属性信息，所述属性信息表明了所述语义实体的物理特性。

接下来，可以将至少基于位置数据得到的可移动设备的绝对位姿信息和基于图像数据检测到的语义实体两者进行综合来确定各个语义实体包括哪些属性信息。例如，所述属性信息可以表明所述语义实体的物理特性，例如所述语义实体可能影响可移动设备100自身移动的属性。类似地，更广义地，它也可以表明所述语义实体可能影响可移动设备100之外其他关注物体移动的属性。

例如，基本地，该属性信息也可以是各个语义实体的位置、形状、尺寸、朝向等空间属性信息。此外，该属性信息可以是各个语义实体的类别属性信息(诸如，每个语义实体究竟是可行道路、路沿、车道及车道线、交通标志、路面标志、红绿灯、停止线、人行横道、路边树木或柱子等中的哪一种)。

在一个示例中，可以直接基于在步骤s120中得到的可移动设备100的绝对位姿信息来确定各个语义实体的空间属性信息。

然而，通过上述方式确定的绝对位姿信息是仅仅基于一种或多种环境传感器获得的，其精度仍然可能存在一定误差。

因此，如图2所示，在另一示例中，可选地，在步骤s140之前，根据本申请实施例的地图构建方法还可以包括：

在步骤s135中，根据所述当前移动环境的图像数据来修正所述可移动设备的绝对位姿信息。

图4图示了根据本申请实施例的位姿信息修正步骤的流程图。

如图4所示，步骤s135可以包括：

在子步骤s137中，根据所述图像数据来确定所述可移动设备的相对位姿信息。

在子步骤s139中，根据所述相对位姿信息来修正所述可移动设备的绝对位姿信息。

例如，车辆中装备的相机和/或激光传感器所采集的实时视觉图像和/或扫描图像在经过算法处理之后，不但可以得到语义标志检测跟踪识别结果，还可以得到局部里程计。局部里程计例如可以体现出两帧图像之间车辆的局部运动差异，其可以计算出车辆在这两帧之间的局部相对位移和转向等。换言之，通过将imu、gps及相机局部里程计融合，可以得到更加鲁棒更加精确的绝对定位结果。例如，这种融合过程可以是修正噪声比较大的绝对位姿信息。

这样，可以在步骤s140中，根据所述可移动设备的校正后的绝对位姿信息和所述图像数据来获得语义实体的更加准确的空间属性信息。

图5图示了根据本申请实施例的空间属性信息确定步骤的流程图。

如图5所示，步骤s140可以包括：

在子步骤s141中，根据所述图像数据来确定所述语义实体与所述可移动设备之间的相对位置关系。

在子步骤s142中，根据所述可移动设备的绝对位姿信息和所述相对位置关系来确定所述语义实体的空间属性信息。

例如，每辆车在根据本地计算进行语义实体的检测跟踪识别之后，然后根据跟踪序列和本车融合gps/rtk及语义定位位置方向，计算出语义标志的空间属性。例如，该空间属性可以包括语义标志的尺寸、形状、朝向、高度、占据等各种与空间特性相关的属性。

除了空间属性信息以外，例如，还可以根据图像数据(例如，图像的检测跟踪识别的结果)，进一步确定出各个语义实体的类别。

在步骤s150中，根据所述语义实体及其属性信息来构建所述当前移动环境的实时语义地图。

在一个示例中，可以直接根据环境传感器所采集的样本数据来生成当前移动环境的实时语义地图。由于实质上仅仅反映了当前移动环境中的部分环境，所以该实时语义地图也可以称为局部语义地图。换言之，一旦确定了当前移动环境中包括的各个语义实体及其属性信息，就可以对这些信息进行综合，以构建基于当前帧样本数据的实时语义地图。

然而，由于在众包模式下，可能已经有在先的可移动设备针对该当前移动环境形成了先验语义地图，所以在本步骤中可以进一步利用该先验数据，以获得更加正确的地图构建结果。

因此，在另一示例中，可选地，可以首先判断是否存在先验语义地图，并根据判断结果来继续后续操作。

图6图示了根据本申请实施例的语义地图生成步骤的流程图。

如图6所示，步骤s150可以包括：

在子步骤s151中，获取从服务器设备下载的所述当前移动环境的先验语义地图。

在子步骤s152中，响应于没有获取到所述先验语义地图，对所述语义实体及其属性信息进行综合，以生成所述实时语义地图。

例如，该可移动设备100(车辆)可以与服务器设备200(云端服务器)进行通信并尝试获取该当前移动环境的先验语义地图。例如，可以根据之前确定的该车辆的当前位置坐标来从服务器设备200获取该先验语义地图。替换地，也可以根据该车辆的运动轨迹来获取该地图等。

如果没有获得到先验语义地图，则说明目前的道路没有任何众包车辆曾经走过。那么，可以新建立语义标志地图，即将各帧语义标志结果进行重建并加入位置尺寸等属性，得到具有绝对属性的语义标志地图。

如图6所示，步骤s150还可以包括：

在子步骤s153中，响应于获取到所述先验语义地图，根据所述先验语义地图中的语义实体及其属性信息来对在所述图像数据中检测到的语义实体及其属性信息进行校正，并且基于校正后的语义实体及其属性信息来生成所述实时语义地图。

例如，该子步骤s153可以包括：对所述先验语义地图进行解析，以确定其中的语义实体及其属性信息；对所述先验语义地图中的语义实体和在所述图像数据中检测到的语义实体进行匹配；以及根据匹配结果，根据所述先验语义地图中的语义实体及其属性信息来对在所述图像数据中检测到的语义实体及其属性信息进行校正。

一旦该可移动设备100(车辆)从服务器设备200(云端服务器)获得到先验语义地图，则说明目前的道路之前已经有众包车辆曾经走过。那么，可以将这次行驶得到的语义标志融合到已有地图中，这是一种动态学习过程。即，当一条道路已有全部或者部分地图时，相机视频序列的语义标志结果会与云端地图进行匹配搜索，得到地图定位结果，然后与imu、gps、里程计进行融合获得更优的位姿输出。

例如，当同一个语义实体(可行道路、路沿、车道及车道线、交通标志、路面标志、红绿灯、停止线、人行横道、路边树木柱子等)由多次采集得到多个属性集合后，由于传感器噪声和局部感知定位的不准确性等，多个属性集合并不是完全相同的。因此，需要对它们进行融合，以得到更准确的地图输出结果。

图7图示了根据本申请实施例的传感器误差产生的示意图。

如图7所示，比如gps/rtk会由于地球表面电离层、对流层等会有相应的延迟等干扰，地面附近的建筑物折射等会造成多径效应产生位置误差。图7中左侧是建筑物的墙面，其会令gps/rtk产生多径效应从而降低路牌这一语义实体的位置精度，可以看到，语义标志经过多次采集有多组结果，大部分定位结果的误差基本可以接受，但是也有些定位结果(噪声1和噪声2)偏离较远。

此外，除了传感器的物理噪声之外，语义目标的检测跟踪识别也不一定是百分之百正确的，也会有一定的位姿和类别噪声。因此，需要融合算法去除噪声融合属性获得高精度属性地图。

例如，可以首先匹配先验语义地图中和当前所检测到的同一语义实体。然后，可以根据一定的准则进行噪声剔除，将那些计算错误或者噪声比较大的数据剔除掉，然后将剩下的结果根据采集时候的感知置信度和/或数据处理时的计算置信度进行融合(或简单地，直接进行算术平均亦可)，得到融合后的高精度语义地图，作为最终地图的输出。

需要说明的是，由于这种融合操作涉及的数据量有限，仅仅是先验语义地图与当前感测得到的一组语义实体及其属性信息的融合，因此，该融合操作可以直接放在可移动设备100的本地实现。当然，出于不同的设计需求，它也可以在云端服务器实现。

如图2所示，根据本申请实施例的地图构建方法还可以包括：

在步骤s160中，将所述实时语义地图上传到服务器设备。

在获得实时语义地图之后，为了实现众包模式，每个可移动设备还可以将该地图上传到服务器设备(例如，云端)，以实现地图动态更新的技术效果。

例如，车辆可以将本地综合后的地图上传到云端，整体的传输数据量是很小的，并且是自动化的建图过程，不需要人工标注。例如，可以生成单帧实时语义地图之后立刻将它上传到云端，也可以将多帧实时语义地图综合为轨迹语义地图，然后再执行上传操作。例如，可以基于时间(例如，每隔一段时间)形成一个轨迹语义地图，也可以基于其他条件(例如，从驶入一条道路开始到驶出该道路为止)触发生成轨迹语义地图。

此外，根据本申请实施例的应用于可移动设备的地图构建方法还可以包括其他的一个或多个附加步骤。例如，在步骤s150之后，还可以基于所生成的实时语义地图来生成用于该可移动设备100的移动控制指令，以控制该设备在当前移动环境中进行合理地移动，例如，以防止当前车辆与路面上的障碍物产生碰撞并指引当前车辆选取正确的路线等等。替换地，该移动控制指令还可以在生成实时语义地图之前，基于所识别出的语义实体及其属性信息来直接生成。

由此可见，采用根据本申请实施例的地图构建方法，可以接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据；至少根据所述位置数据来确定所述可移动设备的绝对位姿信息；根据所述图像数据来检测所述当前移动环境中的语义实体，所述语义实体是可能影响移动的实体；根据所述可移动设备的绝对位姿信息和所述图像数据来确定所述语义实体的属性信息，所述属性信息表明了所述语义实体的物理特性；并且根据所述语义实体及其属性信息来构建所述当前移动环境的实时语义地图。因此，可以生成高精度语义地图。

具体地，本申请的实施例具有以下优点：

1)各个可移动设备采用众包在线学习模式，即在没有高精度语义标志地图的地方有可移动设备走过的时候，可以新建立语义标志地图，在已有语义地图的地方有可移动设备走过的时候，既可以利用当前的地图，也可以将这次行驶得到的语义标志融合到已有地图中，是动态学习的过程；

2)每个可移动设备可以是低成本地图采集设备，一般比如adas或者普通采集车(装备有gps、imu、相机)即可。通过安装具有实际意义设备的众包模式可以获得更高的更新频率，能够达到分钟级更新，是一种实时动态高精度地图；

3)所生成和上传的都是低存储和处理成本的地图，语义实体地图的是以实体的属性表示的地图，其存储和处理比全面高精度的度量地图小很多。

服务器设备的示例性方法

接下来，将描述根据本申请实施例的应用于服务器设备200的地图构建方法。

图8图示了根据本申请实施例的地图构建方法的流程图。

如图8所示，根据本申请实施例的地图构建方法可以应用于服务器设备200，并且包括：

在步骤s210中，接收从可移动设备上传的所述可移动设备正在其中移动的当前移动环境的实时语义地图。

例如，在采用众包模式下，服务器设备200(例如，云端服务器)可以不断地从各个可移动设备100(例如，车辆)接收其生成并上传的实时语义地图。

在步骤s220中，对所述实时语义地图进行解析，以确定其中的语义实体及其属性信息。

一旦服务器设备200(云端服务器)从可移动设备100(车辆)获得到实时语义地图，则可以解析该车辆当前正处于哪一条道路、在该道路上都有哪些语义实体(可行道路、路沿、车道及车道线、交通标志、路面标志、红绿灯、停止线、人行横道、路边树木柱子等)、及其相应的属性(位置、尺寸、朝向、类别等)。

在步骤s230中，检测是否存在所述当前移动环境的先验语义地图。

接下来，可以检测该对应道路中是否存在先验语义地图。例如，可以根据从实时语义地图中确定的车辆(即，道路)的位置坐标来确定在数据库中是否存储有与之对应的先验地图。

如果不存在，则进入步骤s240，否则，进入步骤s250。

在步骤s240中，响应于不存在所述先验语义地图，存储所述实时语义地图，作为所述当前移动环境的先验语义地图。

如果不存在，则可以直接存储从可移动设备接收到的实时语义地图，以作为后续操作的先验语义地图。

在步骤s250中，响应于存在所述先验语义地图，对所述实时语义地图和所述先验语义地图进行融合，以生成融合后的语义地图，作为所述当前移动环境的先验语义地图。

如果存在，则可以将之前存储的先验语义地图和新接收到的实时语义地图进行融合，以作为后续操作的先验语义地图。

图9图示了根据本申请实施例的语义地图融合步骤的流程图。

如图9所示，步骤s250可以包括：

在子步骤s251中，对所述先验语义地图进行解析，以确定其中的语义实体及其属性信息。

在子步骤s252中，对所述实时语义地图中的语义实体和所述先验语义地图中的语义实体进行匹配。

在子步骤s253中，根据匹配结果，对所述实时语义地图中的语义实体及其属性信息和所述先验语义地图中的语义实体及其属性信息进行融合。

在子步骤s254中，根据融合得到的语义实体及其属性信息来生成融合后的语义地图。

例如，该子步骤s253可以包括：去除所述实时语义地图中的噪声数据；以及基于置信度，根据去噪后的实时语义地图中的语义实体及其属性信息和所述先验语义地图中的语义实体及其属性信息来生成融合得到的语义实体及其属性信息。

例如，假设目前的道路之前已经有众包车辆曾经走过，那么，在云端服务器中存在先验语义地图。其中可能仅仅涉及当前行驶道路的一部分区域，而所涉及的这部分区域也有可能存在误差，因此，需要不断融合，以使得地图更加完整，并提高其精度。

例如，可以首先匹配先验语义地图和实时语义地图中的同一语义实体。然后，可以根据一定的准则进行噪声剔除，将那些计算错误或者噪声比较大的数据剔除掉，然后将剩下的结果根据采集时候的感知置信度和/或数据处理时的计算置信度进行融合(或简单地，直接进行算术平均亦可)，得到融合后的高精度语义地图，作为最终地图的输出。

换言之，同一条道路多次车辆得到的局部或者全部具有噪声的地图后，云端经过地图数据选择融合算法可以获得更加完整精确的融合地图，从而可以给后续车辆提供更加精确的地图先验，即是实时动态更新学习的过程，并且地图的精度、完整性是随着使用越来越高的。同时所用传感器组合是比较廉价的，并且在当前的很多车辆上有大量安装，比如常用的adas系统，通过众包采集可以快速的获得大片区域的地图，并随着使用地图的会加速进化越来越好。

此外，如图8所示，根据本申请实施例的地图构建方法还可以包括：

在步骤s260中，基于所述可移动设备的请求，向所述可移动设备发送所述当前移动环境的先验语义地图。

例如，服务器可以根据车辆的请求，将构建的先验语义地图提供给车辆，以用于车辆的驾驶控制等目的。在这样的语义地图指导下，可以获得更有效率、更加安全的运行决策，并减轻本地临时感知的难度。

由此可见，采用根据本申请实施例的地图构建方法，可以接收从可移动设备上传的所述可移动设备正在其中移动的当前移动环境的实时语义地图；对所述实时语义地图进行解析，以确定其中的语义实体及其属性信息；检测是否存在所述当前移动环境的先验语义地图；并且响应于存在所述先验语义地图，对所述实时语义地图和所述先验语义地图进行融合，以生成融合后的语义地图，作为所述当前移动环境的先验语义地图。因此，可以生成高精度语义地图。

具体地，本申请的实施例具有以下优点：

1)融合语义标志地图提高精度，可移动设备通常配置的gps等其定位精度不高(约10米)，但是如果一个语义标志随着车辆采集次数的增多，其会得到越来越多的具有gps坐标结果(前提是语义标志匹配正确，是定位的输出)，根据相应的融合算法，这个语义标志的位置精度会越来越高，即可以近似一个静态或者差分gps的精度；

2)所得到的高精度地图具有自学习能力，当一条路还没有高精度地图时，装有相关设备和算法的众包车辆经过会生成本条路部分高精度地图(限于相机视角和语义标志置信度的考虑，可能本次移动车辆只上传部分地图)，随着这条路车辆经过次数的增多，一方面地图的完整性越来越好，另一方面地图的精度(语义标志的属性精度，比如位置坐标、类别、大小、朝向等)也会提高。

具体示例

接下来，将描述根据本申请实施例的地图构建方法的两个具体示例。在这些具体示例中，可移动设备为车辆，服务器设备为云端服务器。

图10a图示了根据本申请实施例第一具体示例的地图构建场景的示意图；而图10b图示了根据本申请实施例第一具体示例所构建的地图的示意图。

如图10a所示，假设车辆对其左右各一个车道的路面标志(例如，车道线)感知比较准确，则每个车辆可以获得车辆轨迹附近连续3个车道的车道线。图10a中上方车辆(车1)可以获得车道1、车道2和车道3右侧的部分车道线(由于车1在中间进行了变道)地图，下方车辆(车2)可以获得车道2和车道3车道线地图，车道1与车道2之间的车道线和车道2与车道3之间的车道线的地图两辆车都可以获得。同时，车1可以获得左侧路边的交通标志(由于其高于地面，所以更容易被感知)和车道1路面标志属性图，车2可以获得右侧路边的交通标志和车道3路面标志属性图，车道2的路面标志属性图两者都可以获得。

每辆车首先根据本地计算进行语义实体的检测跟踪识别，然后根据跟踪序列和本车融合gps及语义定位位置方向，计算出语义标志的位置、尺寸、朝向、类别等属性，在本地综合生成语义地图，如图10b所示，然后将本地综合后的地图上传到云端，整体的传输数据量是很小的，并且是自动化的建图过程，不需要人工标注。

因此，当这条路有这两辆车经过后，云端服务器可以拼接出其完整的语义地图。当然实际情况可能比这个复杂，一条路可能需要很多次配置相应设备和算法的车辆经过才能获得完整的语义图，而且单次获得的具有语义标志属性的地图其精度受限于gps、局部定位算法、相机参数标定等多种因素，其属性精度可能还不够高(如果用的设备具有差分gps/rtk功能，并且具有imu组合导航模块和相机参数的细致标定，那单次获得的地图其精度也可以达到米级甚至厘米级)。

图11a图示了根据本申请实施例第二具体示例的地图构建场景的示意图；而图11b图示了根据本申请实施例第二具体示例所构建的地图的示意图。

根据本申请实施例的地图构建方法得到的地图具有动态学习过程，能够进行动态实时更新。

例如，车1开始的时候其在图10a所示的道路状况下行驶，其所得到的高精地图为图10b所示的地图，其中的道路处于正常状况，没有道路临时限制信息。随后该道路出现更新的状况，例如，由于修路而出现道路临时限制，如图11a所示。

这时，当车1行驶到图11a限制区域时，其可以基于之前构建的先验地图(如图10b所示)识别重建出了相应的限制标志，因此车1换道并将这一车道的临时限制区域信息发送到云端，云端地图会将静态高精地图和动态实时地图进行叠加，重新生成语义地图，如图11b所示。当车2再行驶到同一道路时，其将会获得实时动态高精地图，如图11b所示。

因此，在本申请的实施例中，可以通过更低代价的传感器组合进行地图采集，由于廉价并且当前已有大量应用因此可以大量装备并快速地产出地图。由于已有比较大存量的传感器组合安装在各种车辆上，通过众包的形式不仅可以使得地图具有学习能力，变得越来越完整，越来越高精，而且可以对路上出现的道路封闭、施工、事故等等状况获得几乎实时的更新，叠加到高精地图中，获得高精实时动态地图。本申请实施例的特点是传感器组合加本地算法处理单元处理，经过本地算法处理综合后，可以根据相应产出的语义标志的置信度、可靠性、精度等信息有选择的进行云端上传处理，传输的是结构化的局部属性地图数据，其通信和存储开销都比较小。云端根据融合算法可以自动融合出来高精地图，不需要人工编辑。

示例性地图构建装置

图12图示了根据本申请实施例的地图构建装置的框图。

如图12所示，根据本申请实施例的所述地图构建装置300可以应用于可移动设备100，并且可以包括：样本数据接收单元310，用于接收由环境传感器获取的所述可移动设备正在其中移动的当前移动环境的样本数据，所述样本数据包括位置数据和图像数据；位姿信息确定单元320，用于至少根据所述位置数据来确定所述可移动设备的绝对位姿信息；语义实体检测单元330，用于根据所述图像数据来检测所述当前移动环境中的语义实体，所述语义实体是可能影响移动的实体；属性信息确定单元340，用于根据所述可移动设备的绝对位姿信息和所述图像数据来确定所述语义实体的属性信息，所述属性信息表明了所述语义实体的物理特性；以及语义地图构建单元350，用于根据所述语义实体及其属性信息来构建所述当前移动环境的实时语义地图。

在一个示例中，该语义实体检测单元330可以对所述图像数据进行检测跟踪识别；并且根据检测跟踪识别的结果来确定所述当前移动环境中的语义实体。

在一个示例中，根据本申请实施例的所述地图构建装置300还可以包括：位姿信息修正单元335，用于根据所述当前移动环境的图像数据来修正所述可移动设备的绝对位姿信息。

在一个示例中，该位姿信息修正单元335可以根据所述图像数据来确定所述可移动设备的相对位姿信息；并且根据所述相对位姿信息来修正所述可移动设备的绝对位姿信息。

在一个示例中，该属性信息确定单元340可以根据所述图像数据来确定所述语义实体与所述可移动设备之间的相对位置关系；并且根据所述可移动设备的绝对位姿信息和所述相对位置关系来确定所述语义实体的空间属性信息。

在一个示例中，该语义地图构建单元350可以获取从服务器设备下载的所述当前移动环境的先验语义地图；并且响应于没有获取到所述先验语义地图，对所述语义实体及其属性信息进行综合，以生成所述实时语义地图。

在一个示例中，该语义地图构建单元350还可以响应于获取到所述先验语义地图，根据所述先验语义地图中的语义实体及其属性信息来对在所述图像数据中检测到的语义实体及其属性信息进行校正，并且基于校正后的语义实体及其属性信息来生成所述实时语义地图。

在一个示例中，该语义地图构建单元350可以对所述先验语义地图进行解析，以确定其中的语义实体及其属性信息；对所述先验语义地图中的语义实体和在所述图像数据中检测到的语义实体进行匹配；并且根据匹配结果，根据所述先验语义地图中的语义实体及其属性信息来对在所述图像数据中检测到的语义实体及其属性信息进行校正。

在一个示例中，根据本申请实施例的所述地图构建装置300还可以包括：语义地图上传单元360，用于将所述实时语义地图上传到服务器设备。

在一个示例中，所述语义实体可以包括以下各项中的至少一个：可行驶道路、路沿、交通标志、隔离带、绿化带。

图13图示了根据本申请实施例的地图构建装置的框图。

如图13所示，根据本申请实施例的所述地图构建装置400可以应用于服务器设备200，并且可以包括：语义地图接收单元410，用于接收从可移动设备上传的所述可移动设备正在其中移动的当前移动环境的实时语义地图；语义地图解析单元420，用于对所述实时语义地图进行解析，以确定其中的语义实体及其属性信息；语义地图检测单元430，用于检测是否存在所述当前移动环境的先验语义地图；以及语义地图存储单元440，用于响应于不存在所述先验语义地图，存储所述实时语义地图，作为所述当前移动环境的先验语义地图。

在一个示例中，根据本申请实施例的所述地图构建装置400还可以包括：语义地图融合单元450，用于响应于存在所述先验语义地图，对所述实时语义地图和所述先验语义地图进行融合，以生成融合后的语义地图，作为所述当前移动环境的先验语义地图。

在一个示例中，该语义地图融合单元450可以对所述先验语义地图进行解析，以确定其中的语义实体及其属性信息；对所述实时语义地图中的语义实体和所述先验语义地图中的语义实体进行匹配；根据匹配结果，对所述实时语义地图中的语义实体及其属性信息和所述先验语义地图中的语义实体及其属性信息进行融合；并且根据融合得到的语义实体及其属性信息来生成融合后的语义地图。

在一个示例中，该语义地图融合单元450可以去除所述实时语义地图中的噪声数据；以及基于置信度，根据去噪后的实时语义地图中的语义实体及其属性信息和所述先验语义地图中的语义实体及其属性信息来生成融合得到的语义实体及其属性信息。

在一个示例中，根据本申请实施例的所述地图构建装置400还可以包括：语义地图发送单元460，用于基于所述可移动设备的请求，向所述可移动设备发送所述当前移动环境的先验语义地图。

上述地图构建装置300或400中的各个单元和模块的具体功能和操作已经在上面参考图1到图11b描述的地图构建方法中详细介绍，并因此，将省略其重复描述。

需要说明的是，根据本申请实施例的地图构建装置300或400可以作为一个软件模块和/或硬件模块而集成到可移动设备100或服务器设备200中，换言之，该可移动设备100或服务器设备200可以包括该地图构建装置300或400。例如，该地图构建装置300或400可以是该可移动设备100或服务器设备200的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该地图构建装置300或400同样可以是可移动设备100或服务器设备200的众多硬件模块之一。

替换地，在另一示例中，该地图构建装置300或400与该可移动设备100或服务器设备200也可以是分立的设备(例如，服务器)，并且该地图构建装置300或400可以通过有线和/或无线网络连接到该可移动设备100或服务器设备200，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图14来描述根据本申请实施例的电子设备。取决于处理器执行的不同程序指令，该电子设备可以是上述的可移动设备100或服务器设备200等。

图14图示了根据本申请实施例的电子设备的框图。

如图14所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的可移动设备100和/或服务器设备200中的地图构建方法和/或其他期望的功能。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14。

例如，该输入装置13可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输入设备等等。

例如，在电子设备10是可移动设备100的情况下，该输入装置13可以包括环境传感器，用于获取所述可移动设备正在其中移动的当前移动环境的样本数据。例如，该环境传感器可以是用于捕捉图像数据的图像传感器，其可以是摄像头或摄像头阵列。又如，该环境传感器可以是用于捕捉扫描数据的激光传感器，其可以是激光器或激光器阵列。又如，该环境传感器也可以是运动传感器，配置为获取所述可移动设备10的运动数据。例如，该运动传感器可以是在可移动设备中内建的惯性测量单元和运动编码器(包括加速度计与陀螺仪等)，用于测量可移动设备的运动参数，例如，速度、加速度、位移等，以确定可移动设备在移动环境中的位置与朝向(姿态)，并且还可以是内建的磁力计等，以实时校准姿态传感器的累计误差。这样，可以获得更加准确的位姿估计。当然，本申请不限于此。该环境传感器还可以是雷达之类的其他各种器件。另外，也可以利用其他分立的环境传感器来采集该样本数据，并且将它发送到可移动设备100。

输出装置14可以向外部(例如，用户)输出各种信息等。该输出设备14可以包括例如扬声器、显示器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图14中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。应当注意，图14所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，电子设备10也可以具有其他组件和结构。

例如，尽管未示出，电子设备10还可以包括通信装置等，通信装置可以通过网络或其他技术与其他设备(例如，个人计算机、服务器、移动台、基站等)通信，所述网络可以是因特网、无线局域网、移动通信网络等，所述其他技术例如可以包括蓝牙通信、红外通信等。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的地图构建方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的地图构建方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的方法、器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行执行、连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。