一种构建语义地图的方法及装置与流程

1.本公开涉及电子地图技术领域，尤其是一种构建语义地图的方法及装置。


背景技术：

2.在辅助驾驶或自动驾驶等应用场景下，有时需要为车辆构建语义地图。在构建语义地图时，首先通常获取激光雷达的点云数据集，然后对该点云数据集进行语义分割，根据语义分割的结果创建语义地图。
3.但是，对点云数据集进行语义分割的效率较低，因此导致语义地图的构建效率较低，如何提高构建语义地图的效率成为目前亟需解决的问题。


技术实现要素：

4.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种构建语义地图的方法及装置。
5.根据本公开的一个方面，提供了一种构建语义地图的方法，包括：
6.确定用于构建语义地图的点云数据集和包含道路的图像；
7.确定所述点云数据集中的点与所述图像中的像素之间的对应关系；
8.基于所述图像中的像素的语义和所述对应关系，确定所述点云数据集中的点的语义；
9.基于所述点云数据集中的点的语义构建语义地图。
10.根据本公开实施例的又一个方面，提供了一种构建语义地图的装置，包括：
11.点云和图像确定模块，用于确定用于构建语义地图的点云数据集和包含道路的图像；
12.对应关系确定模块，用于确定所述点云和图像确定模块所确定的点云数据集中的点和所述图像中的像素之间的对应关系；
13.语义确定模块，用于基于所述图像中的像素的语义和所述对应关系确定模块所确定的对应关系，确定所述点云数据集中的点的语义；
14.地图构建模块，用于基于所述语义确定模块所确定的所述点的语义，构建语义地图。
15.根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的构建语义地图的方法。
16.根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：
17.处理器；
18.用于存储所述处理器可执行指令的存储器；
19.所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的构建语义地图的方法。
20.通过本公开实施例的方案构建语义地图时，无需对点云数据集进行语义分割，而是对图像进行语义分割，再通过图像中像素的语义和该像素与点云数据集中的点的对应关系，确定点云数据集中的点的语义。图像是二维数据且有序，与对点云数据集进行语义分割相比，对图像进行语义分割的效率较高。因此，本公开实施例的方案能够提高语义地图的构建效率。
附图说明
21.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
22.图1是本公开所适用的场景示意图。
23.图2是本公开一示例性实施例提供的构建语义地图的方法的流程示意图。
24.图3是本公开另一示例性实施例提供的构建语义地图的方法的流程示意图。
25.图4是本公开所适用的激光雷达的扫描场景示意图。
26.图5(a)是本公开所适用的另一场景示意图。
27.图5(b)是本公开所适用的通过点云数据集确定的语义的示意图。
28.图6是本公开另一示例性实施例提供的构建语义地图的方法的流程示意图。
29.图7是本公开另一示例性实施例提供的构建语义地图的方法的流程示意图。
30.图8是本公开另一示例性实施例提供的构建语义地图的方法的流程示意图。
31.图9(a)是本公开的一种语义地图的示例图；
32.图9(b)是本公开的另一种语义地图的示例图；
33.图10是本公开另一示例性实施例提供的构建语义地图的方法的流程示意图。
34.图11是本公开一示例性实施例提供的构建语义地图的装置的结构图。
35.图12是本公开另一示例性实施例提供的构建语义地图的装置的结构图。
36.图13是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
37.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
38.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
39.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
40.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
41.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或
者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
42.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
43.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
44.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
45.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
46.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
47.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
48.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
49.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
50.申请概述
51.在辅助驾驶或自动驾驶等应用场景下，有时需要为车辆构建语义地图，车辆基于该语义地图，可以调整行驶路线。
52.目前在构建语义地图时，首先由激光雷达对道路以及道路周边发射激光，并获取该激光对应的点云数据集；服务器可对该点云数据集进行语义分割，通过语义分割，确定道路和道路周边包含的物体(例如道路边沿、路标和道路周边的建筑物等)，并结合车辆所处的位置构建语义地图。
53.但是，点云数据集中的各个点均是三维并且无序的，导致对点云数据集进行语义分割的效率较低，进一步的导致语义地图的构建效率较低。
54.有鉴于此，本公开实施例提供一种构建语义地图的方法及装置。通过本公开的方案构建语义地图时，首先获取用于构建语义地图的点云数据集和包含道路的图像，对该图像进行语义分割，获取图像中各个像素的语义；然后，基于该点云数据集中的各个点与图像中的各个像素之间的对应关系，以及图像中各个像素的语义，确定点云数据集中的点的语
义，并据此构建语义地图。其中，点云数据集包括多个点，每个点指的是相应的点云数据。在一个示例中，该点云数据集通过激光雷达测量确定，激光雷达发射的激光在遇到物体某一位置后发生反射，那么该点云数据集中的每个点(即点云数据)通常包括该物体的某一位置的三维坐标和激光反射强度。
55.通过本公开实施例的方案构建语义地图时，无需对激光雷达点云数据进行语义分割，而是通过图像的语义，以及图像的像素与点云数据集的点之间的对应关系确定点云的语义。图像是二维数据且有序，与对点云数据集进行语义分割相比，对图像进行语义分割的效率较高。因此，通过本公开实施例的方案构建语义地图能够提高语义地图的构建效率。
56.示例性系统
57.本公开实施例可应用于需要进行构建语义地图的应用场景中，该应用场景可包括辅助驾驶或自动驾驶等应用场景。
58.例如，在辅助驾驶或自动驾驶的应用场景中，可由车辆的车载摄像头拍摄车辆所在道路的图像，以获取包含道路的图像，并且在车辆上设置车载传感器，通过车载传感器确定用于构建语义地图的点云数据集，然后通过本公开实施例的方案构建语义地图。
59.图1是本公开所适用的一个场景图。如图1所示，本公开实施例应用于辅助驾驶或自动驾驶的应用场景中，其中，构建语义地图的设备100可与车载传感器200和车载摄像头300相连接。
60.其中，该构建语义地图的设备100可分别与车载传感器200和车载摄像头300电连接，例如，该构建语义地图的设备100为车载计算机，这种情况下，该构建语义地图的设备100可分别与车载传感器200和车载摄像头300电连接。另外，该构建语义地图的设备100与车载传感器200和车载摄像头300的连接方式也可为网络连接。
61.该车载传感器200可用于生成点云数据集，并将该点云数据集传输至构建语义地图的设备100。另外，车载摄像头300可拍摄包含道路的图像，并将该图像传输至构建语义地图的设备100。
62.构建语义地图的设备100在获取包含道路的图像之后，可对该图像进行语义分割，确定图像中像素的语义。并且，该构建语义地图的设备10还可确定点云数据集中的点与图像中的像素之间的对应关系，以及基于该对应关系和图像中像素的语义，确定点云点云数据集中的点的语义，再基于点云数据集中的点的语义构建语义地图。
63.示例性的，该构建语义地图的设备100可为车辆内的服务器(例如车载的智能终端)，这种情况下，该服务器可利用该语义地图，实现辅助驾驶或自动驾驶的功能。
64.示例性方法
65.图2是本公开一示例性实施例提供的构建语义地图的方法的流程示意图。本实施例可应用在电子设备上，如图2所示，包括如下步骤：
66.步骤201、确定用于构建构建语义地图的点云数据集和包含道路的图像。
67.用于执行该构建语义地图的方法的装置可与车载传感器和车载摄像头相连接，并进行信息的交互。其中，该装置与车载传感器和车载摄像头之间的连接方式不限于实体连接，在一种示例中，该装置与车载传感器和车载摄像头之间的连接方式可为电连接，在另一示例中，该装置与车载传感器和车载摄像头之间的连接方式可为网络连接，即该装置可通过网络分别与车载传感器和车载摄像头进行信息交互。
68.其中，该车载传感器为能够生成点云数据集的设备。例如，该车载传感器可包括激光雷达，这种情况下，该点云数据集可包括激光雷达根据激光生成的点云数据集；或者，该车载传感器可包括根据图像生成点云数据集的成像处理装置，这种情况下，该点云数据集可包括成像处理装置根据图像生成的点云数据集。
69.另外，车载传感器在生成点云数据集之后，可通过与车载传感器的信息交互，向用于执行该构建语义地图的方法的装置传输自身生成的点云数据集。如果将车载传感器生成的点云数据集称为原始的点云数据集，在一种可行的设计中，该用于构建语义地图的点云数据集包括该原始的点云数据集。或者，在另一种可行的设计中，为了提高语义地图的准确性，可对原始的点云数据集进行处理，该用于构建语义地图的点云数据集包括对该原始的点云数据集进行处理后得到的点云数据集。
70.车载摄像头可拍摄包含道路的图像，并将图像传输至用于执行该构建语义地图的方法的装置，从而使该装置获取包含道路的图像。
71.步骤s202、确定所述点云数据集中的点与所述图像中的像素之间的对应关系。
72.点云数据集由多个点构成。如果点云数据集中的某一点与图像中某一像素具有对应关系，则表明该点包含的语义与该像素包含的语义相同。
73.步骤s203、基于所述图像中的像素的语义和所述对应关系，确定所述点云数据集中的点的语义。
74.通过对图像的语义分割，可确定图像中各个像素的语义，这种情况下，再基于点云数据集中的点与所述图像中的像素之间的对应关系，即可确定点云数据集中的各个点的语义。
75.步骤s204、基于所述点云数据集中的点的语义构建语义地图。
76.通过点云数据集中的点的语义，可以确定在当前场景下，周边环境所包含的各个物体，并据此构建语义地图。
77.本公开的构建语义地图的方法中，在确定用于构建语义地图的点云数据集和包含道路的图像之后，确定点云数据集中的点与图像中的像素之间的对应关系；然后，基于图像中的像素的语义和该对应关系，确定点云数据集中的点的语义，并通过点云数据集中的点的语义构建语义地图。
78.在现有的构建语义地图的技术中，通过对点云数据集进行语义分割的方式确定点云数据集中各个点的语义。而点云数据集中的各个点均是三维并且无序的，因此对点云数据集进行语义分割的效率较低，进一步导致现有技术构建语义地图的构建效率较低。
79.通过本公开实施例的方案构建语义地图时，并未对点云数据集进行语义分割，而是对图像进行语义分割，再通过图像中像素的语义和该像素与点云数据集中的点的对应关系，确定点云数据集中的点的语义。图像是二维数据且有序，与对点云数据集进行语义分割相比，对图像进行语义分割的效率较高。因此，本公开实施例的方案能够提高语义地图的构建效率。
80.进一步的，由于点云数据集中的各个点均是三维并且无序，而图像是二维数据且有序，因此，对图像进行语义分割的准确度往往高于对点云数据集进行语义分割的准确度。因此，本公开实施例的方案还能够提高构建语义地图的准确度，从而能够构建高精度的语义地图。
81.另外，由于现有技术对点云数据集进行语义分割，而对对点云数据集进行语义分割的准确度较低，因此，往往需要人工对语义分割的结果进行返工标注。
82.而本公开实施例提供的方案中，是对图像进行语义分割，而对图像进行语义分割的准确度较高，从而降低了人工进行返工标注的需求，减少了人力资源的浪费，并进一步提高了语义地图构建的效率。
83.在本公开实施例提供的方案中，用于构建语义地图的点云数据集可包括车载传感器生成的原始的点云数据集，或者包括对该原始的点云数据集进行处理后的点云数据集。
84.参见图3，在本公开另一示例性实施例中，可在上述图2所示实施例的基础上，通过以下步骤确定用于构建语义地图的点云数据集：
85.步骤s2011、通过车载传感器，获取原始的点云数据集。
86.其中，该原始的点云数据集通常指的是车载传感器生成的点云数据集。
87.步骤s2012、对所述原始的点云数据集中的点进行运动畸变矫正，经过运动畸变矫正的点构成的点云数据集为所述用于构建语义地图的点云数据集。
88.车载传感器在生成点云数据集的过程中，由于车辆的运动，可能会导致点云数据集存在运动畸变。
89.如果该车载传感器包括激光雷达，参见图4所示的场景示意图，激光雷达在扫描的过程中，每隔一个时间周期发生一次转动，并在转动后进行扫描，以获取构成点云数据集的各个点。其中，在图4中，激光雷达每隔一个时间周期会转动2
°
，在图4中的虚线即为激光雷达发射的激光。但是在这一过程中，车辆可能会行驶，从而导致点云数据集存在运动畸变。
90.例如，如果激光雷达的扫描频率为5hz，一帧数据的首尾时间差为200ms，若车辆以0.5m/s的速度向x方向走，而激光雷达在车辆行驶过程中扫描前方的墙面，那么200ms后尾部的测量距离和首部的测量距离在x方向上相差10cm。
91.在这一步骤中，可通过惯性测量单元(inertial measurement unit，imu)进行运动畸变矫正。其中，imu可设置在车辆上，通过imu的预积分，可估测出点云数据集中的各点对应时刻的车载传感器的位姿，并据此将各点进行转换，使各点对应的车载传感器的位姿相同，实现对点云数据集的运动畸变矫正。
92.通过存在运动畸变的点云数据集，直接确定点云数据集中各个点的语义，会导致确定的语义存在误差。而本示例性实施例中，对点云数据集中的点进行运动畸变矫正，将经过运动畸变矫正的点构成的点云数据集作为用于构建语义地图的点云数据集，从而能够减少运动畸变的影响，提高语义地图的准确度。
93.例如，如图5(a)所示，为车辆前方包含某一物体的实际场景，该图中的箭头表示车辆行驶的方向。这种情况下，基于存在运动畸变的点云数据集确定的语义如图5(b)中的虚线所示，基于运动畸变矫正后的点云数据集确定的语义如图5(b)中的实线所示。
94.图6是本公开另一示例性实施例提供的构建语义地图的方法的流程示意图。如图6所示，在上述图2所示实施例基础上，步骤s202包括以下步骤s2021和s2024。
95.步骤s2021、基于车载摄像头拍摄所述图像的时间和车载激光雷达发射激光的时间，通过以下公式确定第一系数：
96.k＝(tc-tl0)\(tl1-tl0)
ꢀꢀꢀꢀ
公式(1)；
97.其中，k为第一系数，tc为所述车载摄像头拍摄图像的时间，tl0为车载激光雷达发
射第一激光的时间，tl1为车载激光雷达发射第二激光的时间，第一激光为tc前最后一帧点云对应的激光，第二激光为tc后第一帧点云对应的激光，车载传感器包括车载激光雷达。
98.由于车载传感器包括车载激光雷达，因此，该点云数据集包括通过激光雷达发射的激光所确定的点云数据集。tc为车载摄像头拍摄图像的时间，tl0为车载激光雷达发射第一激光的时间，tl1为车载激光雷达发射第二激光的时间，也就是说，第一激光和第二激光为拍摄图像前和拍摄图像后发射的激光。
99.步骤s2022、确定所述车载激光雷达的位姿。
100.步骤s2023、基于所述车载激光雷达的位姿和所述第一系数，通过以下公式确定第二系数：
[0101][0102]
其中，tc为第二系数，t1为所述车载激光雷达在tl0的位姿，t2为所述车载激光雷达在tl1的位姿，代表位姿的旋转的四元数插值与平移的线性差值，代表位姿的四元数与平移向量的常数值的乘法。
[0103]
步骤s2024、基于所述第二系数，通过以下公式确定所述点云数据集中的点与所述图像中的像素之间的对应关系：
[0104]
px＝k
×
t
cl
×
tc
×
p
l
ꢀꢀꢀ
公式(3)；
[0105]
其中，px为所述图像中的像素在图像坐标系中的坐标，k为所述车载摄像头的内参标定矩阵，t
cl
为所述点云数据集的地图坐标系转换至所述图像坐标系的外参标定矩阵，p
l
为所述第二激光的点云在所述地图坐标系中的坐标。
[0106]
基于这一实施例，可确定点云数据集中的点与图像中的像素之间的对应关系，以便根据该对应关系和图像中的像素的语义，确定点云数据集中的各点的语义。
[0107]
进一步的，在上述图2所示实施例基础上，本公开另一示例性实施例还包括以下步骤：
[0108]
在确定所述点云数据集中的点的语义之前，删除所述图像中的第一区域，以基于删除所述第一区域后的图像中的像素的语义和所述对应关系，确定所述点云数据集中的点的语义。其中，所述第一区域中像素的深度大于所述图像中其他区域的像素的深度。
[0109]
点云数据集中的点通常包括x、y和z方向三个维度，某一个像素的深度可由该像素对应的点云数据集中的点的z值所表示。这种情况下，可对点云数据集中的各个点的z值进行排序，该排序可反映该各个点对应的各像素的深度的排序，通过排序结果，可确定其中深度较大的像素，进而确定第一区域。
[0110]
车载传感器和车载摄像头的安装位置通常不同，因此，可能存在车载传感器未被遮挡而车载摄像头被遮挡的现象，这会导致图像中出现像素深度较大的区域，通过该区域中的像素确定的语义往往不准确。并且，车载摄像头拍摄较远的景物时，分辨率较小，因此图像中同一像素可能关联点云数据集中的多个点，即同一像素与点云数据集中的多个点具有对应关系，该像素所在区域的深度较大，这种情况下，通过该区域中的像素确定的语义往往也不准确。也就是说，如果对第一区域进行语义分割，获取的语义的准确度较低，相应的，通过第一区域内的像素的语义确定的点云数据集中各个点的语义的准确度也较低。
[0111]
而本示例性实施例通过上述步骤，删除了图像中的第一区域，并基于删除第一区
域后的图像中的像素的语义和对应关系，确定点云数据集中的点的语义，从而能够提高确定点云数据集中的点的语义的准确度，进一步能够提高语义地图的准确度。
[0112]
图7是本公开另一示例性实施例提供的构建语义地图的方法的流程示意图。如图7所示，在上述图2所示实施例基础上，本示例性实施例还包括以下步骤：
[0113]
步骤s205、在确定所述点云数据集中的点的语义之前，基于所述图像中的像素的语义和预先设定的第一物体的语义，确定所述图像中的第一物体。
[0114]
在图像中，往往包括道路及道路周边的多种物体，其中第一物体通常包括语义地图中无需呈现的物体。
[0115]
在一种可行的设计中，第一物体可包括可移动物体，例如停在路边的车辆等。由于第一物体可移动，往往在其他时刻，该第一物体就离开该道路或道路的周边，因此，在语义地图中无需呈现。
[0116]
该步骤中，可以预先设定第一物体的语义，这种情况下，在确定图像中各像素的语义之后，基于预先设定的第一物体的语义，即可确定图像中的第一物体。
[0117]
步骤s206、删除所述图像中的第一物体，以基于删除所述第一物体后的图像中的像素的语义和所述对应关系，确定所述点云数据集中的点的语义。
[0118]
由于第一物体无需在语义地图中呈现，因此，也无需确定第一物体对应的点云的语义。
[0119]
通过上述示例性实施例的操作，能够减少通过图像中的第一物体的语义和对应关系，确定点云数据集中的点的语义的操作，从而提高语义地图的构建效率。
[0120]
进一步的，由于上述示例性实施例构建的语义地图中未呈现第一物体，因此该语义地图较简洁。
[0121]
另外，在图7所示的流程示意图中，步骤s206位于步骤s202之后，但在实际的语义地图构建场景中，这两个步骤并没有严格的时间先后限制。例如，也可在删除图像中的第一物体之后，再确定点云数据集中的点与图像中的像素之间的对应关系。
[0122]
图8是本公开另一示例性实施例提供的构建语义地图的方法的流程示意图。如图8所示，在上述图2所示实施例基础上，本示例性实施例还包括以下步骤：
[0123]
步骤s207、在确定所述点云数据集中的点的语义之前，基于所述图像中的像素的语义和目标跟踪算法，确定所述图像中的第二物体，所述第二物体包括移动的物体。
[0124]
基于图像中像素的语义，可以确定图像中包含的各个物体的类型，据此可以确定图像中是否存在可以移动的物体。根据目标跟踪算法，可以确定该物体是否在移动，进而可以确定图像中的第二物体。
[0125]
步骤s208、删除所述图像中的第二物体，以便基于删除所述第二物体后的图像中的像素的语义和所述对应关系，确定所述点云数据集中的点的语义。
[0126]
通过本公开实施例提供的方案构建语义地图时，由于每张图像拍摄的区域有限，往往需要拍摄多张图像，通过多张图像中像素的语义，以及像素与点云数据集中各个点的对应关系，确定点云数据集中各个点的语义，然后基于点云数据集中各个点的语义构建语义地图。也就是说，本公开实施例提供的方案通常需要多张图像构建语义地图。
[0127]
这种情况下，如果图像中包含正在移动的物体(例如行驶的车辆等)，在基于多张图像构建语义地图时，构建的语义地图中可能存在拖影，降低语义地图的质量。
[0128]
而通过本公开实施例提供的方案，能够基于删除第二物体后的图像中的像素的语义确定点云数据集中各个点的语义，因此能够减少移动的物体造成的拖影，提高语义地图的质量。
[0129]
另外，在图8所示的流程示意图中，步骤s208位于步骤s202之后，但在实际的语义地图构建场景中，这两个步骤并没有严格的时间先后限制。例如，也可在删除图像中的第二物体之后，再确定点云数据集中的点与图像中的像素之间的对应关系。
[0130]
为了明确这一示例性实施例的优势，以下公开图9(a)和图9(b)，其中，图9(a)为通过包含第二物体的图像构建的语义地图，该语义地图针对的应用场景为十字路口，该十字路口中从左到右行驶有一辆车辆，导致语义地图中出现拖影。在图9(a)中，虚线为语义地图中的拖影。
[0131]
通过删除第二物体后的图像构建的语义地图如图9(b)所示，在删除第二物体后，构建的语义地图中不再出现拖影。
[0132]
图9(a)和图9(b)的对比表明，应用删除第二物体的后的图像中的像素的语义构建语义地图，能够有效提高语义地图的质量。
[0133]
在上述示例性实施例的步骤s022中，公开了确定所述车载激光雷达的位姿的操作。在另一示例性实施例中，该操作可通过以下步骤实现：
[0134]
首先，基于用于构建语义地图的点云数据集，调整车载的惯性测量单元imu的白噪声和量零偏bias。
[0135]
然后，基于全球定位系统(globalpositioning system，gps)和调整白噪声和量零偏后的惯性测量单元，确定所述车载激光雷达的位姿。
[0136]
imu内通常安装有三轴的陀螺仪和三个方向的加速度计，能够用于测量物体在三维空间中的角速度和加速度。但是随着测量时间的延长，imu的白噪声和量零偏bias逐渐增长，会影响imu的测量精度。
[0137]
针对这一情况，在本公开示例性实施例中，基于用于构建语义地图的点云数据集调整imu的白噪声和量零偏bias。该用于构建语义地图的点云数据集经过运动畸变矫正，通过调整，能够降低imu的白噪声和量零偏bias。
[0138]
在调整imu的白噪声和量零偏bias之后，通过gps和imu，可确定车载激光雷达的位姿。其中，gps中接收机可接收卫星发送的星历参数和时间信息，并基于该星历参数和时间信息，计算出接收机所处的位置。另外，车载的imu可测量出车辆在三维空间中的角速度和加速度。这种情况下，gps和imu相结合，即可确定车载激光雷达的位姿。
[0139]
在本公开提供的语义地图构建方法中，需要基于车载激光雷达的位姿确定点云数据集中的点与图像中的像素之间的对应关系。另外，在基于点云数据集中的点的语义构建语义地图时，往往也需要基于车载激光雷达的位姿确定车辆的位姿，实现对车辆的定位，并基于对车辆的定位和该点云数据集，确定道路和道路周边包含的各个物体所处的位置。
[0140]
在现有的构建语义地图的技术中，通常基于imu和实时动态差分定位系统(real time kinematic，rtk)确定激光雷达的位姿。而rtk的成本较高，从而导致现有的构建语义地图的技术所需的成本较高，这也为语义地图构建技术的推广带来阻碍。
[0141]
但是，在本公开示例性实施例提供的方案中，可通过imu和gps确定激光雷达的位姿。gps的成本通常小于rtk的成本，因此，能够减少构建语义地图时所需的成本，有利于语
义地图构建技术的推广。
[0142]
进一步的，在本公开示例性实施例提供的方案中，在确定车载激光雷达的位姿时，通过经过运动畸变矫正后的点云数据集，对imu的白噪声和量零偏bias进行了调整，从而提高了imu测量的准确度，相应的提高了确定车载激光雷达的位姿的准确度，进一步能够语义地图的准确度，从而能够构建高精度的语义地图。
[0143]
图10是本公开另一示例性实施例提供的构建语义地图的方法的流程示意图，该流程为通过本公开示例性实施例的方案构建语义地图的整体流程的一个示例。
[0144]
参见图10，在本公开示例性实施例提供的构建语义地图的方法中，应用了车载摄像头、车载传感器、imu、gps以及执行该方法的电子设备。
[0145]
在构建语义地图的过程中，车载摄像头可拍摄包含道路的图像，并将该图像传输至电子设备，电子设备对该图像进行语义分割，获取图像中的像素的语义。
[0146]
车载传感器可获取点云数据集，并将该点云数据集传输至电子设备，电子设备对该点云数据集进行运动畸变矫正，以确定用于构建语义地图的点云数据集。另外，电子设备可通过运动畸变矫正的点云数据集调整imu的白噪声和量零偏bias，并利用gps与调整后的imu确定车载传感器的位姿。其中，如果车载传感器包括车载激光雷达，则该车载传感器的位姿包括车载激光雷达的位姿。
[0147]
另外，电子设备不仅需要确定用于构建语义地图的点云数据集之后，还需要确定包含道路的图像，即建立该点云数据集与该图像之间的关联，并且确定该点云数据集中的点与该图像中的像素之间的对应关系。
[0148]
为了提高语义地图的质量，电子设备还可删除图像中的第一物体和第二物体。其中，第一物体的语义可预先设定，另外，第二物体通常包括移动的物体。第一物体和第二物体无需在语义地图中呈现，删除图像中的第一物体和第二物体，有助于提高语义地图的精度。
[0149]
进一步的，电子设备还可删除图像中的第一区域，其中，第一区域中像素的深度大于该图像中其他区域的像素的深度。
[0150]
在删除图像中的第一物体、第二物体和第一区域之后，电子设备可基于图像中的像素的语义以及点云数据集中的点与该图像中的像素之间的对应关系，确定点云数据集中的点的语义，并基于该点云数据集中的点的语义构建语义地图。
[0151]
示例性装置
[0152]
图11是本公开一示例性实施例提供的构建语义地图的装置的结构图。该构建语义地图的装置可以设置于终端设备、服务器等电子设备中，或者车辆等对象上，执行本公开上述任一实施例的构建语义地图的方法。如图11所示，该实施例的构建语义地图的装置包括：点云和图像确定模块201、对应关系确定模块202、语义确定模块203和地图构建模块204。
[0153]
其中，该点云和图像确定模块201用于确定用于构建语义地图的点云数据集和包含道路的图像。
[0154]
该对应关系确定模块202用于确定所述点云数据集中的点与所述图像中的像素之间的对应关系。
[0155]
该语义确定模块203用于基于所述图像中的像素的语义和所述对应关系，确定所述点云数据集中的点的语义。
[0156]
该地图构建模块204用于基于所述点云数据集中的点的语义构建语义地图。
[0157]
通过本公开实施例的装置构建语义地图时，无需对点云数据集进行语义分割，而是对图像进行语义分割，再通过图像中像素的语义和该像素与点云数据集中的点的对应关系，确定点云数据集中的点的语义。图像是二维数据且有序，与对点云数据集进行语义分割相比，对图像进行语义分割的效率较高。因此，本公开实施例的装置能够提高语义地图的构建效率。
[0158]
进一步的，参见图12所示的结构示意图，在一种可行的示例中，该点云和图像确定模块201包括：
[0159]
原始数据集获取单元2011，用于通过车载传感器，获取原始的点云数据集。
[0160]
点云数据集获取单元2012，用于对从原始数据集获取单元2011获取的所述原始的点云数据集中的点进行运动畸变矫正，经过运动畸变矫正的点构成的点云数据集为所述用于构建语义地图的点云数据集。
[0161]
在另一种可行的示例中，该对应关系确定模块202包括：
[0162]
第一系数确定单元2021，用于当车载传感器包括车载激光雷达时，基于车载摄像头拍摄所述图像的时间和所述车载激光雷达发射激光的时间，通过以下公式确定第一系数：
[0163]
k＝(tc-tl0)\(tl1-tl0)；
[0164]
其中，k为所述第一系数，tc为所述车载摄像头拍摄所述图像的时间，tl0为所述车载激光雷达发射第一激光的时间，tl1为所述车载激光雷达发射第二激光的时间，所述第一激光为tc前最后一帧点云对应的激光，所述第二激光为tc后第一帧点云对应的激光。
[0165]
位姿确定单元2022，用于确定所述车载激光雷达的位姿。
[0166]
第二系数确定单元2023，用于基于所述位姿确定单元2022确定的所述车载激光雷达的位姿和所述第一系数确定单元2021确定的所述第一系数，通过以下公式确定第二系数：
[0167][0168]
其中，tc为第二系数，t1为所述车载激光雷达在tl0的位姿，t2为所述车载激光雷达在tl1的位姿，代表位姿的旋转的四元数插值与平移的线性差值，代表位姿的四元数与平移向量的常数值的乘法；
[0169]
对应关系确定单元2024，用于基于所述第二系数确定单元2023确定的所述第二系数，通过以下公式确定所述点云数据集中的点与所述图像中的像素之间的对应关系：
[0170]
px＝k
×
t
cl
×
tc
×
p
l
；
[0171]
其中，px为所述图像中的像素在图像坐标系中的坐标，k为所述车载摄像头的内参标定矩阵，t
cl
为所述点云数据集的地图坐标系转换至所述图像坐标系的外参标定矩阵，p
l
为所述第二激光的点云在所述地图坐标系中的坐标。
[0172]
在上述图11或图12所示实施例基础上，在本公开另一示例性实施例提供的构建语义地图的装置中，还包括：
[0173]
第一区域删除模块，用于在确定所述点云数据集中的点的语义之前，删除所述图像中的第一区域，以基于删除所述第一区域后的图像中的像素的语义和所述对应关系，确定所述点云数据集中的点的语义。其中，所述第一区域中像素的深度大于所述图像中其他
区域的像素的深度。
[0174]
在上述图11或图12所示实施例基础上，在本公开另一示例性实施例提供的构建语义地图的装置中，还包括：
[0175]
第一物体确定模块，用于在确定所述点云数据集中的点的语义之前，基于所述图像中的像素的语义和预先设定的第一物体的语义，确定所述图像中的第一物体；
[0176]
第一物体删除模块，用于删除所述第一物体确定模块确定的图像中的第一物体，以基于删除所述第一物体后的图像中的像素的语义和所述对应关系，确定所述点云数据集中的点的语义。
[0177]
在上述图11或图12所示实施例基础上，在本公开另一示例性实施例提供的构建语义地图的装置中，还包括：
[0178]
第二物体确定模块，用于在确定所述点云数据集中的点的语义之前，基于所述图像中的像素的语义和目标跟踪算法，确定所述图像中的第二物体，所述第二物体包括移动的物体；
[0179]
第一物体删除模块，用于删除所述第二物体确定模块确定的所述图像中的第二物体，以便基于删除所述第二物体后的图像中的像素的语义和所述对应关系，确定所述点云数据集中的点的语义。
[0180]
在上述图12所示实施例基础上，在本公开另一示例性实施例提供的构建语义地图的装置中，位姿确定单元2022包括：
[0181]
调整子单元，用于基于所述用于构建语义地图的点云数据集，调整车载的惯性测量单元的白噪声和量零偏；
[0182]
位姿确定子单元，用于基于全球定位系统和通过所述调整子单元调整白噪声和量零偏后的惯性测量单元，确定所述车载激光雷达的位姿。
[0183]
示例性电子设备
[0184]
下面，参考图13来描述根据本公开实施例的电子设备。如图13所示，电子设备10包括一个或多个处理器11和存储器12。
[0185]
处理器11可以是中央处理单元(central processing unit，cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
[0186]
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(random access memory，ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(read-only memory，rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的构建语义地图的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如包含道路的图像、点云数据集等各种内容。
[0187]
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0188]
此外，该输入设备13还可以包括例如键盘、鼠标等等。
[0189]
该输出装置14可以向外部输出各种信息，包括构建出的语义地图等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0190]
当然，为了简化，图13中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
[0191]
示例性计算机程序产品和计算机可读存储介质
[0192]
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的构建语义地图的方法中的步骤。
[0193]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0194]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的构建语义地图的方法中的步骤。
[0195]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器((erasable programmable read-only memory，eprom)或闪存)、光纤、便携式紧凑盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0196]
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0197]
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0198]
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0199]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义
的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0200]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。