本申请涉及计算机技术领域，具体涉及电子地图技术领域，尤其涉及用于标注地图的方法、装置和设备。
背景技术：
随着科技的发展，地图的应用领域越来越广泛。例如在自动驾驶领域，车辆可以利用高精度地图进行定位和路线规划。为了保证车辆安全行驶，地图中需要标注出车道线、道路交通标识牌等标志物，以供自动驾驶车辆对道路环境和行驶路径进行精确计算并精准操控车辆行驶。
目前高精度的地图中的标志物通常依靠人工进行辅助标注。标注人员根据经验查找出对应的街景数据，并对照地图进行标注。这种方法需要利用生成地图的应用、查找街景数据的应用等多个应用协同作业，并且对标注人员的要求较高，需要标注人员熟悉标注的区域，以便正确地调取参照的街景数据，高精度地图的标注效率和准确性有待提升。
技术实现要素：
本申请的目的在于提出一种改进的用于标注地图的方法和装置，来解决以上背景技术部分提到的技术问题。
第一方面，本申请实施例提供了一种用于标注地图的方法，该方法包括：响应于检测到用户在待标注地图上的选定待标注区域的操作，在已存储的待标注地图对应的地理位置信息列表中查找出待标注区域对应的地理位置信息，其中，待标注的地图包括将车载激光雷达所采集的激光点云数据映射至平面中的二维网格所形成的反射值地图；获取车载摄像头采集到的道路图像序列以及轨迹点集合，轨迹点集合中的每个轨迹点为车载摄像头采集道路图像序列中的每一帧道路图像时记录的；根据待标注区域的地理位置信息和道路图像序列对应的轨迹点集合，从道路图像序列中提取出待标注区域对应的目标图像帧；响应于检测到用户参考目标图像帧对待标注区域内的标注对象进行的标注操作，生成用于存储标注对象的位置参数的标注文件。
在一些实施例中，每个轨迹点包括采集对应的道路图像的时间戳以及采集对应的道路图像的地理位置信息；根据待标注区域的地理位置信息和道路图像序列对应的轨迹点集合，从道路图像序列中提取出待标注区域对应的目标图像帧，包括：基于待标注区域的地理位置信息与轨迹点集合中的各轨迹点的地理位置信息进行匹配，以确定目标轨迹点；在道路图像序列中提取出与目标轨迹点的时间戳对应的道路图像，作为目标图像帧。
在一些实施例中，基于待标注区域的地理位置信息与轨迹点集合中的各轨迹点的地理位置信息进行匹配，以确定目标轨迹点，包括：获取车载摄像头的最小拍摄距离参数；将待标注区域的中心点设置为搜索中心，以最小拍摄距离参数与预设的距离偏移参数之和为半径构建圆形搜索区域；根据轨迹点的地理位置信息筛选出位于圆形搜索区域内的轨迹点；对位于圆形搜索区域内的轨迹点按照预设的时间间隔阈值进行分组，得到多个轨迹点组；对各个轨迹点组中的轨迹点按照时间戳进行排序，将各轨迹点组中时间戳最小的轨迹点确定为目标轨迹点。
在一些实施例中，标注对象的位置参数包括标注对象在世界坐标系中的第一坐标信息；上述用于标注地图的方法还包括：根据第一坐标信息将标注对象映射至目标图像帧。
在一些实施例中，根据第一坐标信息将标注对象映射至目标图像帧，包括：获取世界坐标系相对于车载惯性测量单元坐标系的第一标定参数、车载惯性测量单元坐标系相对于车载激光雷达坐标系的第二标定参数、车载激光雷达坐标系相对于车载摄像头坐标系的第三标定参数、车载摄像头相对于道路图像的图像坐标系的第四标定参数；根据第一标定参数将第一坐标信息映射至车载惯性测量单元坐标系得到第二坐标信息；根据第二标定参数将第二坐标信息映射至车载激光雷达坐标系得到第三坐标信息；根据第三标定参数将第三坐标信息映射至车载摄像头坐标系得到第四坐标信息；根据第四标定参数将第四坐标信息映射至图像坐标系得到第五坐标信息；利用第五坐标信息在目标图像帧中渲染标注对象。
第二方面，本申请提供了一种用于标注地图的装置，装置包括：查找单元，配置用于响应于检测到用户在待标注地图上的选定待标注区域的操作，在已存储的待标注地图对应的地理位置信息列表中查找出待标注区域对应的地理位置信息，其中，待标注的地图包括将车载激光雷达所采集的激光点云数据映射至平面中的二维网格所形成的反射值地图；获取单元，配置用于获取车载摄像头采集到的道路图像序列以及轨迹点集合，轨迹点集合中的每个轨迹点为车载摄像头采集道路图像序列中的每一帧道路图像时记录的；提取单元，配置用于根据待标注区域的地理位置信息和道路图像序列对应的轨迹点集合，从道路图像序列中提取出待标注区域对应的目标图像帧；生成单元，配置用于响应于检测到用户参考目标图像帧对待标注区域内的标注对象进行的标注操作，生成用于存储标注对象的位置参数的标注文件。
在一些实施例中，每个轨迹点包括采集对应的道路图像的时间戳以及采集对应的道路图像的地理位置信息；提取单元进一步配置用于按照如下方式提取出待标注区域对应的目标图像帧：基于待标注区域的地理位置信息与轨迹点集合中的各轨迹点的地理位置信息进行匹配，以确定目标轨迹点；在道路图像序列中提取出与目标轨迹点的时间戳对应的道路图像，作为目标图像帧。
在一些实施例中，提取单元进一步配置用于按照如下方式确定目标轨迹点：获取车载摄像头的最小拍摄距离参数；将待标注区域的中心点设置为搜索中心，以最小拍摄距离参数与预设的距离偏移参数之和为半径构建圆形搜索区域；根据轨迹点的地理位置信息筛选出位于圆形搜索区域内的轨迹点；对位于圆形搜索区域内的轨迹点按照预设的时间间隔阈值进行分组，得到多个轨迹点组；对各个轨迹点组中的轨迹点按照时间戳进行排序，将各轨迹点组中时间戳最小的轨迹点确定为目标轨迹点。
在一些实施例中标注对象的位置参数包括标注对象在在世界坐标系中的第一坐标信息；装置还包括：映射单元，配置用于根据第一坐标信息将标注对象映射至目标图像帧。
在一些实施例中，映射单元进一步配置用于按照如下方式将标注对象映射至目标图像帧：获取世界坐标系相对于车载惯性测量单元坐标系的第一标定参数、车载惯性测量单元坐标系相对于车载激光雷达坐标系的第二标定参数、车载激光雷达坐标系相对于车载摄像头坐标系的第三标定参数、车载摄像头相对于道路图像的图像坐标系的第四标定参数；根据第一标定参数将第一坐标信息映射至车载惯性测量单元坐标系得到第二坐标信息；根据第二标定参数将第二坐标信息映射至车载激光雷达坐标系得到第三坐标信息；根据第三标定参数将第三坐标信息映射至车载摄像头坐标系得到第四坐标信息；根据第四标定参数将第四坐标信息映射至图像坐标系得到第五坐标信息；利用第五坐标信息在目标图像帧中渲染标注对象。
第三方面，本申请实施例提供了一种设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述用于标注地图的方法。
本申请实施例提供的用于标注地图的方法和装置，首先响应于检测到用户在待标注地图上的选定待标注区域的操作，在已存储的待标注地图对应的地理位置信息列表中查找出待标注区域对应的地理位置信息，随后获取车载摄像头采集到的道路图像序列以及轨迹点集合，之后根据待标注区域的地理位置信息和道路图像序列对应的轨迹点集合，从道路图像序列中提取出待标注区域对应的目标图像帧，最后响应于检测到用户参考目标图像帧对待标注区域内的标注对象进行的标注操作，生成用于存储标注对象的位置参数的标注文件，从而快速、准确地确定出用于辅助地图标注的道路图像，有助于提升地图标注效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的用于标注地图的方法的一个实施例的流程图；
图3是根据本申请的提取出待标注区域对应的目标图像帧的一种实现方式的流程示意图；
图4是提取目标帧的流程中在搜索区域内搜索目标轨迹点的一个场景示意图；
图5是根据本申请的用于标注地图的方法的另一个实施例的流程图；
图6是根据本申请的将标注对象映射至目标图像帧的一个流程示意图；
图7是根据本申请的用于标注地图的装置的一个实施例的结构示意图；
图8是适于用来实现本申请实施例的设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于标注地图的方法或用于标注地图的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括设备101和数据采集车辆102。其中，数据采集车辆102上可以有车载激光雷达103和车载摄像头104。车载激光雷达103可以采集车辆行驶环境中的三维激光点云数据，车载摄像头104可以采集道路图像数据。
车载激光雷达103和车载摄像头104采集的数据可以通过网络发送至设备101。设备101可以对车载激光雷达103和车载摄像头发送的数据进行分析处理(例如根据激光点云数据生成地图)，设备101还可以具有显示屏，可以将处理结果展示在显示屏上。
用户110可以与设备101进行交互，例如用户可以通过设备101的输入接口输入数据，设备101可以对输入的数据进行处理，并将处理结果通过显示屏反馈给用户110。
需要说明的是，本申请实施例所提供的用于标注地图的方法一般由设备101执行，相应地，用于标注地图的装置一般设置于设备101中。
继续参考图2，其示出了根据本申请的用于标注地图的方法的一个实施例的流程200。该用于标注地图的方法，包括以下步骤：
步骤201，响应于检测到用户在待标注地图上的选定待标注区域的操作，在已存储的待标注地图对应的地理位置信息列表中查找出待标注区域对应的地理位置信息。
在本实施例中，用于标注地图的方法运行于其上的电子设备(例如图1中的设备101)可以检测用户选定待标注区域的操作，并在检测到用户的选定操作时通过查找地理位置信息列表来确定待标注区域对应的地理位置信息。在这里，地理位置信息可以是GPS(Global Positioning System，全球定位系统)信息，也可以是以预定的位置为原点构建的空间三维坐标系中的位置参数等表示地图上各区域的地理位置的信息。待标注地图中每个区域的地理位置信息可以以列表方式预先存储在上述电子设备中。
在本实施例中，待标注的地图包括将车载激光雷达所采集的激光点云数据映射至平面中的二维网格所形成的反射值地图。该待标注地图可以为由上述电子设备根据从用于采集道路数据的车载激光雷达获取的激光点云数据生成的，也可以为由其他设备生成、并通过网络传输至上述电子设备的。车载激光雷达采集到的激光点云数据中的每个数据点的信息包括该数据点的三维空间坐标以及该数据点的反射值，反射值由该数据点对应的空间物体的材料决定。待标注的地图具体可以通过如下方式生成：利用激光点云数据所在的三维坐标系中与地面相平行的两个坐标轴构建平面，并将构建的平面划分为多个二维网格，每个二维网格的大小相同，之后将激光点云中的数据点投影至所构建的平面中，即形成上述反射值地图。在反射值地图中，每个二维网格内包括以该二维网格为底面的三维柱体空间内的所有数据点及对应的反射值。
可选地，在生成待标注地图时，可以根据采集激光点云时的车载雷达的地理位置信息确定各数据点对应的地理位置信息，记录对应的每个网格的地理位置信息，形成地理位置信息列表并进行存储。
在本实施例的一些可选的实现方式中，在生成上述待标注地图时，可以设定不同的网格尺寸，来构建具有不同分辨率的待标注地图。
在生成或获取到待标注的地图后，用户可以在待标注的地图上选定待标注区域。待标注区域可以对应实际场景中的一段道路或一个建筑群，可以是包含标注对象的区域。标注对象可以为道路上的标志物，例如车道线、交通标识牌、收费站等、也可以是建筑标识，例如办公大厦、医院、学校等。
通常，反射值地图中可以包含上述标注对象，但由于反射值地图的清晰度限制，上述标注对象不易从反射值地图中提取出来。这时，标注人员可以选定待标注区域，在待标注区域内参考辅助的图像来对标注对象进行标注。可选地，上述电子设备可以预先将待标注地图划分为多个块，例如可以划分为与上述二维网格一一对应的多个块，用户在选定待标注区域时选择其中一个块，则可以确定用户选定的待标注区域为该块所覆盖的待标注地图上的区域。
步骤202，获取车载摄像头采集到的道路图像序列以及轨迹点集合。
车载摄像头与上述车载激光雷达共同采集车辆行驶中的环境数据。在本实施例中，车载摄像头可以安装在车辆的顶部、前端、后端或侧面，可以采集二维图像数据，并且，车载控制单元可以在采集图像数据时记录当前的地理位置信息，采集的多帧图像形成道路图像序列。
轨迹点集合包括车辆行驶过程中的多个轨迹点，每个轨迹点为车载摄像头采集道路图像序列中的每一帧道路图像时记录的。该轨迹点可以包括车辆在采集道路图像时的地理位置以及该地理位置周边的环境信息。在实际场景中，车载摄像头可以在每一个轨迹点采集一帧或多帧道路图像，车载控制单元可以将轨迹点与在该轨迹点采集的道路图像对应地存储。
上述电子设备可以通过多种方式获取车载摄像头采集的道路图像序列和对应的轨迹点集合，例如可以通过与车载控制单元建立的通信连接来获取，也可以直接从车载摄像头的存储部件中获取，或者道路图像序列和轨迹点集合可以为预先存储在上述电子设备本地或服务器中的，在获取时可以从本地查找或向服务器发出请求并接收服务器返回的数据。
步骤203，根据待标注区域的地理位置信息和道路图像序列对应的轨迹点集合，从道路图像序列中提取出待标注区域对应的目标图像帧。
在查找出待标注区域的地理位置信息并获取到道路图像序列对应的轨迹点集合之后，可以根据待标注区域的地理位置信息在轨迹点集合中查找对应的轨迹点，并从道路图像序列中提取出查找到的轨迹点对应的道路图像，作为待标注区域对应的目标图像帧。在这里，目标图像帧对应的轨迹点的地理位置与待标注区域的地理位置一致，目标图像帧可以提供待标注区域的二维图像信息。
在本实施例中，待标注区域为覆盖一定面积的区域，待标注区域的地理位置信息可以为其所覆盖的区域的地理位置信息的集合，轨迹点通常为一个地理位置点。在查找与待标注区域的地理位置信息对应的轨迹点时，可以找出与待标注区域所覆盖的区域的地理位置信息的集合中的各地理位置信息的平均距离最近的轨迹点；或者查找出与待标注区域所覆盖的区域的地理位置信息集合中的各地理位置信息最近的多个轨迹点，这时可以提取出多个目标图像帧。
步骤204，响应于检测到用户参考目标图像帧对待标注区域内的标注对象进行的标注操作，生成用于存储所述标注对象的位置参数的标注文件。
步骤203提取出的目标图像帧可以为用于辅助标注的图像帧。用户可以参考目标图像帧对待标注地图上选定的待标注区域内的标注对象进行标注。具体地，目标图像帧中可以包括标注对象的相关信息，例如包括车道线的数量信息、延伸方向信息、交通标识牌的位置和内容、建筑物的名称等。这里的用户可以为标注人员，标注人员可以参考目标图像帧中的标注对象的相关信息，将标注对象标注在待标注地图上。
在本实施例中，上述电子设备可以检测用户的标注操作，当检测到用户的标注操作后，可以生成用于存储标注对象的位置参数的标注文件。该标注文件可以为矢量文件，当该矢量文件被加载到待标注地图对应的文件中时，待标注对象会呈现在待标注地图中的相应位置。可选地，上述标注文件还可以用于存储标注对象的类别、名称等属性信息，以及标注对象的相关展示信息。例如当标注文件中可以存储标注对象在待标注地图上呈现的颜色、形状以及关联的文字内容等信息。这些属性信息和相关展示信息可以是预先配置好的，由标注人员选择并与待标注对象的位置参数对应存储在标注文件中的。
可选地，如果步骤203提取出多个目标图像帧，则用户可以利用多个目标图像帧对待标注区域内的多个标注对象进行标注，相应地，上述电子设备可以生成对应的多个标注文件。进一步地，若不同的目标图像帧中包含同一个标注对象，则用户可以结合多个目标图像帧准确地定位标注对象的位置，这样，待标注地图中的标注对象可以被标注出来，并以标注文件的方式存储。
上述用于标注地图的方法200，首先查找出用户在根据车载激光雷达采集的激光点云生成的待标注地图上选定的待标注区域的地理位置信息，获取车载摄像头采集的道路图像序列以及轨迹点集合，之后根据待标注区域的地理位置信息提取出在对应的轨迹点采集的目标图像帧，最后在检测到用户参考目标图像帧对待标注区域内的标注对象的标注操作时生成包含标注对象的位置参数的标注文件，用户无需手动查找待标注区域的图像，无需利用街景地图、图片数据库等软件协同作业，即可快速、准确地确定出用于辅助地图标注的道路图像，提升了地图标注效率，在用户不熟悉待标注区域的情况下也可以对地图进行标注，实现了高精度地图的制作。
在一些实施例中，上述轨迹点包括采集对应的道路图像的时间戳以及采集对应的道路图像的地理位置信息，这时，上述电子设备可以根据轨迹点的时间戳和地理位置信息进一步精确地从道路图像序列中提取出对应的目标图像帧。请参考图3，其示出了根据本申请的提取出待标注区域对应的目标图像帧的一种实现方式的流程300的示意图，也即示出了上述步骤203的一种可选实现方式的示意性流程。
如图3所示，提取出待标注区域对应的目标图像帧的流程300包括：
步骤301，基于待标注区域的地理位置信息与轨迹点集合中的各轨迹点的地理位置信息进行匹配，以确定目标轨迹点。
在本实施例中，轨迹点包括采集对应的道路图像时车辆所处位置的地理位置信息，该地理位置信息可以为GPS信息。可以将步骤201查找出的待标注区域的地理位置信息与各轨迹点的地理位置信息进行匹配，匹配成功的轨迹点即为目标轨迹点。具体地，可以根据待标注区域的地理位置信息与轨迹点集合中各轨迹点的地理位置信息计算二者之间的相对距离，当相对距离位于设定的距离区间内时可以确定匹配成功。
在一些可选的实现方式中，可以通过如下步骤3011-步骤3015所描述的方式来确定目标轨迹点。
步骤3011，获取车载摄像头的最小拍摄距离参数。
车载摄像头通常具有一定的视场角，无法拍摄在车载摄像头正前方一定范围空间内的图像。当车辆在某一位置时，与车辆之间的距离小于最小拍摄距离的物体无法被车载摄像头拍摄到。在本实施例中，首先可以获取车载摄像头的最小拍摄距离参数，进而根据最小拍摄距离参数找出可拍摄到待标注区域内的空间物体的图像的轨迹点。
步骤3012，将待标注区域的中心点设置为搜索中心，以最小拍摄距离参数与预设的距离偏移参数之和为半径构建圆形搜索区域。
在本实施例中，可以确定出待标注区域的中心位置，并设定为搜索中心，以步骤3011获取的车载摄像头的最小拍摄距离参数与预设的距离偏移参数之和为半径构建圆形搜索区域。该圆形搜索区域内的所有轨迹点为与待标注区域的地理位置信息匹配的匹配对象。这样可以减小与待标注区域的地理位置信息相匹配的匹配对象的数量，进而加快提取目标帧的速度，提升标注效率。
在这里，由于车载摄像头在位于以最小拍摄距离参数为半径的圆形区域内的轨迹点时不能拍摄到待标注区域的中心位置的图像，所以在构建圆形搜索区域时，以最小拍摄距离参数与预设的距离偏移参数之和为半径进行构建，可以保证圆形搜索区域内包含可拍摄到待标注区域的中心位置的轨迹点。预设的距离偏移参数可以为人工设定的距离参数，也可以为根据相机的最小拍摄距离参数和最大拍摄距离参数、以及相邻的轨迹点之间的距离确定的距离参数，例如为5米或10米。
步骤3013，根据所述轨迹点的地理位置信息筛选出位于所述圆形搜索区域内的轨迹点。
在本实施例中，可以根据轨迹点的地理位置信息确定出位于圆形搜索区域内的轨迹点。具体来说，可以确定出上述圆形区域覆盖的地理位置的边界，可以判断轨迹点集合中各轨迹点的地理位置信息是否位于圆形区域覆盖的地理位置的边界之内，若是，则确定该轨迹点位于圆形搜索区域内。或者可以根据各轨迹点的地理位置信息计算各轨迹点与搜索中心(即待标注区域的中心位置)之间的距离，若该距离小于圆形搜索区域的半径，则可以确定对应的轨迹点位于圆形搜索区域内。
步骤3014，对位于所述圆形搜索区域内的轨迹点按照预设的时间间隔阈值进行分组，得到多个轨迹点组。
上述电子设备获取的道路图像序列可以为车辆多次经过同一路段时车载摄像头采集的多个道路图像序列。假设每次经过该路段时车载摄像头采集各帧道路图像的时间间隔相同，即车载摄像头多次经过同一路段时都以预定的时间间隔采集道路图像帧，那么位于圆形搜索区域内的轨迹点中包含多个轨迹点组，同一个轨迹点组中的轨迹点对应车辆同一次经过圆形搜索区域内的路段，不同轨迹点组对应车辆在不同时间经过的圆形搜索区域内的路段。
在本实施例中，可以根据各轨迹点对应的时间戳，按照预设的时间间隔阈值对圆形搜索区域内的轨迹点进行分组。在这里，预设的时间间隔阈值可以为车载摄像头采集相邻两帧道路图像的时间间隔，可以为预先设定的。这样，可以将车辆在不同时间通过圆形搜索区域的轨迹点划分至不同的轨迹点组。
步骤3015，对各个轨迹点组中的轨迹点按照时间戳进行排序，将各轨迹点组中时间戳最小的轨迹点确定为所述目标轨迹点。
在本实施例中，各轨迹点组中时间戳最小的轨迹点对应的道路图像帧为车辆进入圆形搜索区域后拍摄的第一帧道路图像，这一帧道路图像包含待标注区域的中心位置的图像特征，可以作为用于辅助标注待标注区域内的标注对象的参考图像。则可以对每个轨迹点组中的多个轨迹点按照时间戳进行排序，将时间戳最小的轨迹点确定为目标轨迹点。
请参考图4，其示出了提取目标帧的流程中在搜索区域内搜索目标轨迹点的一个场景示意图。其中，O为圆形搜索区域的圆心，也即待标注区域的中心位置，R为圆形搜索区域的半径。F1、F2、F3为用于采集道路图像的车辆在三个不同的时间段内经过圆形搜索区域的三段轨迹，每段轨迹包含多个轨迹点，D为车辆经过圆形搜索区域时的行驶方向。如图4所示，在搜索过程中，轨迹点A、B、C被分在分别与轨迹F1、F2、F3对应的轨迹点组中，且在轨迹F1对应的轨迹点组中，轨迹点A的时间戳最小，则轨迹点A为轨迹F1中在圆形区域内的第一个拍摄点，同理，轨迹点B、C分别为轨迹F2、F3中在圆形区域内的第一个拍摄点。这样，可以确定轨迹点A、B、C为目标轨迹点。
返回图3，在步骤302中，在道路图像序列中提取出与目标轨迹点的时间戳对应的道路图像，作为目标图像帧。
车载摄像头在保存其采集的道路图像序列时通常会保存采集每一帧道路图像的时间戳。在本实施例中，可以确定出目标轨迹点的时间戳，并在目标轨迹点对应的道路图像序列中提取出目标轨迹点的时间戳对应的道路图像为目标图像帧。可选地，当步骤301中确定出多个目标轨迹点时，可以提取出多个目标图像帧。
上述提取出待标注区域对应的目标图像帧的流程300，可以利用待标注区域的中心位置和车载摄像头的最小拍摄距离参数构建搜索区域，能够保证搜索区域内的轨迹点对应的道路图像包含待标注区域的相关信息，同时可以缩小搜索目标轨迹点的范围，减少计算量，可以自动化地实现用于辅助标注的图像的准确提取、有助于进一步提升标注效率。
请参考图5，其示出了根据本申请的用于标注地图的方法的另一个实施例的流程图。该用于标注地图的方法流程500，包括以下步骤：
步骤501，响应于检测到用户在待标注地图上的选定待标注区域的操作，在已存储的待标注地图对应的地理位置信息列表中查找出待标注区域对应的地理位置信息。
在本实施例中，待标注的地图包括将车载激光雷达所采集的激光点云数据映射至平面中的二维网格所形成的反射值地图。该待标注地图可以为根据用于采集道路数据的车载激光雷达获取的激光点云数据生成的。
用户可以在待标注的地图上选定待标注区域。待标注区域可以对应实际场景中的一段道路或一个建筑群，可以是包含标注对象的区域。标注对象可以为道路上的标志物，例如车道线、交通标识牌、收费站等、也可以是建筑标识，例如办公大厦、医院、学校等。
在本实施例中，用于标注地图的方法运行于其上的电子设备(例如图1中的设备101)可以检测用户选定待标注区域的操作，并在检测到用户的选定操作时通过查找地理位置信息列表来确定待标注区域对应的地理位置信息。在这里，地理位置信息可以是GPS信息。待标注地图中每个区域的地理位置信息可以为以列表方式预先存储在上述电子设备中的。
步骤502，获取车载摄像头采集到的道路图像序列以及轨迹点集合。
车载摄像头与上述车载激光雷达共同采集车辆行驶中的环境数据。在本实施例中，车载摄像头可以采集车辆行驶环境的二维图像数据，采集到的多帧图像形成道路图像序列。
轨迹点集合中的每个轨迹点为车载摄像头采集道路图像序列中的每一帧道路图像时记录的。该轨迹点可以为车辆在采集道路图像时的地理位置。
在一些实施例中，上述轨迹点可以包括采集对应的道路图像的时间戳以及采集对应的道路图像的地理位置信息。
步骤503，根据待标注区域的地理位置信息和道路图像序列对应的轨迹点集合，从道路图像序列中提取出待标注区域对应的目标图像帧。
在本实施例中，上述电子设备可以根据待标注区域的地理位置信息以及轨迹点集合，提取出拍摄到待标注区域的图像的轨迹点，并将该轨迹点对应的道路图像作为目标图像帧。具体地，可以利用待标注区域的地理位置信息与轨迹点的地理位置信息进行匹配，或在待标区域周围构建搜索区域，在搜索区域内查找出与包含标注区域的相关信息的道路图像对应的轨迹点。
步骤504，响应于检测到用户参考目标图像帧对待标注区域内的标注对象进行的标注操作，生成用于存储所述标注对象的位置参数的标注文件。
目标图像帧中可以包括标注对象的相关信息，用户可以参考目标图像帧对待标注地图上选定的待标注区域内的标注对象进行标注。
在本实施例中，上述电子设备可以检测用户的标注操作，当检测到用户的标注操作后，可以生成用于存储标注对象的位置参数的标注文件。
需要说明的是，本实施例中的步骤501、步骤502、步骤503、步骤504分别与前述实施例中的步骤201、步骤202、步骤203、步骤204一一对应，前面对步骤201、步骤202、步骤203、步骤204的描述也适用于对步骤501、步骤502、步骤503、步骤504的解释或说明，此处不再赘述。
步骤505，根据第一坐标信息将标注对象映射至所述目标图像帧。
在本实施例中，用户在待标注地图上标注出标注对象之后，上述电子设备生成的标注文件中保存的位置参数包括标注对象在世界坐标系中的第一坐标信息。世界坐标系为UTM(Universal Transverse Mercartor，通用横墨卡托)坐标系，车载激光雷达获取的激光点云数据所生成的待标注地图中的各特征点的位置由UTM坐标系中的坐标表示。
在本实施例中，可以利用UTM坐标系与车载摄像头采集的道路图像的图像坐标之间的转换关系将第一坐标信息转换至图像坐标系，从而将标注元素映射至目标图像帧。具体地，可以预先对UTM坐标系和图像坐标系的转换参数进行标定，并根据标定的转换参数将第一坐标信息转换至图像坐标系。
在一些可选的实现方式中，车载IMU(Inertial Measurement Unit惯性测量单元)和车载GPS系统构成的POS(Position and Orientation System)系统获取的车辆的位姿参数，IMU坐标系相对于UTM坐标系的第一标定参数可以由POS系统测得。该第一标定参数可以为IMU坐标系与UTM坐标系之间的坐标转换参数。
Lidar(Light Detection And Ranging，激光探测与测量)坐标系(即车载激光雷达坐标系)与IMU坐标系之间的第二标定参数可以基于车载激光雷达相对于IMU系统的位置关系预先标定。该第二标定参数可以为Lidar坐标系与IMU坐标系之间的坐标转换参数。
车载摄像头坐标系相对于Lidar坐标系的第三标定参数可以基于车载摄像头相对于车载激光雷达的位置关系预先标定，该第三标定参数可以为车载摄像头坐标系与Lidar坐标系之间的坐标转换参数。
道路图像的图像坐标系相对于车载摄像头坐标系的第四标定参数可以根据预先标定的相机内部参数获得，该第四标定参数可以为图像坐标系与车载摄像头坐标系之间的坐标转换参数。
上述电子设备可以获取上述第一标定参数、第二标定参数、第三标定参数和第四标定参数，并依次将第一坐标信息映射至IMU坐标系、Lidar坐标系、车载摄像头坐标系以及图像坐标系，从而得出标注元素在图像坐标系中的坐标。
请参考图6，其示出了根据本申请的将标注对象映射至目标图像帧的一个流程示意图。其中，首先根据POS参数将UTM坐标系中的第一坐标信息映射至IMU坐标系中得到第二坐标信息，随后根据Lidar外参(即车载激光雷达的外部参数)将IMU坐标系中的第二坐标信息映射至Lidar坐标系中得到第三坐标信息，然后根据相机外参(即车载摄像头的外部参数)将第三坐标信息映射至相机坐标系(即车载摄像头坐标系)得到第四坐标信息，最后根据相机内参(即车载摄像头的内部参数)将第四坐标信息映射至图像坐标系得到第五坐标信息，可选地，在将第四坐标信息映射至图像坐标系时，可以先根据相机的畸变校正参数(即车载摄像头的畸变校正参数)对第四坐标信息进行畸变校正，然后利用相机内参对校正后的第四坐标信息进行转换，得到第五坐标信息。
具体地，可以按照如下方式将第一坐标信息映射至图像坐标系：
假设Xu为标注元素的上的一个点P在UTM坐标系中的齐次坐标，第一标定参数包括由IMU系统的姿态角(包括偏航角、俯仰角以及滚转角)决定的旋转矩阵R以及该点的GPS信息在UTM坐标系中的坐标G，则该点P在IMU坐标系中的坐标Xi为：
Xi＝Ti-1Xu (1)
其中，
上述第二标定参数包括车载激光雷达系统相对于IMU的外参矩阵TL，该外参矩阵可以由车载激光雷达相对于IMU的杆臂值和安置角决定，点P在Lidar坐标系中的坐标XL为：
XL＝TL-1Xi (3)
上述第三标定参数包括车载摄像头相对于车载激光雷达的外部参数决定的转换矩阵TC，则该点P在车载摄像头坐标系中的坐标XC为：
XC＝TC-1XL (4)
可选地，在将P点的坐标映射至图像坐标系之前，可以根据车载摄像头的畸变参数对P点在车载摄像头坐标系中的坐标XC进行校正，假设坐标XC＝(xc，yc，zc)，则其规则化投影坐标Xn为：
令r2＝x2+y2，则校正后的规则化投影坐标Xn_correct为：
其中，Dr为对投影坐标的镜像校正，Dt为对投影坐标的切向校正，可以分别按照式(7)、(8)计算得出：
Dr＝(k1r2+k2r4+k3r6)Xn (7)
其中，D＝[k1 k2 p1 p2 k3]为车载摄像头的畸变参数，校正后P点在车载摄像头坐标系中的坐标XC’为：
上述第四标定参数可以包括车载摄像头的内部参数f，u0，v0，dx，dy，θ，其中，f为车载摄像头的焦距，(u0，v0)为像主点在图像坐标系中的坐标，也即图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，(dx，dy)为像素的物理尺寸，也即沿两个坐标轴x、y方向一个像素的长度，θ为图像坐标系中的两个坐标轴u、v之间的夹角，图像坐标系中P点的坐标XP为：
XP＝KX'C (10)
其中，
上述坐标XP为齐次坐标，按照式(12)将其转换为P点在图像坐标系中二维坐标XP’为：
该二维坐标XP’即为P点在图像坐标系中的第五坐标信息，之后可以利用第五坐标信息在目标图像帧中渲染标注对象。具体地，可以采用设定的颜色或形状将待标注元素渲染在目标图像帧的对应位置。
用户可以根据已渲染待标注对象的目标图像帧来判定标注结果的准确性，这样，通过将标注元素映射到目标图像帧，可以实现对标注结果准确性的校验，从而可以帮助用户将不准确的标注结果去除，保留准确的标注结果，进而提升地图标注的准确性。
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种用于标注地图的装置的一个实施例，该装置实施例与图2和图5所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例的用于标注地图的装置包括查找单元701、获取单元702、提取单元703以及生成单元704。查找单元701配置用于响应于检测到用户在待标注地图上的选定待标注区域的操作，在已存储的待标注地图对应的地理位置信息列表中查找出待标注区域对应的地理位置信息，其中，待标注的地图包括将车载激光雷达所采集的激光点云数据映射至平面中的二维网格所形成的反射值地图；获取单元702配置用于获取车载摄像头采集到的道路图像序列以及轨迹点集合，轨迹点集合中的每个轨迹点为车载摄像头采集道路图像序列中的每一帧道路图像时记录的；提取单元703配置用于根据待标注区域的地理位置信息和道路图像序列对应的轨迹点集合，从道路图像序列中提取出待标注区域对应的目标图像帧；生成单元704响应于检测到用户参考目标图像帧对待标注区域内的标注对象进行的标注操作，生成用于存储标注对象的位置参数的标注文件。
在本实施例中，待标注的地图具体可以通过如下方式生成：利用激光点云数据所在的三维坐标系中与地面相平行的两个坐标轴构建平面，并将构建的平面划分为多个二维网格，每个二维网格的大小相同，之后将激光点云中的数据点投影至所构建的平面中，即形成上述反射值地图。车载激光雷达在采集激光点云时可以记录对应的地理位置信息，形成地理位置信息列表。查找单元701可以将地理位置信息列表映射至上述反射值地图后，查找出用户选定的待标注区域对应的地理位置信息。
获取单702元可以通过与车载控制单元建立的通信连接来获取道路图像序列以及轨迹点集合，也可以直接从车载摄像头的存储部件中获取道路图像序列以及轨迹点集合，或者上述道路图像序列和轨迹点集合可以预先存储在服务器中，获取单元702可以向服务器发出请求并接收服务器返回的道路图像序列以及轨迹点集合。
提取单元703可以根据轨迹点集合和待标注区域的地理位置信息确定出目标轨迹点，并提取出目标轨迹点对应的道路图像作为目标图像帧。在确定目标轨迹点时可查找待标注区域附近的轨迹点，将与待标注区域的距离满足预设的距离区间的轨迹点作为目标轨迹点。
可选地，每个轨迹点包括采集对应的道路图像的时间戳以及采集对应的道路图像的地理位置信息；提取单元703可以进一步配置用于按照如下方式提取出待标注区域对应的目标图像帧：基于待标注区域的地理位置信息与轨迹点集合中的各轨迹点的地理位置信息进行匹配，以确定目标轨迹点；在道路图像序列中提取出与目标轨迹点的时间戳对应的道路图像，作为目标图像帧。
进一步地，提取单元703可以进一步配置用于按照如下方式确定目标轨迹点：获取车载摄像头的最小拍摄距离参数；将待标注区域的中心点设置为搜索中心，以最小拍摄距离参数与预设的距离偏移参数之和为半径构建圆形搜索区域；根据轨迹点的地理位置信息筛选出位于圆形搜索区域内的轨迹点；对位于圆形搜索区域内的轨迹点按照预设的时间间隔阈值进行分组，得到多个轨迹点组；对各个轨迹点组中的轨迹点按照时间戳进行排序，将各轨迹点组中时间戳最小的轨迹点确定为目标轨迹点。
生成单元704可以根据用户在待标注地图上标记标注元素的操作生成包含标注元素的位置参数的标注文件，这样，可以在反射值地图上标注出车道线、交通标识牌等标志物，从而生成高精度的地图。
在一些实施例中，上述用于标注地图的装置700还可以包括映射单元(未示出)，映射单元配置用于根据第一坐标信息将标注对象映射至目标图像帧。进一步地，映射单元进一步配置用于按照如下方式将标注对象映射至目标图像帧：获取世界坐标系相对于车载惯性测量单元坐标系的第一标定参数、车载惯性测量单元坐标系相对于车载激光雷达坐标系的第二标定参数、车载激光雷达坐标系相对于车载摄像头坐标系的第三标定参数、车载摄像头相对于道路图像的图像坐标系的第四标定参数；根据第一标定参数将第一坐标信息映射至车载惯性测量单元坐标系得到第二坐标信息；根据第二标定参数将第二坐标信息映射至车载激光雷达坐标系得到第三坐标信息；根据第三标定参数将第三坐标信息映射至车载摄像头坐标系得到第四坐标信息；根据第四标定参数将第四坐标信息映射至图像坐标系得到第五坐标信息；利用第五坐标信息在目标图像帧中渲染标注对象。
应当理解，装置700中记载的诸单元与参考图2和图5描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置700及其中包含的单元，在此不再赘述。
本申请实施例提供的用于标注地图的装置700，利用待标注区域的地理位置信息与车辆采集道路图像和激光点云数据时的轨迹点集合，可以快速、准确地提取出待标注区域的道路图像，以辅助用户对标注元素进行标注，节省了用户查找待标注区域的图像所消耗的时间，提升了标注效率，并且可以提升标注的准确性。
下面参考图8，其示出了适于用来实现本申请实施例的设备的计算机系统800的结构示意图。图8示出的设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括查找单元、获取单元、提取单元和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，查找单元还可以被描述为“响应于检测到用户在待标注地图上的选定待标注区域的操作，在已存储的待标注地图对应的地理位置信息列表中查找出待标注区域对应的地理位置信息的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：响应于检测到用户在待标注地图上的选定待标注区域的操作，在已存储的待标注地图对应的地理位置信息列表中查找出待标注区域对应的地理位置信息，其中，待标注的地图包括将车载激光雷达所采集的激光点云数据映射至平面中的二维网格所形成的反射值地图；获取车载摄像头采集到的道路图像序列以及轨迹点集合，轨迹点集合中的每个轨迹点为车载摄像头采集道路图像序列中的每一帧道路图像时记录的；根据待标注区域的地理位置信息和道路图像序列对应的轨迹点集合，从道路图像序列中提取出待标注区域对应的目标图像帧；响应于检测到用户参考目标图像帧对待标注区域内的标注对象进行的标注操作，生成用于存储标注对象的位置参数的标注文件。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。