地图生成方法、装置、电子设备和存储介质与流程

文档序号:22549674发布日期:2020-10-17 02:23阅读:95来源:国知局
地图生成方法、装置、电子设备和存储介质与流程

本申请涉及数据处理技术领域,具体而言,涉及一种地图生成方法、装置、电子设备和存储介质。



背景技术:

在构建地图时,一般是使用专用的采集车,采集车上配备激光雷达、定位模块等,获取相机的姿态以及物体到相机的精确距离,构建地图三维场景,或者使用多目相机,通过标定以获取景深,即,物体到相机的距离,求解相机姿态,构建地图三维场景。

通过上述方式构建地图时,采集数据和维护地图的成本比较高昂,而且难以大规模的应用,若采用单目相机进行三维场景重建的话,受相机成像质量、定位精度等因素的而影响,导致最终重建的场景出现尺度漂移或,重建的地图精度比较低。



技术实现要素:

有鉴于此,本申请实施例的目的在于提供一种地图数据的生成方法、装置、电子设备和存储介质,用以提高得到的地图数据的准确度。

第一方面,本申请实施例提供了一种地图生成方法,该方法包括:

基于参考道路图像中包括的特征点的属性信息和基准道路图像包括的特征点的属性信息,确定至少一个特征点对;同一个特征点对中的两个特征点分别属于参考道路图像和基准道路图像;参考道路图像和基准道路图像均是针对目标道路进行拍摄得到的;

针对每个参考道路图像,根据基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中第一特征点在基准道路图像中的二维位置信息和该参考道路图像中第二特征点在该参考道路图像中的二维位置信息,确定该参考道路图像相对于基准道路图像的位姿变化量;所述第一特征点和所述第二特征点属于同一个特征点对;

针对每个参考道路图像,根据该参考道路图像的位姿变化量、基准道路图像的位姿、该参考道路图像中第二特征点在该参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息,确定该参考道路图像中第二特征点的第一三维位置信息;

分别从基准道路图像和各个参考道路图像中确定地面交通元素在所述虚拟三维空间的第二三维位置信息;

基于确定的所述第一三维位置信息和所述第二三维位置信息,生成针对所述目标道路的地图。

在一种实施方式中,根据以下步骤确定所述参考道路图像和所述基准道路图像:

获取采集车辆在所述目标道路中行驶时的历史行驶轨迹数据;

基于所述历史行驶轨迹数据,从多个采集车辆中,选择行驶速度落入预设速度范围的目标采集车辆;

获取目标采集车辆行驶时针对所述目标道路上拍摄的参考道路图像和基准道路图像。

在一种实施方式中,基于参考道路图像中包括的特征点的属性信息和基准道路图像包括的特征点的属性信息,确定至少一个特征点对,包括:

基于参考道路图像中包括的特征点的属性信息和基准道路图像中包括的特征点的属性信息,确定参考道路图像中的特征点与基准道路图像中的特征点之间的相似度;

基于所述相似度,以及预设阈值,确定至少一个特征点对。

在一种实施方式中,确定至少一个特征点对,包括:

针对每个参考道路图像,提取该参考道路图像中包括的特征点的二位位置信息和包括的交通元素的二维位置信息;

针对每个相似度,若确定该相似度大于所述预设阈值,则根据该相似度对应的两个特征点的二维位置信息,以及所述交通元素的二维位置信息,判断该相似度对应的两个特征点是否属于同一交通元素;

若该相似度对应的两个特征点属于同一交通元素,则将该相似度对应的两个特征点确定为所述特征点对。

在一种实施方式中,根据基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中第一特征点在基准道路图像中的二维位置信息和该参考道路图像中第二特征点在该参考道路图像中的二维位置信息,确定该参考道路图像相对于基准道路图像的位姿变化量,包括:

基于基准道路图像中包括的地面交通元素的二维位置信息和参考道路图像中包括的地面交通元素的二维位置信息,以及参考道路图像中包括的特征点的二维位置信息和基准道路图像中包括的特征点的二维位置信息,从所述至少一个特征点对中,确定属于同一地面交通元素的目标特征点对;

基于所述目标特征点对中包括的两个特征点的二维位置信息、所述第二特征点的二维位置信息,以及所述第一特征点的二维位置信息、诉搜狐第一特征点的三维位置信息和预设的位置估算算法,确定所述参考道路图像相对于基准道路图像的初始位姿变化量;

基于基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中第一特征点在基准道路图像中的二维位置信息和该参考道路图像中第二特征点在该参考道路图像中的二维位置信息,对所述初始位姿变化量进行校准,将校准后的位姿变化量作为该参考道路图像相对于基准道路图像的所述位姿变化量。

在一种实施方式中,针对每个参考道路图像,根据该参考道路图像的位姿变化量、基准道路图像的位姿、该参考道路图像中第二特征点在该参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息,确定该参考道路图像中第二特征点的第一三维位置信息,包括:

利用三角化处理算法对所述参考道路图像的位姿变化量、所述参考道路图像中第二特征点在所述参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息进行三角化处理,得到所述参考道路图像中第二特征点的第一三维位置信息。

在一种实施方式中,分别从基准道路图像和各个参考道路图像中确定地面交通元素在所述虚拟三维空间的第二三维位置信息,包括:

基于拍摄参考道路图像的相机的内外参数,对参考道路图像中包括的地面交通元素的二维位置信息进行转换处理,得到参考道路图像中包括的地面交通元素的第二三维位置信息;

基于拍摄基准道路图像的相机的内外参数,对基准道路图像中包括的地面交通元素的二维位置信息进行转换处理,得到基准道路图像中包括的地面交通元素的第二三维位置信息。

在一种实施方式中,基于确定的所述第一三维位置信息和所述第二三维位置信息,生成针对所述目标道路的地图,包括:

分别计算第一三维位置信息对应的第一类型标识和第二三维位置信息对应的第二类型标识;

基于每种第一类型标识对应的第一三维位置信息,以及每种第一类型标识下交通元素所属的第一平面,对所述第一三维位置信息进行分割处理,得到每种第一类型标识下的交通元素对应的第一三维位置信息;

基于每种第二类型标识对应的第二三维位置信息,以及每种第二类型标识下交通元素所属的第二平面,对所述第二三维位置信息进行分割处理,得到每种第二类型标识下的交通元素对应的第二三维位置信息:

对每种第一类型标识下的交通元素对应的第一三维位置信息和每种第二类型标识下的交通元素对应的第二三维位置信息进行矢量化处理,得到所述目标道路的地图。

在一种实施方式中,基于每种第一类型标识对应的第一三维位置信息,以及每种第一类型标识下交通元素所属的第一平面,对所述第一三维位置信息进行分割处理,得到每种第一类型标识下的交通元素对应的第一三维位置信息,包括:

分别计算第一三维位置信息到每种第一类型标识对应的各个第一平面的第一距离;

基于各个所述第一距离,以及预设阈值,对所述第一三维位置信息进行分割处理,得到每种第一类型标识下的交通元素对应的第一三维位置信息;

基于每种第二类型标识对应的第二三维位置信息,以及每种第二类型标识下交通元素所属的第二平面,对所述第二三维位置信息进行分割处理,得到每种第二类型标识下的交通元素对应的第二三维位置信息,包括:

分别计算第一三维位置信息到每种第二类型标识对应的各个第二平面的第二距离;

基于各个所述第二距离,以及所述预设阈值,对所述第二三维位置信息进行分割处理,得到每种第二类型标识下的交通元素对应的第二三维位置信息。

第二方面,本申请实施例提供了一种地图生成装置,该装置包括:

第一确定模块,用于基于参考道路图像中包括的特征点的属性信息和基准道路图像包括的特征点的属性信息,确定至少一个特征点对;同一个特征点对中的两个特征点分别属于参考道路图像和基准道路图像;参考道路图像和基准道路图像均是针对目标道路进行拍摄得到的;

第二确定模块,用于针对每个参考道路图像,根据基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中第一特征点在基准道路图像中的二维位置信息和该参考道路图像中第二特征点在该参考道路图像中的二维位置信息,确定该参考道路图像相对于基准道路图像的位姿变化量;所述第一特征点和所述第二特征点属于同一个特征点对;

第三确定模块,用于针对每个参考道路图像,根据该参考道路图像的位姿变化量、基准道路图像的位姿、该参考道路图像中第二特征点在该参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息,确定该参考道路图像中第二特征点的第一三维位置信息;

第四确定模块,用于分别从基准道路图像和各个参考道路图像中确定地面交通元素在所述虚拟三维空间的第二三维位置信息;

生成模块,用于基于确定的所述第一三维位置信息和所述第二三维位置信息,生成针对所述目标道路的地图。

第三方面,本申请实施例提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行上述地图生成方法的步骤。

第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述地图生成方法的步骤。

本申请实施例提供的地图生成方法,基于参考道路图像中包括的特征点的属性信息和基准道路图像包括的特征点的属性信息,确定至少一个特征点对,针对每个参考道路图像,根据基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中和参考道路图像之间的特征点对的二维位置信息,确定该参考道路图像相对于基准道路图像的位姿变化量,针对每个参考道路图像,根据该参考道路图像的位姿变化量、基准道路图像的位姿、该参考道路图像中第二特征点在该参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息,确定该参考道路图像中第二特征点的第一三维位置信息,分别从基准道路图像和各个参考道路图像中确定地面交通元素的第二三维位置信息,基于确定的第一三维位置信息和第二三维位置信息,生成针对目标道路的地图,这样,基于参考地图图像中的第一三维位置信息和地面交通元素的第二三维位置信息生成地图,可以减少地图重建失败的情况,提高了生成的地图的准确度,同时,也降低了构建地图的成本。

本申请的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种地图生成方法的流程示意图;

图2示出了本申请实施例提供的一种最终生成的地图的示意图;

图3示出了本申请实施例提供的一种地图生成装置的结构示意图;

图4示出了本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。

另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请实施例的地图生成方法可以应用于出行服务平台的服务器,也可以应用于其它任意具有处理功能的计算设备。在一些实施例中,上述服务器或计算设备可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据,以执行本申请中描述的一个或多个功能。

相关技术中,高精地图的构建方法可以包括三种:方式一:使用专用的采集车,采集车上配备激光雷达、或基于实时动态(real-timekinematic,rtk)的全球定位系统(globalpositioningsystem,gps)设备等,获取相机的姿态以及物体到相机的精确距离,构建三维地图场景;方式二:使用多目相机,通过标定的方式获取景深,即,获取物体到相机的距离,求解相机姿态,构建三维地图场景;方式三:使用众包的形式,利用单目相机和三维重建算法(structurefrommotion,sfm),构建三维地图场景。

通过方式一和方式二构建的三维地图场景的精度很高,但是,采集数据和场景维护的成本比较高,难以大规模应用。采用方式三虽然成本较低,但是存在以下缺点:行车记录仪中的摄像头成像质量比较差,镜头畸变比较明显,并且无法对线上运行的大量行车记录仪进行标定;行车记录仪中的gps模块精度较差,无法提供精确的位置;在采集图像时,车辆、行人的遮挡严重,车速过快,在路口处转弯过急等现实因素,大大降低了图像的可用性,受这些不利因素的影响,采用方式三可能出现重建失败、尺度漂移,对重建场景的纹理依赖严重等问题,难以投入实际应用。

基于此,本申请提出了一种地图生成方法,基于参考道路图像中包括的特征点的属性信息和基准道路图像包括的特征点的属性信息,确定至少一个特征点对,针对每个参考道路图像,根据基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中和参考道路图像之间的特征点对的二维位置信息,确定该参考道路图像相对于基准道路图像的位姿变化量,针对每个参考道路图像,根据该参考道路图像的位姿变化量、基准道路图像的位姿、该参考道路图像中第二特征点在该参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息,确定该参考道路图像中第二特征点的第一三维位置信息,分别从基准道路图像和各个参考道路图像中确定地面交通元素的第二三维位置信息,基于确定的第一三维位置信息和第二三维位置信息,生成针对目标道路的地图,这样,基于参考地图图像中的第一三维位置信息和地面交通元素的第二三维位置信息生成地图,可以减少地图重建失败的情况,提高了生成的地图的准确度,同时,也降低了构建地图的成本。以下详细叙述。

本申请实施例提供了一种地图生成方法,如图1所示,该方法应用于服务器中,该方法具体包括以下步骤:

s101,基于参考道路图像中包括的特征点的属性信息和基准道路图像包括的特征点的属性信息,确定至少一个特征点对;同一个特征点对中的两个特征点分别属于参考道路图像和基准道路图像;参考道路图像和基准道路图像均是针对目标道路进行拍摄得到的。

这里,目标道路可以为路网中的任一道路,路网可以为某一城市的路网;道路图像可以为在出行服务平台中注册的车辆拍摄,也可以为通过手动方式拍摄的,在具体实施过程中,道路图像可以为出行服务平台中注册的车辆拍摄的,道路图像中包括移动对象、地面交通元素和空中交通元素,移动对象可以包括车辆、行人、摩托车、自行车等,地面交通元素包括路面上的交通标线,比如,车道线、黄实线、停止线,人行道、导向箭头、导流区等,空中交通要素可以包括交通牌、红绿灯、电子眼等。

考虑到车辆在目标道路上行驶时,一般是按照目标道路的设计方向行驶,那么,针对目标道路拍摄的道路图像一般是按照拍摄时间的先后顺序排列的图像序列,在选择初始基准道路图像时,可以将图像序列中最靠前的图像作为初始基准道路图像。

在选取初始基准道路图像后,会利用图像序列中的初始基准道路图像和第二个道路图像初始化虚拟三维空间(即三维坐标系),若初始化成功,那么,选择的图像序列中的第一个道路图像可以作为初始基准道路图像,若初始化失败,则将图像序列中的第二个图像作为初始基准道路图像,继续进行初始化,直到初始化成功,那么,在初始化成功时,将选择的图像作为初始基准道路图像。

此处需要说明,基准道路图像并不是固定的,首次选择基准道路图像时,会将图像序列中的第一个图像作为初始基准道路图像,在构建地图过程中会依次引入新的道路图像,新引入的道路图像作为参考道路图像,每引入一个参考道路图像,之前已引入的道路图像则可作为基准道路图像,下文进行详细介绍。

在具体实施过程中,车辆在目标道路上行驶时,可能会存在堵车事件,比如,目标道路中发生交通事故,那么,该车辆在行驶速度缓慢时,拍摄到的道路图像中的交通元素会被车辆遮挡;而当车辆行驶速度过快时,拍摄到的交通元素可能会不清楚,因此,在获取到大量的道路图像后,对道路图像进行筛选,筛选的过程以下详述。

获取采集车辆在所述目标道路中行驶时的历史行驶轨迹数据;基于所述历史行驶轨迹数据,从多个采集车辆中,选择行驶速度落入预设速度范围的目标采集车辆;获取目标采集车辆行驶时针对所述目标道路上拍摄的参考道路图像和基准道路图像。

这里,历史行驶轨迹数据可以从出行服务平台的历史完成订单中获取,采集车辆在完成历史订单时,会上传订单数据,订单数据中一般包括有车辆的历史行驶轨迹数据;预设速度范围可以为预先设置的,比如,该速度范围可以为大于或者等于30km/h,且小于或者等于60km/h。

在具体实施过程中,在获取到采集车辆行驶在目标道路中的历史行驶轨迹后,可以利用历史行驶轨迹中轨迹点的坐标信息,计算从一个轨迹点到另一个轨迹点之间的距离,通过车辆通过每个轨迹点的时间,计算采集车辆从一个轨迹点行驶到另一个轨迹点的行驶时长,从而,利用距离和行驶时长计算采集车辆在目标道路中的行驶速度。其中,计算行驶速度的轨迹可以为目标道路中间隔预定距离阈值的轨迹点,以保证计算的行驶速度的准确度。

比对该行驶速度和预设速度范围,若该行驶速度落在预设速度范围内,那么,将该采集车辆作为目标采集车辆,获取该目标采集车辆针对目标道路拍摄的道路图像。

在得到一系列道路图像后,从各个道路图像中提取特征点的属性信息,特征点一般为道路图像中的固定物体上的点,固定物体可以为交通标志牌、红绿灯等,属性信息可以为固定物体的颜色、形状、表征的语义等信息,在执行s101时,可以包括以下步骤:

基于参考道路图像中包括的特征点的属性信息和基准道路图像中包括的特征点的属性信息,确定参考道路图像中的特征点与基准道路图像中的特征点之间的相似度;基于所述相似度,以及预设阈值,确定至少一个特征点对。

这里,预设阈值为预先设定的,可以根据实际情况确定。

以一个参考道路图像和一个基准道路图像为例进行说明,参考道路图像和基准道路图像中分别可以提取到多个特征点,在得到特征点的属性信息后,可以为每个特征点生成一个特征向量。其中,特征向量可以为利用预先完成训练的特征向量生成模型生成的,特征向量生成模型的训练过程不进行详细叙述。

针对参考道路图像中的每个特征点,根据该特征点的特征向量和基准道路图像中每个特征点的特征向量,计算该特征点分别与基准道路图像中的每个特征点的相似度。其中,计算相似度的算法可以包括欧式距离、曼哈顿距离、切比雪夫距离等,此处不进行详细叙述。

在得到相似度后,比对各个相似度和预设阈值,若相似度大于预设阈值,则确定相似度对应的两个特征点为一个特征点对,道路图像与道路图像中特征点对的确定过程,可以参考上述示例,此处不一一进行介绍。

通过计算相似度的方式得到的特征点对存在一定的误差,为了提高得到的特征点对的准确度,可以对特征点对中的外点(识别错误的特征点对)进行剔除,在剔除外点时,可以利用视觉相似度方法、局部运动一致性方法、和几何校验的方式中的一种或几种方式的结合进行外点剔除,除了通过上述方式进行外点提取外,还可以根据道路图像中包括的交通元素进行外点剔除,可以包括以下步骤:

针对每个参考道路图像,提取该参考道路图像中包括的特征点的二位位置信息和包括的交通元素的二维位置信息;针对每个相似度,若确定该相似度大于所述预设阈值,则根据该相似度对应的两个特征点的二维位置信息,以及所述交通元素的二维位置信息,判断该相似度对应的两个特征点是否属于同一交通元素;若该相似度对应的两个特征点属于同一交通元素,则将该相似度对应的两个特征点确定为所述特征点对。

这里,二维位置信息为特征点在参考道路图像中的像素坐标;交通元素包括地面交通元素和空中交通元素,具体可以参考上文;特征点的二维位置信息可以为通过坐标拾取器获取的,交通元素的二维位置信息可以通过完成训练的信息识别模型得到的。

以参考道路图像中的一个特征点和基准道路图像中的一个特征点之间的相似度为例进行说明,若该相似度大于预设的相似度阈值,那么,可以根据该相似度对应的参考道路图像中的特征点的二维位置信息,以及交通元素在参考道路图像中的二维位置信息,确定参考道路图中的特征点所属的交通元素,根据该相似度对应的基准道路图像中的特征点的二维位置信息,以及交通元素在基准道路图像中的二维位置信息,确定基准道路图中的特征点所属的交通元素,进一步,判断相似度对应的参考道路图像中的特征点在参考道路图像中所属的交通元素,与相似度对应得基准道路图像中的特征点在基准道路图像中所属的交通元素是否相同。

当相似度对应的参考道路图像中的特征点在参考道路图像中所属的交通元素与相似度对应的基准道路图像中的特征点在基准道路图像中所属的交通元素相同时,那么,可以确定该相似度对应的两个特征点为特征点对,否则,则剔除该特征点对。其它特征点对的剔除方法与上述方法相同,此处不进行详细说明。

s102,针对每个参考道路图像,根据基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中第一特征点在基准道路图像中的二维位置信息和该参考道路图像中第二特征点在该参考道路图像中的二维位置信息,确定该参考道路图像相对于基准道路图像的位姿变化量;所述第一特征点和所述第二特征点属于同一个特征点对。

这里,虚拟三维空间是通过从图像序列中选择的初始基准道路图像和初始参考道路图像(计算过程引入的第一个参考道路图像)建立的虚拟的三维坐标系,三维位置信息为特征点在虚拟三维空间对应的空间点的空间位置信息;位姿变化量包括旋转矩阵和偏移向量,其中,旋转矩阵为参考道路图像在虚拟三维空间相对基准道路图像的旋转矩阵,偏移向量为参考道路图像在虚拟三维空间相对基准道路图像的偏移向量。

在执行s102时,首先通过初始基准道路图像和一个参考道路图像,确定地图的虚拟三维空间,之后依次引入参考道路图像,确定地图在虚拟三维空间中的空间点,空间点为特征点对在虚拟三维空间对应的三维点,初始基准道路图像的旋转矩阵为单位阵,初始基准道路图像的偏移向量为单位向量。

在基于初始基准道路图像和参考道路图像初始化地图时,利用对极约束算法对初始基准道路图像和参考道路图像中的特征点对的二维位置信息进行处理,得到参考道路图像相对初始基准道路图像的位姿变化量。其中,对极约束算法不进行详细说明。

例如,以初始基准道路图像和参考道路图像中的一个特征点对为例说明,特征点对包括特征点a和特征点b,特征点a为初始基准道路图像中的特征点,特征点b为参考道路图像中的特征点,利用对极约束算法对特征点a在初始基准道路图像中的二维位置信息和特征点b在参考道路图像中的二维位置信息进行处理,得到参考道路图像相对初始基准道路图像的位姿变化量。

在得到参考道路图像的位姿变化量后,利用三角化技术对初始基准道路图像的初始位姿、参考道路图像的位姿变化量和初始基准道路图像与参考道路图像中的特征点对的二维位置信息进行处理,得到参考道路图像和初始基准道路图像中的特征点对在虚拟三维空间的三维位置信息。其中,三角化技术可以为delaunay算法,下文叙述三角化技术的实现原理。

例如,延续上一个示例,利用三角化技术对初始基准道路图像的初始位姿、参考道路图像的位姿变化量和特征点a在初始基准道路图像中的二维位置信息和特征点b在参考道路图像中的二维位置信息进行处理,得到特征点a和特征点b在虚拟三维空间对应的空间点的三维位置信息。

在初始化地图后,依次引入新的参考道路图像,并将已引入过的道路图像则作为基准道路图像,计算新引入参考道路图像中的特征点在虚拟三维空间的三维位置信息,以下详述。

基于基准道路图像中包括的地面交通元素的二维位置信息和参考道路图像中包括的地面交通元素的二维位置信息,以及参考道路图像中包括的特征点的二维位置信息和基准道路图像中包括的特征点的二维位置信息,从所述至少一个特征点对中,确定属于同一地面交通元素的目标特征点对;

基于所述目标特征点对中包括的两个特征点的二维位置信息、所述第二特征点的二维位置信息,以及所述第一特征点的二维位置信息、诉搜狐第一特征点的三维位置信息和预设的位置估算算法,确定所述参考道路图像相对于基准道路图像的初始位姿变化量;

基于基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中第一特征点在基准道路图像中的二维位置信息和该参考道路图像中第二特征点在该参考道路图像中的二维位置信息,对所述初始位姿变化量进行校准,将校准后的位姿变化量作为该参考道路图像相对于基准道路图像的所述位姿变化量。

这里,位置估算算法可以为p3p算法、pnp算法等,可以根据实际情况确定,在实际应用中,可以选择pnp算法。

以一个参考道路图像和基准道路图像为例进行说明。

在得到基准道路图像中包括的地面交通元素的二维位置信息、基准道路图像中包括的特征点的二维位置信息、参考道路图像包括的地面交通元素的二维位置信息以及参考道路图像中包括的特征点的二维位置信息后,针对每个特征点对,基于该特征点对中的一个特征点在各个基准道路图像中的二维位置信息和地面交通元素在各个基准道路图像中的二维位置信息(如地面交通元素对应的多个边界点的二维位置信息),确定该特征点所属的地面交通元素,即,若特征点的二维位置信息落入地面交通元素对应的各个位置区域时,确定特征点属于地面交通元素,当该基准道路图像包括至少两个时,特征点对中的特征点需要属于各个基准道路图像中的地面交通元素所属的区域,各个基准道路图像中的第一特征点属于同一个特征点对。

基于该特征点对中的另一个特征点在参考道路图像中的二维位置信息和地面交通元素在参考道路图像中的二维位置信息,判断该特征点所属的地面交通元素(可以参考基准道路图像中特征点的确定过程),进一步,判断该特征点对中包括的一个特征点在基准道路图像中所属的地面交通元素与另一个特征点在参考道路图像中所属的地面交通元素是否为同一个地面交通元素。

若该特征点对中包括的一个特征点在各个基准道路图像中所属的地面交通元素与另一个特征点在参考道路图像中所属的地面交通元素为同一个地面交通元素,则确定该特征点对为目标特征点对。

在确定目标特征点对后,基于目标特征点对中包括的二维位置信息和第一特征点在基准道路图像中的二维位置信息,第二特征点在参考道路图像中的二维位置信息,从多个目标特征点对中,确定与第一特征点和第二特征点匹配的第一目标特征点对,即,目标特征点对中包括一个特征点的二维位置信息和第一特征点的二维位置信息相同、另一个特征点的二维位置信息和第二特征点的二维位置信息相同时,认为该目标特征点对与第一特征点和第二特征点匹配,而当基准道路图像包括至少两个时,目标特征点对中的一个特征点的二维位置信息需要与各个基准道路图像中包括的第一特征点的二维位置信息相同。

在确定出第一目标特征点对后,获取与第一目标特征点对匹配的第一特征点和第二特征点对应的三维位置信息,将第一目标特征点对中包括的两个特征点的二维位置信息,以及获取的上述三维位置信息,输入到预设的位姿估算算法(如pnp算法),得到参考道路图像相对于基准道路图像的初始位姿变化量。此处不对pnp算法的计算过程进行详细说明。

初始位姿变化量的确定是通过地面交通元素确定的,准确度相对较差,为了提高得到的位姿变化量的准确度,可以对初始位姿变化量进行优化,将基准道路图像和参考道路图像中的特征点对的二维位置信息和对应的三维位置信息,输入到位姿优化算法(如bundleajustument算法),对初始位姿变化量进行优化,得到准确度较高的位姿变化量。

此处需要注意,引入的新的参考道路图像相对基准道路图像的位姿变化量的计算过程与上述过程相似,此处不进行赘述,直到确定出目标道路对应的各个道路图像对应的位姿变化量。

s103,针对每个参考道路图像,根据该参考道路图像的位姿变化量、基准道路图像的位姿、该参考道路图像中第二特征点在该参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息,确定该参考道路图像中第二特征点的第一三维位置信息。

在执行s103时,可以对该参考道路图像的位姿变化量、基准道路图像的位姿、该参考道路图像中第二特征点在该参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息进行三角化处理,得到该参考道路图像中第二特征点的第一三维位置信息。

以一个参考道路图像和基准道路图像为例进行说明,利用三角化技术对得到的参考道路图像相对基准道路图像的位姿变化量、基准道路图像的位姿、基准道路图像中第一特征点的二维位置信息和三维位置信息、参考道路图像中第二特征点的二维位置信息进行处理,得到参考道路图像中的第二特征点在虚拟三维空间的三维位置信息。此处需要注意,当之前已引入的道路图像包括至少两个时,参与计算第二特征点在虚拟三维空间的三维位置信息的基准道路图像可以为之前已引入的道路图像中的部分道路图像,例如,与参考道路图像中的特征点存在特征点对的、且为之前已引入的道路图像。

三角化处理原理如下:

以两个道路图像中的特征点对为例进行说明,第一个道路图像中的二维点为x_1,第二个道路图像中的一个二维点为x_2,这两个点是特征点对,即,空间中同一个三维点x在两个道路图像中的观测。

根据投影关系可以得到,x_1=p_1*x,x_2=p_2*x;其中,p_1为x_1所在的道路图像的相机位姿,可以为[r_1|t_1],r_1为x_1所在的道路图像相对基准道路图像的旋转矩阵,t_1为x_1所在的道路图像相对基准道路图像的平移向量,p_2为x_2所在的道路图像的相机位姿,可以为[r_2|t_2],r_2为x_2所在的道路图像相对基准道路图像的旋转矩阵,t_2为x_2所在的道路图像相对基准道路图像的平移向量。

由于上述方程中左右两边相差一个尺度,即,从相机中心出发沿某一条射线上的所有点,投影到图像中都是同一个像素点,所以,等式左右两边可以看成两个平行的向量,通过叉乘方式构建一个新方程,以x_1所在的道路图像为例:x_1叉乘(p_1*x)=0,该方程可以提供两个线性独立的方程,x_2所在的道路图像构建方程的过程与上述过程相同。因为有两个观测,则可以提供4个线性独立的方程,4个线性独立方程联立可以解出x的值,即,求得一个特征点对在虚拟三维空间的位置信息。

在确定参考道路图像中的第二特征点在虚拟三维空间的三维位置信息时,使用了部分空间点与相机位姿的约束关系,因此,构建的地图可能不是最优的,为了解决这个问题一般会借助bundleajustument算法,对得到空间点云进行优化处理,在进行优化时,可以将各个道路图像的位姿变化量和对应道路图像中的特征点对应的三维位置信息输入到bundleajustument算法,构建最优问题,在在这里除了优化空间点重投影到道路图像中的像素坐标与观测点的像素坐标间的重投影误差外,还考虑了相机位置(即拍摄当前道路图像的相机的光心在虚拟三维空间的坐标)与该相机拍摄的道路图像的gps坐标间的距离误差,为了使用gps坐标,需要将虚拟三维空间的三维位置信息和gps坐标都转到ecef坐标系下,利用最优化的目标函数进行优化处理,优化误差为最小化重投影误差和位置误差之和,对空间点云进行优化处理。

从道路图像中提取特征点时,由于地面交通元素为通过涂画方式形成的,较难从地面交通元素中提取到特征点,或者从地面交通元素中提取到的特征点比较少,那么,最终得到的地面交通元素对应的第一三维位置信息也较少,而地面交通元素为地图中不可缺少的交通元素,因此,为了使得得到地图更加贴合实际的场景,针对每个道路图像,确定该道路图像中包括的地面交通元素在虚拟三维空间的三维位置信息,以下详述。

s104,分别从基准道路图像和各个参考道路图像中确定地面交通元素在所述虚拟三维空间的第二三维位置信息。

这里,地面交通元素上文已进行详细介绍,此处不再进行说明。

在执行s104时,可以基于拍摄参考道路图像的相机的内外参数,对参考道路图像中包括的地面交通元素的二维位置信息进行转换处理,得到参考道路图像中包括的地面交通元素的第二三维位置信息;

基于拍摄基准道路图像的相机的内外参数,对基准道路图像中包括的地面交通元素的二维位置信息进行转换处理,得到基准道路图像中包括的地面交通元素的第二三维位置信息。

这里,相机可以为拍摄道路图像的车辆的行车记录仪中的相机,相机的内外参数包括内参数和外参数,其中,内参数包括相机的焦距、径向畸变参数等,外参包括相机距离目标道路所在平面的高度和相机的俯仰角,可以通过sfm算法对相机获取的道路图像进行处理,获取相机的内外参数,此处不对标定相机的内外参数的过程进行详细的介绍。

在具体实施过程中,目标地面上有很多人工制作的交通标线,这些标线在图像之间的匹配特征点较少,难以通过三角化恢复三维点的空间坐标,因此,可以利用拍摄对应道路图像时的相机的内外参数,确定从图像坐标系到虚拟三维空间坐标系的转换矩阵,利用该转换矩阵对该道路图像包括的地面交通元素的二维位置信息进行转换处理,得到地面交通元素在虚拟三维空间的第二三维位置信息。

此处需要注意,对不同的道路图像进行处理时,需要使用拍摄该道路图像的相机的内外参数,比如,在对参考道路图像进行处理时,需要使用拍摄参考道路图像的相机的内外参数,对该参考道路图像中包括的交通元素的二维位置信息进行转换处理,这样,可以提高得到的三维位置信息的准确度。

s105,基于确定的所述第一三维位置信息和所述第二三维位置信息,生成针对所述目标道路的地图。

这里,生成的目标道路的地图为矢量地图。

在执行s105时,可以包括以下步骤:分别计算第一三维位置信息对应的第一类型标识和第二三维位置信息对应的第二类型标识;基于每种第一类型标识对应的第一三维位置信息,以及每种第一类型标识下交通元素所属的第一平面,对所述第一三维位置信息进行分割处理,得到每种第一类型标识下的交通元素对应的第一三维位置信息;基于每种第二类型标识对应的第二三维位置信息,以及每种第二类型标识下交通元素所属的第二平面,对所述第二三维位置信息进行分割处理,得到每种第二类型标识下的交通元素对应的第二三维位置信息:对每种第一类型标识下的交通元素对应的第一三维位置信息和每种第二类型标识下的交通元素对应的第二三维位置信息进行矢量化处理,得到所述目标道路的地图。

这里,第一类型标识和第二类型标识均可以表征道路图像中的特征点所属的属性,例如,类型标识可以为空间交通元素中的交通牌、红绿灯,也可以为地面交通元素中的交通标线。第一类型标识可以对应不同位置的相同的交通元素,比如,第一类型标识为交通牌时,该交通牌可以位于目标道路中的不同位置;不同的类型标识(包括第一类型标识和第二类型标识)可以通过不同的颜色或形状进行标识。

在具体实施过程中,考虑到属于同一特征点点对的特征点的类型标识为相同的,因此,可以以基准道路图像确定第一三维位置信息的第一类型标识的确定过程,当然在确定第一三维位置信息的第一类型标识时,也可以利用参考道路图像来进行第一类型标识的确定,也可以结合基准道路图像和参考道路图像确定第一三维位置信息的第一类型标识,本申请对比不予限制。

以一个第一三维位置信息中对应的特征点为例进行说明,为了便于描述下文称此类特征点为第一目标特征点,从各个道路图像中提取到特征点的类型标识和二维位置信息,针对该第一三维位置信息,根据该第一三维位置信息对应的第一目标特征点在对应道路图像(包括第一目标特征点的道路图像)中的二维位置信息,以及包括该第一目标特征点的道路图像中所包括的特征点的二维位置信息,从包括该第一目标特征点的道路图像中,确定与第一目标特征点的位置相同的特征点,若确定出的特征点的数目与包括该第一目标特征点的道路图像数目的占比大于预设占比阈值(可以根据实际情况确定),那么,将确定的特征点的类型标识作为第一三维位置信息的第一类型标识,例如,第一三维位置信息对应的特征点为a,特征点a被包括在10个道路图像中,从10个道路图像分别包括的特征点中,确定与特征点a的二维位置信息匹配的特征点,若存在8个道路图像中包括的特征点与特征点a的二维位置信息相同,且8个道路图像中包括的特征点的类型标识为同一个类型标识,且8/10大于预设占比阈值α,那么8个道路图像中包括的特征点对应的类型标识为该第一是哪位位置信息对应的第一类型标识。通过参考道路图像确定第一三维位置信息的第一类型标识的过程不再赘述。

在确定第二三维位置信息的第二类型标识时,可以以基准道路图像确定第二三维位置信息的第二类型标识,也可以利用参考道路图像来进行第二类型标识的确定,或者同时结合基准道路图像和参考道路图像确定第二三维位置信息的第二类型标识,本申请对比不予限制。

以一个第二三维位置信息中对应的特征点为例进行说明,为了便于描述下文称此类特征点为第二目标特征点,从各个道路图像中提取到特征点的类型标识和二维位置信息,针对该第二三维位置信息,根据该第二三维位置信息对应的第二目标特征点在对应道路图像(包括该第二目标特征点的道路图像)中的二维位置信息,以及包括该第二目标特征点的道路图像中所包括的特征点的二维位置信息,从包括该第二目标特征点的道路图像中,确定与第二目标特征点的位置相同的特征点,若确定出的特征点的数目与包括该第二目标特征点的道路图像数目的占比大于预设占比阈值(可以根据实际情况确定),那么,将确定的特征点的类型标识作为第二三维位置信息的第一类型标识,通过参考道路图像确定第二三维位置信息的第一类型标识的过程不再赘述。

在得到第一三维位置信息对应的第一类型标识和第二三维位置信息对应的第二类型标识后,对每种第一类型标识对应的第一三维位置信息进行分割,可以包括以下步骤:

分别计算第一三维位置信息到每种第一类型标识对应的各个第一平面的第一距离;基于各个所述第一距离,以及预设阈值,对所述第一三维位置信息进行分割处理,得到每种第一类型标识下的交通元素对应的第一三维位置信息。

这里,每种第一类型标对应的各个第一平面可以为第一类型标识对应的不同位置的空中交通元素所属的平面,第一类型标识对应的第一平面的数目与第一类型标识对应的空中交通元素的数目相同。

在具体实施过程中,针对每个第一类型标识,利用ransac算法对该第一类型标识对应的各个第一三维位置信息进行多平面估计,得到第一类型标识下每个空中交通元素对应的第一平面。其中,利用ransac算法进行多平面估计的过程不进行详细说明。

针对每个第一三维位置信息,计算该第一三维位置信息到各个第一平面的第一距离,针对每个第一平面,比对到该第一平面的第一距离与预设距离阈值,将第一距离小于预设距离阈值的第一三维位置信息确定为该第一平面对应的空中交通元素的第一三维位置信息,进一步将每个空中交通元素对应的第一三维位置信息投影到对应的第一平面内,并进行凸包求解,实现对各个第一三维位置信息的矢量化处理,也就是,得到每个空中交通元素对应的平面的矢量化表达,可以参考图2。

对每种第二类型标识对应的第二三维位置信息进行分割,可以包括以下步骤:

分别计算第一三维位置信息到每种第二类型标识对应的各个第二平面的第二距离;基于各个所述第二距离,以及所述预设阈值,对所述第二三维位置信息进行分割处理,得到每种第二类型标识下的交通元素对应的第二三维位置信息。

这里,每种第二类型标对应的各个第二平面可以为第二类型标识对应的不同位置的地面交通元素所属的平面,第二类型标识对应的第二平面的数目与第二类型标识对应的地面交通元素的数目相同。

在具体实施过程中,针对每个第二类型标识,利用ransac算法对该第二类型标识对应的各个第二三维位置信息进行多平面估计,得到第二类型标识下每个地面交通元素对应的第二平面。其中,利用ransac算法进行多平面估计的过程不进行详细说明。

针对每个第二三维位置信息,计算该第二三维位置信息到各个第二平面的第二距离,针对每个第二平面,比对到该第二平面的第二距离与预设距离阈值,将第二距离小于预设距离阈值的第二三维位置信息确定为该第二平面对应的地面交通元素的第一三维位置信息,进一步将每个地面交通元素对应的第二三维位置信息投影到对应的第二平面内,并进行凸包求解,实现对各个第二三维位置信息的矢量化处理,也就是,得到每个地面交通元素对应的平面的矢量化表达。其中,进行凸包求解的过程不进行详细说明。

当目标道路已经构建地图后,如果有车辆经过可以重新采集道路图像,并生成交通要素的三维位置信息,并与地图中的三维位置信息作对比,检测出哪些交通元素有变化,并对地图进行更新。

基于同一发明构思,本申请实施例中还提供了与地图生成方法对应的数据处理装置,由于本申请实施例中的方法解决问题的原理与本申请实施例上述地图生成方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。

本申请实施例提供了一种地图生成装置,如图3所示,该装置包括:

第一确定模块31,用于基于参考道路图像中包括的特征点的属性信息和基准道路图像包括的特征点的属性信息,确定至少一个特征点对;同一个特征点对中的两个特征点分别属于参考道路图像和基准道路图像;参考道路图像和基准道路图像均是针对目标道路进行拍摄得到的;

第二确定模块32,用于针对每个参考道路图像,根据基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中第一特征点在基准道路图像中的二维位置信息和该参考道路图像中第二特征点在该参考道路图像中的二维位置信息,确定该参考道路图像相对于基准道路图像的位姿变化量;所述第一特征点和所述第二特征点属于同一个特征点对;

第三确定模块33,用于针对每个参考道路图像,根据该参考道路图像的位姿变化量、基准道路图像的位姿、该参考道路图像中第二特征点在该参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息,确定该参考道路图像中第二特征点的第一三维位置信息;

第四确定模块34,用于分别从基准道路图像和各个参考道路图像中确定地面交通元素在所述虚拟三维空间的第二三维位置信息;

生成模块35,用于基于确定的所述第一三维位置信息和所述第二三维位置信息,生成针对所述目标道路的地图。

在一种实施方式中,第一确定模块31用于根据以下步骤确定所述参考道路图像和所述基准道路图像:

获取采集车辆在所述目标道路中行驶时的历史行驶轨迹数据;

基于所述历史行驶轨迹数据,从多个采集车辆中,选择行驶速度落入预设速度范围的目标采集车辆;

获取目标采集车辆行驶时针对所述目标道路上拍摄的参考道路图像和基准道路图像。

在一种实施方式中,第一确定模块31用于根据以下步骤确定至少一个特征点对:

基于参考道路图像中包括的特征点的属性信息和基准道路图像中包括的特征点的属性信息,确定参考道路图像中的特征点与基准道路图像中的特征点之间的相似度;

基于所述相似度,以及预设阈值,确定至少一个特征点对。

在一种实施方式中,第一确定模块31用于根据以下步骤确定至少一个特征点对:

针对每个参考道路图像,提取该参考道路图像中包括的特征点的二位位置信息和包括的交通元素的二维位置信息;

针对每个相似度,若确定该相似度大于所述预设阈值,则根据该相似度对应的两个特征点的二维位置信息,以及所述交通元素的二维位置信息,判断该相似度对应的两个特征点是否属于同一交通元素;

若该相似度对应的两个特征点属于同一交通元素,则将该相似度对应的两个特征点确定为所述特征点对。

在一种实施方式中,第二确定模块32用于根据以下步骤确定该参考道路图像相对于基准道路图像的位姿变化量:

基于基准道路图像中包括的地面交通元素的二维位置信息和参考道路图像中包括的地面交通元素的二维位置信息,以及参考道路图像中包括的特征点的二维位置信息和基准道路图像中包括的特征点的二维位置信息,从所述至少一个特征点对中,确定属于同一地面交通元素的目标特征点对;

基于所述目标特征点对中包括的两个特征点的二维位置信息、所述第二特征点的二维位置信息,以及所述第一特征点的二维位置信息、诉搜狐第一特征点的三维位置信息和预设的位置估算算法,确定所述参考道路图像相对于基准道路图像的初始位姿变化量;

基于基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中第一特征点在基准道路图像中的二维位置信息和该参考道路图像中第二特征点在该参考道路图像中的二维位置信息,对所述初始位姿变化量进行校准,将校准后的位姿变化量作为该参考道路图像相对于基准道路图像的所述位姿变化量。

在一种实施方式中,第三确定模块33用于根据以下步骤确定该参考道路图像中第二特征点的第一三维位置信息:

利用三角化处理算法对所述参考道路图像的位姿变化量、所述参考道路图像中第二特征点在所述参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息进行三角化处理,得到所述参考道路图像中第二特征点的第一三维位置信息。

在一种实施方式中,第四确定模块34用于根据以下步骤分别从基准道路图像和各个参考道路图像中确定地面交通元素在所述虚拟三维空间的第二三维位置信息:

基于拍摄参考道路图像的相机的内外参数,对参考道路图像中包括的地面交通元素的二维位置信息进行转换处理,得到参考道路图像中包括的地面交通元素的第二三维位置信息;

基于拍摄基准道路图像的相机的内外参数,对基准道路图像中包括的地面交通元素的二维位置信息进行转换处理,得到基准道路图像中包括的地面交通元素的第二三维位置信息。

在一种实施方式中,生成模块35用于根据以下步骤生成针对所述目标道路的地图:

分别计算第一三维位置信息对应的第一类型标识和第二三维位置信息对应的第二类型标识;

基于每种第一类型标识对应的第一三维位置信息,以及每种第一类型标识下交通元素所属的第一平面,对所述第一三维位置信息进行分割处理,得到每种第一类型标识下的交通元素对应的第一三维位置信息;

基于每种第二类型标识对应的第二三维位置信息,以及每种第二类型标识下交通元素所属的第二平面,对所述第二三维位置信息进行分割处理,得到每种第二类型标识下的交通元素对应的第二三维位置信息:

对每种第一类型标识下的交通元素对应的第一三维位置信息和每种第二类型标识下的交通元素对应的第二三维位置信息进行矢量化处理,得到所述目标道路的地图。

在一种实施方式中,生成模块35用于根据以下步骤得到每种第一类型标识下的交通元素对应的第一三维位置信息:

分别计算第一三维位置信息到每种第一类型标识对应的各个第一平面的第一距离;

基于各个所述第一距离,以及预设阈值,对所述第一三维位置信息进行分割处理,得到每种第一类型标识下的交通元素对应的第一三维位置信息;

分别计算第一三维位置信息到每种第二类型标识对应的各个第二平面的第二距离;

基于各个所述第二距离,以及所述预设阈值,对所述第二三维位置信息进行分割处理,得到每种第二类型标识下的交通元素对应的第二三维位置信息。

本申请实施例还提供了一种计算机设备40,如图4所示,为本申请实施例提供的计算机设备40结构示意图,包括:处理器41、存储器42、和总线43。所述存储器42存储有所述处理器41可执行的机器可读指令(比如,图3中的装置中第一确定模块31、第二确定模块32、第三确定模块33、第四确定模块34和生成模块35对应的执行指令等),当计算机设备40运行时,所述处理器41与所述存储器42之间通过总线43通信,所述机器可读指令被所述处理器41执行时执行如下处理:

基于参考道路图像中包括的特征点的属性信息和基准道路图像包括的特征点的属性信息,确定至少一个特征点对;同一个特征点对中的两个特征点分别属于参考道路图像和基准道路图像;参考道路图像和基准道路图像均是针对目标道路进行拍摄得到的;

针对每个参考道路图像,根据基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中第一特征点在基准道路图像中的二维位置信息和该参考道路图像中第二特征点在该参考道路图像中的二维位置信息,确定该参考道路图像相对于基准道路图像的位姿变化量;所述第一特征点和所述第二特征点属于同一个特征点对;

针对每个参考道路图像,根据该参考道路图像的位姿变化量、基准道路图像的位姿、该参考道路图像中第二特征点在该参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息,确定该参考道路图像中第二特征点的第一三维位置信息;

分别从基准道路图像和各个参考道路图像中确定地面交通元素在所述虚拟三维空间的第二三维位置信息;

基于确定的所述第一三维位置信息和所述第二三维位置信息,生成针对所述目标道路的地图。

一种可能的实施方式中,处理器41执行的指令中,根据以下步骤确定所述参考道路图像和所述基准道路图像:

获取采集车辆在所述目标道路中行驶时的历史行驶轨迹数据;

基于所述历史行驶轨迹数据,从多个采集车辆中,选择行驶速度落入预设速度范围的目标采集车辆;

获取目标采集车辆行驶时针对所述目标道路上拍摄的参考道路图像和基准道路图像。

一种可能的实施方式中,处理器41执行的指令中,基于参考道路图像中包括的特征点的属性信息和基准道路图像包括的特征点的属性信息,确定至少一个特征点对,包括:

基于参考道路图像中包括的特征点的属性信息和基准道路图像中包括的特征点的属性信息,确定参考道路图像中的特征点与基准道路图像中的特征点之间的相似度;

基于所述相似度,以及预设阈值,确定至少一个特征点对。

一种可能的实施方式中,处理器41执行的指令中,确定至少一个特征点对,包括:

针对每个参考道路图像,提取该参考道路图像中包括的特征点的二位位置信息和包括的交通元素的二维位置信息;

针对每个相似度,若确定该相似度大于所述预设阈值,则根据该相似度对应的两个特征点的二维位置信息,以及所述交通元素的二维位置信息,判断该相似度对应的两个特征点是否属于同一交通元素;

若该相似度对应的两个特征点属于同一交通元素,则将该相似度对应的两个特征点确定为所述特征点对。

一种可能的实施方式中,处理器41执行的指令中,根据基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中第一特征点在基准道路图像中的二维位置信息和该参考道路图像中第二特征点在该参考道路图像中的二维位置信息,确定该参考道路图像相对于基准道路图像的位姿变化量,包括:

基于基准道路图像中包括的地面交通元素的二维位置信息和参考道路图像中包括的地面交通元素的二维位置信息,以及参考道路图像中包括的特征点的二维位置信息和基准道路图像中包括的特征点的二维位置信息,从所述至少一个特征点对中,确定属于同一地面交通元素的目标特征点对;

基于所述目标特征点对中包括的两个特征点的二维位置信息、所述第二特征点的二维位置信息,以及所述第一特征点的二维位置信息、诉搜狐第一特征点的三维位置信息和预设的位置估算算法,确定所述参考道路图像相对于基准道路图像的初始位姿变化量;

基于基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中第一特征点在基准道路图像中的二维位置信息和该参考道路图像中第二特征点在该参考道路图像中的二维位置信息,对所述初始位姿变化量进行校准,将校准后的位姿变化量作为该参考道路图像相对于基准道路图像的所述位姿变化量。

一种可能的实施方式中,处理器41执行的指令中,针对每个参考道路图像,根据该参考道路图像的位姿变化量、基准道路图像的位姿、该参考道路图像中第二特征点在该参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息,确定该参考道路图像中第二特征点的第一三维位置信息,包括:

利用三角化处理算法对所述参考道路图像的位姿变化量、所述参考道路图像中第二特征点在所述参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息进行三角化处理,得到所述参考道路图像中第二特征点的第一三维位置信息。

一种可能的实施方式中,处理器41执行的指令中,分别从基准道路图像和各个参考道路图像中确定地面交通元素在所述虚拟三维空间的第二三维位置信息,包括:

基于拍摄参考道路图像的相机的内外参数,对参考道路图像中包括的地面交通元素的二维位置信息进行转换处理,得到参考道路图像中包括的地面交通元素的第二三维位置信息;

基于拍摄基准道路图像的相机的内外参数,对基准道路图像中包括的地面交通元素的二维位置信息进行转换处理,得到基准道路图像中包括的地面交通元素的第二三维位置信息。

一种可能的实施方式中,处理器41执行的指令中,基于确定的所述第一三维位置信息和所述第二三维位置信息,生成针对所述目标道路的地图,包括:

分别计算第一三维位置信息对应的第一类型标识和第二三维位置信息对应的第二类型标识;

基于每种第一类型标识对应的第一三维位置信息,以及每种第一类型标识下交通元素所属的第一平面,对所述第一三维位置信息进行分割处理,得到每种第一类型标识下的交通元素对应的第一三维位置信息;

基于每种第二类型标识对应的第二三维位置信息,以及每种第二类型标识下交通元素所属的第二平面,对所述第二三维位置信息进行分割处理,得到每种第二类型标识下的交通元素对应的第二三维位置信息:

对每种第一类型标识下的交通元素对应的第一三维位置信息和每种第二类型标识下的交通元素对应的第二三维位置信息进行矢量化处理,得到所述目标道路的地图。

一种可能的实施方式中,处理器41执行的指令中,基于每种第一类型标识对应的第一三维位置信息,以及每种第一类型标识下交通元素所属的第一平面,对所述第一三维位置信息进行分割处理,得到每种第一类型标识下的交通元素对应的第一三维位置信息,包括:

分别计算第一三维位置信息到每种第一类型标识对应的各个第一平面的第一距离;

基于各个所述第一距离,以及预设阈值,对所述第一三维位置信息进行分割处理,得到每种第一类型标识下的交通元素对应的第一三维位置信息;

基于每种第二类型标识对应的第二三维位置信息,以及每种第二类型标识下交通元素所属的第二平面,对所述第二三维位置信息进行分割处理,得到每种第二类型标识下的交通元素对应的第二三维位置信息,包括:

分别计算第一三维位置信息到每种第二类型标识对应的各个第二平面的第二距离;

基于各个所述第二距离,以及所述预设阈值,对所述第二三维位置信息进行分割处理,得到每种第二类型标识下的交通元素对应的第二三维位置信息。

本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述地图生成方法的步骤。

具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述地图生成方法,用于解决现有技术生成地图准确度低的问题,本申请实施例提供的地图生成方法,基于参考道路图像中包括的特征点的属性信息和基准道路图像包括的特征点的属性信息,确定至少一个特征点对,针对每个参考道路图像,根据基准道路图像中第一特征点在虚拟三维空间中的三维位置信息、基准道路图像中和参考道路图像之间的特征点对的二维位置信息,确定该参考道路图像相对于基准道路图像的位姿变化量,针对每个参考道路图像,根据该参考道路图像的位姿变化量、基准道路图像的位姿、该参考道路图像中第二特征点在该参考道路图像中的二维位置信息和基准道路图像中第一特征点在基准道路图像中的二维位置信息,确定该参考道路图像中第二特征点的第一三维位置信息,分别从基准道路图像和各个参考道路图像中确定地面交通元素的第二三维位置信息,基于确定的第一三维位置信息和第二三维位置信息,生成针对目标道路的地图,这样,基于参考地图图像中的第一三维位置信息和地面交通元素的第二三维位置信息生成地图,可以较少地图重建失败的情况,提高了生成的地图的准确度,同时,也降低了构建地图的成本。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者路网设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1