基于地图元素数据的多传感器融合车辆定位方法及装置与流程

本发明涉及车辆定位技术领域，具体而言，涉及一种基于地图元素数据的多传感器融合车辆定位方法及装置。

背景技术：

无人驾驶车辆上安装有至少包括摄像机和惯性测量单元的多种传感器，为了通过多种传感器采集的传感数据以及车载电子导航地图中的地图元素数据进行自动车辆定位得到车辆的位姿，需要预先对惯性测量单元的坐标系与摄像机的相机坐标系之间的外参矩阵进行标定。

由于有时摄像机会发生安装松动和/或惯性测量单元会发生安装松动，使得预先标定的外参矩阵不够准确，不够准确的预先标定的外参矩阵将严重影响所定位得到的车辆的位姿精度，从而降低了无人驾驶车辆的安全性。

技术实现要素：

本发明提供了一种基于地图元素数据的多传感器融合车辆定位方法及装置，以提高定位得到的目标车辆的位姿精度，提高目标车辆行驶的安全性。

具体的技术方案如下：

第一方面，本发明提供了一种基于地图元素数据的多传感器融合车辆定位方法，包括：

获取安装在目标车辆上的多个传感器在行驶过程中采集的当前时刻的当前传感数据以及上一时刻的历史传感数据，其中，所述多个传感器至少包括摄像机和惯性测量单元；

从所述摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从所述摄像机采集的当前传感数据中识别出当前地图元素感知数据；

基于所获取的历史传感数据，确定所述目标车辆的车载电子导航地图中上一时刻的历史地图元素数据，基于所获取的当前传感数据，确定所述车载电子导航地图中当前时刻的当前地图元素数据以及所述目标车辆的当前时刻的参考位姿；

基于预先标定的外参矩阵以及所述摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定所述图像坐标系下与所述历史地图元素数据对应的历史地图元素投影数据以及与所述历史地图元素投影数据对应的历史地图元素感知数据，其中，所述预先标定的外参矩阵包括表征所述惯性测量单元的坐标系与所述相机坐标系之间旋转关系的旋转矩阵以及平移关系的平移矩阵；

根据所述历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵；

根据所述预估的外参矩阵以及所述投影矩阵，确定所述图像坐标系下与所述当前地图元素数据对应的当前地图元素投影数据以及与所述当前地图元素投影数据对应的当前地图元素感知数据；

根据卡尔曼滤波算法，基于所述当前地图元素投影数据以及对应的当前地图元素感知数据计算出所述目标车辆的位姿调整量，根据所述位姿调整量对所述当前时刻的参考位姿进行调整，得到所述目标车辆的当前时刻的位姿。

可选的，所述摄像机采集的当前传感数据以及历史传感数据分别为当前图像和历史图像，所述从所述摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从所述摄像机采集的当前传感数据中识别出当前地图元素感知数据的步骤，包括：

将所述摄像机采集的历史图像以及当前图像分别输入到预先训练完成的至少一个深度学习感知模型中，得到所述历史图像中的历史地图元素感知数据以及所述当前图像中的当前地图元素感知数据；

其中，每个深度学习感知模型为基于包含一类地图元素数据的图像样本数据及对应的标注信息作为模型训练数据，对初始深度学习模型进行训练得到的深度学习模型，每个深度学习感知模型用于使得图像样本数据与对应类型的地图元素数据相关联，所述地图元素数据的类型包括车道线、交通牌、路灯杆和虚线车道线的端点中的至少一种。

可选的，所述基于所获取的历史传感数据，确定所述目标车辆的车载电子导航地图中上一时刻的历史地图元素数据的步骤，包括：

基于预先确定的定位算法对所获取的历史传感数据进行数据融合计算，得到所述目标车辆的上一时刻的参考位姿；

根据所述上一时刻的参考位姿确定所述车载电子导航地图中，上一时刻位于所述目标车辆预设范围内的历史地图元素数据。

可选的，所述基于预先标定的外参矩阵以及所述摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定所述图像坐标系下与所述历史地图元素数据对应的历史地图元素投影数据以及与所述历史地图元素投影数据对应的历史地图元素感知数据的步骤，包括：

基于所述预先标定的外参矩阵，将所述历史地图元素数据转换至所述相机坐标系中，得到所述历史地图元素数据对应的转换后地图元素数据；

基于所述投影矩阵，将所述转换后地图元素数据投影至所述图像坐标系中，得到所述历史地图元素数据对应的历史地图元素投影数据；

针对每类历史地图元素投影数据，计算该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差，针对该类历史地图元素投影数据中的每个历史地图元素投影数据，将最小的重投影残差对应的历史地图元素感知数据作为与该历史地图元素投影数据对应的数据。

可选的，所述根据所述历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵的步骤，包括：

针对每个历史地图元素投影数据，计算该历史地图元素投影数据与对应的历史地图元素感知数据之间的重投影残差，建立所述重投影残差与预估的外参矩阵之间的雅克比矩阵，根据所述重投影残差、所述雅克比矩阵以及所述预估的外参矩阵建立该历史地图元素投影数据的矩阵方程；

联立每个历史地图元素投影数据的矩阵方程得到所述预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵。

第二方面，本发明提供了一种基于地图元素数据的多传感器融合车辆定位装置，包括：

获取模块，用于获取安装在目标车辆上的多个传感器在行驶过程中采集的当前时刻的当前传感数据以及上一时刻的历史传感数据，其中，所述多个传感器至少包括摄像机和惯性测量单元；

识别模块，用于从所述摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从所述摄像机采集的当前传感数据中识别出当前地图元素感知数据；

确定模块，用于基于所获取的历史传感数据，确定所述目标车辆的车载电子导航地图中上一时刻的历史地图元素数据，基于所获取的当前传感数据，确定所述车载电子导航地图中当前时刻的当前地图元素数据以及所述目标车辆的当前时刻的参考位姿；

第一投影模块，用于基于预先标定的外参矩阵以及所述摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定所述图像坐标系下与所述历史地图元素数据对应的历史地图元素投影数据以及与所述历史地图元素投影数据对应的历史地图元素感知数据，其中，所述预先标定的外参矩阵包括表征所述惯性测量单元的坐标系与所述相机坐标系之间旋转关系的旋转矩阵以及平移关系的平移矩阵；

建立模块，用于根据所述历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵；

第二投影模块，用于根据所述预估的外参矩阵以及所述投影矩阵，确定所述图像坐标系下与所述当前地图元素数据对应的当前地图元素投影数据以及与所述当前地图元素投影数据对应的当前地图元素感知数据；

位姿计算模块，用于根据卡尔曼滤波算法，基于所述当前地图元素投影数据以及对应的当前地图元素感知数据计算出所述目标车辆的位姿调整量，根据所述位姿调整量对所述当前时刻的参考位姿进行调整，得到所述目标车辆的当前时刻的位姿。

可选的，所述摄像机采集的当前传感数据以及历史传感数据分别为当前图像和历史图像，所述识别模块，具体用于：

将所述摄像机采集的历史图像以及当前图像分别输入到预先训练完成的至少一个深度学习感知模型中，得到所述历史图像中的历史地图元素感知数据以及所述当前图像中的当前地图元素感知数据；

其中，每个深度学习感知模型为基于包含一类地图元素数据的图像样本数据及对应的标注信息作为模型训练数据，对初始深度学习模型进行训练得到的深度学习模型，每个深度学习感知模型用于使得图像样本数据与对应类型的地图元素数据相关联，所述地图元素数据的类型包括车道线、交通牌、路灯杆和虚线车道线的端点中的至少一种。

可选的，所述确定模块，包括：

数据融合子模块，用于基于预先确定的定位算法对所获取的历史传感数据进行数据融合计算，得到所述目标车辆的上一时刻的参考位姿；

确定子模块，用于根据所述上一时刻的参考位姿确定所述车载电子导航地图中，上一时刻位于所述目标车辆预设范围内的历史地图元素数据。

可选的，所述第一投影模块，包括：

转换子模块，用于基于所述预先标定的外参矩阵，将所述历史地图元素数据转换至所述相机坐标系中，得到所述历史地图元素数据对应的转换后地图元素数据；

投影子模块，用于基于所述投影矩阵，将所述转换后地图元素数据投影至所述图像坐标系中，得到所述历史地图元素数据对应的历史地图元素投影数据；

计算子模块，用于针对每类历史地图元素投影数据，计算该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差，针对该类历史地图元素投影数据中的每个历史地图元素投影数据，将最小的重投影残差对应的历史地图元素感知数据作为与该历史地图元素投影数据对应的数据。

可选的，所述建立模块，包括：

矩阵方程建立子模块，用于针对每个历史地图元素投影数据，计算该历史地图元素投影数据与对应的历史地图元素感知数据之间的重投影残差，建立所述重投影残差与预估的外参矩阵之间的雅克比矩阵，根据所述重投影残差、所述雅克比矩阵以及所述预估的外参矩阵建立该历史地图元素投影数据的矩阵方程；

求解子模块，用于联立每个历史地图元素投影数据的矩阵方程得到所述预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵。

由上述内容可知，本发明实施例提供的一种基于地图元素数据的多传感器融合车辆定位方法及装置，可以基于从摄像机采集的上一时刻的历史传感数据中识别出的历史地图元素感知数据以及车载电子导航地图中上一时刻的地图元素数据来预估外参矩阵，然后通过预估的外参矩阵对目标车辆进行当前时刻的车辆定位，由于预估的外参矩阵是基于上一时刻的数据计算得到的，因此，在摄像机发生安装松动和/或惯性测量单元发生安装松动时，相对于预先标定的外参矩阵，预估的外参矩阵的准确性较高，使得基于预估的外参矩阵对目标车辆进行当前时刻的车辆定位所得到的目标车辆的位姿精度较高，提高了定位得到的目标车辆的位姿精度，提高了目标车辆行驶的安全性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、基于从摄像机采集的上一时刻的历史传感数据中识别出的历史地图元素感知数据以及车载电子导航地图中上一时刻的地图元素数据来预估外参矩阵，然后通过预估的外参矩阵对目标车辆进行当前时刻的车辆定位，由于预估的外参矩阵是基于上一时刻的数据计算得到的，因此，在摄像机发生安装松动和/或惯性测量单元发生安装松动时，相对于预先标定的外参矩阵，预估的外参矩阵的准确性较高，使得基于预估的外参矩阵对目标车辆进行当前时刻的车辆定位所得到的目标车辆的位姿精度较高，提高了定位得到的目标车辆的位姿精度，提高了目标车辆行驶的安全性。

2、由于预估的外参矩阵的准确性较高，因此，可以降低对预先标定的外参矩阵的标定精度的要求，对于外参矩阵的标定精度较低的惯性测量单元以及摄像机，仍然可以通过本发明实施例提供的方法在对车辆进行定位时得到较高的位姿精度。

3、通过将摄像机采集的历史图像以及当前图像分别输入到预先训练完成的至少一个深度学习感知模型中的方式，得到历史图像中的历史地图元素感知数据以及当前图像中的当前地图元素感知数据。

4、根据所获取的历史传感数据确定目标车辆的上一时刻的参考位姿，然后根据上一时刻的参考位姿确定车载电子导航地图中，上一时刻位于目标车辆预设范围内的历史地图元素数据。

5、基于外参矩阵和投影矩阵将历史地图元素数据投影到图像坐标系下得到历史地图元素数据对应的历史地图元素投影数据，然后通过计算重投影残差的方式，得到与历史地图元素投影数据相匹配的历史地图元素感知数据。

6、通过计算每个历史地图元素投影数据与对应的历史地图元素感知数据之间的重投影残差，然后基于重投影残差、表征重投影残差与预估的外参矩阵之间关系的雅克比矩阵以及预估的外参矩阵建立每个历史地图元素投影数据的矩阵方程，再基于每个历史地图元素投影数据的矩阵方程建立针对于预估的外参矩阵的矩阵方程组，以便求出预估的外参矩阵。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于地图元素数据的多传感器融合车辆定位方法的一种流程示意图；

图2为本发明实施例提供的基于地图元素数据的多传感器融合车辆定位装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种基于地图元素数据的多传感器融合车辆定位方法及装置，能够提高定位得到的目标车辆的位姿精度，提高目标车辆行驶的安全性。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的基于地图元素数据的多传感器融合车辆定位方法的一种流程示意图。该方法应用于电子设备。该方法具体包括以下步骤。

s110：获取安装在目标车辆上的多个传感器在行驶过程中采集的当前时刻的当前传感数据以及上一时刻的历史传感数据，其中，多个传感器至少包括摄像机和惯性测量单元。

目前，为了实现无人驾驶的目标车辆的自动驾驶，在目标车辆上安装有至少包括摄像机和惯性测量单元的多个传感器以及车载电子导航地图，多个传感器在车辆行驶的过程中实时采集传感数据。

为了对目标车辆进行实时定位得到目标车辆的位姿，需要预先对惯性测量单元的坐标系与摄像机的相机坐标系之间的外参矩阵进行标定，基于多个传感器实时采集的传感数据、车载电子导航地图中的地图元素数据以及惯性测量单元的坐标系与摄像机的相机坐标系之间的外参矩阵可以对目标车辆进行实时车辆定位，得到目标车辆的实时位姿，以便基于目标车辆的实时位姿实现自动驾驶。

由于有时摄像机会发生安装松动和/或惯性测量单元会发生安装松动，使得预先标定的外参矩阵不够准确，不够准确的预先标定的外参矩阵将严重影响所定位得到的目标车辆的位姿精度，因此，本发明实施例中，提出基于从摄像机采集的上一时刻的历史传感数据中识别出的历史地图元素感知数据以及车载电子导航地图中上一时刻的地图元素数据来预估外参矩阵，然后通过预估的外参矩阵对目标车辆进行当前时刻的车辆定位。下面介绍如何预估外参矩阵。

由于目标车辆上安装的多个传感器实时采集传感数据，因此，电子设备可以获取安装在目标车辆上的多个传感器在行驶过程中采集的当前时刻的当前传感数据以及上一时刻的历史传感数据。

由于传感器至少包括摄像机和惯性测量单元，又由于摄像机采集的当前传感数据以及历史传感数据分别为当前图像和历史图像，因此，所获取的当前传感数据至少包括摄像机所采集的当前图像以及惯性测量单元所采集的当前角速度和当前加速度，所获取的历史传感数据至少包括摄像机所采集的历史图像以及惯性测量单元所采集的历史角速度和历史加速度。

由于传感器的类型越多，越有益于提高定位得到的车辆的位姿精度，因此，多个传感器还可以包括全球定位系统和轮速传感器，其中，全球定位系统采集目标车辆的速度以及位置信息，轮速传感器采集目标车辆的四轮速度信息。

s120：从摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从摄像机采集的当前传感数据中识别出当前地图元素感知数据。

由于安装于目标车辆上的摄像机所采集的是车辆所处环境的数据，因此，摄像机所采集的传感数据中可能包括行人、地图元素数据和/或高楼等，其中，地图元素数据的类型包括车道线、交通牌、路灯杆和虚线车道线的端点中的至少一种。

又由于摄像机所采集的传感数据中的地图元素数据是用来进行车辆定位的，因此，在获取了多个传感器采集的当前传感数据以及历史传感数据后，需要从摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从摄像机采集的当前传感数据中识别出当前地图元素感知数据。

由于摄像机采集的当前传感数据以及历史传感数据分别为当前图像和历史图像，因此，从摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从摄像机采集的当前传感数据中识别出当前地图元素感知数据，可以包括：

将摄像机采集的历史图像以及当前图像分别输入到预先训练完成的至少一个深度学习感知模型中，得到历史图像中的历史地图元素感知数据以及当前图像中的当前地图元素感知数据；

其中，每个深度学习感知模型为基于包含一类地图元素数据的图像样本数据及对应的标注信息作为模型训练数据，对初始深度学习模型进行训练得到的深度学习模型，每个深度学习感知模型用于使得图像样本数据与对应类型的地图元素数据相关联，地图元素数据的类型包括车道线、交通牌、路灯杆和虚线车道线的端点中的至少一种。

为了对摄像机采集的图像进行各种类型的地图元素数据的识别，针对每种类型的地图元素数据分别预先训练了一个深度学习感知模型，每个深度学习感知模型为基于包含一类地图元素数据的图像样本数据及对应的标注信息作为模型训练数据，对初始深度学习模型进行训练得到的深度学习模型，每个深度学习感知模型用于使得图像样本数据与对应类型的地图元素数据相关联。

在获取了历史图像以及当前图像后，将摄像机采集的历史图像以及当前图像分别输入到预先训练完成的至少一个深度学习感知模型中，得到历史图像中的历史地图元素感知数据以及当前图像中的当前地图元素感知数据。

由此，通过将摄像机采集的历史图像以及当前图像分别输入到预先训练完成的至少一个深度学习感知模型中的方式，得到历史图像中的历史地图元素感知数据以及当前图像中的当前地图元素感知数据。

s130：基于所获取的历史传感数据，确定目标车辆的车载电子导航地图中上一时刻的历史地图元素数据，基于所获取的当前传感数据，确定车载电子导航地图中当前时刻的当前地图元素数据以及目标车辆的当前时刻的参考位姿。

为了预估外参矩阵，需要基于所获取的历史传感数据，确定目标车辆的车载电子导航地图中上一时刻的历史地图元素数据，基于所获取的当前传感数据，确定车载电子导航地图中当前时刻的当前地图元素数据以及目标车辆的当前时刻的参考位姿。

其中，基于所获取的历史传感数据，确定目标车辆的车载电子导航地图中上一时刻的历史地图元素数据，可以包括：

基于预先确定的定位算法对所获取的历史传感数据进行数据融合计算，得到目标车辆的上一时刻的参考位姿；

根据上一时刻的参考位姿确定车载电子导航地图中，上一时刻位于目标车辆预设范围内的历史地图元素数据。

为了确定目标车辆的车载电子导航地图中上一时刻的历史地图元素数据，需要获知目标车辆在上一时刻的位姿，因此，需要基于预先确定的定位算法对所获取的历史传感数据进行数据融合计算，得到目标车辆的上一时刻的参考位姿。

当多个传感器还包括全球定位系统和轮速传感器的情况下，需要基于预先确定的定位算法对所获取的历史传感数据进行数据融合计算，得到目标车辆的上一时刻的参考位姿，可以为对惯性测量单元采集的历史传感数据进行捷联积分解算计算出目标车辆的上一时刻的待修正位姿，然后采用闭环反馈的方式基于各个传感器采集的历史传感数据对待修正位姿进行修正，得到目标车辆的上一时刻的参考位姿。

在确定了目标车辆的上一时刻的参考位姿，也就是确定了上一时刻目标车辆在车载电子导航地图中的位置和姿态，也就可以根据上一时刻的参考位姿确定车载电子导航地图中，上一时刻位于目标车辆预设范围内的历史地图元素数据。

由此，根据所获取的历史传感数据确定目标车辆的上一时刻的参考位姿，然后根据上一时刻的参考位姿确定车载电子导航地图中，上一时刻位于目标车辆预设范围内的历史地图元素数据。

类似的，基于所获取的当前传感数据，确定车载电子导航地图中当前时刻的当前地图元素数据以及目标车辆的当前时刻的参考位姿，可以包括：

基于预先确定的定位算法对所获取的当前传感数据进行数据融合计算，得到目标车辆的当前时刻的参考位姿；

根据当前时刻的参考位姿确定车载电子导航地图中，当前时刻位于目标车辆预设范围内的当前地图元素数据。

为了确定目标车辆的车载电子导航地图中当前时刻的当前地图元素数据，需要获知目标车辆在当前时刻的位姿，因此，需要基于预先确定的定位算法对所获取的当前传感数据进行数据融合计算，得到目标车辆的当前时刻的参考位姿。

在确定了目标车辆的当前时刻的参考位姿，也就是确定了当前时刻目标车辆在车载电子导航地图中的位置和姿态，也就可以根据当前时刻的参考位姿确定车载电子导航地图中，当前时刻位于目标车辆预设范围内的当前地图元素数据。

由此，根据所获取的当前传感数据确定目标车辆的当前时刻的参考位姿，然后根据当前时刻的参考位姿确定车载电子导航地图中，当前时刻位于目标车辆预设范围内的当前地图元素数据。

s140：基于预先标定的外参矩阵以及摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定图像坐标系下与历史地图元素数据对应的历史地图元素投影数据以及与历史地图元素投影数据对应的历史地图元素感知数据，其中，预先标定的外参矩阵包括表征惯性测量单元的坐标系与相机坐标系之间旋转关系的旋转矩阵以及平移关系的平移矩阵。

为了预估外参矩阵，需要将历史地图元素感知数据与历史地图元素数据进行匹配，由于历史地图元素感知数据位于图像坐标系下，而历史地图元素数据并不是位于图像坐标系下，因此，需要将历史地图元素数据投影至图像坐标系下，然后再进行匹配。

因此，需要基于预先标定的外参矩阵以及摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定图像坐标系下与历史地图元素数据对应的历史地图元素投影数据以及与历史地图元素投影数据对应的历史地图元素感知数据，其中，预先标定的外参矩阵包括表征惯性测量单元的坐标系与相机坐标系之间旋转关系的旋转矩阵以及平移关系的平移矩阵。

其中，基于预先标定的外参矩阵以及摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定图像坐标系下与历史地图元素数据对应的历史地图元素投影数据以及与历史地图元素投影数据对应的历史地图元素感知数据，可以包括：

基于预先标定的外参矩阵，将历史地图元素数据转换至相机坐标系中，得到历史地图元素数据对应的转换后地图元素数据；

基于投影矩阵，将转换后地图元素数据投影至图像坐标系中，得到历史地图元素数据对应的历史地图元素投影数据；

针对每类历史地图元素投影数据，计算该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差，针对该类历史地图元素投影数据中的每个历史地图元素投影数据，将最小的重投影残差对应的历史地图元素感知数据作为与该历史地图元素投影数据对应的数据。

将历史地图元素数据投影到图像坐标系下，分为两步，第一步为基于预先标定的外参矩阵，将历史地图元素数据转换至相机坐标系中，得到历史地图元素数据对应的转换后地图元素数据，第二步为基于投影矩阵，将转换后地图元素数据投影至图像坐标系中，得到历史地图元素数据对应的历史地图元素投影数据，此时，历史地图元素数据已投影至图像坐标系中。

然后对投影后得到的历史地图元素投影数据与历史地图元素感知数据进行匹配，由于历史地图元素投影数据的类型可能有多种，因此，需要针对每类历史地图元素投影数据，计算该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差，由于重投影残差越小，说明历史地图元素投影数据与历史地图元素感知数据越相似，因此，针对该类历史地图元素投影数据中的每个历史地图元素投影数据，将最小的重投影残差对应的历史地图元素感知数据作为与该历史地图元素投影数据对应的数据，相对应的历史地图元素感知数据和历史地图元素投影数据组成一组匹配对。

由此，基于外参矩阵和投影矩阵将历史地图元素数据投影到图像坐标系下得到历史地图元素数据对应的历史地图元素投影数据，然后通过计算重投影残差的方式，得到与历史地图元素投影数据相匹配的历史地图元素感知数据。

当历史地图元素投影数据的类型为交通牌时，上述计算该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差，可以包括：

计算该类历史地图元素投影数据的左上角点像素值与该类历史地图元素感知数据的左上角点像素值之间的第一差值；

计算该类历史地图元素投影数据的右上角点像素值与该类历史地图元素感知数据的右上角点像素值之间的第二差值；

计算该类历史地图元素投影数据的左下角点像素值与该类历史地图元素感知数据的左下角点像素值之间的第三差值；

计算该类历史地图元素投影数据的右下角点像素值与该类历史地图元素感知数据的右下角点像素值之间的第四差值；

计算第一差值的平方、第二差值的平方、第三差值的平方与第四差值的平方之间的和作为该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差。

由于交通牌包括四个角点，因此，可以基于该类历史地图元素投影数据与该类历史地图元素感知数据的各个四个角点的像素值来计算重投影残差。

当历史地图元素投影数据的类型为虚线车道线的端点时，上述计算该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差，可以包括：

计算该类历史地图元素投影数据的两个端点中的一个端点的像素值与该类历史地图元素感知数据的对应端点的像素值之间的第五差值；

计算该类历史地图元素投影数据的两个端点中的另一个端点的像素值与该类历史地图元素感知数据的对应端点的像素值之间的第六差值；

计算第五差值的平方与第六差值的平方之间的和作为该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差。

由于虚线车道线的端点包括两个端点，因此，可以基于该类历史地图元素投影数据与该类历史地图元素感知数据的各个对应的端点的像素值来计算重投影残差。

当历史地图元素投影数据的类型为路灯杆时，上述计算该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差，可以包括：

计算该类历史地图元素投影数据中的任意两个像素点到该类历史地图元素感知数据的第一距离和第二距离；

计算第一距离和第二距离的平均值作为该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差。

由此，可以基于该类历史地图元素投影数据中的任意两个像素点到该类历史地图元素感知数据的距离来计算重投影残差。

当历史地图元素投影数据的类型为车道线时，上述计算该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差，可以包括：

计算该类历史地图元素投影数据中的任意两个像素点到该类历史地图元素感知数据的第三距离和第四距离；

计算第三距离和第四距离的平均值作为该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差。

由此，可以基于该类历史地图元素投影数据中的任意两个像素点到该类历史地图元素感知数据的距离来计算重投影残差。

s150：根据历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解矩阵方程组得到预估的外参矩阵。

在得到了匹配对后，即可基于匹配对预估外参矩阵，即根据历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解矩阵方程组得到预估的外参矩阵。

其中，根据历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解矩阵方程组得到预估的外参矩阵，可以包括：

针对每个历史地图元素投影数据，计算该历史地图元素投影数据与对应的历史地图元素感知数据之间的重投影残差，建立重投影残差与预估的外参矩阵之间的雅克比矩阵，根据重投影残差、雅克比矩阵以及预估的外参矩阵建立该历史地图元素投影数据的矩阵方程；

联立每个历史地图元素投影数据的矩阵方程得到预估的外参矩阵的矩阵方程组，求解矩阵方程组得到预估的外参矩阵。

为了预估外参矩阵，本发明实施例中建立了针对于预估的外参矩阵的矩阵方程组，以便求出预估的外参矩阵。

为了建立针对于预估的外参矩阵的矩阵方程组，需要针对每个历史地图元素投影数据，计算该历史地图元素投影数据与对应的历史地图元素感知数据之间的重投影残差，其中，计算重投影残差的方式可以参考步骤s150中的方式，在此不再赘述。

然后建立计算出的重投影残差与预估的外参矩阵之间的雅克比矩阵，其中，雅克比矩阵为一阶偏导数以一定方式排列成的矩阵。建立了雅克比矩阵后，根据重投影残差、雅克比矩阵以及预估的外参矩阵建立该历史地图元素投影数据的矩阵方程。

在得到了每个历史地图元素投影数据的矩阵方程后，联立每个历史地图元素投影数据的矩阵方程得到预估的外参矩阵的矩阵方程组，求解矩阵方程组就可以得到预估的外参矩阵。

由此，通过计算每个历史地图元素投影数据与对应的历史地图元素感知数据之间的重投影残差，然后基于重投影残差、表征重投影残差与预估的外参矩阵之间关系的雅克比矩阵以及预估的外参矩阵建立每个历史地图元素投影数据的矩阵方程，再基于每个历史地图元素投影数据的矩阵方程建立针对于预估的外参矩阵的矩阵方程组，以便求出预估的外参矩阵。

s160：根据预估的外参矩阵以及投影矩阵，确定图像坐标系下与当前地图元素数据对应的当前地图元素投影数据以及与当前地图元素投影数据对应的当前地图元素感知数据。

在求出预估的外参矩阵后，即可基于预估的外参矩阵对目标车辆进行定位，求出目标车辆在当前时刻的位姿。

因此，需要根据预估的外参矩阵以及投影矩阵，确定图像坐标系下与当前地图元素数据对应的当前地图元素投影数据以及与当前地图元素投影数据对应的当前地图元素感知数据。

其中，确定图像坐标系下与当前地图元素数据对应的当前地图元素投影数据的方式与确定图像坐标系下与历史地图元素数据对应的历史地图元素投影数据的方式相同，确定与当前地图元素投影数据对应的当前地图元素感知数据的方式与确定与历史地图元素投影数据对应的历史地图元素感知数据的方式相同，具体方式可以参见步骤s140的描述，在此不再赘述。

s170：根据卡尔曼滤波算法，基于当前地图元素投影数据以及对应的当前地图元素感知数据计算出目标车辆的位姿调整量，根据位姿调整量对当前时刻的参考位姿进行调整，得到目标车辆的当前时刻的位姿。

由于基于所获取的当前传感数据所确定的目标车辆的当前时刻的参考位姿可能不准确，因此，需要对参考位姿进行调整。

因此，在得到当前地图元素投影数据以及对应的当前地图元素感知数据后，可以根据卡尔曼滤波算法，基于当前地图元素投影数据以及对应的当前地图元素感知数据计算出目标车辆的位姿调整量，其中，位姿调整量包括位置调整量和姿态调整量。

在计算出位姿调整量后，根据位姿调整量对当前时刻的参考位姿进行调整，得到目标车辆的当前时刻的位姿。

由上述内容可知，本实施例可以基于从摄像机采集的上一时刻的历史传感数据中识别出的历史地图元素感知数据以及车载电子导航地图中上一时刻的地图元素数据来预估外参矩阵，然后通过预估的外参矩阵对目标车辆进行当前时刻的车辆定位，由于预估的外参矩阵是基于上一时刻的数据计算得到的，因此，在摄像机发生安装松动和/或惯性测量单元发生安装松动时，相对于预先标定的外参矩阵，预估的外参矩阵的准确性较高，使得基于预估的外参矩阵对目标车辆进行当前时刻的车辆定位所得到的目标车辆的位姿精度较高，提高了定位得到的目标车辆的位姿精度，提高了目标车辆行驶的安全性。

同时，由于预估的外参矩阵的准确性较高，因此，可以降低对预先标定的外参矩阵的标定精度的要求，对于外参矩阵的标定精度较低的惯性测量单元以及摄像机，仍然可以通过本发明实施例提供的方法在对车辆进行定位时得到较高的位姿精度。

图2为本发明实施例提供的基于地图元素数据的多传感器融合车辆定位装置的一种结构示意图。参见图2，本发明实施例提供的一种基于地图元素数据的多传感器融合车辆定位装置，可以包括：

获取模块210，用于获取安装在目标车辆上的多个传感器在行驶过程中采集的当前时刻的当前传感数据以及上一时刻的历史传感数据，其中，所述多个传感器至少包括摄像机和惯性测量单元；

识别模块220，用于从所述摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从所述摄像机采集的当前传感数据中识别出当前地图元素感知数据；

确定模块230，用于基于所获取的历史传感数据，确定所述目标车辆的车载电子导航地图中上一时刻的历史地图元素数据，基于所获取的当前传感数据，确定所述车载电子导航地图中当前时刻的当前地图元素数据以及所述目标车辆的当前时刻的参考位姿；

第一投影模块240，用于基于预先标定的外参矩阵以及所述摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定所述图像坐标系下与所述历史地图元素数据对应的历史地图元素投影数据以及与所述历史地图元素投影数据对应的历史地图元素感知数据，其中，所述预先标定的外参矩阵包括表征所述惯性测量单元的坐标系与所述相机坐标系之间旋转关系的旋转矩阵以及平移关系的平移矩阵；

建立模块250，用于根据所述历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵；

第二投影模块260，用于根据所述预估的外参矩阵以及所述投影矩阵，确定所述图像坐标系下与所述当前地图元素数据对应的当前地图元素投影数据以及与所述当前地图元素投影数据对应的当前地图元素感知数据；

位姿计算模块270，用于根据卡尔曼滤波算法，基于所述当前地图元素投影数据以及对应的当前地图元素感知数据计算出所述目标车辆的位姿调整量，根据所述位姿调整量对所述当前时刻的参考位姿进行调整，得到所述目标车辆的当前时刻的位姿。

由上述内容可知，本装置可以基于从摄像机采集的上一时刻的历史传感数据中识别出的历史地图元素感知数据以及车载电子导航地图中上一时刻的地图元素数据来预估外参矩阵，然后通过预估的外参矩阵对目标车辆进行当前时刻的车辆定位，由于预估的外参矩阵是基于上一时刻的数据计算得到的，因此，在摄像机发生安装松动和/或惯性测量单元发生安装松动时，相对于预先标定的外参矩阵，预估的外参矩阵的准确性较高，使得基于预估的外参矩阵对目标车辆进行当前时刻的车辆定位所得到的目标车辆的位姿精度较高，提高了定位得到的目标车辆的位姿精度，提高了目标车辆行驶的安全性。

在本发明的另一实施例中，所述摄像机采集的当前传感数据以及历史传感数据分别为当前图像和历史图像，所述识别模块220，可以具体用于：

将所述摄像机采集的历史图像以及当前图像分别输入到预先训练完成的至少一个深度学习感知模型中，得到所述历史图像中的历史地图元素感知数据以及所述当前图像中的当前地图元素感知数据；

其中，每个深度学习感知模型为基于包含一类地图元素数据的图像样本数据及对应的标注信息作为模型训练数据，对初始深度学习模型进行训练得到的深度学习模型，每个深度学习感知模型用于使得图像样本数据与对应类型的地图元素数据相关联，所述地图元素数据的类型包括车道线、交通牌、路灯杆和虚线车道线的端点中的至少一种。

在本发明的另一实施例中，所述确定模块230，可以包括：

数据融合子模块，用于基于预先确定的定位算法对所获取的历史传感数据进行数据融合计算，得到所述目标车辆的上一时刻的参考位姿；

确定子模块，用于根据所述上一时刻的参考位姿确定所述车载电子导航地图中，上一时刻位于所述目标车辆预设范围内的历史地图元素数据。

在本发明的另一实施例中，所述第一投影模块240，可以包括：

转换子模块，用于基于所述预先标定的外参矩阵，将所述历史地图元素数据转换至所述相机坐标系中，得到所述历史地图元素数据对应的转换后地图元素数据；

投影子模块，用于基于所述投影矩阵，将所述转换后地图元素数据投影至所述图像坐标系中，得到所述历史地图元素数据对应的历史地图元素投影数据；

计算子模块，用于针对每类历史地图元素投影数据，计算该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差，针对该类历史地图元素投影数据中的每个历史地图元素投影数据，将最小的重投影残差对应的历史地图元素感知数据作为与该历史地图元素投影数据对应的数据。

在本发明的另一实施例中，所述建立模块250，可以包括：

矩阵方程建立子模块，用于针对每个历史地图元素投影数据，计算该历史地图元素投影数据与对应的历史地图元素感知数据之间的重投影残差，建立所述重投影残差与预估的外参矩阵之间的雅克比矩阵，根据所述重投影残差、所述雅克比矩阵以及所述预估的外参矩阵建立该历史地图元素投影数据的矩阵方程；

求解子模块，用于联立每个历史地图元素投影数据的矩阵方程得到所述预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。