位姿信息获取方法、装置、设备、介质及产品与流程

1.本公开实施例涉及高精地图技术领域，具体涉及一种位姿信息获取方法、装置、设备、介质及产品。


背景技术：

2.随着科技的发展，高级辅助驾驶和自动驾驶因可以帮助驾驶员进行安全驾驶，而成为技术研究的热点。目前，高级辅助驾驶和自动驾驶的一种技术实现路径中需要依赖“高精地图”。高精地图与普通地图相比，会更精细化更精确地表达现实世界，高精地图的大范围、高频次、高精度的更新是高精地图领域最关键的问题，决定了驾驶时地图使用的功能安全性。
3.在高精地图制图领域，目前一般是采用搭载了高精度的组合惯导和激光雷达等传感器的采集车采集地图数据来进行高精地图的制作；但是由于这些传感器成本过高，无法大规模部署，不能满足高频次的更新需求。故，现有提供一种低成本的数据采集方案，可以在众包车辆上配置集成有廉价的视觉惯导设备、视觉传感器(如相机)和定位模块等传感器模块的采集设备进行数据采集，然后依据采集的数据来完成对高精地图的更新，众包车辆分布广泛，日常出行即可采集数据，采集数据分布广泛且快速，可以满足高精地图的大范围、高频次的更新，但是由于这些廉价的传感器精度有限，通过这类传感器采集的数据精度不足，不能满足高精地图的高精度要求。


技术实现要素：

4.本公开实施例提供一种位姿信息获取方法、装置、设备、介质及产品。
5.第一方面，本公开实施例中提供了一种位姿信息获取方法。
6.具体的，所述位姿信息获取方法，包括：
7.获取相机采集的实景图像以及所述实景图像上特征点的三维坐标；
8.以所述实景图像对应的相机速度为变量，基于相机的卷帘曝光时延以及所述实景图像对应的角速度计算运动补偿量；
9.使用所述运动补偿量对所述特征点从所述三维坐标变换至投影像素点坐标的变换过程进行补偿，得到所述特征点投影到实景图像上的投影像素点坐标；
10.计算所述实景图像上的投影像素点坐标与所述实景图像上对应的真实像素点坐标之间的差值，得到所述特征点的重投影误差；
11.根据所述特征点的重投影误差建立重投影约束，对参与优化的n帧实景图像的初始位姿数据进行优化，得到所述实景图像的优化位姿信息，所述n为大于1的整数。
12.在一种可能的实现方式中，所述以相机速度为变量，基于所述相机的卷帘曝光时延以及角速度计算运动补偿量，包括：
13.计算所述相机速度和所述卷帘曝光时延的乘积，得到平移补偿量；
14.以e为底数，以所述角速度和所述卷帘曝光时延的乘积为指数，计算得到旋转补偿
量；
15.基于所述平移补偿量和所述旋转补偿量，构建运动补偿量。
16.在一种可能的实现方式中，所述使用所述运动补偿量对所述特征点从所述三维坐标变换至投影像素点坐标的变换过程进行补偿，得到所述特征点投影到实景图像上的投影像素点坐标，包括：
17.基于所述运动补偿量对坐标变换矩阵进行补偿，得到补偿变换矩阵，所述坐标变换矩阵包括从世界坐标系到相机坐标系的变换矩阵；
18.使用所述补偿变换矩阵以及坐标变换函数，对所述特征点的三维坐标进行坐标变化，得到投影像素点坐标。
19.在一种可能的实现方式中，所述根据所述特征点的重投影误差建立重投影约束，对参与优化的n帧实景图像的位姿数据进行优化，得到所述实景图像的位姿信息包括：
20.计算n帧实景图像中相邻帧实景图像之间的预积分误差之和、惯导偏离率的随机游走误差之和；
21.累加所述n帧实景图像中各特征点的重投影误差之和、所述预积分误差之和以及所述随机游走误差之和，得到误差总和；
22.计算所述误差总和最小时，各实景图像对应的相机位姿，相机速度和惯导测量值偏差。
23.在一种可能的实现方式中，所述获取实景图像上特征点的三维坐标，包括：
24.获得包含所述实景图像所反映地理位置的三维矢量地图；
25.建立所述三维矢量地图中的矢量地图元素与所述实景图像中的图像元素之间的匹配关系；
26.基于所述匹配关系，得到所述实景图像上特征点在所述三维矢量地图中的三维坐标。
27.第二方面，本公开实施例中提供了一种位姿信息获取装置。
28.具体的，所述位姿信息获取装置，包括：
29.获取模块，被配置为获取相机采集的实景图像以及所述实景图像上特征点的三维坐标；
30.补偿模块，被配置为以所述实景图像对应的相机速度为变量，基于相机的卷帘曝光时延以及所述实景图像对应的角速度计算运动补偿量；
31.投影模块，被配置为使用所述运动补偿量对所述特征点从所述三维坐标变换至投影像素点坐标的变换过程进行补偿，得到所述特征点投影到实景图像上的投影像素点坐标；
32.计算模块，被配置为计算所述实景图像上的投影像素点坐标与所述实景图像上对应的真实像素点坐标之间的差值，得到所述特征点的重投影误差；
33.优化模块，被配置为根据所述特征点的重投影误差建立重投影约束，对参与优化的n帧实景图像的初始位姿数据进行优化，得到所述实景图像的优化位姿信息，所述n为大于1的整数。
34.在一种可能的实现方式中，所述补偿模块可以被配置为：
35.计算所述相机速度和所述卷帘曝光时延的乘积，得到平移补偿量；
36.以e为底数，以所述角速度和所述卷帘曝光时延的乘积为指数，计算得到旋转补偿量；
37.基于所述平移补偿量和所述旋转补偿量，构建运动补偿量。
38.在一种可能的实现方式中，所述投影模块可以被配置为：
39.基于所述运动补偿量对坐标变换矩阵进行补偿，得到补偿变换矩阵，所述坐标变换矩阵包括从世界坐标系到相机坐标系的变换矩阵；
40.使用所述补偿变换矩阵以及坐标变换函数，对所述特征点的三维坐标进行坐标变化，得到投影像素点坐标。
41.在一种可能的实现方式中，所述优化模块可以被配置为：
42.计算n帧实景图像中相邻帧实景图像之间的预积分误差之和、惯导偏离率的随机游走误差之和；
43.累加所述n帧实景图像中各特征点的重投影误差之和、所述预积分误差之和以及所述随机游走误差之和，得到误差总和；
44.计算所述误差总和最小时，各实景图像对应的相机位姿，相机速度和惯导测量值偏差。
45.在一种可能的实现方式中，所述获取模块被配置为：
46.获得包含所述实景图像所反映地理位置的三维矢量地图；
47.建立所述三维矢量地图中的矢量地图元素与所述实景图像中的图像元素之间的匹配关系；
48.基于所述匹配关系，得到所述实景图像上特征点在所述三维矢量地图中的三维坐标。
49.第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。
50.第四方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现上述任一方面所述的方法步骤。
51.第五方面，本公开实施例提供了一种计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时实现上述任一方面所述的方法步骤。
52.第六方面，本公开实施例提供了一种导航方法，其中，基于高精地图获取至少基于起点、终点及路况计算的导航路线，基于所述导航路线进行导航引导，所述高精地图是基于上述的任意一项方法中获取的位姿数据进行地图重建实现的。
53.本公开实施例提供的技术方案可包括以下有益效果：
54.上述技术方案可以在使用低成本传感器采集的数据进行位姿计算时，构建重投影约束对初始位姿数据进行优化，该构建重投影约束时，不仅考虑相机的卷帘曝光时延的同时，还考虑相机位姿和速度对重投影的影响，可以提高重投影误差的计算精度，进而提高对位姿数据的优化精度，为高精度地图要素更新提供良好的基础，以便更新高精度的高精地图。
55.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开实施例。
附图说明
56.结合附图，通过以下非限制性实施方式的详细描述，本公开实施例的其它特征、目的和优点将变得更加明显。在附图中：
57.图1示出根据本公开一实施方式的位姿信息获取方法的流程图。
58.图2示出根据本公开一实施方式的位姿优化的因子图。
59.图3示出根据本公开一实施方式的位姿信息获取装置的结构框图。
60.图4示出根据本公开一实施方式的电子设备的结构框图。
61.图5是适于用来实现根据本公开实施例所述方法的计算机系统的结构示意图。
具体实施方式
62.下文中，将参考附图详细描述本公开实施例的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
63.在本公开实施例中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
64.另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开实施例。
65.上文提及，随着科技的发展，高级辅助驾驶和自动驾驶因可以帮助驾驶员进行安全驾驶，而成为技术研究的热点。目前，高级辅助驾驶和自动驾驶的一种技术实现路径中需要依赖“高精地图”。高精地图与普通地图相比，会更精细化更精确地表达现实世界，高精地图的大范围、高频次、高精度的更新是高精地图领域最关键的问题，决定了驾驶时地图使用的功能安全性。在高精地图制图领域，目前一般是采用搭载了高精度的组合惯导和激光雷达等传感器的采集车采集地图数据来进行高精地图的制作；但是由于这些传感器成本过高，无法大规模部署，不能满足高频次的更新需求。故，现有提供一种低成本的数据采集方案，可以在众包车辆上配置集成有廉价的视觉惯导设备、视觉传感器(如相机)和定位模块等传感器模块的采集设备进行数据采集，然后依据采集的数据来完成对高精地图的更新，众包车辆分布广泛，日常出行即可采集数据，采集数据分布广泛且快速，可以满足高精地图的大范围、高频次的更新，但是由于这些廉价的传感器精度有限，通过这类传感器采集的数据精度不足，不能满足高精地图的高精度要求。
66.为了解决上述问题，本公开提供了一种位姿信息获取方案，在使用低成本传感器采集的数据进行位姿计算时，会构建重投影约束对初始位姿数据进行优化，该构建重投影约束时，在考虑相机的卷帘曝光时延的同时，还考虑相机位姿和速度对重投影的影响，可以提高重投影误差的计算精度，进而提高对位姿数据的优化精度，为高精度地图要素更新提供良好的基础，以便更新高精度的高精地图。
67.本公开提供的技术方案可以在获得道路交通区域的实景图像时，高精度地计算得到每一个实景图像(对连续的视频帧而言，就是每个视频帧)的位姿信息。所谓实景图像的位姿信息，实际上就是采集该实景图像的相机在获取时刻的位置和角度信息。在获取到高精度的位姿信息后，可以应用该实景图像的位姿数据进行高精地图的地图更新，当然，在自
动驾驶或辅助驾驶的定位场景，或者机器人的室内导航定位场景中都可以使用上述高精度的位姿信息来进行定位计算。
68.图1示出根据本公开一实施方式的位姿信息获取方法的流程图，如图1所示，所述地图数据更新方法包括以下步骤s101-s105：
69.在步骤s101中，获取相机采集的实景图像以及所述实景图像上特征点的三维坐标；
70.在步骤s102中，以所述实景图像对应的相机速度为变量，基于相机的卷帘曝光时延以及所述实景图像对应的角速度计算运动补偿量；
71.在步骤s103中，使用所述运动补偿量对所述特征点从所述三维坐标变换至投影像素点坐标的变换过程进行补偿，得到所述特征点投影到实景图像上的投影像素点坐标；
72.在步骤s104中，计算所述实景图像上的投影像素点坐标与所述实景图像上对应的真实像素点坐标之间的差值，得到所述特征点的重投影误差；
73.在步骤s105中，根据所述特征点的重投影误差建立重投影约束，对参与优化的n帧实景图像的初始位姿数据进行优化，得到所述实景图像的优化位姿信息，所述n为大于1的整数。
74.在一种可能的实施方式中，该位姿信息获取方法可适用于可执行位姿信息获取的计算机、计算设备、电子设备、服务器、服务集群等。
75.在一种可能的实施方式中，本公开的采集设备中可以集成低成本的视觉惯导传感器、视觉传感器和定位传感器。该视觉惯导传感器可以是imu(inertial measurement unit，惯性测量单元)，用于测量物体的角速率以及加速度；该视觉传感器可以是相机，用于拍摄得到道路交通区域的实景图像，本公开中相机的曝光方式为卷帘曝光，该卷帘曝光指的是依次逐行曝光；该定位模块可以是gps(global positioning system，全球定位系统)，用于定位当前的位置。基于上述各传感器采集的数据，可以通过vio(visual inertial odometry，视觉惯性里程计)算法计算得到各实景图像的初始位姿数据。
76.在一种可能的实施方式中，由于上述低成本的传感器精度有限，通过这类传感器采集的数据计算出的位姿数据精度不足，达不到高精度要求，故需要对该初始位姿数据进行优化，目前的位姿优化包括基于重投影约束进行位姿优化。真实三维空间点对应在实景图像上的像素点的实际坐标和重投影坐标(即通过相机的内参模型和相机位姿计算出的真实三维空间点投影到实景图像上的投影像素点坐标)之间的差值，因为相机位姿及三维空间点坐标精度等问题，计算得到的重投影坐标和实际坐标不会完全相符，也就是这个差值不可能恰好为零，此时也就需要将这些差值的和最小化，以此作为重投影约束，以获取优化的相机位姿参数及三维空间点的坐标，得到优化的位姿数据。
77.在一种可能的实施方式中，在进行重投影约束时，可以先获取相机采集的实景图像以及所述实景图像上特征点的三维坐标，该特征点指的是可以用来标识该实景图像上一些目标物体如路标，一般是将图像上灰度值发生剧烈变化的点或在图像边缘上曲率较大的点(如两个边缘的交点)看作为图像的特征点。该特征点包含关键点(key-points)和描述子(descriptor)两部分，关键点表达了特征点的三维位置坐标，而描述子则是对于特征点视觉特性的描述，大多为向量形式。这里需要说明的是，在进行vio计算时，就可以直接计算得到该特征点的三维坐标。
78.在一种可能的实施方式中，本公开在构建重投影约束时，不仅考虑相机的卷帘曝光时延，还考虑了相机位姿和速度对重投影的影响，会对所述特征点从所述三维坐标变换至投影像素点坐标的变换过程进行补偿，示例的，该运动补偿量的计算函数可以是m
compensate
(v，wm，t)，其中，该函数中的v为相机速度，属于变量，wm为该特征点所在实景图像对应的角速度，由视觉惯导传感器在相机拍摄到该实景图像时测量得到，该t为相机的卷帘曝光时延。
79.在一种可能的实施方式中，在使用所述运动补偿量对所述特征点从所述三维坐标变换至投影像素点坐标的变换过程进行补偿，得到所述特征点投影到实景图像上的投影像素点坐标后，就可以计算所述实景图像上的投影像素点坐标与所述实景图像上对应的真实像素点坐标之间的差值，得到所述特征点的重投影误差；如果参与优化的实景图像有n帧，则可以计算这n帧图像中所有特征点的重投影误差，构建重投影约束，将这些差值的和最小化，以获取所述实景图像的优化位姿信息；这里需要说明的是，使用重投影约束优化位姿信息的方法本领域人员清楚了解，在此不再赘述。
80.本实施方式在该构建重投影约束时，不仅考虑相机的卷帘曝光时延，还考虑相机位姿和速度对重投影的影响，这样可以提高重投影误差的计算精度，进而提高对位姿数据的优化精度，为高精度地图更新时的定位，自动驾驶或辅助驾驶时的定位，或者机器人的室内导航定位场景中的定位提供高精度的相机位姿信息，进而提高定位精度。
81.在一种可能的实施方式中，上述位姿信息获取方法中的步骤s102，即所述以相机速度为变量，基于所述相机的卷帘曝光时延以及角速度计算运动补偿量，包括：
82.计算所述相机速度和所述卷帘曝光时延的乘积，得到平移补偿量；
83.以e为底数，以所述角速度和所述卷帘曝光时延的乘积为指数，计算得到旋转补偿量；
84.基于所述平移补偿量和所述旋转补偿量，构建运动补偿量。
85.在该实施方式中，可以用以下公式来计算运动补偿量m
compensate
(v，wm，t)：
[0086][0087]
其中，rptation为旋转补偿量，rotation＝exp(wm*t)，wm为角速度，t为卷帘曝光时延，translation为平移补偿量，translation＝v*t，v为相机速度，该相机速度v为变量，该角速度wm为视觉惯导传感器在相机拍摄该特征点所在实景图像时测得的角速度，该卷帘曝光时延t为相机的预设参数。
[0088]
在一种可能的实施方式中，上述位姿信息获取方法中的步骤s103，即所述使用所述运动补偿量对所述特征点从所述三维坐标变换至投影像素点坐标的变换过程进行补偿，得到所述特征点投影到实景图像上的投影像素点坐标，包括以下步骤：
[0089]
基于所述运动补偿量对坐标变换矩阵进行补偿，得到补偿变换矩阵，所述坐标变换矩阵包括从世界坐标系到相机坐标系的变换矩阵；
[0090]
使用所述补偿变换矩阵以及坐标变换函数，对所述特征点的三维坐标进行坐标变化，得到投影像素点坐标。
[0091]
在该实施方式中，世界坐标系(world coordinate system，wcs)是用于定义3d虚拟空间中的坐标[0，0，0]和彼此正交的三个单位轴的约定，它是3d场景的本初子午线，是对
任何其他点或任何其他任意坐标系进行测量的参考，世界坐标的原点是固定的；本公开中得到的特征点的三维坐标是特征点在世界坐标系中的三维坐标。相机坐标系是以相机为坐标系的原点构建的三维坐标系。
[0092]
在该实施方式中，该从世界坐标系到相机坐标系的坐标变换矩阵是通过待求解的变量相机位姿x构建的，可以将其记为m(x)，从相机坐标系到像素坐标的坐标变换函数为proj()；这里需要说明的是，m(x)和proj()的具体公式本领域人员清楚了解，在此不做赘述。
[0093]
在该实施方式中，该补偿变换矩阵可以是运动补偿量与坐标变换矩阵的乘积，即m
compensate
(vm，wm，t)m(x)；假设p为特征点的三维坐标，则需要先使用该补偿变换矩阵将特征点的三维坐标从世界坐标系转换到相机坐标系，得到m
compensate
(vm，wm，t)m(x)p；然后在使用该坐标变换函数proj()，对所述特征点的在相机坐标系的三维坐标转换到投影像素点坐标，得到的投影像素点坐标即为proj(m
compensate
(vm，wm，t)m(x)p)。
[0094]
如此，就计算所述实景图像上的投影像素点坐标与所述实景图像上对应的真实像素点坐标p之间的差值，得到所述特征点的重投影误差error
reprojection
：
[0095]
error
reprojection
＝proj(m
compensate
(vm，wm，t)m(x)p)-p。
[0096]
在一种可能的实施方式中，上述位姿信息获取方法中的步骤s105，即所述根据所述特征点的重投影误差建立重投影约束，对参与优化的n帧实景图像的位姿数据进行优化，得到所述实景图像的位姿信息包括以下步骤：
[0097]
计算n帧实景图像中相邻帧实景图像之间的预积分误差之和、惯导偏离率bias的随机游走误差之和；
[0098]
累加所述n帧实景图像中各特征点的重投影误差之和、所述预积分误差之和以及所述随机游走误差之和，得到误差总和；
[0099]
计算所述误差总和最小时，各实景图像对应的相机位姿，相机速度和惯导测量值偏差。
[0100]
在该实施方式中，图2示出根据本公开一实施方式的位姿优化的因子图，其中，201为相机位姿变量{x1，x2，
…
，xn}，202是相机速度变量{v1，v2，
…
，vn}，203是惯导加速度计和陀螺仪的惯导测量值偏差变量(bias){b1，b2，
…
，bn}，204是重投影约束，205是惯导预积分约束，206是惯导bias随机游走约束；所以，该位姿优化可以用以下方程来描述：
[0101][0102]
{x1，x2，...，xn，v1，v2，...，vn，b1，b2，...，bn}＝argmin error
sum
；
[0103]
其中，n为参与优化的实景图像的张数，m为n帧实景图像中的特征点的全部数量，每一张实景图像对应一个相机位姿，一个相机速度，和一个bias向量；则n帧实景图像对应的相机位姿变量为{x1，x2，
…
，xn}，相机速度变量为{v1，v2，
…
，vn}，惯导测量值偏差率变量为{b1，b2，
…
，bn}。error
reprojection
是每个特征点的重投影误差，可以按照上述实施方式中提供的方案计算，error
preintegration
是相邻实景图像之间的预积分误差；error
rw
是相邻图像之间的惯导测量值偏差的随机游走误差；该惯导测量值偏差error
preintegration
和惯导测量值偏差error
rw
本领域人员均了解计算过程，在此不做限制。可以计算n帧实景图像中相邻帧实景
图像之间的预积分误差之和为n帧实景图像之间的惯导测量值偏差的随机游走误差之和为n帧实景图像中的m个特征点的重投影误差之和为累加这三种误差值和即可得到误差总和error
sum
。
[0104]
在该实施方式中，在进行位姿优化时，可以将误差总和error
sum
最小化，得到使error
sum
最小化的变量{x1，x2，...，xn，v1，v2，...，vn，b1，b2，...，bn}，可通过常用的非线性优化算法求解；如此就可以得到各实景图像对应的相机位姿，相机速度和惯导测量值偏差，完成位姿优化。
[0105]
在一种可能的实施方式中，上述位姿信息获取方法中的步骤s101即所述获取实景图像上特征点的三维坐标，可以包括以下步骤：
[0106]
获得包含所述实景图像所反映地理位置的三维矢量地图；
[0107]
建立所述三维矢量地图中的矢量地图元素与所述实景图像中的图像元素之间的匹配关系；
[0108]
基于所述匹配关系，得到所述实景图像上特征点在所述三维矢量地图中的三维坐标。
[0109]
在该实施方式中，该实景地图中各特征点的三维坐标可以来自高精地图中已知特征点的三维坐标。
[0110]
在该实施方式中，所述三维矢量地图是预先已经建立好的三维地图，比如说可以是当前正在被用户使用的高精地图。
[0111]
在该实施方式中，在相机拍摄得到实景图像时，可以根据获取时的定位模块测得的定位信息以及视觉惯导传感器测得的惯导信息，得到该实景图像的初始位姿信息；根据该初始位姿信息可以确定该实景图像的位置，如此就可以在三维矢量地图的图库中选择包含该实景图像所反映地理位置的部分三维矢量地图。
[0112]
在该实施方式中，该矢量地图元素和图像元素可以是车道线、路牌，可以将该三维矢量地图中的路牌元素“距离a地还有500m”与实景图像中的路牌元素“距离a地还有500m”建立匹配关系，确定三维矢量地图与实景图像中的路牌是同一个路牌，就建立两者之间的匹配关系。
[0113]
在该实施方式中，基于所述匹配关系，就可以得到所述实景图像上某特征点在该三维矢量地图中的匹配点，该实景图像上的特征点的三维坐标就是三维矢量地图中相应匹配点的三维坐标。
[0114]
本实施方式中得到的特征点的三维坐标更准确，可以计算出更准确的重投影误差，进而使定位用的位姿信息更准确。
[0115]
下述为本公开装置实施例，可以用于执行本公开方法实施例。
[0116]
图3示出根据本公开一实施方式的位姿信息获取装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示，所述地图数据更新装置包括：
[0117]
获取模块301，被配置为获取相机采集的实景图像以及所述实景图像上特征点的三维坐标；
[0118]
补偿模块302，被配置为以所述实景图像对应的相机速度为变量，基于相机的卷帘
曝光时延以及所述实景图像对应的角速度计算运动补偿量；
[0119]
投影模块303，被配置为使用所述运动补偿量对所述特征点从所述三维坐标变换至投影像素点坐标的变换过程进行补偿，得到所述特征点投影到实景图像上的投影像素点坐标；
[0120]
计算模块304，被配置为计算所述实景图像上的投影像素点坐标与所述实景图像上对应的真实像素点坐标之间的差值，得到所述特征点的重投影误差；
[0121]
优化模块305，被配置为根据所述特征点的重投影误差建立重投影约束，对参与优化的n帧实景图像的初始位姿数据进行优化，得到所述实景图像的优化位姿信息，所述n为大于1的整数。
[0122]
在一种可能的实施方式中，该位姿信息获取装置可适用于可执行位姿信息获取的计算机、计算设备、电子设备、服务器、服务集群等。
[0123]
在一种可能的实施方式中，本公开的采集设备中可以集成低成本的视觉惯导传感器、视觉传感器和定位传感器。该视觉惯导传感器可以是imu(inertial measurement unit，惯性测量单元)，用于测量物体的角速率以及加速度；该视觉传感器可以是相机，用于拍摄得到道路交通区域的实景图像，本公开中相机的曝光方式为卷帘曝光，该卷帘曝光指的是依次逐行曝光；该定位模块可以是gps(global positioning system，全球定位系统)，用于定位当前的位置。基于上述各传感器采集的数据，可以通过vio(visual inertial odometry，视觉惯性里程计)算法计算得到各实景图像的初始位姿数据。
[0124]
在一种可能的实施方式中，由于上述低成本的传感器精度有限，通过这类传感器采集的数据计算出的位姿数据精度不足，达不到高精度要求，故需要对该初始位姿数据进行优化，目前的位姿优化包括基于重投影约束进行位姿优化。真实三维空间点对应在实景图像上的像素点的实际坐标和重投影坐标(即通过相机的内参模型和相机位姿计算出的真实三维空间点投影到实景图像上的投影像素点坐标)之间的差值，因为相机位姿及三维空间点坐标精度等问题，计算得到的重投影坐标和实际坐标不会完全相符，也就是这个差值不可能恰好为零，此时也就需要将这些差值的和最小化，以此作为重投影约束，以获取优化的相机位姿参数及三维空间点的坐标，得到优化的位姿数据。
[0125]
在一种可能的实施方式中，在进行重投影约束时，可以先获取相机采集的实景图像以及所述实景图像上特征点的三维坐标，该特征点指的是可以用来标识该实景图像上一些目标物体如路标，一般是将图像上灰度值发生剧烈变化的点或在图像边缘上曲率较大的点(如两个边缘的交点)看作为图像的特征点。该特征点包含关键点(key-points)和描述子(descriptor)两部分，关键点表达了特征点的三维位置坐标，而描述子则是对于特征点视觉特性的描述，大多为向量形式。这里需要说明的是，在进行vio计算时，就可以直接计算得到该特征点的三维坐标。
[0126]
在一种可能的实施方式中，本公开在构建重投影约束时，不仅考虑相机的卷帘曝光时延，还考虑了相机位姿和速度对重投影的影响，会对所述特征点从所述三维坐标变换至投影像素点坐标的变换过程进行补偿，示例的，该运动补偿量的计算函数可以是m
compensate
(v，wm，t)，其中，该函数中的v为相机速度，属于变量，wm为该特征点所在实景图像对应的角速度，由视觉惯导传感器在相机拍摄到该实景图像时测量得到，该t为相机的卷帘曝光时延。
[0127]
在一种可能的实施方式中，在使用所述运动补偿量对所述特征点从所述三维坐标变换至投影像素点坐标的变换过程进行补偿，得到所述特征点投影到实景图像上的投影像素点坐标后，就可以计算所述实景图像上的投影像素点坐标与所述实景图像上对应的真实像素点坐标之间的差值，得到所述特征点的重投影误差；如果参与优化的实景图像有n帧，则可以计算这n帧图像中所有特征点的重投影误差，构建重投影约束，将这些差值的和最小化，以获取所述实景图像的优化位姿信息；这里需要说明的是，使用重投影约束优化位姿信息的方法本领域人员清楚了解，在此不再赘述。
[0128]
本实施方式在该构建重投影约束时，不仅考虑相机的卷帘曝光时延，还考虑相机位姿和速度对重投影的影响，这样可以提高重投影误差的计算精度，进而提高对位姿数据的优化精度，为高精度地图更新时的定位，自动驾驶或辅助驾驶时的定位，或者机器人的室内导航定位场景中的定位提供高精度的相机位姿信息，进而提高定位精度。
[0129]
在一种可能的实现方式中，所述补偿模块302可以被配置为：
[0130]
计算所述相机速度和所述卷帘曝光时延的乘积，得到平移补偿量；
[0131]
以e为底数，以所述角速度和所述卷帘曝光时延的乘积为指数，计算得到旋转补偿量；
[0132]
基于所述平移补偿量和所述旋转补偿量，构建运动补偿量。
[0133]
在该实施方式中，可以用以下公式来计算运动补偿量m
compensate
(v，wm，t)：
[0134][0135]
其中，rotation为旋转补偿量，rotation＝exp(wm*t)，wm为角速度，t为卷帘曝光时延，translation为平移补偿量，translation＝v*t，v为相机速度，该相机速度v为变量，该角速度wm为视觉惯导传感器在相机拍摄该特征点所在实景图像时测得的角速度，该卷帘曝光时延t为相机的预设参数。
[0136]
在一种可能的实现方式中，所述投影模块303可以被配置为：
[0137]
基于所述运动补偿量对坐标变换矩阵进行补偿，得到补偿变换矩阵，所述坐标变换矩阵包括从世界坐标系到相机坐标系的变换矩阵；
[0138]
使用所述补偿变换矩阵以及坐标变换函数，对所述特征点的三维坐标进行坐标变化，得到投影像素点坐标。
[0139]
在该实施方式中，世界坐标系(world coordinate system，wcs)是用于定义3d虚拟空间中的坐标[0，0，0]和彼此正交的三个单位轴的约定，它是3d场景的本初子午线，是对任何其他点或任何其他任意坐标系进行测量的参考，世界坐标的原点是固定的；本公开中得到的特征点的三维坐标是特征点在世界坐标系中的三维坐标。相机坐标系是以相机为坐标系的原点构建的三维坐标系。
[0140]
在该实施方式中，该从世界坐标系到相机坐标系的坐标变换矩阵是通过待求解的变量相机位姿x构建的，可以将其记为m(x)，从相机坐标系到像素坐标的坐标变换函数为proj()；这里需要说明的是，m(x)和proj()的具体公式本领域人员清楚了解，在此不做赘述。
[0141]
在该实施方式中，该补偿变换矩阵可以是运动补偿量与坐标变换矩阵的乘积，即m
compensate
(vm，wm，t)m(x)；假设p为特征点的三维坐标，则需要先使用该补偿变换矩阵将特征
点的三维坐标从世界坐标系转换到相机坐标系，得到m
compensate
(vm，wm，t)m(x)p；然后在使用该坐标变换函数proj()，对所述特征点的在相机坐标系的三维坐标转换到投影像素点坐标，得到的投影像素点坐标即为proj(m
compensate
(vm，wm，t)m(x)p)。
[0142]
如此，就计算所述实景图像上的投影像素点坐标与所述实景图像上对应的真实像素点坐标p之间的差值，得到所述特征点的重投影误差error
reprojection
：
[0143]
error
reprojection
＝proj(m
compensate
(vm，wm，t)m(x)p)-p。
[0144]
在一种可能的实现方式中，所述优化模块305可以被配置为：
[0145]
计算n帧实景图像中相邻帧实景图像之间的预积分误差之和、惯导偏离率的随机游走误差之和；
[0146]
累加所述n帧实景图像中各特征点的重投影误差之和、所述预积分误差之和以及所述随机游走误差之和，得到误差总和；
[0147]
计算所述误差总和最小时，各实景图像对应的相机位姿，相机速度和惯导测量值偏差。
[0148]
在该实施方式中，图2示出根据本公开一实施方式的位姿优化的因子图，其中，201为相机位姿变量{x1，x2，
…
，xn}，202是相机速度变量{v1，v2，
…
，vn}，203是惯导加速度计和陀螺仪的惯导测量值偏差变量(bias){b1，b2，
…
，bn}，204是重投影约束，205是惯导预积分约束，206是惯导bias随机游走约束；所以，该位姿优化可以用以下方程来描述：
[0149][0150]
{x1，x2，...，xn，v1，v2，...，vn，b1，b2，...，bn}＝argminerror
sum
[0151]
其中，n为参与优化的实景图像的张数，m为n帧实景图像中的特征点的全部数量，每一张实景图像对应一个相机位姿，一个相机速度，和一个bias向量；则n帧实景图像对应的相机位姿变量为{x1，x2，
…
，xn}，相机速度变量为{v1，v2，
…
，vn}，惯导测量值偏差率变量为{b1，b2，
…
，bn}。error
reprojection
是每个特征点的重投影误差，可以按照上述实施方式中提供的方案计算，error
preintegration
是相邻实景图像之间的预积分误差；error
rw
是相邻图像之间的惯导测量值偏差的随机游走误差；该惯导测量值偏差error
preintegration
和惯导测量值偏差error
rw
本领域人员均了解计算过程，在此不做限制。可以计算n帧实景图像中相邻帧实景图像之间的预积分误差之和为n帧实景图像之间的惯导测量值偏差的随机游走误差之和为n帧实景图像中的m个特征点的重投影误差之和为累加这三种误差值和即可得到误差总和error
sum
。
[0152]
在该实施方式中，在进行位姿优化时，可以将误差总和error
sum
最小化，得到使error
sum
最小化的变量{x1，x2，...，xn，v1，v2，...，vn，b1，b2，...，bn}，可通过常用的非线性优化算法求解；如此就可以得到各实景图像对应的相机位姿，相机速度和惯导测量值偏差，完成位姿优化。
[0153]
在一种可能的实现方式中，所述获取模块301被配置为：
[0154]
获得包含所述实景图像所反映地理位置的三维矢量地图；
[0155]
建立所述三维矢量地图中的矢量地图元素与所述实景图像中的图像元素之间的
匹配关系；
[0156]
基于所述匹配关系，得到所述实景图像上特征点在所述三维矢量地图中的三维坐标。
[0157]
在该实施方式中，所述三维矢量地图是预先已经建立好的三维地图，比如说可以是当前正在被用户使用的高精地图。
[0158]
在该实施方式中，在相机拍摄得到实景图像时，可以根据获取时的定位模块测得的定位信息以及视觉惯导传感器测得的惯导信息，得到该实景图像的初始位姿信息；根据该初始位姿信息可以确定该实景图像的位置，如此就可以在三维矢量地图的图库中选择包含该实景图像所反映地理位置的部分三维矢量地图。
[0159]
在该实施方式中，该矢量地图元素和图像元素可以是车道线、路牌，可以将该三维矢量地图中的路牌元素“距离a地还有500m”与实景图像中的路牌元素“距离a地还有500m”建立匹配关系，确定三维矢量地图与实景图像中的路牌是同一个路牌，就建立两者之间的匹配关系。
[0160]
在该实施方式中，基于所述匹配关系，就可以得到所述实景图像上某特征点在该三维矢量地图中的匹配点，该实景图像上的特征点的三维坐标就是三维矢量地图中相应匹配点的三维坐标。
[0161]
本实施方式中得到的特征点的三维坐标更准确，可以计算出更准确的重投影误差，进而使定位用的位姿信息更准确。
[0162]
本公开实施例还公开了一种导航服务，其中，基于上述的载体定位方法确定载体的定位，并基于所述载体的定位为所述载体提供相应场景的导航引导服务。其中，所述相应场景为ar导航或者高架导航或者主辅路导航中的一种或多种的组合。
[0163]
本公开实施例还公开了一种导航方法，其中，基于高精地图获取至少基于起点、终点及路况计算的导航路线，基于所述导航路线进行导航引导，所述高精地图是基于上述方法中获取的位姿数据进行地图重建实现的。
[0164]
本公开还公开了一种电子设备，图4示出根据本公开一实施方式的电子设备的结构框图，如图4所示，所述电子设备400包括存储器401和处理器402；其中，
[0165]
所述存储器401用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器402执行以实现上述方法步骤。
[0166]
图5是适于用来实现根据本公开实施例所述方法的计算机系统的结构示意图。
[0167]
如图5所示，计算机系统500包括处理单元501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行上述实施方式中的各种处理。在ram503中，还存储有系统500操作所需的各种程序和数据。处理单元501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0168]
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器55也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器55上，以便于从其上读出的
计算机程序根据需要被安装入存储部分508。其中，所述处理单元501可实现为cpu、gpu、tpu、fpga、npu等处理单元。
[0169]
特别地，根据本公开的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行上文描述的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。
[0170]
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0171]
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
[0172]
作为另一方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开实施例的方法。
[0173]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。