空间地图处理方法、装置、电子设备、介质及程序产品与流程

本公开涉及计算机视觉，尤其涉及一种空间地图处理方法、装置、电子设备、存储介质及程序产品。

背景技术：

1、现有技术对机器人的定位和导航，通常基于采集的图像，通过sfm(structurefrom motion，运动恢复结构)等算法进行三维重建。然而由于sfm等算法均为纯视觉的建图方法，会造成构建的三维视觉地图与实际环境不匹配的问题。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种空间地图处理方法、装置、电子设备、存储介质及程序产品。

2、本公开实施例的第一方面，提供一种空间地图处理方法，该方法包括：基于多目相机采集的多个图像集合中的图像，构建三维视觉地图，一个图像集合中的多帧图像是通过该多目相机中的一个相机采集的，该三维视觉地图包括每个图像集合中的每帧图像，以及该每帧图像的位姿和该每帧图像上的三维点；基于该三维视觉地图和目标参数，确定修正参数；根据该修正参数，对该三维视觉地图中的各个图像的位姿和各个三维点进行修正，得到修正后的该三维视觉地图。

3、可选地，该目标参数包括该多目相机的外参，该修正参数为目标修正比例；该基于该三维视觉地图和目标参数，确定修正参数，包括：基于该多个图像集合中的每两个图像集合中的同步拍摄的各帧图像在该三维视觉地图中的距离，与该多目相机的外参，确定该目标修正比例；该根据该修正参数，对该三维视觉地图中的各个图像的位姿和各个三维点进行修正，得到修正后的该三维视觉地图，包括：根据该目标修正比例，对该三维视觉地图中的各个图像的位姿和各个三维点进行尺度对齐修正，得到该修正后的三维视觉地图。

4、可选地，该基于该多个图像集合中的每两个图像集合中的同步拍摄的各帧图像在该三维视觉地图中的距离，与该多目相机的外参，确定该目标修正比例，包括：基于该多个图像集合中的每两个图像集合中的同步拍摄的各帧图像在该三维视觉地图中的距离，与该每两个图像集合对应的相机的外参，确定多个修正比例；将该多个修正比例的平均值或者中间值确定为该目标修正比例。

5、可选地，该根据该目标修正比例，对该三维视觉地图中的各个图像的位姿和各个三维点进行尺度对齐修正，得到该修正后的三维视觉地图，包括：基于该目标修正比例，对该三维视觉地图中的各个图像的位姿和各个三维点进行初步修正，得到初步修正后的该三维视觉地图；获取该每个图像集合中的各个图像在该初步修正后的三维视觉地图中的位姿信息，得到多个位姿信息集合，每个位姿信息集合对应一个图像集合；基于多个位姿信息集合和该多目相机的外参，构建尺度优化函数，该尺度优化函数用于表征该多目相机中每相邻的两个相机的相对位姿关系的测量值与真实值之间的差别之和，该测量值为根据该多个位姿信息集合确定的，该真实值为根据该多目相机的外参确定的；通过非线性优化算法对该尺度优化函数进行优化，以在该尺度优化函数的函数值小于或等于尺度误差阈值时，解算得到该初步修正后的三维视觉地图中每个图像的修正位姿信息；基于该每个图像的修正位姿信息，对该三维视觉地图中的各个图像的位姿进行修正，得到该修正后的三维视觉地图。

6、可选地，该基于多个位姿信息集合和该多目相机的外参，构建尺度优化函数，包括：根据该多个位姿信息集合和该多目相机的外参，构建第一函数，第一函数用于表征该多目相机中每相邻的两个相机的相对位姿关系的测量值与真实值之间的差别之和；根据该多个位姿信息集合和该多目相机的内参，构建第二函数，第二函数用于表征构建该三维视觉地图所使用的建图工具的残差项；根据第一函数和第二函数，确定该尺度优化函数。

7、可选地，该目标参数包括多个imu加速度，每个imu加速度为在该多目相机采集该多个图像集合的过程中测得的，该修正参数包括优化后的旋转矩阵；该基于该三维视觉地图和目标参数，确定修正参数，包括：基于至少一个位置信息集合，计算每帧图像对应的加速度向量，每个位置信息集合包括一个图像集合中的各个图像在该三维视觉地图中的位置信息；对该多个imu加速度进行线性插值处理，得到该每帧图像对应的imu加速度向量；基于每帧图像对应的加速度向量和该每帧图像对应的imu加速度向量，计算得到重力加速度向量；基于该重力加速度向量，构建重力方向优化函数，该重力方向优化函数用于表征经旋转矩阵旋转该重力加速度向量后，与指向重力方向模值为重力加速度的实际重力加速度向量的差别；通过非线性优化算法对该重力方向优化函数进行优化，以在该重力方向优化函数的函数值小于或等于方向误差阈值时，解算得到优化后的该旋转矩阵；根据该修正参数，对该三维视觉地图中的各个图像的位姿和各个三维点进行修正，得到修正后的该三维视觉地图，包括：根据该优化后的旋转矩阵，对该三维视觉地图中的各个图像的位姿和各个三维点进行重力方向对齐修正，得到该修正后的三维视觉地图。

8、可选地，该重力方向优化函数具体用于表征经该旋转矩阵旋转归一化向量后，与目标向量的差别，该归一化向量为对该重力加速度向量进行归一化处理得到的，该目标向量为指向重力方向的单位向量。

9、本公开实施例的第二方面，提供一种空间地图处理装置，该装置包括：构建模块、确定模块和修正模块；该构建模块，用于基于多目相机采集的多个图像集合中的图像，构建三维视觉地图，一个图像集合中的多帧图像是通过该多目相机中的一个相机采集的，该三维视觉地图包括每个图像集合中的每帧图像，以及该每帧图像的位姿和该每帧图像上的三维点；该确定模块，用于基于该构建模块得到的该三维视觉地图和目标参数，确定修正参数；该修正模块，用于根据该确定模块确定的该修正参数，对该三维视觉地图中的各个图像的位姿和各个三维点进行修正，得到修正后的该三维视觉地图。

10、可选地，该目标参数包括该多目相机的外参，该修正参数为目标修正比例；该确定模块，具体用于基于该多个图像集合中的每两个图像集合中的同步拍摄的各帧图像在该三维视觉地图中的距离，与该多目相机的外参，确定该目标修正比例；该修正模块，具体用于根据该目标修正比例，对该三维视觉地图中的各个图像的位姿和各个三维点进行尺度对齐修正，得到该修正后的三维视觉地图。

11、可选地，该确定模块，具体用于基于该多个图像集合中的每两个图像集合中的同步拍摄的各帧图像在该三维视觉地图中的距离，与该每两个图像集合对应的相机的外参，确定多个修正比例；将该多个修正比例的平均值或者中间值确定为该目标修正比例。

12、可选地，该修正模块，具体用于基于该目标修正比例，对该三维视觉地图中的各个图像的位姿和各个三维点进行初步修正，得到初步修正后的该三维视觉地图；获取该每个图像集合中的各个图像在该初步修正后的三维视觉地图中的位姿信息，得到多个位姿信息集合，每个位姿信息集合对应一个图像集合；基于多个位姿信息集合和该多目相机的外参，构建尺度优化函数，该尺度优化函数用于表征该多目相机中每相邻的两个相机的相对位姿关系的测量值与真实值之间的差别之和，该测量值为根据该多个位姿信息集合确定的，该真实值为根据该多目相机的外参确定的；通过非线性优化算法对该尺度优化函数进行优化，以在该尺度优化函数的函数值小于或等于尺度误差阈值时，解算得到该初步修正后的三维视觉地图中每个图像的修正位姿信息；基于该每个图像的修正位姿信息，对该三维视觉地图中的各个图像的位姿进行修正，得到该修正后的三维视觉地图。

13、可选地，该修正模块，具体用于根据该多个位姿信息集合和该多目相机的外参，构建第一函数，第一函数用于表征该多目相机中每相邻的两个相机的相对位姿关系的测量值与真实值之间的差别之和；根据该多个位姿信息集合和该多目相机的内参，构建第二函数，第二函数用于表征构建该三维视觉地图所使用的建图工具的残差项；根据第一函数和第二函数，确定该尺度优化函数。

14、可选地，该目标参数包括多个imu加速度，每个imu加速度为在该多目相机采集该多个图像集合的过程中测得的，该修正参数包括优化后的旋转矩阵；该确定模块，具体用于基于至少一个位置信息集合，计算每帧图像对应的加速度向量，每个位置信息集合包括一个图像集合中的各个图像在该三维视觉地图中的位置信息；对该多个imu加速度进行线性插值处理，得到该每帧图像对应的imu加速度向量；基于每帧图像对应的加速度向量和该每帧图像对应的imu加速度向量，计算得到重力加速度向量；基于该重力加速度向量，构建重力方向优化函数，该重力方向优化函数用于表征经旋转矩阵旋转该重力加速度向量后，与指向重力方向模值为重力加速度的实际重力加速度向量的差别；通过非线性优化算法对该重力方向优化函数进行优化，以在该重力方向优化函数的函数值小于或等于方向误差阈值时，解算得到优化后的该旋转矩阵；该修正模块，具体用于根据该优化后的旋转矩阵，对该三维视觉地图中的各个图像的位姿和各个三维点进行重力方向对齐修正，得到该修正后的三维视觉地图。

15、可选地，该重力方向优化函数具体用于表征经该旋转矩阵旋转归一化向量后，与目标向量的差别，该归一化向量为对该重力加速度向量进行归一化处理得到的，该目标向量为指向重力方向的单位向量。

16、本公开实施例的第三方面，提供一种电子设备，该电子设备包括处理器、存储器及存储在该存储器上并可在该处理器上运行的计算机程序，该计算机程序被该处理器执行时实现如第一方面所述的空间地图处理方法。

17、本公开实施例的第四方面，提供一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第一方面所述的空间地图处理方法。

18、本公开实施例的第五方面，提供了一种计算机程序产品，其中，该计算机程序产品包括计算机程序，当该计算机程序产品在处理器上运行时，使得处理器执行该计算机程序，实现如第一方面所述的空间地图处理方法。

19、本公开实施例的第六方面，提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序指令，实现如第一方面所述的空间地图处理方法。

20、本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例中，基于多目相机采集的多个图像集合(一个图像集合中的多帧图像是通过该多目相机中的一个相机采集的)中的图像，构建三维视觉地图(该三维视觉地图包括每个图像集合中的每帧图像，以及该每帧图像的位姿和该每帧图像上的三维点)；基于该三维视觉地图和目标参数，确定修正参数；根据该修正参数，对该三维视觉地图中的各个图像的位姿和各个三维点进行修正，得到修正后的该三维视觉地图。如此通过基于该三维视觉地图和目标参数，确定修正参数；然后根据该修正参数，对该三维视觉地图中的各个图像的位姿和各个三维点进行修正，得到与实际环境匹配的修正后的该三维视觉地图。