一种全景SLAM方法、装置、计算设备及存储介质与流程

本技术实施例涉及三维扫描，具体涉及一种全景slam方法、装置、计算设备及存储介质。

背景技术：

1、全景三维图像通常由组合相机所拍摄的图像拼接融合而成，具有360°环绕视野，在同步定位与建图（simultaneous localization and mapping，slam）中相比于单个透视相机所拍摄的图像具有更高的稳定性和鲁棒性。目前市面上主流的全景slam方法有使用预先标定的组合相机的相对位姿，然后直接在多个相机之间进行特征匹配以恢复位姿，也有直接将全景三维图像视为理想球面模型来进行特征匹配和位姿估计。这些全景slam方法并没有对组合相机的全景图像拼接成全景三维图像的过程中所存在的系统误差进行处理，那么如何减小拼接过程中存在的系统误差成为了需要解决的问题。

技术实现思路

1、鉴于上述问题，本技术实施例提供了一种全景slam方法、装置、计算设备及存储介质，用于解决现有技术中存在的上述问题。

2、根据本技术实施例的一个方面，提供了一种全景slam方法，该方法使用组合相机拍摄的全景图像进行全景slam，所述方法包括：

3、获取第一全景三维图像的多个第一三维路标点，所述第一全景三维图像至少基于第一全景图像和第二全景图像拼接得到；

4、提取第三全景图像的第一二维特征点集；

5、从所述第一二维特征点集中确定与所述第一三维路标点匹配的多个第一匹配特征点，并建立每个所述第一匹配特征点和其所匹配的所述第一三维路标点之间的对应关系；

6、根据每个所述第一匹配特征点和其所匹配的所述第一三维路标点之间的对应关系，确定所述第三全景图像的位姿；

7、根据每个所述第一匹配特征点、其所匹配的所述第一三维路标点和所述第三全景图像的位姿确定每个所述第一匹配特征点的深度信息；

8、根据所述第一匹配特征点和其深度信息确定该第一匹配特征点所对应的第二三维路标点，得到多个所述第二三维路标点；

9、根据多个所述第二三维路标点和所述第一全景三维图像生成第二全景三维图像；

10、对所述第二全景三维图像进行光束法平差处理，得到第三全景三维图像。在一种可选的方式中，在所述获取第一全景三维图像的多个第一三维路标点之前，所述方法还包括：

11、获取所述第一全景图像的第二二维特征点集和所述第二全景图像的第三二维特征点集；

12、对所述第二二维特征点集和所述第三二维特征点集进行匹配得到多对第二匹配特征点，每对所述第二匹配特征点包括一个位于所述第二二维特征点集的匹配特征点和一个位于所述第三二维特征点集的匹配特征点；

13、计算所述第一全景图像和所述第二全景图像的相对位姿；

14、根据每对所述第二匹配特征点和所述相对位姿确定每个所述第二匹配特征点的深度信息；

15、根据所述第二匹配特征点和其深度信息确定该第二匹配特征点所对应的所述第一三维路标点，得到多个所述第一三维路标点；

16、根据多个所述第一三维路标点生成所述第一全景三维图像。

17、在一种可选的方式中，在所述对所述第二全景三维图像进行光束法平差处理，得到第三全景三维图像之后，所述方法还包括：

18、获取多组所述组合相机的每个相机所拍摄图像的特征点集，每组所述组合相机中至少包括第一相机和第二相机，所述第一相机所拍摄图像的特征点集为第一特征点集，所述第二相机所拍摄图像的特征点集为第二特征点集，所述第一相机和所述第二相机空间相邻；

19、针对同组所述组合相机，将所述第一特征点集与所述第二特征点集匹配得到多对第三匹配特征点，每对所述第三匹配特征点包括一个位于所述第一特征点集的匹配特征点和一个位于所述第二特征点集的匹配特征点；

20、对多对所述第三匹配特征点进行三角化计算得到所述第三匹配特征点的深度信息；

21、根据所述第三匹配特征点和其深度信息确定该第三匹配特征点所对应的第三三维路标点，得到多个所述第三三维路标点；

22、根据所述第三全景三维图像和多个所述第三三维路标点对所述组合相机的组合图像进行光束法平差处理。

23、在一种可选的方式中，在所述根据所述第三全景三维图像和多个所述第三三维路标点对所述组合相机的组合图像进行光束法平差处理之后，所述方法还包括：

24、根据光束法平差处理后的所述组合图像和所述第三全景三维图像生成第四全景三维图像。

25、在一种可选的方式中，所述根据所述第三全景三维图像和多个所述第三三维路标点对所述组合相机的组合图像进行光束法平差处理，包括：

26、根据公式对所述组合相机的全景图像的位姿进行优化，表示所述组合相机所拍摄的所有所述全景图像的数量，表示所述第三三维路标点的数量，表示所述组合相机的数量，表示所述全景图像对应的所述组合相机观测到的特征点，表示将所述第三三维路标点投影到组合相机，表示所述第三三维路标点被所述全景图像对应的组合相机可见或不可见，和表示所述全景图像于所述第三全景三维图像的位姿。

27、在一种可选的方式中，所述对所述第二全景三维图像进行光束法平差处理，得到第三全景三维图像，包括：

28、根据公式对所述第二全景三维图像进行位姿和三维路标点优化得到所述第三全景三维图像，表示已加入所述第三全景三维图像的全景图像的数量，表示所有已获取的三维路标点的数量，表示所述第三全景三维图像观测到的第个匹配特征点，为所对应的三维路标点，表示将三维路标点投影到所述第三全景三维图像，表示被所述第三全景三维图像可见或不可见，和表示所述第三全景三维图像的位姿。

29、在一种可选的方式中，在所述对所述第二全景三维图像进行光束法平差处理，得到第三全景三维图像之后，所述方法还包括：

30、将所述第三全景三维图像作为所述第一全景三维图像，从所述组合相机拍摄的全景图像中除所述第一全景图像、第二全景图像和第三全景图像以外的全景图像中选择一个全景图像作为新的所述第三全景图像，并转至所述获取第一全景三维图像的多个第一三维路标点的步骤，直至所述组合相机拍摄的全景图像全部被使用。

31、根据本技术实施例的另一方面，提供了一种全景slam装置，包括：

32、第一获取模块：用于获取第一全景三维图像的多个第一三维路标点，所述第一全景三维图像至少基于第一全景图像和第二全景图像拼接得到；

33、提取模块：用于提取第三全景图像的第一二维特征点集；

34、第一确定模块：用于从所述第一二维特征点集中确定与所述第一三维路标点匹配的多个第一匹配特征点，并建立每个所述第一匹配特征点和其所匹配的所述第一三维路标点之间的对应关系；

35、第二确定模块：用于根据每个所述第一匹配特征点和其所匹配的所述第一三维路标点之间的对应关系，确定所述第三全景图像的位姿；

36、第三确定模块：根据每个所述第一匹配特征点、其所匹配的所述第一三维路标点和所述第三全景图像的位姿确定每个所述第一匹配特征点的深度信息；

37、第四确定模块：用于根据所述第一匹配特征点和其深度信息确定该第一匹配特征点所对应的第二三维路标点，得到多个所述第二三维路标点；

38、第一处理模块：用于根据多个所述第二三维路标点和所述第一全景三维图像生成第二全景三维图像；

39、第二处理模块：用于对所述第二全景三维图像进行光束法平差处理，得到第三全景三维图像。

40、根据本技术实施例的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

41、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述任一实施例所述的全景slam方法的操作。根据本技术实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在运行时执行上述任一实施例所述的全景slam方法的操作。

42、本技术实施例通过向第一全景三维图像添加新的全景图像以生成视野更广的第二全景三维图像，对第二全景三维图像进行光束法平差处理以得到第三全景三维图像，从而提高了最终输出的全景三维图像（也即第三全景三维图像）的建图精度和鲁棒性，有效地减少了全景三维图像拼接过程中的系统误差。

43、上述说明仅是本技术实施例技术方案的概述，为了能够更清楚了解本技术实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本技术实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。