基于视觉惯性导航的快速室内重建方法

本发明属于三维重建领域，尤其是涉及一种基于视觉惯性导航的快速室内重建方法。

背景技术：

1、同步定位与建图技术slam是指依靠自身传感器的输入，通过计算设备获取自身位置信息的技术，目前被广泛应用于自动驾驶和vr/ar等领域。目前基于视觉的vslam的算法已经相对比较成熟了，两个主流的研究方向分别是运用深度学习或者其他机器学习的方法提高扩展其定位以及动态环境下的效果，另一个则是与多传感器融合，提高其定位的鲁棒性，在定位成熟后研究其应用价值也目前的热门方向之一。

2、应用slam技术的室内三维重建则有着广阔的发展前景，在kinect fusion提出之前室内的三维重建主要是利用sfm(struct from motion)方法，通过大量的计算来恢复多张图像的位置关系重建出室内环境，该方法主要的缺点在于无法实时进行。kinect fusion第一次利用gpu完成了实时重建，但是在cpu上轻量化的方案是比较少，鲁棒性也有待进一步验证。

技术实现思路

1、有鉴于此，本发明旨在提出一种基于视觉惯性导航的快速室内重建方法，以解决在室内环境未知的情况下的手持相机下快速实时的三维重建的成本高，负载重等问题。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、基于视觉惯性导航的快速室内重建方法，包括：

4、利用深度相机和imu同步采集数据信息，得到图像以及与图像对应的imu数据；

5、选取两帧图像，得到两帧图像之间的相对位姿变换；

6、通过对图像进行特征提取，获取当前帧图像的位姿；

7、设定判断准则，将符合判断准则的当前帧定义为关键帧；

8、将关键帧的位姿和其中的特征点生成三维路标点加入局部地图，同时将连续的关键帧之间的imu预积分也放到到局部地图中，在局部地图中对连续的关键帧和路标点进行进一步优化；

9、利用深度相机获取到的深度信息和位姿信息，针对室内环境做基于面片的稠密三维重建；

10、建立一个全局的八叉树模型，针对每一个体素建立tsdf值，在每次有新的数据到来时进行更新；

11、对最小分辨率下的所有网格进行曲面的抽取，生成最终的重建表面；

12、对生成的三角面片进行渲染和展示，进行文件保存。

13、进一步的，对图像间的imu数据做李群和李代数形式下的矩阵预积分，得到两帧图像之间的相对位姿变换。

14、进一步的，通过对图像进行orb特征提取，并进行两帧图像之间的特征匹配，恢复出当前帧图像追踪到的三维路标点，对当前帧的位姿与跟踪点之间建立视觉观测模型的同时利用两帧位姿与imu测量构建惯性观测残差，通过高斯牛顿法求解优化当前帧的位姿。

15、进一步的，判断准则包括：

16、上一帧在当前帧被观察到的特征点的区域不超过x％；

17、且

18、距离上一帧已经有y个连续帧过去。

19、进一步的，在局部地图中对连续的关键帧和路标点进行进一步的优化时，针对不属于最紧邻关键帧的共视帧做固定。

20、进一步的，在针对室内环境做基于面片的稠密三维重建时，利用到的位姿来自于后端优化线程，而当后端优化线程没有执行完成的时候，选择前端位姿追踪的到的估计结果。

21、进一步的，建立一个全局的八叉树模型，八叉树的子节点表示一个具体的空间立方体，为了使用应用并行加速计算，再将八叉树的子节点进行八等分成为一个单元网格，单元网格中包含8*8*8共512个体素；

22、对于没有物体存在的地方，八叉树不进行展开，而有空间物体存在的地方，八叉树进行最小分辨率下的网格展开最小分辨率设置为6mm来保证重建的精度，对该种网格下的每一个体素建立tsdf值，在每次有新的数据到来时进行更新。

23、进一步的，本方案公开了一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，所述处理器用于执行基于视觉惯性导航的快速室内重建方法。

24、进一步的，本方案公开了一种服务器，包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行基于视觉惯性导航的快速室内重建方法。

25、进一步的，本方案公开了一种计算机可读取存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现基于视觉惯性导航的快速室内重建方法。

26、相对于现有技术，本发明所述的基于视觉惯性导航的快速室内重建方法具有以下有益效果：

27、(1)本发明所述的一种基于视觉惯性导航的快速室内重建方法，可以对室内环境下自主移动的终端进行定位与跟踪同时可以对周围的环境进行实时的三维重建，输出一个可以支持多种三维建模软件编辑的模型。

28、(2)本发明所述的一种基于视觉惯性导航的快速室内重建方法，使用动态八叉树的方式对三维模型的表示进行了最小内存空间的利用，同时使用八等分策略加快了计算速度，使得在普通板载电脑上就可以运行，而无需gpu加速，使得整个系统更加便利和轻量化。

技术特征：

1.基于视觉惯性导航的快速室内重建方法，其特征在于，包括：

2.根据权利要求1所述的基于视觉惯性导航的快速室内重建方法，其特征在于：对图像间的imu数据做李群和李代数形式下的矩阵预积分，得到两帧图像之间的相对位姿变换。

3.根据权利要求1所述的基于视觉惯性导航的快速室内重建方法，其特征在于：通过对图像进行orb特征提取，并进行两帧图像之间的特征匹配，恢复出当前帧图像追踪到的三维路标点，对当前帧的位姿与跟踪点之间建立视觉观测模型的同时利用两帧位姿与imu测量构建惯性观测残差，通过高斯牛顿法求解优化当前帧的位姿。

4.根据权利要求1所述的基于视觉惯性导航的快速室内重建方法，其特征在于，判断准则包括：

5.根据权利要求1所述的基于视觉惯性导航的快速室内重建方法，其特征在于：在局部地图中对连续的关键帧和路标点进行进一步的优化时，针对不属于最紧邻关键帧的共视帧做固定。

6.根据权利要求1所述的基于视觉惯性导航的快速室内重建方法，其特征在于，在针对室内环境做基于面片的稠密三维重建时，利用到的位姿来自于后端优化线程，而当后端优化线程没有执行完成的时候，选择前端位姿追踪的到的估计结果。

7.根据权利要求1所述的基于视觉惯性导航的快速室内重建方法，其特征在于：建立一个全局的八叉树模型，八叉树的子节点表示一个具体的空间立方体，为了使用应用并行加速计算，再将八叉树的子节点进行八等分成为一个单元网格，单元网格中包含8*8*8共512个体素；

8.一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，其特征在于：所述处理器用于执行上述权利要求1-8任一所述的基于视觉惯性导航的快速室内重建方法。

9.一种服务器，其特征在于：包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行如权利要求1-8任一所述的基于视觉惯性导航的快速室内重建方法。

10.一种计算机可读取存储介质，存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-8任一项所述的基于视觉惯性导航的快速室内重建方法。

技术总结
本发明提供了一种基于视觉惯性导航的快速室内重建方法，利用深度相机和IMU同步采集数据信息，得到图像以及与图像对应的IMU数据；选取两帧图像，得到两帧图像之间的相对位姿变换；通过对图像进行特征提取，获取当前帧图像的位姿；设定判断准则，将符合判断准则的当前帧定义为关键帧；将关键帧的位姿和其中的特征点生成三维路标点加入局部地图，同时将连续的关键帧之间的IMU预积分也放到到局部地图中，在局部地图中对连续的关键帧和路标点进行进一步优化。本发明有益效果：可以对室内环境下自主移动的终端进行定位与跟踪同时可以对周围的环境进行实时的三维重建，输出一个可以支持多种三维建模软件编辑的模型。

技术研发人员：盛选禹,冀世浩,孔文文,邵荣,陈军伟,郝梦琳,杨保,柳文杰
受保护的技术使用者：清华大学天津高端装备研究院
技术研发日：
技术公布日：2024/1/14