一种基于神经辐射场的定位建图方法、装置及存储介质

本发明涉及定位与地图构建领域，尤其涉及一种基于神经辐射场的定位建图方法、装置及存储介质。

背景技术：

1、对于rgb图像，现有的神经辐射场的方法无法很好的收敛和重建，而对于灰度图像，现有的神经辐射场的方法无法重建灰度图像场景。现有技术方案中，对于重建连续场景的神经辐射场slam方法，大多直接在辐射场中推导相机位姿，但是这种方法要求空间特征编码的连续性，因此占用大量的计算资源和显存。同时使用图像整体像素的光度对齐也带来了位姿推导的巨大的计算成本上升。

技术实现思路

1、为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于神经辐射场的定位建图方法、装置及存储介质。

2、本发明所采用的技术方案是：

3、一种基于神经辐射场的定位建图方法，包括以下步骤：

4、获取图像数据，所述图像数据为rgb图像数据或者灰度图像数据；

5、根据图像数据，将当前图像构造图像金字塔，并进行正反光流对齐，得到当前图像的特征点；

6、根据预设条件对图像数据进行筛选，获取关键帧；

7、检测并确定关键帧累积到预设数量后，对所有关键帧进行sfm位姿优化，得到每个关键帧的初始位姿；

8、根据初始位姿，进行特征点的三角化处理，并将处理后的特征点存储为全局地图点；

9、对于每个关键帧，在其连续的共视关键帧中使用全局地图点构造视觉约束，根据视觉约束进行ceres后端优化；

10、在ceres后端优化后，将图像和位姿加入词袋模型，判断是否是否对当前图像进行回环检测，若不进行回环，则直接输出位姿；

11、对输出的位姿进行坐标系修正，并将修正后的位姿和图像数据输入训练后的神经辐射场，重建出对应的三维模型。

12、进一步地，所述图像数据由单目相机采集获得。

13、进一步地，所述定位建图方法还包括融合惯性数据的步骤：

14、获取惯性数据，所述惯性数据包括由惯性传感器采集的加速度和角加速度；

15、估计当前惯性传感器测量状态的不确定性，根据不确定性判断是否进行数据融合；

16、若确定进行数据融合，联合惯性数据和关键帧进行位姿优化，获得每个关键帧的初始位姿；

17、所述根据视觉约束进行ceres后端优化，包括：

18、对于每个关键帧之间构造惯性预积分约束，采用协方差矩阵度量每个约束所占的权重。

19、进一步地，所述估计当前惯性传感器测量状态的不确定性和优化减小测量噪声，包括：

20、对于固有频率噪声，使用巴特沃斯滤波器进行频域滤波；

21、对于未知的测量噪声，使用相对加速度补偿惯性传感器的测量协方差，表达式如下：

22、

23、

24、其中，是惯性传感器t+δt时刻的协方差矩阵，由两部分组成，一个是由t时刻的累积误差，另一个是来源于当前时刻的测量误差；ft，gt是t时刻的imu误差函数的一阶导数；δt是两帧imu数据的时间差，n代表测量噪声；p(at)为修正量，λ是惯性传感器的补偿基数，at是t时刻的测量加速度，g是重力加速度。

25、进一步地，所述神经辐射场通过以下方式重构三维模型：

26、获取图像以及与图像对应的位姿，以图像位姿为中心构造光线；其中，对于每个像素，沿着光线采样多个三维点；

27、在采样三维点的过程中，维护一个占有率网格，通过该网格标识每块区域的三维点占有率情况；当光线经过该网格时，计算光线的透射率，如果小于阈值，则光线停止步进采样；

28、对三维空间进行多尺度分割，获取采样的三维点所属的体素，将三维点所属的体素序列号映射到哈希特征向量表中，取得对应的特征向量，将多尺度映射的向量拼接后得到该三维点的特征向量；

29、将三维点的特征向量输入mlp网络，获得该三维点的颜色值和占有率；

30、根据获得的三维点的颜色值和占有率进行渲染，重建出整个场景的三维模型。

31、进一步地，在进行构建稠密地图时，神经辐射场的可微分渲染器所使用的颜色渲染公式如下：

32、

33、

34、式中，e(c)代表像素的预测颜色，表示从相机光学中心发射的光线在i位置点的透明度，ci是mlp网络对三维点的颜色预测，σi是mlp网络对三维点的占有率预测，σi是mlp网络对i位置三维点的占有率预测；δi代表i+1位置的三维点到i位置三维点的步长；

35、mlp网络的损失函数有定义如下：

36、对于存在rgb三色空间的图像：

37、

38、对于仅存在灰度空间的图像：

39、

40、其中，t是该图像的位姿，θ是mlp网络的参数和多分辨率哈希编码的特征向量，i(c)表示观察到的图像像素颜色。

41、进一步地，在对神经辐射场进行训练过程中，采用l2损失函数计算损失。

42、进一步地，所述将图像和位姿加入词袋模型，判断是否是否对当前图像进行回环检测，包括：

43、将图像和位姿加入词袋模型，并使用滑窗检测窗口之内的平均旋转角度，计算上次回环成功对应的图像帧到当前图像帧之间的帧数量，根据帧数量判断是否对当前图像进行回环检测。

44、本发明所采用的另一技术方案是：

45、一种基于神经辐射场的定位建图装置，包括：

46、至少一个处理器；

47、至少一个存储器，用于存储至少一个程序；

48、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

49、本发明所采用的另一技术方案是：

50、一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。

51、本发明的有益效果是：本发明提出一种支持单目的视觉前端跟踪方案，结合稠密建图，解决传统基于规则的slam算法中稀疏跟踪无法密集三维重建的问题。

技术特征：

1.一种基于神经辐射场的定位建图方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于神经辐射场的定位建图方法，其特征在于，所述图像数据由单目相机采集获得。

3.根据权利要求1或2所述的一种基于神经辐射场的定位建图方法，其特征在于，所述定位建图方法还包括融合惯性数据的步骤：

4.根据权利要求3所述的一种基于神经辐射场的定位建图方法，其特征在于，所述估计当前惯性传感器测量状态的不确定性和优化减小测量噪声，包括：

5.根据权利要求1所述的一种基于神经辐射场的定位建图方法，其特征在于，所述神经辐射场通过以下方式重构三维模型：

6.根据权利要求5所述的一种基于神经辐射场的定位建图方法，其特征在于，在进行构建稠密地图时，神经辐射场的可微分渲染器所使用的颜色渲染公式如下：

7.根据权利要求1或5所述的一种基于神经辐射场的定位建图方法，其特征在于，在对神经辐射场进行训练过程中，采用l2损失函数计算损失。

8.根据权利要求1所述的一种基于神经辐射场的定位建图方法，其特征在于，所述将图像和位姿加入词袋模型，判断是否是否对当前图像进行回环检测，包括：

9.一种基于神经辐射场的定位建图装置，其特征在于，包括：

10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-8任一项所述方法。

技术总结
本发明公开了一种基于神经辐射场的定位建图方法、装置及存储介质，其中方法包括：获取图像数据；对图像数据进行筛选，获取关键帧；对所有关键帧进行SFM位姿优化，得到每个关键帧的初始位姿；根据初始位姿，进行特征点的三角化处理，并将处理后的特征点存储为全局地图点；对于每个关键帧，在其连续的共视关键帧中使用全局地图点构造视觉约束，根据视觉约束进行Ceres后端优化，输出位姿；对输出的位姿进行坐标系修正，并将修正后的位姿和图像数据输入训练后的神经辐射场，重建出对应的三维模型。本发明提出支持单目的视觉前端跟踪方案，结合稠密建图，解决传统基于规则的SLAM算法中稀疏跟踪无法密集三维重建的问题，可广泛应用于定位与地图构建领域。

技术研发人员：廖道庆,哀薇
受保护的技术使用者：华南理工大学
技术研发日：
技术公布日：2024/1/14