一种结合边界探索的自主隐式室内场景重建方法

本发明涉及机器人领域，具体涉及一种结合边界探索的自主隐式室内场景重建方法。

背景技术：

1、室内环境的建图对于各种应用至关重要，包括场景可视化、机器人导航以及增强和虚拟现实。近年来，灵活的空中无人机等机动性较强的航空器的出现，引发了对使用近距离航空影像进行场景重建的日益关注。

2、隐式神经表示在3d物体方面已经展现出很大的潜力，可用于场景重建、场景编辑以及机器人和自主系统。通过利用隐式表示的表达能力，自主系统能够在线重建3d环境并规划最优视角路径以进行数据采集。然而，最近的一些隐式自主重建方法采用基于最佳下一视角的贪婪规划策略，容易在重建大型场景时陷入局部最优解，导致场景覆盖不完整。

3、场景探索方法要求机器人实现对目标场景的最大覆盖，同时整合全局信息，避免陷入局部最小值。受到这些方法的启发，我们提出利用自主隐式重建流程中的全局信息。具体来说，我们将基于边界的探索任务与自主隐式重建任务相结合，充分发挥两种方法的优势，以提高重建的整体效率和功效。

4、然而，结合这两种方法面临两个主要挑战。首先，随着场景规模的扩大，采样更广泛范围的视角并计算每个视角的信息增益所需的成本随着场景体积增加而增加。其次，探索任务和重建任务的协调需要在效率和效果之间进行权衡。基于隐式表示生成重建任务的时间复杂度通常比生成探索任务的时间复杂度高出数倍，在每次规划迭代中包含重建任务将导致规划时间的增加，而在每次迭代中仅在探索任务和重建任务之间切换可能会导致表面质量较差，或在扫描过程中陷入局部最优解。

技术实现思路

1、针对上述现有技术的不足，本发明提供一种结合边界探索的自主隐式室内场景重建方法，目标是实现基于移动机器人平台的隐式场景表示，完成复杂室内场景的高精度三维重建，解决当前自主隐式重建系统容易陷入局部最优，场景覆盖不全的问题。

2、本发明的目的是通过以下技术方案实现的：一种结合边界探索的自主隐式室内场景重建方法，该方法包括以下步骤：

3、s1：对当前室内观测位置获得的rgbd图片与相机位姿进行同步，通过单目预测网络omnidata获取单目深度和法向量先验；

4、s2：对隐式表示，采用隐式表面重建方法monosdf建立隐式表面模型，输入s1获得的已同步的rgb图片和位姿，以及获得的单目深度和法向量图，输出场景空间点颜色值和不确定度；

5、s3：对体素表示，将s1获得的已同步的深度图和位姿转换为三维点云，融合至栅格地图，更新栅格状态，同时更新欧式符号距离地图esdf map；

6、s4：利用s2建立的隐式表面模型，得到空间点的符号距离值sdf，提取隐式表面，同时使用s2中空间点的不确定度，得到隐式表面s顶点的不确定度σ；

7、s5：利用s3中体素记录的栅格状态和欧式符号距离地图，检测边界信息，生成探索任务；

8、s6：利用s4获得的隐式表面顶点的不确定度、s3中体素记录的栅格状态和欧式符号距离地图，检测重建不确定度超过阈值的表面顶点，生成重建任务；

9、s7：利用s3中体素记录的栅格状态获取边界信息，判断当前机器人局部区域覆盖状态，选择工作模式，包括基于探索任务的探索模式以及基于探索任务和重建任务的合并模式；

10、s8：在当前选择的工作模式下，将生成的任务变成非对称旅行商问题atsp，获取经过这些任务的最短路径；

11、s9：将s8获取的最短路径用于机器人自主运动，在路径上采集多张图片加速隐式重建；重复s1-s9，直至隐式表示收敛，完成当前场景的隐式重建。

12、进一步地，步骤s2中不确定度的获取方式具体为：

13、将隐式表面模型预测的每个采样点的颜色值看作服从独立高斯分布的随机变量，方差越大代表该点的不确定度越大；隐式表面模型的损失函数l为：

14、l＝λ0lrgb+λ1leikonal+λ2ldepth+λ3lnormal

15、其中：

16、

17、这里lrgb，leikonal，ldepth，lnormal依次代表颜色、正则化、深度、法向量损失，λ0，λ1，λ2，λ3为对应损失项的权重，lmean表示颜色均方损失，表示图片中r个像素颜色的不确定度，n表示每个像素对应的射线上的采样点数，分别表示第r个像素对应的射线上第i个采样点的权重和对应的颜色不确定度。

18、进一步地，步骤s4中，根据monosdf精确的表面特征，能够快速提取表面并分析重建表面的不确定性，该过程包括以下两个步骤：

19、首先，将空间划分为个网格，然后利用monosdf的隐式网格网络f来计算每个网格x的符号距离值sdf sx、梯度gx和特征

20、

21、接着，利用符号距离值sdf结合零水平集marching cubes算法提取场景的隐式表面s及所有来自s的顶点；

22、其次，由于关注表面不确定性评估，简化了体渲染过程，不考虑朝向表面点的射线方向，并从monosdf的渲染网络c中获得每个表面点xs的颜色和不确定度具体如下：

23、

24、进一步地，步骤s5中生成探索任务具体为：

25、根据s3中维护的体素地图v＝vo∪ve∪vu，这里vo，ve，vu分别代表占据、空白、未知状态的体素，首先，定义未知体素与空白体素交界处的体素为边界体素，边界体素不断聚类为边界类，从而随着图片数据的输入和体素地图的更新，增量更新边界类；接着，对于直径大于阈值的边界类，通过3d主成分分析并且沿着主成分方向划分边界类；最后，对于每个边界类，在空白区域ve采集若干候选视角朝向边界类中心，选出能够看到这个边界类中最多体素的视角，记作该边界类的任务视角；聚合所有边界类的任务视角，得到探索任务其中nexp表示探索任务总数，表示第i个边界类对应的探索任务。

26、进一步地，步骤s6中生成重建任务具体为：

27、根据s4获得的隐式表面顶点的不确定度，首先，对表面顶点降采样；接着，选择机器人当前位置局部区域的表面顶点，作为待扫描体素，利用待扫描体素的不确定度，从最大值开始，迭代聚类出nrec个表面类；最后，对于每个表面类，在空白区域ve采集若干候选视角朝向表面类中心，选出具有最大信息增益的视角，作为该表面类的任务视角；聚合所有表面类的任务视角，得到重建任务nrec表示重建任务总数，表示第i个表面类对应的重建任务。

28、进一步地，视角v的信息增益g(v)计算公式为：

29、

30、其中，nvis表示可见表面体素的数量，σk表示每个可见表面体素sk的不确定度，nk，v是从视角v到可见表面体素sk的向量，nk表示可见表面体素sk的法向量。

31、进一步地，步骤s7中工作模式的选择方法具体为：采用自适应的模式切换方法，当机器人局部区域内边界数以及局部区域内边界数与所有剩余边界数的比率均各自大于设定阈值时，说明需要探索许多未知区域，以探索任务为主导，采用探索模式；否则，同时规划探索和重建任务，采用合并模式，以重建更精细的细节，并避免陷入局部区域。

32、进一步地，步骤s8中将生成的任务变成非对称旅行商问题，具体为：

33、

34、其中，d(tk，tk+1)表示从任务tk到tk+1的a*路径搜索的长度，t表示在当前选择的工作模式下生成的所有任务，t*表示求得的最短路径序列。

35、进一步地，步骤s9中在路径上采集多张图片加速隐式重建，具体为：

36、选择执行t*中路径长度小于阈值lexec的路径序列，形成最终执行的路径序列最后，沿着序列均匀采样视角，采样路径分辨率为lres，并捕获图像作为建图过程的输入。

37、本发明的有益效果是：

38、1、本发明采用基于单目rgb的隐式表面重建方法，可以同时获得较高的图片质量和结构质量，由于深度图仅用于规划，对其精度要求不高。

39、2、现有的自主隐式重建方法大多采用最佳下一视角方法规划视角和路径，这种贪婪的策略不能保证场景覆盖，在复杂室内场景很容易陷入局部最优，本发明通过引入全局边界信息，通过扫面边界达到对场景的完整覆盖。

40、3、随着场景尺寸的扩大，对更广范围的视角进行采样和计算每个视角信息增益所需的开销，随着场景体积增加而增加。本发明评估表面质量，仅采样覆盖低质量表面的视角，并对视角中的表面不确定性进行求和，该方法将基于3d体积的复杂度降低到基于2d表面的复杂度。

41、4、由于探索任务和重建任务的协调需要在效率和效果之间进行权衡，本发明基于当前局部区域内边界数量，提出一种自适应模式切换方法。当一个代理进入新的区域时，主要执行探索任务；当对该区域有了初步概览时，会加入重建任务以便更专注于细节，从而以较低的时间成本达到高质量重建。

42、5、本发明设计了一种通用的atsp规划器，可用于探索模式和合并模式下的任务规划。

43、6、本发明适用于任意形式的神经隐式表面表示。

44、7、本发明可用于真实室内场景的自主三维重建，并已成功部署。