基于无人机机载定位的可扩展场景三维重建方法及系统

本发明属于三维重建，具体涉及一种无人机机载实时定位的可扩展场景三维重建技术方案。

背景技术：

1、实景三维模型作为表征真实世界的重要的数据基础，被广泛应用于智慧城市、室内设计、防灾救灾、增强现实、混合现实等诸多领域。传统三维重建通常是将二维彩色影像作为输入，输出重建的三维模型。但是，受限于输入的数据固定，重建出的三维模型通常不够完整，且真实感较低。此外，多视图深度估计庞大的计算量也导致重建效率不高，使得传统三维重建技术难以扩展到一些对实时性要求较高的应用场景，如增强现实、混合现实、无人机导航、未知封闭环境灾后搜寻等。虽然同步定位与建图(slam)技术可以利用单目彩色相机实现对场景的实时重建，但是单目slam系统生成的稀疏点云模型只支持基本的场景重建，难以提供真实、直观的三维场景表达。

2、基于飞行时间或结构光的深度相机(rgb-d camera)在高度集成的小型化设备中提供了可靠、密集的深度测量。凭借一颗单目彩色镜头和一组深度感知装置，深度相机能以足够的分辨率和实时速率捕获周围环境的彩色影像(rgb image)和深度影像(depthimage)，为场景实时重建和模型实时更新提供了可能。随着深度相机的低成本化，越来越受到学术界和工业界的青睐，使得基于深度相机的三维重建技术在近十年间得到了蓬勃发展。结合这些特点，消费级深度相机甚至领先于一些更昂贵的3d扫描系统，特别是应用于消费级解决方案中。

3、目前，基于深度相机的三维重建的作业模式大多是手持深度相机，将采集到的彩色影像和深度影像在高性能数据处理终端上进行实时处理，其中包括深度相机自主定位定姿(camera tracking)、构建并更新三维模型(update reconstruction)。现有基于深度相机的三维重建方法存在三个不足之处：其一，系统的适用条件被限制在缓慢的相机运动，通常小于1m/s，在快速相机运动下，重建系统极易崩溃；其二，依赖高性能计算设备，只有在高性能的图形计算设备的加持下系统才能展现实时性，在计算资源有限的板载计算机上，实时性难以体现；其三，受限于有限的显卡内存资源，可重建的场景范围被限制在了一个固定且十分有限的大小，当相机运动超出这一范围，重建系统将停止工作。由于上述技术缺陷，极大地限制了仅利用廉价的、小型化的、计算资源有限的机载计算机，在快速运动下的无人机实时重建大场景三维模型。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提出一种无人机机载实时定位与可扩展场景三维重建方法，该方法实现了在快速运动的无人机的机载计算机上实时重建大场景三维模型。

2、为了达到上述目的，本发明的技术方案为一种基于无人机机载定位的可扩展场景三维重建方法，基于在无人机上搭载的深度相机采集所得彩色影像和深度影像进行三维重建，包括以下步骤，

3、步骤1，在6d状态空间中的单位球内对粒子进行均匀采样，得到粒子群模板，其中任意一个粒子都表示一个在三维空间中的有效刚体运动；

4、步骤2，对输入的每一帧深度影像进行表面测量，根据相机内参将深度影像的逐像素投射到三维空间中并计算每一个三维点的法线，同时计算分割法线图；

5、步骤3，依据三维点法线间的相关性，在gpu中自适应分配重建体素内存，实现表面的稀疏性表达，在相机离开当前重建区域后，管理已分配的体素空间；

6、步骤4，仅利用深度影像和当前gpu活动空间中存在的已构建的三维模型，跟踪快速运动的相机位姿，解算出相机在拍摄当前帧时的相对位置和姿态；

7、步骤5，随着深度影像帧序列的持续传入，基于截断符号距离场tsdf融合带有传感器噪声的测量值，构建密集三维点云模型，在需要可视化时提取三维表面，生成三维网格模型。

8、而且，所述步骤1中，在6d状态空间的单位球体内均匀地预采样固定数量的粒子，每个粒子表示一个三维空间中刚体运动，预采样的粒子集被称为粒子群模板；构建多级粒子群模板，与不同分辨率的深度影像组合使用支持位姿估计。

9、而且，所述步骤2中，通过以下方式进行深度影像预处理，

10、由深度相机内参矩阵k和深度影像id计算得到顶点图

11、步根据顶点图计算对应的法线图

12、在法线图的基础上，利用区域生长法计算得到分割法线图

13、而且，所述步骤3中，通过以下方式进行法线相关性约束的场景表面稀疏表示，

14、当序列中新一帧深度影像传入重建系统时，遍历深度影像中的每个像素，对于每个深度测量值id(u)与摄影中心构建一条射线

15、设置tsdf的截断范围为μ，沿着射线的方向在id(u)-μ到id(u)+μ的截断带内创建一条线段，由粗到细获取该线段上体素的坐标，计算其哈希值h，并检查该哈希值对应体素块b是否已经在gpu中分配内存，若未分配，则为其分配，在哈希表和体素块数组中创建新的条目；将分割法线图作为掩膜，为分割平面区域内的像素在最粗级别的分辨率层次上分配体素块；分割区域外的像素则越过最粗级别，直接在次粗糙级别上分配体素空间，并在其对应的最粗级别哈希表entry上，通过一个特殊的标记隐式地指向该sub-block所在的位置；

16、体素内存分配完成后，基于法线的相关性计算体素块b所在表面的粗糙程度r(b)，作为融合和细分体素的执行标准；

17、当粗糙度大于分割阈值ts时，分割当前层级体素；当粗糙度小于合并阈值tm时，合并当前层级体素；

18、定义一个包含当前相机视场的球形活动空间，对于不同的深度相机，根据有效深度范围l，设置活动空间的球心位于距离深度相机l/2处，半径为l，当相机移动，使当前场景离开相机视场时，其对应的表面体素也被移出活动空间，体素从cpu传递至gpu；当相机回访曾经重建过的区域时，体素从gpu传递至cpu。

19、而且，所述步骤4中，通过以下方式实现仅利用深度影像实现快速相机位姿估计

20、步骤4.1，从粒子群模板中抽样，以当前深度影像生成的分割法线图作为掩膜，利用六自由度位姿粒子将深度影像投影至三维世界，检查是否位于活动空间中，过滤掉活动空间之外的粒子集合后计算分割区块位于l0级体素块中的比例，若小于相应阈值，则淘汰该位姿粒子近；

21、步骤4.2，基于通过步骤4.1约束的六自由度位姿粒子，计算第t帧深度影像与第k次迭代候选最优位姿之间的适应度将适应度大于前一次次迭代最优位姿的粒子集合作为下一次迭代的粒子采样范围；

22、步骤4.3，在每一次迭代中，设置三种不同分辨率的粒子群模板和深度影像的组合，在迭代中依次使用；

23、步骤4.4，设置迭代终止的条件为优化迭代前后两次六自由度位姿变化分别小于相应阈值或迭代次数大于迭代上限，重复步骤4.2和步骤4.3直至触发迭代终止条件。

24、而且，所述步骤5中，通过以下方式实现利用带有传感器噪声的深度影像进行场景表面重建的，

25、步骤5.1，在截断符号距离场tsdf融合的基础上引入一个置信度因子α，将模型点被观测到的次数加权平均为其中σ是经验值，γ表示深度相机测量值误差距摄影中心的归一化径向距离；

26、步骤5.2，采用光线投射法提取场景表面，在进行非整体素的插值时，如果一点x＝(x,y,z)所在体素与其周边的体素为一个层级，则通过该点所在体素的8个角点，由已知的三线性插值系数求解；如果该点所在体素与其周边的体素存在跨层级，则插值函数形式为：f(x,y,z)＝z1xyz+a2xy+a3yz+a4xz+a5x+a6y+a7z+a8，对该点周围八个网格点分别给出插值函数形式的方程，组成线性方程组。

27、另一方面，本发明还提供一种基于无人机机载定位的可扩展场景三维重建系统，用于实现如上所述的一种基于无人机机载定位的可扩展场景三维重建方法。

28、而且，包括以下模块，

29、第一模块，用于在6d状态空间中的单位球内对粒子进行均匀采样，得到粒子群模板，其中任意一个粒子都表示一个在三维空间中的有效刚体运动；

30、第二模块，用于对输入的每一帧深度影像进行表面测量，根据相机内参将深度影像的逐像素投射到三维空间中并计算每一个三维点的法线，同时计算分割法线图；

31、第三模块，用于依据三维点法线间的相关性，在gpu中自适应分配重建体素内存，实现表面的稀疏性表达，在相机离开当前重建区域后，管理已分配的体素空间；

32、第四模块，用于仅利用深度影像和当前gpu活动空间中存在的已构建的三维模型，跟踪快速运动的相机位姿，解算出相机在拍摄当前帧时的相对位置和姿态；

33、第五模块，用于随着深度影像帧序列的持续传入，基于截断符号距离场tsdf融合带有传感器噪声的测量值，构建密集三维点云模型，在需要可视化时提取三维表面，生成三维网格模型。

34、或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于无人机机载定位的可扩展场景三维重建方法。

35、或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于无人机机载定位的可扩展场景三维重建方法。

36、本发明提供的技术方案实现了集群无人机建立复杂构筑物精细三维模型的自动化。和现有技术相比，本发明的关键区别在于：

37、第一，本发明的相机位姿估计是通过随机优化得到的，现有技术中通常是icp和关键帧匹配；

38、第二，本发明的重建表面采用了分层稀疏表达，现有技术采用的是规则体素网格；

39、第三，现有技术的深度融合只是简单的观测次数，本发明加入了深度相机测量值误差距摄影中心的归一化径向距离约束。

40、相应地，本发明具有以下优点：

41、1、能够在完全黑暗的环境中工作；

42、2、能够鲁棒地估计快速的相机运动；

43、3、能够实时重建大规模场景的三维模型；

44、4、整个系统能够在计算资源有限的机载电脑上实时运行。

45、本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。