一种三维场景扫描建模装置的制作方法

本发明涉及三维建模，具体的说是一种三维场景扫描建模装置。

背景技术：

1、目前，三维场景扫描建模领域应用的扫描建模装置还是比较稀少的，且当前该领域出现的扫描建模装置实现方法都比较简单，对应的应用场景也有限。

技术实现思路

1、本发明针对目前技术发展的需求和不足之处，提供一种高精度、高清晰度、多应用场景的三维场景扫描建模装置。

2、本发明的一种三维场景扫描建模装置，解决上述技术问题采用的技术方案如下：

3、一种三维场景扫描建模装置，其包括：

4、主板pcba，内置三维建模软件，用于对接收信息进行集中计算处理，生成数字三维模型，发送至显示终端；

5、环形均布排列并固定于主板pcba下方的六组相机部件，每组相机部件包括一体连接的相机镜头和相机pcba，六组相机部件协同工作，用于采集物理世界中不同方位的rgb图像，并传输给主板pcba；

6、布置于主板pcba上方的惯性测量单元、激光雷达控制器和多线激光雷达，六组相机部件协同工作时，惯性测量单元测量扫描建模装置的三轴姿态角和加速度传输给主板pcba，多线激光雷达在激光雷达控制器的作用下同步采集物理世界的点云数据传输给主板pcba；

7、还包括：电源接口、按键pcba、开关及功能按键，其中，开关及功能按键用于触发按键pcba上对应的轻触按钮，实现扫描建模装置的启闭、功能设置及工作模式的切换。

8、可选的，所涉及扫描建模装置的结构还包括保护外壳，保护外壳由半圆形外壳、连接支架、底托三者从上到下依次对接固定形成，且连接支架上内嵌有六个透明保护罩；

9、多线激光雷达内嵌于保护外壳的半圆形外壳顶部；

10、六组相机部件、激光雷达控制器、惯性测量单元内置于保护外壳，且六组相机部件的相机镜头正对连接支架的透明保护罩。

11、进一步可选的，所涉及保护外壳内置有水平方向的主板支架；

12、激光雷达控制器和惯性测量单元固定放置于所述主板支架上方；

13、主板pcba固定放置于所述主板支架下方；

14、六组相机部件位于主板pcba和底托之间。

15、进一步可选的，所涉及扫描建模装置还包括：

16、电源pcba；

17、电池包，用于在电源pcba的控制下给扫描建模装置输出工作电源；

18、状态指示灯pcba，用于显示扫描建模装置的工作状态和电池包的电量状态；

19、type-c数据接口，用于实现对主板pcba存储内容的下载及对三维建模软件的调试。

20、进一步可选的，所涉及主板pcba包括内置三维建模软件的运算单元和存储数字三维模型的存储单元；

21、所述三维建模软件包括场景图构建模块和三维建模算法模块两部分，其中，

22、所述场景图构建模块包括：

23、视觉-惯性里程计子模块，在环境纹理信息满足预定条件时，用于通过六组相机部件和惯性测量单元提供视觉-惯性里程计模式，随后基于采集的rgb图像以及惯性测量单元的预积分结果进行位姿估计以及场景地图构建；

24、激光-惯性里程计子模块，在环境结构化信息满足预定条件时，用于通过惯性测量单元和多线激光雷达提供激光-惯性里程计模式，随后基于采集的点云数据进行位姿估计以及场景地图构建；

25、视觉-惯性-激光里程计子模块，在环境纹理信息和环境结构信息均不满足预定条件时，用于通过六组相机部件、惯性测量单元和多线激光雷达提供视觉-惯性-激光里程计模式，将相机、雷达与惯性测量单元标定，随后基于视觉提供的rgb图像以及激光雷达提供的距离信息进行位姿估计以及场景图构建；

26、多模态数据联合优化子模块，用于构建任务约束，包括构建惯性测量单元预积分因子、视觉里程因子、激光里程因子、视觉回环因子、激光回环因子以及视觉-激光回环因子，所述惯性测量单元预积分因子、视觉里程因子、以及视觉回环因子配合作用于视觉-惯性里程计模式下的位姿优化，所述惯性测量单元预积分因子、激光里程因子以及激光回环因子配合作用于激光-惯性里程计模式下位姿优化，所述惯性测量单元预积分因子、激光里程因子、视觉里程因子以及视觉-激光回环因子配合作用于视觉-惯性-激光里程计模式下的位姿优化；

27、三维建模算法模块基于场景图构建模块构建的场景地图生成三维数字模型。

28、进一步可选的，所涉及视觉-惯性里程计子模块执行如下操作实现位姿估计和场景图构建：

29、采集物理世界中不同方位的rgb图像，对采集的rgb图像进行特征提取，得到图像特征，同时，对惯性测量单元的测量数据进行预积分处理，得到惯性测量单元预防积分结果；

30、基于图像特征和惯性测量单元预防积分结果初始化相机镜头位姿，得到六组相机镜头以及惯性测量单元在世界坐标系中的状态；

31、通过与局部地图的比较，判断当前采集的rgb图像是否为关键帧，如果是，将所述关键帧加入局部优化任务中，进行局部地图的构建；

32、基于词袋模型提取关键帧的词袋信息，基于关键帧的词袋信息进行回环检测，得到回环候选帧；

33、基于回环侯选帧与当前帧的相对运动，验证回环是否成立；

34、基于惯性测量单元约束以及回环检测约束构建任务约束，基于任务约束进行全局优化，得到优化后的位姿；

35、激光-惯性里程计子模块执行如下操作实现位姿估计和场景图构建：

36、对当前帧点云数据进行畸变矫正；

37、对于矫正后的点云数据，提取所述点云数据的线特征和面特征；

38、基于线特征和面特征，将当前帧点云数据与前一帧点云数据进行匹配，通过正态分布变换方法获取当前帧点云数据与前一帧点云数据之间的相对运动信息，得到当前帧点云数据与前一帧点云数据之间的位姿变换；

39、如果位姿变化大于等于设定的阈值，当前帧点云数据作为关键帧，将所述关键帧加入局部优化任务中，进行局部地图的构建；

40、基于当前帧点云线、面特征及局部地图信息，通过正态分布变换方法，检测回环并构建回环约束；

41、视觉-惯性-激光里程计子模块执行如下操作实现位姿估计和场景图构建：

42、基于六组相机部件、多线激光雷达与惯性测量单元的标定，将六组相机部件采集的rgb图像与多线激光雷达提供的点云数据相融合，得到环境的rgb-d信息；

43、循环执行如下操作直至完成全局地图的构建：

44、基于所述rgb-d信息，在激光-惯性模式下进行位姿估计以及场景地图构建，在位姿估计以及场景地图构建过程中，将通过视觉-惯性模式获得的优化后位姿作为初始位姿，基于线特征和面特征，将当前帧点云数据与前一帧点云数据进行匹配，并以在视觉-惯性模式下得到的回环侯选帧为初始回环检测范围；

45、通过基于所述rgb-d信息，在视觉-惯性模式下进行位姿估计以及场景地图构建，在位姿估计以及场景地图构建过程中，以激光-惯性模式下获得的优化后位姿为初始位姿。

46、进一步可选的，在视觉-惯性里程计模式下，构建任务约束包括构建惯性测量单元预积分因子、视觉里程计因子和视觉回环因子；

47、在激光-惯性里程计模式下，构建任务约束包括构建惯性测量单元预积分因子、激光里程计因子以及激光回环因子；

48、在视觉-惯性-激光里程计模式下，构建任务约束包括构建惯性测量单元预积分因子、激光里程计因子以及视觉-激光回环因子。

49、优选的，多模态数据联合优化子模块构建惯性测量单元预积分因子包括如下步骤：

50、以距离当前时刻最近的传感器位姿为基础位姿，计算所述基础位姿与当前时刻惯性测量单元里程计增量位姿变换，通过进行相乘计算得到当前时刻惯性测量单元里程计位姿，其中，对于视觉-惯性模式，所述传感器为相机镜头，对于视觉-惯性里程计模式，所述传感器为多线激光雷达；

51、计算前一帧与当前帧之间的惯性测量单元预积分量，基于前一帧状态施加惯性测量单元预积分量得到当前帧初始状态估计，对于相邻时刻i和j，惯性测量单元预积分增量δvij、位置预积分增量δpij以及旋转预积分增量δrij计算公式如下：

52、

53、

54、

55、其中，vi表示第i时刻的速度，vj表示第j时刻的速度，g表示加速度，δtij表示第i时刻和第j时刻的时间间隔，pi表示第i时刻的位置，pj表示第j时刻的位置，ri表示第i时刻的旋转矩阵，rj表示第j时刻的旋转矩阵，表示ri的转置；

56、对于激光关键帧，多模态数据联合优化子模块基于提取的线特征和面特征构建激光里程因子，包括如下步骤：

57、采用滑窗法创建区域地图

58、其中，线特征集合

59、面特征集合

60、为第i-1刻关键帧的线特征在世界坐标系中的表示，

61、为第i-1刻关键帧的面特征在世界坐标系中的表示，

62、第i时刻激光关键帧的线特征及面特征距离计算公式如下：

63、

64、

65、其中，k，u，v，w表示特征点的索引，与为对应的线特征上的两个点，与为对应的面特征上的三个点，第i时刻激光关键帧相当于世界坐标系的位姿变换ti表示为：

66、

67、激光里程因子

68、在视觉-惯性里程计模式下，多模态数据联合优化子模块基于词袋模型构建视觉回环因子；

69、在激光-惯性里程计模式下，多模态数据联合优化子模块基于正态分布变换方法构建激光回环因子；

70、在视觉-惯性-激光里程计模式下，多模态数据联合优化子模块结合词袋模型和正态分布变换方法构建视觉-激光回环因子，包括如下步骤：

71、基于词袋模型提取rgb图像对应关键帧的词袋信息，基于关键帧的词袋信息进行回环检测，得到回环候选帧；

72、通过点云数据确定所述回环侯选帧，得到确认的回环帧；

73、在回环帧附近选取局部地图，通过局部地图进行扫描匹配，得到相对变换位姿，基于相对变换位姿构建视觉-激光回环因子；

74、其中，在回环帧附近选取局部地图时，选取与回环帧位置和时间距离均大于预设阈值的关键帧，基于选取的关键帧构建局部地图。

75、本发明的一种三维场景扫描建模装置，与现有技术相比具有的有益效果是：

76、(1)本发明可由人员手持，或戴在头上对物理场景进行建模，也可以由机器人或无人机搭载对特定物理场景进行三维建模，具有高精度、高清晰度的优点；

77、(2)本发明的主板pcba运算单元内置三维建模软件，通过三维建模软件，一方面可以将多种传感模式的信息高效融合，实现高精视觉定位与场景图构建，解决虚拟世界与真实世界的精准映射问题，另一方面还可以基于构建的场景图生成三维数字模型，实现对物理场景的三维建模。