一种室内三维重建方法及其装置与流程

本发明属于三维重建，具体涉及一种室内三维重建方法及其装置。

背景技术：

1、目前人们对于三维数据的需求日益增大，如测绘、房屋装修、vr等领域，昂贵的三维激光雷达设备是普通大众无法接受的，相机设备相对便宜。采用相机进行图像三维重建的传统方法是通过特征点匹配结果进行初步的匹配，得到相机姿态估计和初始三角化结果，通过光束法平差（bundle adjustment）对相机位姿和3d点坐标进行全局优化，并利用多个视角下的图像信息进行后方光线投影，生成稠密点云数据，对其每个像素点进行深度值的计算：首先根据视差约束计算出候选深度值；然后对候选深度值进行平滑处理，以消除噪声和不一致性，并保持深度图连续性，最终通过位姿将所有点云拼接到一起，完成稠密化三维重建。由此方法重建的三维模型没有尺度信息，仅能用作观赏。

2、因此，本发明提供了一种室内三维重建方法及其装置，以至少解决上述技术问题。

技术实现思路

1、本发明要解决的技术问题是：提供一种室内三维重建方法及其装置，以至少解决上述技术问题。

2、为实现上述目的，本发明采用的技术方案如下：

3、一种室内三维重建方法，包括以下步骤：

4、步骤1、相机采集室内的rgb图像数据，激光测距仪采集室内的点云数据；

5、步骤2、处理室内的rgb图像数据，得到室内每帧rgb图像相互匹配的特征点和不带尺度信息的深度图；

6、步骤3、检测室内每帧rgb图像的激光点的像素坐标，将激光点的像素坐标转换至相机坐标系下，由不带尺度信息的深度图得到相机坐标系下不带尺度信息的三维坐标；将室内的点云数据的三维坐标转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标；联立相机坐标系下不带尺度信息和带有真实尺度的三维坐标，得到带有真实尺度的深度图；

7、步骤4、通过带有真实尺度的深度图，将相互匹配的特征点恢复成世界坐标系下带有真实尺度的三维坐标，计算相机的位姿数据；通过位姿数据拼接室内每帧点云数据，得到带有真实尺度的三维模型。

8、进一步地，在所述步骤1前还包括步骤a、标定相机，得到相机的内参矩阵k，以及步骤b、标定相机和激光测距仪，得到相机的外参矩阵t。

9、进一步地，所述步骤a包括：步骤a1、相机从各个角度采集棋盘格的rgb图像数据，通过张正友标定法对相机进行内参标定，得到相机内参矩阵k。

10、进一步地，所述步骤b包括：步骤b1、相机采集多组棋盘格的rgb图像数据，激光测距仪采集多组棋盘格的点云数据；步骤b2、手动确定每张棋盘格的rgb图像数据中激光测距仪激光点的像素坐标，结合相机的内参矩阵k，利用pnp算法得到相机的外参矩阵t。

11、进一步地，所述步骤3包括：步骤31、基于激光点的红色特征，检测室内每帧rgb图像对应激光点的像素坐标（u,v）；通过相机的内参矩阵k将激光点的像素坐标转换至相机坐标系下，再由室内每帧rgb图像不带尺度信息的深度图，得到相机坐标系下不带尺度信息的三维坐标(xc1,yc1,zc1)，公式如下：

12、；

13、式中，（u,v）是激光点在室内的rgb图像对应像素点的像素坐标，d(u,v)表示激光点在室内rgb图像对应像素点的深度，d(u,v)由不带尺度信息的深度图获取，k表示相机的内参矩阵；

14、步骤32、将室内的点云数据的三维坐标通过相机的外参矩阵t转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标(xc2,yc2,zc2)，公式如下：

15、；

16、式中，(xw,yw,zw)是室内的点云数据的三维坐标，t表示相机的外参矩阵；

17、步骤33、联立相机坐标系下不带尺度信息的三维坐标(xc1,yc1,zc1)和带有真实尺度的三维坐标(xc2,yc2,zc2)，通过最小二乘法求出尺度系数α；步骤34、将不带尺度信息的深度图的深度值乘上尺度系数α，得到带有真实尺度的深度图。

18、进一步地，所述步骤4包括：步骤41、通过带有真实尺度的深度图，将相互匹配的特征点由相机转换至世界坐标系下相互匹配且带有真实尺度的三维坐标（x,y,z)，公式如下：

19、；

20、式中，d(u,v)表示激光点在室内的rgb图像对应像素点的深度，k表示相机的内参矩阵，d(u,v)由不带尺度信息的深度图获取；

21、步骤42、基于相互匹配且带有真实尺度的三维坐标（x,y,z)，由icp算法计算相机的位姿数据；步骤43、通过相机由带有真实尺度的深度图得到稠密点云数据，通过位姿数据拼接室内每帧点云数据，得到真实尺度的三维模型。

22、进一步地，所述步骤1包括：步骤11、相机移动采集室内需重建区域的rgb图像数据，激光测距仪移动采集室内需重建区域的点云数据。

23、进一步地，所述步骤2包括：步骤21、采用colmap软件处理室内的rgb图像数据，得到室内每帧rgb图像相互匹配的特征点和不带尺度信息的深度图。

24、本发明还提供了一种室内三维重建装置，该装置基于上述任意一种室内三维重建方法，包括：

25、相机，用于采集室内的rgb图像数据；

26、激光测距仪，用于采集室内的点云数据；

27、控制器，用于存储和传输室内的rgb图像数据和室内的点云数据；

28、基座，用于安装相机、激光测距仪和控制器。

29、进一步地，所述激光测距仪有多个，至少包括第一激光测距仪、第二激光测距仪、第三激光测距仪，第一激光测距仪、第二激光测距仪、第三激光测距仪延长线交于一点，构成三维激光坐标系，第一激光测距仪、第二激光测距仪、第三激光测距仪的视场角小于相机的视场角。

30、与现有技术相比，本发明具有以下有益效果：

31、本发明解决了纯图像三维重建的模型没有尺度信息的难点，由待重建区域rgb图像数据进行三维重建，得到无绝对尺度的三维模型，再根据采集到点云数据还原三维模型实际大小，得到带有真实尺度的三维模型，使得模型能够适用于室内测绘、装修等更多领域。

技术特征：

1.一种室内三维重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种室内三维重建方法，其特征在于，在所述步骤1前还包括步骤a、标定相机，得到相机的内参矩阵k，以及步骤b、标定相机和激光测距仪，得到相机的外参矩阵t。

3.根据权利要求2所述的一种室内三维重建方法，其特征在于，所述步骤a包括：步骤a1、相机从各个角度采集棋盘格的rgb图像数据，通过张正友标定法对相机进行内参标定，得到相机内参矩阵k。

4.根据权利要求3所述的一种室内三维重建方法，其特征在于，所述步骤b包括：步骤b1、相机采集多组棋盘格的rgb图像数据，激光测距仪采集多组棋盘格的点云数据；步骤b2、手动确定每张棋盘格的rgb图像数据中激光测距仪激光点的像素坐标，结合相机的内参矩阵k，利用pnp算法得到相机的外参矩阵t。

5.根据权利要求4所述的一种室内三维重建方法，其特征在于，所述步骤3包括：步骤31、基于激光点的红色特征，检测室内每帧rgb图像对应激光点的像素坐标（u,v）；通过相机的内参矩阵k将激光点的像素坐标转换至相机坐标系下，再由室内每帧rgb图像不带尺度信息的深度图，得到相机坐标系下不带尺度信息的三维坐标(xc1,yc1,zc1)，公式如下：

6.根据权利要求5所述的一种室内三维重建方法，其特征在于，所述步骤4包括：步骤41、通过带有真实尺度的深度图，将相互匹配的特征点由相机转换至世界坐标系下相互匹配且带有真实尺度的三维坐标（x,y,z)，公式如下：

7.根据权利要求1所述的一种室内三维重建方法，其特征在于，所述步骤1包括：步骤11、相机移动采集室内需重建区域的rgb图像数据，激光测距仪移动采集室内需重建区域的点云数据。

8.根据权利要求1所述的一种室内三维重建方法，其特征在于，所述步骤2包括：步骤21、采用colmap软件处理室内的rgb图像数据，得到室内每帧rgb图像相互匹配的特征点和不带尺度信息的深度图。

9.一种室内三维重建装置，该装置基于权利要求1至8任意一项所述的一种室内三维重建方法，其特征在于，包括：

10.根据权利要求9所述的一种室内三维重建装置，其特征在于，所述激光测距仪包括第一激光测距仪、第二激光测距仪、第三激光测距仪，第一激光测距仪、第二激光测距仪、第三激光测距仪延长线交于一点，构成三维激光坐标系，第一激光测距仪、第二激光测距仪、第三激光测距仪的视场角小于相机的视场角。

技术总结
本发明公开了一种室内三维重建方法及其装置，所述方法待重建区域RGB图像数据进行三维重建，得到无绝对尺度的三维模型，再根据采集到点云数据还原三维模型实际大小，得到带有真实尺度的三维模型；所述装置包括相机、激光测距仪、控制器和基座。本发明解决了纯图像三维重建的模型没有尺度信息的难点，使得模型能够适用于室内测绘、装修等更多领域。

技术研发人员：戴忠余,罗洋
受保护的技术使用者：成都量芯集成科技有限公司
技术研发日：
技术公布日：2024/1/15