一种基于BIM和深度学习的场景三维智能重建系统及方法

一种基于bim和深度学习的场景三维智能重建系统及方法
技术领域
1.本发明涉及一种基于bim和深度学习的场景三维智能重建系统及方法，属于场景三维重建技术领域。


背景技术：

2.建筑业是我国经济的支柱产业，21世纪的中国建筑业正处在产业成长和体制变革的关键时期，拥有极其广阔的发展前景。随着我国城市化进程的加快，城市化水平的不断提高，科学技术与信息技术的迅速发展，bim(building information modeling，建筑信息模型)技术、三维激光扫描技术、深度学习技术、ar(augmented reality，增强现实)技术、vr(virtual reality，虚拟现实)技术、3d打印技术等技术的相继出现与应用，建筑业已然面临新的变革。
3.三维重建(3dreconstruction)是三维计算机视觉领域中的一项基础工作，是在二维图像的基础上利用了第三维的深度数据信息重构出物体或场景的三维模型，三维重建技术的重点在于如何获取目标场景或物体的深度信息。在景物深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现景物的三维重建。目前常用的三维重建系统是kinectfusion，但是通过研究发现kinectfusion建模系统重建范围非常有限，如果应用到室内工程三维重建中来，完整模型后续需进行分块点云间二次拼接。


技术实现要素：

4.本发明所要解决的技术问题是：提供一种基于bim和深度学习的场景三维智能重建系统及方法，提高了建筑三维重建的精度。
5.本发明为解决上述技术问题采用以下技术方案：
6.一种基于bim和深度学习的场景三维智能重建系统，所述系统包括深度数据采集与处理模块、三维重建模块、语义分割模块和bim融合诊断模块；
7.所述深度数据采集与处理模块用于采集建筑施工阶段的深度数据，并对所述深度数据进行预处理，将预处理后的深度数据转化为点云数据，同时对深度数据进行hha编码处理；
8.所述三维重建模块用于对点云数据进行补全，并根据补全后的点云数据进行三维重建，得到三维模型；
9.所述语义分割模块用于利用改进后的pointnet++语义分割网络对经过hha编码处理后的深度数据进行语义分割，并且标注语义信息；
10.所述bim融合诊断模块用于对所述三维重建模块得到的三维模型与所述语义分割模块得到的语义信息进行融合，并将融合得到的模型与建筑bim模型进行对比，实现建筑施工阶段与设计阶段之间的差异对比。
11.作为本发明系统的一种优选方案，所述深度数据采集与处理模块包括rgb-d传感器、预处理单元、点云转化单元和hha编码处理单元；
12.所述深度数据采集与处理模块的工作过程如下：
13.1)对rgb-d传感器进行内外参数的标定，通过标定好的rgb-d传感器采集建筑施工阶段的深度数据；
14.2)利用预处理单元对采集的深度数据进行滤波处理；
15.3)利用点云转化单元将滤波处理后的深度数据转化为点云数据，为所述三维重建模块做好准备；
16.4)利用hha编码处理单元对深度数据进行hha编码处理，为所述语义分割模块做好准备。
17.作为本发明系统的一种优选方案，所述三维重建模块的工作过程如下：
18.先通过点云补全的神经网络对点云数据进行补全，再通过bundlefunsion方法对补全后的点云数据进行三维重建，得到三维模型。
19.作为本发明系统的一种优选方案，所述改进后的pointnet++语义分割网络包括依次连接的第一采样和分组层、第一改进pointnet网络层、第二采样和分组层、第二改进pointnet网络层、第一反向插值层、第三改进pointnet网络层、第二反向插值层、第四改进pointnet网络层以及输出层，所述第一采样和分组层的输出和第二反向插值层的输出作为第四改进pointnet网络层的输入，所述第二采样和分组层的输出和第一反向插值层的输出作为第三改进pointnet网络层的输入；
20.所述第一改进pointnet网络层包括依次连接的空间对齐层、第一全连接网络、特征对齐层、注意力机制模块、第二全连接网络、最大池化层、第三全连接网络、第四全连接网络以及输出层；所述第一改进pointnet网络层对于n
×
3的点云输入，先通过空间对齐层将其在空间上对齐后，再通过第一全连接网络映射到64维的高维空间上，再经过特征对齐层进行对齐后，得到64维的局部特征，64维的局部特征通过注意力机制模块、第二全连接网络和最大池化层后得到1024维的全局特征，将64维的局部特征和1024维的全局特征合并起来，组成1088维空间，再依次通过第三全连接网络和第四全连接网络，得到第一改进pointnet网络层的输出；其中，n为经过hha编码处理后的深度数据的数量，第一全连接网络的维数为64
×
64，第二全连接网络的维数为64
×
128
×
1024，第三全连接网络的维数为512
×
256
×
128，第四全连接网络的维数为128
×
m，m为点云数据的类别数；
21.所述第一改进pointnet网络层、第二改进pointnet网络层、第三改进pointnet网络层和第四改进pointnet网络层的结构均相同。
22.作为本发明系统的一种优选方案，所述bim融合诊断模块的工作过程如下：
23.通过将所述三维重建模块得到的三维模型与所述语义分割模块得到的语义信息进行融合后，转换为点云文件，将点云文件导入到revit软件中与设计阶段的bim模型进行对比，实现三维语义信息和bim模型的融合，提供建筑施工阶段与设计阶段之间的差异对比信息。
24.一种基于上述的基于bim和深度学习的场景三维智能重建系统的场景三维智能重建方法，所述场景三维智能重建方法包括如下步骤：
25.步骤1，采集建筑施工阶段的深度数据，并对所述深度数据进行预处理，将预处理后的深度数据转化为点云数据，对深度数据进行hha编码处理；
26.步骤2，对点云数据进行补全，并根据补全后的点云数据进行三维重建，得到三维
模型；
27.步骤3，利用改进后的pointnet++语义分割网络对经过hha编码处理后的深度数据进行语义分割，并且标注语义信息；
28.步骤4，对步骤2得到的三维模型与步骤3得到的语义信息进行融合，并将融合得到的模型与建筑bim模型进行对比，实现建筑施工阶段与设计阶段之间的差异对比。
29.一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的场景三维智能重建方法的步骤。
30.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的场景三维智能重建方法的步骤。
31.本发明采用以上技术方案与现有技术相比，具有以下技术效果：
32.1、本发明通过提高三维重建和语义分割的效率，并将其与bim模型集成起来，运用到施工管理，提升施工与验收阶段的信息化、实时性、可视化水平，以期建立适用于基于bim和深度学习的场景三维智能重建系统，加快智能建造与建筑工业化协同发展。
33.2、本发明克服了现有技术中对建筑三维重建和语义分割效率及精度不高的问题，使三维重建和语义分割更加方便、及时，同时创新的采用rgb-d传感器进行数据采集，具有效率高、精度适中、成本低的特点，并且通过深度神经网络算法对深度数据补全，进一步地提高后续三维重建的精度。本发明能应用于建筑竣工对比，可以很好的比较设计阶段和施工阶段的建筑之间的差异。
34.3、本发明重新采用基于bundlefusion的三维重建方法，主要对点云配准、点云融合阶段的算法进行了研究和改进，其余阶段参照kinectfusion中所用方法。该方法可以扩展原始的重建范围，实现设备扫描视野范围内追踪定位相机姿态，提高相机跟踪稳定性，因此能更好地适应实际工程建模需求。
附图说明
35.图1是本发明一种基于bim和深度学习的场景三维智能重建系统的架构图；
36.图2是本发明一种基于bim和深度学习的场景三维智能重建系统的流程示意图；
37.图3是改进后的pointnet++语义分割网络的结构图；
38.图4是引入了注意力机制的pointnet网络结构图；
39.图5是注意力机制模块的结构图。
具体实施方式
40.下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
41.如图1、图2所示，本发明提出一种基于bim和深度学习的场景三维智能重建系统，该系统包括深度数据采集与处理模块、三维重建模块、语义分割模块和bim融合诊断模块；其中：
42.深度数据采集与处理模块通过rgbd传感器收集深度数据，并且通过算法进行数据处理，实现对深度数据的采集与处理；
43.三维重建模块是基于深度数据采集与处理模块采集到的数据来进行的三维重建模块，先通过点云补全的神经网络将采集到的深度信息进行丰富，再通过bundlefunsion，完成深度信息的三维重建过程，同时渲染出三维模型；
44.语义分割模块是对原有的pointnet++神经网络进行改进，通过引入注意力机制，进一步的提高网络分割的准确率，再根据深度数据采集与处理模块采集到的数据进行训练，对深度信息进行语义分割，并且标注语义信息，划分出各个构件的信息；
45.bim融合诊断模块是通过将三维重建模块的三维模型与语义分割模块的语义信息进行融合，并且将其与设计阶段的bim模型进行对比，实现模型的融合，提供了施工进度管理和竣工对比系统的技术方案。
46.深度数据采集与处理模块通过rgb-d传感器采集深度图像数据，然后进行数据的处理，实现深度数据的采集，采集与处理的方法如下：
47.步骤(1)，rgb-d相机进行内外参数的标定，标定结果的精度及算法的稳定性直接影响rgb-d相机工作产生结果的准确性；
48.步骤(2)，通过标定好的rgb-d相机进行rgb数据与深度数据的采集；
49.步骤(3)，将采集到的数据进行数据滤波和转化成点云数据；
50.步骤(4)，将深度数据进行hha编码处理为后续的语义分割模块做好准备。
51.三维重建模块是利用深度数据采集与处理模块采集到的数据进行三维重建。该模块主要对点云配准、点云融合阶段的算法进行了研究和改进。该模块可以扩展原始的重建范围，实现设备扫描视野范围内追踪定位相机姿态，提高相机跟踪稳定性，因此能更好地适应实际工程建模需求。三维重建模块主要采用bundlefusion方法，该方法的核心是一种鲁棒姿态估计策略，通过考虑rgb-d输入的完整扫描图像，采用一种高效的层次化方法，在稀疏特征和稠密对应的基础上，对不断变化的姿态估计流进行监测，通过动态积分和去积分对重建进行更新对全局相机姿态集的每帧进行优化，实现全局配准问题的实时解决，达到三维重建的目的。
52.语义分割模块是对原有的pointnet++网络进行改进，pointnet++网络对于局部特征的提取是使用pointnet网络进行提取，本发明通过使用引入了注意力机制的pointnet对pointnet++进行改进，提高语义分割的准确率。将深度数据采集与处理模块采集到的数据进行训练，得出语义分割的结果。最后通过特征点匹配的方式，将语义分割的结果标注在三维重建的模型中。直观的反映出场景中各位物体的分割结果。
53.具体来说，语义分割模块是对原有的pointnet++网络进行改进，如图3所示，pointnet++网络对于局部特征的提取是使用pointnet网络进行提取，本发明通过使用引入了注意力机制的pointnet对pointnet++进行改进，提高语义分割的准确率，具体来说，如图4所示，pointnet对于每一个n
×
3的点云输入，网络先通过一个t-net将其在空间上对齐(旋转到正面)，再通过mlp将其映射到64维的高维空间上，再64维空间再进行对齐，使其通过如图5所示的注意力机制模块，最后映射到1024维的空间上。再将64维的局部特征和1024维的全局特征结合起来，组成1088维空间，进行另外一个mlp的变化，最后把它每个点分类成m类，相当于输出m个score得出语义分割的结果。其中注意力机制模块沿着特征通道数n维度，同样使用平均池化和最大池化对点云输入特征进行特征聚合，生成不同角度的特征表述符，然后采用mlp对点云特征进行精炼，使用共享参数的双隐藏层mlp对聚合特征进行训
练，生成注意力权重。
54.bim融合诊断模块是通过将三维重建的模型与语义分割的结果进行融合后，转换为点云文件，将其导入到revit软件中与bim模型进行对比，实现三维语义信息和bim模型的融合，提供施工进度管理和竣工对比系统的技术方案。
55.基于同一发明构思，本发明还提出一种基于bim和深度学习的场景三维智能重建方法，包括如下步骤：
56.步骤1，采集建筑施工阶段的深度数据，并对深度数据进行预处理，将预处理后的深度数据转化为点云数据，对深度数据进行hha编码处理；
57.步骤2，对点云数据进行补全，并根据补全后的点云数据进行三维重建，得到三维模型；
58.步骤3，利用改进后的pointnet++语义分割网络对经过hha编码处理后的深度数据进行语义分割，并且标注语义信息；
59.步骤4，对步骤2得到的三维模型与步骤3得到的语义信息进行融合，并将融合得到的模型与建筑bim模型进行对比，实现建筑施工阶段与设计阶段之间的差异对比。
60.基于同一发明构思，本技术实施例提供一种计算机设备，包括存储器、处理器，以及存储在存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现上述的场景三维智能重建方法的步骤。
61.基于同一发明构思，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的场景三维智能重建方法的步骤。
62.以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。