一种局部特征融合的端到端真实隧道点云三维重建方法

本发明属于计算机视觉领域，具体涉及一种局部特征融合的端到端真实隧道点云三维重建方法。

背景技术：

1、近年来，随着经济的快速发展和城市人口密集化的不断加重，许多大中城市的交通承受能力已经达到瓶颈，如何减轻交通压力成为急需解决的迫切问题。城市地铁作为交通系统中的现代化工具，以其安全，高效的优势迅速成为城市交通网的重要组成部分。随着城市地下轨道交通建设的不断发展，地铁隧道的安全也成为社会广泛关注的问题。地铁隧道经过长期的运营，外加各种地质条件和周围环境的影响，内部会出现各种病害，如渗漏水、衬砌剥落等。这些病害不仅会降低混凝土强度，也会损伤隧道衬砌结构，对城市轨道交通运营造成巨大的安全隐患。因此，对隧道内部的监测工作迫在眉睫。

2、目前传统的地铁隧道测量和监测任务中，主要是通过全站仪、断面仪等仪器或者摄影测量等方式来获取隧道3d点云，具有低密度、低效率、大工作量等缺陷。这种获取隧道点云的方式存在的缺陷为：

3、1)密度不均，传统扫描仪手动操作的模式使得生成的点云密度并不均匀。

4、2)低效率，传统扫描仪固定采集的方式使得隧道点云的生成效率低下。

5、3)工作量巨大，传统仪器通常需要手动搬动更换地点进行测量。

6、相较而言，三维激光扫描技术具有工作效率高，采集规模大，数据精度高等优势，克服了传统方法的缺点，因而被广泛应用于地铁隧道监测的相关工作中。使用激光雷达获取隧道点云数据质量高，时间效率快，近年来已经成为隧道实地测量的重要方法，同时也衍生出了一系列产学研的工作。将测量的隧道点云数据用于学习和研究已经成为了一种趋势，目的都是为了分析实地情况，更好的监测隧道内部状态。

7、对隧道的三维重建工作也是如此，通过隧道点云数据尽可能的复原真实隧道场景，观测隧道内部状态，监测并警示潜在风险。传统的隧道三维隧道重建采用bim全手动建模，耗时费力不利于高效监测。而人工智能的不断发展，凸显了深度学习模型在点云处理中显著优势，也为隧道的三维重建提供了新的方法。

8、随着三维激光扫描技术的飞速发展，许多研究者致力于研究激光雷达数据的三维重建任务，我们将从三方面对已有的隧道建模技术进行阐述。

9、(1)bim

10、从历史的角度来看，bim模型是在三维实体建模的基础上形成、发展和成熟的。该模型通常提供大量预定义的参数化对象类和族，并允许用户在特定bim工具中自定义所需的参数化对象。cheng等开发了一种通用技术，提取与轨道内部边界相关的铁路道床点云，并结合2d凸包算法和拟合分段回归模型来估计隧道衬砌和底板的参数。最后，通过对隧道衬砌表面的点进行分组，对设施和避难所的点进行分类并拟合在另一坐标系中来自动识别不同类型的部件(轨道、横截面、管道、接触网设备和避难所)，为bim建模提供了不同的参数设置。duan等提出了一种使用地面激光扫描数据自动识别管段并创建盾构隧道衬砌参数化竣工建筑信息模型(bim)的技术。

11、这种建模方法是最传统也是应用比较广的方法，基于此类方法的软件开发也十分成熟(如revit等)，用户自定义建模参数的加入使得针对不同结构特征的精细化建模成为可能。然而过于精细化的全手动建模会耗费大量的时间效率，因此需要探究更高效的方法。

12、(2)传统方法

13、传统算法主要使用数学方法来逼近点云和重建曲面，但是这种方法往往受噪声影响较大，对原始数据质量要求较高。xu等提出了一种rbm b-spline曲面建模方法，针对激光扫描点云数据可以自动重建鲁棒的曲面模型，以提高三维参数化竣工建模的质量和检测结构变形的效率，在隧道结构自动健康监测中具有抗噪声优势。song等提出了一种基于改进的迭代最近点(icp)算法和贪婪投影三角剖分(gpt)算法的3d地表重建算法来重建隧道表面。传统sfm方法主要侧重于三维重建，但缺乏尺度信息，而dlt方法侧重于剖面测量，但缺乏环境信息。因此xue等将两者结合，针对地铁隧道的三维重建提出了一种新的方法。通过sfm方法展示了无序3d点云的定性特征(如泄漏、管道等状态)。摄影测量的dlt方法提供缺失的尺度信息和定量特征(如轮廓变形)隧道的状态。不仅降低了操作现场要求和降低设备成本，在不同隧道环境中也有了更大的适用性。

14、传统方法在深度学习还未广泛应用于三维建模领域之前是研究的主流方向，目前一些点云处理软件中的建模仍使用此类算法(如meshlab中的screened poisson算法)。但此类算法往往研究的是一种普适性的重建方法，针对隧道特殊结构特点进行三维重建的研究较少。

15、(3)深度学习

16、zhang等提出了一种使用深度卷积神经网络(cnn)从单目rgb图像构建三维隧道模型的方法。该方法利用单目相机拍摄的2d高分辨率照片和3d重建技术获得隧道围岩的3d模型。cao等提出了一种结合数据驱动分割和模型驱动装配的块级精度盾构隧道重建方法，根据点的法向量与隧道轴线方向之间的角度，将三维点云展开为二维图像后对光栅化图像执行隧道衬砌块分割。分割后的3d块通过约束总最小二乘匹配方法与来自原始库的一组预定义的3d模板进行匹配，并组装匹配的3d模板以创建最终的隧道模型。yi等提出了一种基于图像和几何协同分层分割的3d激光雷达点云隧道建模的有效框架，将基于设计模式的分层分割和元素提取应用于强度图像，根据点云与图像的对应关系，提取点云内的片段，从而构建了相应的管片3d模型，以获得隧道的精确结构模型。

17、这些方法大多侧重于从点云数据中分割提取隧道内部结构(如衬砌等)，匹配模板后组装形成最终的隧道模型。这种方法相较于直接从真实点云数据中提取点云特征进行重建而言，缺失了隧道场景的真实性。

18、在这样的发展背景下，我们研究了一种基于真实隧道场景的高精度重建方法，能够快速重现隧道内部三维空间环境，为后续隧道病害检测等工作创造条件。

技术实现思路

1、为了解决上述问题，本发明提供了一种局部特征融合的端到端真实隧道点云三维重建方法，所述方法包括：

2、s1逐点特征提取；

3、s2局部特征增强；

4、s3隧道面拟合优化；

5、s4重现隧道内部的纹理信息。

6、所述s1，具体内容包括：

7、原始输入隧道点云p∈rn×(3+d)(p＝{p1,…,pi,…pn},i＝1,…n)包含三维坐标s∈rn×3,s＝{s1,…,si,…sn},i＝1,…n和特征信息c∈rn×d,c＝{c1,…,ci,…cn},i＝1,…n(在隧道场景中，通常为强度信息)；其中n指的是输入点云的数量，d指的是输入点云特征信息的维度；

8、构建一个隧道特征逐点提取模块(tunnel feature pointwise extractionblock)，用于从原始点云中提取每个点的潜在特征信息；这个模块包含l个相同的层，每个层由两个子层组成；每个子层周围采用残差连接；

9、第一个子层u由两个线性层和多头注意力机制组成，其输入和输出分别表示为(其中l代表当前层数，l∈[1,l]且l∈z)；多头注意力的参数设置如下：输出特征表示为fl；的计算可参考等式1；

10、

11、第二个子层v接收来自u层的输出作为输入(见等式2)，经过两个线性层后同样采用了残差连接；的计算如等式3所示；在线性层之后，引入dropout＝0.1以缓解潜在的过拟合问题，并使用relu作为激活函数。

12、

13、

14、所述s2，具体内容包括：

15、根据所设定的体素分辨率，对所在的空间包围盒进行分割，构建隧道的网格体素；

16、对点云p所在的空间包围盒进行了划分，形成体素网格v＝{v1,…,vi,…vm},i＝1,…m，其中每个体素的占用率表示为而颜色信息为其中m为体素的数量；

17、根据点云p与体素v之间的空间包含关系，采用以下策略来确定不包含点云数据的体素的占有率：以该体素的中心点作为查询点q，并在点云p中寻找q的邻居点以及邻居点的潜在特征(i＝1,…kp,kp为邻居点数量)，这些特征的维度为(kp，f)；引入体素中心点与其邻居点的空间坐标差值来增强位置特征，并学习权重以获取点之间的空间相关性；具体地，计算空间坐标差值将其与邻居点的潜在特征相连接，经过多层感知器(mlp)得到增强后的位置特征将输入线性层，并通过softmax进行归一化求平均，得到的空间相关性权重首先将权重与位置特征进行矩阵乘法以突出在与查询点q空间相关性较强的邻居点特征，然后通过线性层并进行归一化操作，最终计算出体素的占有率。

18、

19、其中(qx,qy,qz)为点q的空间坐标，为邻居点的空间坐标；

20、同样从两种情况来考虑体素的颜色；当体素中包含点时，该体素的颜色由体素内所有点共同决定，假设体素内包含点p＝{p1,…,pi,…pn},i＝1,…n,每个点的颜色为c＝{c1,…,ci,…cn},i＝1,…n),具体公式如下:

21、

22、在点云p中寻找查询点q的邻居点邻居点的颜色以及邻居点的潜在特征(i＝1,…kc,kc为邻居点数量)；使用与之前相似的权重加强模块来获得颜色权重通过以下公式来增强颜色特征，得到体素的颜色属性；

23、

24、此模块中邻居点的数量kc与上一个模块中的邻居点数量kp是不同的。

25、所述s3，具体内容包括：

26、每个立方体单元内的等值面通过线性插值来估计，它们由单元的八个顶点和等值点之间的关系确定；当等值点穿过立方体单元时，marching cubes算法会生成一个或多个面，而这些面的形状会受到立方体的几何形状和等值点的位置的影响；

27、对提取的等值面进行优化，以打破原本的方形结构，使等值面更好地拟合环形表面；

28、等值面由节点和面组成，其中面的形状由节点坐标决定；通过组合每三个节点的坐标，可以构建等值面；v1代表原始等值面提取的节点，其方形结构特点导致v1与输入点云p之间存在较大偏差；我们的目标是将v1尽可能地靠近原始点云，使等值面尽可能地与原始隧道表面贴合，具体的公式如下所示：

29、v′1＝((p1x+p2x+o3x)/3,(p1y+p2y+p3y)/3,(o1z+p2z+p3z)/3)#(7)

30、其中v'1就是v1修改后的节点，p1，p2，p3分别是v1在输入点云pc中的三个最近邻点。

31、所述s4，具体内容包括：

32、采用激光雷达扫描仪获取真实场景隧道数据，除了点云的空间坐标外，还包含了强度信息；这里的强度信息指的是激光扫描仪接收装置采集到的回波强度，它与物体的表面材料、激光距离等因素相关，能够提供一定的物体区分度；

33、设计一个全新的二分类交叉熵损失函数，它在确保隧道三维重建效果的同时，也考虑了隧道的纹理信息；具体的损失函数公式如下所示：

34、

35、其中表示网络预测生成的体素颜色值，表示体素颜色的真值。

36、本技术的优点和效果如下：

37、本发明主要研究真实隧道场景的三维重建，通过将点云重建算法与激光雷达获取的隧道数据特征相结合来实现的。我们的方法，在三种隧道3d点云数据集中重建结果大大超过了现有的重建方法。在本发明中，我们的主要贡献是：

38、(1)我们提出了一种基于transformer提取逐点特征和学习局部权重聚合局部特征的端到端的隧道三维重建模型，能够有效改善真实场景隧道点云高噪声和密度不均的问题，并获得高精度的隧道场景重建结果。与此同时，端到端的模型结构能够自动化生成重建结果，展现了模型在工程化应用中的优势。

39、(2)由于主流的体素化建模方法受到体素立方结构的较大影响，因此在应用于环形结构的隧道场景时效果并不理想。因此，我们提出了一种隧道面拟合重建优化方法，该方法旨在更好地逼近等值面和原始点云，从而显著提高了隧道场景下的重建精度。

40、(3)由于隧道点云数据既包含空间坐标又包含纹理特征，我们设计了一种兼顾纹理信息的二元交叉熵损失函数，保证隧道表面结构的同时准确呈现隧道内部纹理。

41、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，从而可依照说明书的内容予以实施，并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂，以下以本技术的较佳实施例并配合附图详细说明如后。

42、根据下文结合附图对本技术具体实施例的详细描述，本领域技术人员将会更加明了本技术的上述及其他目的、优点和特征。