一种基于特征图谱的点云智能化采样方法及装置与流程

本发明涉及激光工程测量测绘，具体涉及一种基于特征图谱的线性工程点云智能化采样方法。

背景技术：

1、线性工程测量测绘的主要目的包括病害检测、三维建模、智慧工地建设等，涉及工程设计、建设、竣工与运维养护全生命周期。在测量过程中，检测与监测目标应当重点保留、显示，且不论是道路、铁路还是隧道，其数据大部分时候具有相同的结构与纹理特征，可以对相同的纹理特征进行优化。

2、三维激光扫描技术具有高分辨率、高密度、海量和无序等特性，已经广泛应用于线性工程测量测绘领域。对于一般的线性工程，如隧道、公路、铁路，其检测里程很长，不论使用何种载体搭载激光扫描设备，500米线性工程的点云规模都大于1亿点。海量数据导致点云在存储与读取时速度较慢，在显示时加载速度较慢且对计算机性能要求高。现有技术在处理如此庞大的点云数据时,往往面临着效率低下的问题。无论是数据的读取、渲染还是分析,都需要耗费大量的时间和计算资源。这严重影响了工程项目的进度和效率。

3、现有的数据压缩与高效显示方式一般从提高计算机运算效率、优化加载顺序、限制屏幕内点云数量的方法入手，往往是针对整体数据进行的,没有考虑到线性工程中不同区域、不同目标的重要性差异。并未考虑结合测量目的进行优化。这导致在压缩过程中可能丢失重要信息,或者保留了大量无用信息。

4、再者，传统的点云处理方法往往只关注数据本身的几何特征,而忽视了线性工程领域的专业知识。这导致在数据处理过程中无法充分利用领域专家的经验和知识。

技术实现思路

1、本发明要解决的是现有三维激光扫描技术中对于一般的线性工程的测量存在并未考虑结合测量目的进行优化、丢失重要信息及无法充分利用领域专家的经验和知识问题。

2、本发明采用如下方案：

3、本发明提供一种基于特征图谱的点云智能化采样方法，包括如下步骤：

4、s10，原始数据预处理；对输入的包括点云数据和图像数据在内的原始数据进行预处理；

5、s20，原始信息抽取：从预处理后的数据中，构建包含目标信息的原始知识实体，确定实体边界与实体类型，进行实体关系的抽取，并生成初步知识图谱；

6、s30，深层信息提取：通过断面拟合，提取线性目标的中线；使用里程、灰度、深度映射关联方法对图像与点云数据关联；建立图像特征金字塔直方图，使用sift算子匹配特征点，计算图像和点云投影灰度、深度图的特征匹配关系，融合点云与图像数据，

7、s40，重点监测目标提取：使用目标检测、机器学习方法对线性工程中的重点监测目标进行提取，并根据目标距离中线的里程建立其位置关联，抽取重点监测目标属性参数、目标之间的关联信息；

8、s50，共指消解处理，对融合后的数据，对同一实体进行合并，消除实体共指问题；

9、s60，针对性采样与参数评估，依据融合、重点监测目标提取、消解后的数据和知识，更新知识图谱，建立线性工程实体的重要性关系，评估不同重要性区域的点云下采样手段与参数；

10、s70，点云下采样：依据评估结果，建立当前线性工程点云格网划分模型的采样区域范围，对模型各区域或目标使用相适应的点云下采样策略，突出重点区域或目标，同时弱化非重点区域或目标。

11、进一步的，所述步骤s10中使用传感器标定参数拼接图像的方法为：沿传感器载体前进方向的影像需要通过重叠区域实现拼接，而垂直于载体前进方向的影像则能够通过标定的各传感器参数进行拼接，影像与影像之间有个像素偏差，其中是重叠区像素值，为像素大小，为像素个数，为非整数偏差。

12、进一步的，所述步骤s20中目标信息包括点云数据中的点数、采集时间、采集地点、采集设备、设备参数、测量目标、测量角分辨率及测量距离分辨率；还包括图像数据中的图像编号、采集时间、采集地点、采集设备、设备参数及图像分辨率，还包括编码器里程、惯导姿态角、全球卫星导航系统的测量位置在内的其他传感器的知识。

13、进一步的，所述步骤ss30中通过断面拟合，提取线性目标的中线的方法为，

14、要从点云与影像中提取出重点检测与监测目标的深层特征，需要将原始点云数据与影像数据进行匹配；根据线性工程的类型拟合其断面形状，实现目标函数的最小化，其中是拟合参数；拟合断面后，计算一系列断面的对称中心，由这一系列对称中心组成的离散线即为线性工程的中心线。

15、进一步的，当断面形状为椭圆形的隧道断面时，中心线求取方法如下：

16、，

17、式中是参与拟合的点数量，和是隧道截面投影后的点坐标，参数的计算方式为：

18、，

19、，

20、，

21、，

22、，

23、式中和是拟合的椭圆形隧道断面中心坐标，和分别是椭圆长、短半轴参数，是椭圆主轴相对x轴的旋转角度，拟合断面后，计算一系列断面的对称中心，由这一系列对称中心组成的离散线即为线性工程的中心线。

24、进一步的，所述步骤s30中，使用里程、灰度、深度映射关联方法对图像与点云数据关联的方法为：图像坐标与里程的关系由里程与图像夹角表示，；图像灰度与点云强度的映射关系为，其中和是对应的最小最大强度；图像深度与点云到中线距离的映射关系为，其中和是对应的最小和最大距离，且，经过上述关联，生成与影像对应的点云投影灰度、深度图。

25、进一步的，所述步骤s30中建立图像特征金字塔直方图，使用sift算子匹配特征点，计算图像和点云投影灰度、深度图的特征匹配关系的方法为：设局部特征，其中分别是x轴、y轴的距离特征，是尺度特征，获取图像区域内的个局部特征统计值，剔除超过3倍误差的特征，其中误差，计算剩下的特征的匹配关系；使用双线性内插得到匹配后图像的新坐标，新坐标采用下式计算，其中、、、分别为内插前图像的四角像素值，、、、分别是对应的坐标值，实现影像与点云投影灰度、深度图融合，得到可测量的图像。

26、进一步的，所述步骤s40中使用目标检测、机器学习方法对线性工程中的重点监测目标进行提取的方法为：使用基于改进cascade r-cnn网络、改进u-net网络和pointnet++网络的联合检测方法，获取线性工程重点监测目标；对于病害检测任务，重点监测目标包括路面裂缝、坑槽、皲裂，隧道渗漏水、裂缝、掉块及变形；对于区域监测任务，重点监测目标包括隧道结构、轨道结构及扣件结构。

27、进一步的，所述步骤s50的具体方法为：

28、查找相邻的重点监测目标对应的里程信息，计算其在影像中的对应位置，结合里程信息与重点检测目标自身属性信息，通过里程匹配与连通域判断的方法评估其是否属于同一实体，对同一实体进行合并，实现共指目标的消解。

29、进一步的，所述步骤s60的具体方法为：更新步骤s20中的初步知识图谱，结合更新后的知识图谱的各实体关系与专家经验，对监测区域或目标进行打分，依据其评分确定不同重要程度监测区域或目标的点云下采样手段与下采样程度参数。

30、进一步的，所述步骤s60中点云下采样手段包括体素下采样、均匀采样、几何采样及随机下采样；体素下采样能够保持原始点云的空间特征，使用少量的点来代替原始大量的点，但不适用于需要保留边界的目标；均匀下采样通过选择空间内的中心点代替所有点，保证下采样后的点不会移动，但容易导致边缘模糊；几何采样依据目标的局部属性值，保证采样后的点云依然是均匀的；随机下采样能确保采样点不发生移动，用于非目标的下采样。

31、作为本发明的另一方面，还涉及一种基于特征图谱的点云智能化采样装置，包括：

32、原始数据预处理单元：用于对输入的包括点云数据和图像数据在内的原始数据进行预处理；

33、原始信息抽取单元：用于从预处理后的数据中，构建包含目标信息的原始知识实体，确定实体边界与实体类型，进行实体关系的抽取，并生成初步知识图谱；

34、深层信息提取单元：用于通过断面拟合，提取线性目标的中线；使用里程、灰度、深度映射关联方法对图像与点云数据关联；建立图像特征金字塔直方图，使用sift算子匹配特征点，计算图像和点云投影灰度、深度图的特征匹配关系，融合点云与图像数据；

35、重点监测目标提取单元：用于使用目标检测、机器学习方法对线性工程中的重点监测目标进行提取，并根据目标距离中线的里程建立其位置关联，抽取重点监测目标属性参数、目标之间的关联信息；

36、共指消解处理单元：用于对融合后的数据，对同一实体进行合并，消除实体共指问题；

37、针对性采样与参数评估单元：用于依据融合、重点监测目标提取、消解后的数据和知识，更新知识图谱，建立线性工程实体的重要性关系，评估不同重要性区域的点云下采样手段与参数；

38、点云下采样单元：用于依据评估结果，建立当前线性工程点云格网划分模型的采样区域范围，对模型各区域或目标使用相适应的点云下采样策略，突出重点区域或目标，同时弱化非重点区域或目标。

39、作为本发明的另一方面，还涉及一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种基于特征图谱的点云智能化采样方法。

40、作为本发明的另一方面，还涉及一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于特征图谱的点云智能化采样方法。

41、相对于现有技术，本发明具有以下效果：

42、（1）本发明的基于特征图谱的点云智能化采样方法及装置，当通过建立里程关联的线性工程多传感器、多监测目标的表层-深层知识图谱，评估八叉树内不同节点内数据的重要程度，根据评估结果对不同目标使用不同的下采样策略，实现冗余数据的缩减，并保留重点监测目标的细节。

43、（2）本发明的基于特征图谱的点云智能化采样方法及装置，通过与中线关联的方法实现了各传感器采集的数据与重点监测目标的位置确定，使用知识图谱表达不同实体与其相互关系，降低了数据存储时的空间开销，同时在不减少信息量的前提下减少了大规模点云加载时的数据量，提升显示效率。

44、（3）本发明的基于特征图谱的点云智能化采样方法及装置，采用分阶段构建知识图谱的技术手段,达到了充分利用多源异构数据、深度挖掘数据语义信息的技术效果,为智能化采样奠定了基础。