一种基于球形邻域的多尺度多特征算法的语义分割方法与流程

1.本发明属于遥感与摄影测量技术领域，具体涉及一种基于球形邻域的多尺度多特征算法的语义分割方法。


背景技术：

2.深度学习是一种可以通过深层网络结构自动学习提取输入数据高级特征的新兴技术，是当前模式识别，计算机视觉和数据分析中最有影响力，发展最快的前沿技术。在应用于3d数据之前，深度学习已成为2d计算机视觉和图像处理中各种任务的有效力量，特别是2012年alexne在imagenet的图像识别竞赛上应用卷积神经网络(convolutional neural networks,cnn)以高出第二名十几个百分点的成绩夺冠后，以cnn为主的深度神经网络结构在图像分类、分割和识别等领域取得了重大的突破。但由于三维激光点云的高密度、海量及无结构的特性，传统的深度学习方法无法直接应用于三维点云的分割。
3.大量学者在三维点云数据的深度学习上做了大量的工作，为了能够在三维激光点云数据上应用现有的神经网络结构，在将点云数据输入到神经网络之前需要对其进行数据预处理，目前常用的方法有三种，(1)将3d点云数据投影为多视角2d影像后使用传统的卷积神经网络；(2)将点云转化为栅格体素后使用3d卷积神经网络；(3)将点云转化为图(graph)结构后使用3d图卷积神经网络。
4.但是上述方法在预处理过程中，都会造成数据信息的丢失，针对这一缺点2017年，斯坦福大学的学者qi等发表了一个开创性的研究工作，提出了一个深度学习模型pointnet，能够直接应用到三维点云数据上面，使得语义分割的精度进一步提高。然而pointnet网络结构主要提取点云间的全局特征，忽略了点云中点与点之间相关联的局部特征提取，而局部特征的提取能力不足往往会导致分割精度不足，物体细节分割效果较差等问题。
5.一方面，由于三维激光点云的高密度、海量及无结构特性，研究快速有效的三维场景语义分割算法具有重要的理论价值。另一方面，由于真实自然场景的复杂性，三维目标间的重叠、遮挡等现象，研究与其他领域技术的结合，提出高鲁棒、自动化、智能化的复杂三维场景目标语义分割方法对进一步研究点云语义分割及其在各个领域的应用具有重要的现实意义。


技术实现要素：

6.为解决上述问题，提供一种基于球形邻域的多尺度多特征算法的语义分割方法。
7.本发明的目的是以下述方式实现的：
8.一种基于球形邻域的多尺度多特征算法的语义分割方法，所述方法包括：
9.s1：将获取到的点云数据与遥感影像进行配准，生成融合rgb信息的点云数据；
10.s2:对融合rgb信息的点云数据进行多尺度邻域的设计及特征提取：通过研究点云空间索引结构，选定球形邻域来获取融合rgb信息的点云数据的局部邻域特征，并通过改变
球形邻域半径大小，提取多尺度的点云特征；所述点云特征包括基础特征和基于协方差的多特征；所述基础特征包括点云的xyz坐标信息和rgb信息；所述基于协方差的多特征包括5维邻域特征，即基于协方差的全方差、粗糙度、平整度、线性度和垂直度信息；
11.s3：将提取的基础特征、至少两个尺度的5维邻域特征与点云的xyz坐标信息组合输进基于pointnet的改进的模型msmf-pointnet中进行语义分割，输出分类结果。
12.所述基于pointnet的改进的模型msmf-pointnet包括改进的pointnet网络和至少两个mini-pointnet网络；所述点云的xyz坐标信息和rgb信息输入改进的pointnet网络，改进的pointnet网络输出的是64维的点特征和1024维的全局特征；所述至少两个尺度的5维邻域特征与点云的xyz坐标信息组合输入mini-pointnet网络；mini-pointnet输出的是两个256维的特征向量，将两部分输出后的数据进行全连接，输进softmax分类器进行分类。
13.所述改进的pointnet网络包括六层，从输入至输出依次为第一t-net点云旋转变换、第一感知器mlp、第二t-net、第二感知器mlp、第三感知器mlp和max pooling网络。
14.所述mini-pointnet网络包括4层，从输入至输出依次为t-net点云旋转变换、两层感知器mlp和max pooling网络。
15.所述点云的xyz坐标信息根据系统的gps、ins和激光测距仪记录的数据解算出来；rgb信息由成像装置获取。
16.所述s1中配准主要通过arcigs中“值提取到点”的功能将影像每个波段不同像素点的光谱信息赋给点云数据。
17.一种电子设备，包括：
18.至少一个处理器；
19.以及
20.与所述至少一个处理器通信连接的存储器；其中，
21.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，
23.所述计算机指令用于使所述计算机执行上述的方法。
24.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的方法。
25.本发明的有益效果：(1)所提方法在机载lidar扫描获得的室外场景点云数据中能获得远远优于pointnet的分类精度，因加入线性度、垂直度等特征，建筑物立面，篱笆等得到了更好的分类，加入粗糙度、全方差，树和灌木的分类结果更好，加入平整度，屋顶和不透水地面的分类结果更好。
26.(2)本发明方法中加入了光谱信息和其他几何特征，并基于深度学习进行训练，可有效弥补点云空间几何特征的不足，提高了点云分类精度，对屋顶、不透水地面以及树木的分类精度更高。
附图说明
27.图1是基于虚拟规则格网的索引建立示意图。
28.图2是不同半径的分类效果对比图。
29.图3是msmf-pointnet网络模型架构。
30.图4是不同尺度下各类地物和整体分类精度。
31.图5是基于球形邻域的多尺度多特征算法的语义分割模型流程图。
具体实施方式
32.下面结合附图1至附图5和具体实施方式对本发明作进一步详细的说明。
33.应该指出，以下详细说明都是例式性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的技术含义相同。
34.一种基于球形邻域的多尺度多特征算法的语义分割方法，所述方法包括：
35.s1：将获取到的点云数据与遥感影像进行配准，生成融合rgb信息的点云数据；
36.s2:对融合rgb信息的点云数据进行多尺度邻域的设计及特征提取：通过研究点云空间索引结构，选定球形邻域来获取融合rgb信息的点云数据的局部邻域特征，并通过改变球形邻域半径大小，提取多尺度的点云特征；所述点云特征包括基础特征和基于协方差的多特征；所述基础特征包括点云的xyz坐标信息和rgb信息；所述基于协方差的多特征包括5维邻域特征，即基于协方差的全方差、粗糙度、平整度、线性度和垂直度信息；
37.s3：将提取的基础特征、至少两个尺度的5维邻域特征与点云的xyz坐标信息组合输进基于pointnet的改进的模型msmf-pointnet中进行语义分割，输出分类结果。
38.如图3所示，所述基于pointnet的改进的模型msmf-pointnet包括改进的pointnet网络和至少两个mini-pointnet网络；所述点云的xyz坐标信息和rgb信息输入改进的pointnet网络，改进的pointnet网络输出的是64维的点特征和1024维的全局特征；所述至少两个尺度的5维邻域特征与点云的xyz坐标信息组合输入mini-pointnet网络；mini-pointnet输出的是两个256维的特征向量，将两部分输出后的数据进行全连接，输进softmax分类器进行分类。
39.所述改进的pointnet网络包括六层，从输入至输出依次为t-net点云旋转变换、第一感知器mlp、t-net、第二感知器mlp、第三感知器mlp和max pooling网络。
40.所述mini-pointnet网络包括4层，从输入至输出依次为t-net点云旋转变换、两层感知器mlp和max pooling网络。
41.进一步地，基于球形邻域的点云特征提取方法研究：
42.为了提高点云数据的查询检索的效率，需要构建点云数据的空间索引，常用的索引方法有四叉树、八叉树、k-d树等。由于k-d树索引效率高，在点云数据中得到了广泛应用，针对具体的数据处理需求采用不同的空间索引，本发明为了后续滤波算法设计，选择k-d树来构建点云的空间索引、作空间划分及近邻搜索。
43.k-d树建立后，需要进一步选择邻域点的查询方式，室外环境下不同物体之间的尺度差异较大，在特征提取过程中邻域选择的方式决定了特征对不同物体的描述能力。点云的单点分类非常依赖局部特征的提取，而局部特征又是从选定点的邻域点集中提取，所以单点分类跟所选的局部邻域区域密切相关。
44.半径查询就是给定目标点和查询距离的阈值(以目标点为圆心，查询距离为半径r)，从数据集中找出所有与查询点距离小于阈值的数据(半径内的数据)，常见的局部邻域
选择有三种：k近邻邻域，柱状邻域和球形邻域，球形邻域法也叫半径查询法，示意图如图1所示，图中(a)为球半径邻域，(b)为柱状邻域，(c)为k近邻邻域。
45.由于三维城市场景的空间各向异质性，球形邻域下的分类效果较好。与k近邻法相比，球形邻域对应于空间中的固定部分，受到点云密度的影响相对较低，所以本发明选择球形邻域法。
46.通过改变球形邻域半径r的大小获得多尺度的点云特征。
47.尺度的选择会直接影响点云的分类精度，因此需要根据场景内的地物选择合适的尺度即球形邻域法里的半径值r。半径过大，球形邻域包含的点数过多会导致计算时间大大增加，降低效率。一般来说，半径的最小值大于点云的平均密度并规律的向上增加，为了选出最适合的半径参数，同时验证多尺度融合的点云特征分割效果更好，选取一部分vaihingen数据集，选择半径参数r＝0.4m,0.8m,1.2m,2.0m和它们的四种组合0.4+0.8，0.8+1.2，0.8+2.0，1.2+2.0计算出来的点云特征，将其分别输进pointnet网络，除输入不同外其余全部相同，分类效果的柱状对比图如图2所示：由图2柱状图对比分析出，多尺度r＝0.8+1.2的组合分类准确度最高，单尺度时r＝0.8准确度最高，因只是为了确定最适合的半径参数，还没有对网络进行升级，所以没有具体的精度，只有精度相对高低。所以本发明综合考虑，最后球形邻域的半径r取0.8m和1.2m。
48.点云的基础特征及常用特征以及基于协方差的多特征的选取
49.点云的基础特征就是点云的xyz坐标信息和rgb信息，xyz可根据系统的gps、ins和激光测距仪记录的数据解算出来，rgb信息由成像装置获取，光谱信息有利于区分植被和其他地物，因此为了提高分类精度，通常将机载lidar点云与多光谱航空影像融合，生成具有光谱信息的点云数据，以实现点云数据的光谱信息补充。
50.在已知航摄像片内外方位元素的情况下，将lidar点云的三维坐标代入共线条件方程，可计算得到对应三维点在影像上的像素位置，进而通过重采样获取近红外(nir)、红色(r)以及绿色(g)通道的灰度值。共线条件方程可表示为：
[0051][0052]
式中，f是像焦距，xyz为地面点的三维坐标，(xs,ys,zs)是外方位元素的三个线元素，(a1,b1,c1,a2,b2,c2,a3,b3,c3)是由外方位元素中三个角元素计算得到的旋转矩阵参数。计算出每个激光脚点对应的光谱信息(nir、r、g三通道灰度值)后，将点云三维坐标、光谱信息组合得到增强的点云数据，作为后续点云分类的输入数据，点云与影像的融合。
[0053]
协方差特征是点云中常见的特征，能够表征物体的形状或者局部点云的分布状态等，在点云数据处理中有着重要应用。对于三维点云数据来说，可以用d＝{pi,i＝1,...,n}表示点云，其中n是点云d中点的数量。对此，首先计算当前点云的均值和协方差矩阵:
[0054]
pointnet网络模型架构如图3所示。
[0074]
实验验证与分析
[0075]
测区数据：采用isprs提供的德国vaihingen城市测试数据集。该数据集是als(airborne laser scanning)点云的集合，由leica als50系统捕获的10个条带组成，两个相邻条带之间平均重叠率为30％左右。多光谱航空影像的地面分辨率为8cm，每张影像的尺寸为7680pixel
×
13824pixel，并且提供了影像的内、外方位元素。目前，该数据标记的点云被分为9个类别作为算法评估标准，其包含丰富的地理环境、城区环境及建筑物类型，能够充分验证本算法。vaihingen数据集中提供了航空影像数据以及与其对应的机载lidar点云数据，lidar点云数据的平均点距为4points/m2。vaihingen数据集提供的参考数据中已经对lidar点云数据的分类类别进行了标注，提取相关建筑物特征后，可以直接训练分类器，对lidar点云测试数据进行分类，最终实现建筑物点的精确提取。使用pointnet网络和所提算法进行训练和测试，数据集中点的语义标签包含9类(电力线、车辆、低矮植物、不透水表面、护栏、屋顶、墙面、灌木、树)。训练数据集共包含753,876个点，测试数据集有411,722个点。
[0076]
表1 isprs vaihingen数据集点云类别及数目
[0077][0078]
表2 vaihingen数据参数
[0079][0080]
为了验证本发明提出的基于pointnet的多尺度多邻域特征的算法成立，首先用相同的数据对单尺度单特征(ss)(仅包含xyz信息)、单尺度多特征(sm)、多尺度多特征(mm)分别进行验证，单尺度单特征就是只包含xyz信息的pointnet网络；单尺度多特征即在原有pointnet的基础上只添加一个mini-pointnet，计算当r＝0.8时的邻域特征，与xyz一起输进mini网络，与此同时点云与影像融合后的xyzrgb信息组合作为原pointnet网络的输入；多尺度多特征也就是本文提出的msmf-pointnet算法，分别计算r＝0.8和r＝1.2时的点云特征，与xyz一起输进mini网络，与此同时将xyzrgb信息代替点云单特征输进pointnet网络。分类精度如图4所示。
[0081]
从图4可以看出，所提的基于pointnet的多尺度多邻域算法(mm)的整体分类精度最高，分类效果最好，总体精度达到88.1％，从上述定量化的评价结果来看，融合光谱信息和基于协方差特征(sm)后，所有地物的点云分类精度都有较大提升。其中，sm总体精度与ss相比提高了19.2个百分点；融合光谱信息和两个尺度的协方差特征(mm)后，精度又进一步提升，与单尺度的sm相比提升了8.4个百分点。其中不透水地面、树、屋顶的精度提升最为明显，分别提高了19.7个百分点、30个百分点和31.3个百分点。由此可见，多尺度多邻域的点云的属性信息可以得到有效增强，从而实现了对各种地物目标更加准确的分类。具体分类结果对比如图4所示，依次为真实值，ss，sm，mm的最终分类结果图。从整体上看，mm的最终分类结果与真实值相差无几，特别是在屋顶、树及不透水地面上，分类效果尤为突出。从ss上可以看出，地物被误分类为屋顶和树的情况居多，当sm中加入基于球形邻域的局部特征后，房屋和树的分类精度大大提升，ss中只依据地形和高程简单地分类成树、屋顶和灌木，而sm中将分类细化，分类出屋顶、树、灌木、不透水地面、篱笆和车。加入多尺度的mm比sm更加的准确和细化，如图上圈出的上方区域，可以明显的看到中间有一条凸起，在实地是一道左右两侧高度相差较大的窄沟，r＝0.8时，窄沟高度偏高的右侧地面被分类为屋顶，当加入r＝1.2的局部特征后，不透水地面准确的被分类出。
[0082]
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的技术人员来说，
在不脱离本发明整体构思前提下，还可以作出若干改变和改进，这些也应该视为本发明的保护范围。