一种联合空间特征和光谱特征的点云分类方法

本发明属于高光谱激光雷达领域，尤其涉及一种联合空间特征和光谱特征的点云分类方法。

背景技术：

1、激光雷达(lidar)作为一种主动式探测的现代光学遥感技术，结合了传统雷达技术与现代激光技术，成为对地观测领域的新技术发展方向。激光雷达点云分类是获取激光雷达点云数据中每个点的语义标签，实现对场景的结构信息、物品功能等语义属性信息的描述和分析。精确的激光雷达点云分类是进行复杂室内外视觉解译和场景理解的工作基础。

2、目前，国内外激光雷达数据点云分类的研究热点，主要在获得高密度和高精度的三维点云数据基础上，通过计算点云的距离变化、法向变化、曲率变化、高程差异、密度大小、拓扑关系等几何量，实现点云的分类与特征提取。通常激光雷达获取的点云数据量非常大，利用几何信息进行点云分类与特征提取计算量大、效率低、精度不高，并且当几何差异较小时，一些算法无法得到准确的结果。另外，传统的激光雷达系统一般为单波长，在目标属性信息获取方面受到了单一波长的限制，激光后向散射强度数据中的光谱信息相对不足，导致其对地物类别的探测能力有限。融合被动光学的高光谱遥感数据与激光雷达数据可以弥补激光雷达光谱信息不足的缺陷，能够有效地提高地物目标识别与分类精度。但是，融合不同传感器数据进行联合解译面临的最大挑战是精确地配准不同类型数据到同一空间坐标系，同时高光谱成像会受到被动光源光照条件的约束。

3、高光谱激光雷达作为近年来一种新型遥感探测手段，可以突破自然光照条件的限制，兼具高空间探测能力与地物物理属性探测能力，除了获取目标表面三维点云几何信息之外，还可以同时获得地物的光谱信息，得到具有高光谱信息的激光雷达点云数据。高光谱激光雷达系统产生与高光谱后向散射强度相结合的点云[x,y,z,ii(λ)](i＝1,2,…n)，ii(λ)表示后向散射强度作为波长λ的连续函数。不同目标表面由于对不同波长的反射率不同，获取的激光强度值存在差异，高光谱激光雷达回波强度表征目标对不同波长激光的反射光谱特性。

4、近年来，许多研究人员基于光谱信息对激光雷达的点云分类进行了研究，光谱信息主要来源于未归一化的原始点云强度信息或归一化后的光谱信息。目前高光谱激光雷达的点云分类常用的方法有：支持向量机、决策树、逻辑回归、朴素贝叶斯、随机森林等方法。这些传统的机器学习的方法主要基于人为设计的特征作为分类器的输入进行分类，是浅层分类器的方法。然而，人为设计规则提取的特征表达能力较弱，很难跨越底层点云的光谱数据特征与高层逻辑信息的语义鸿沟，分类精度往往不高。而且特定的分类规则和参数设计对复杂场景的点云适应性差，模型的泛化能力在处理复杂场景时无法达到令人满意的效果。

5、近年来，基于深度学习的方法在图像分类和目标识别中等领域取得了一系列突破性的进展，相比于传统的机器学习方法具有更强的特征学习和特征表达能力。基于深度学习的方法能够通过端到端的学习机制从数据中自动化提取点云特征信息，而不需要人为定义的特征，有效规避传统机器学习方法提取特征时的主观因素带来的影响，从而自适应地提取数据的特征并进行分类，模型泛化能力强。激光雷达的点云数据是海量的，在具有充足有标记训练样本保障的前提下，深度学习网络往往可以取得较好的分类精度。

6、激光雷达点云分类是获取激光雷达点云数据中每个点的语义标签，实现对场景的结构信息、物品功能等语义属性信息的描述和分析。精确的激光雷达点云分类是进行视觉解译和场景理解的基础和前提。目前，国内外激光雷达数据点云分类的研究方法主要通过获得高密度和高精度的三维点云数据，通过计算点云的几何变化，实现点云的分类与特征提取。高光谱激光雷达除了获取目标表面三维点云几何信息之外，还可以同时获得地物的光谱信息。

技术实现思路

1、为了充分利用高光谱激光雷达高精度三维信息与高分辨率光谱信息获取的优势，本发明对高光谱激光雷达获取的空间和光谱信息进行联合处理和特征提取，开展空谱特征融合的点云分类研究，提出了联合空间和光谱特征的点云分类模型，进一步提高激光雷达点云分类精度。

2、本发明提出了一种联合空间特征和光谱特征的点云分类方法，具体包括以下步骤：

3、步骤一，对点云卷积的卷积核和卷积运算的进行定义；

4、步骤二，基于空间特征卷积神经网络分支进行点云的卷积运算和池化操作提取空间特征；

5、步骤三，基于光谱特征卷积神经网络分支进行光谱维的卷积运算和池化操作提取光谱特征；

6、步骤四，建立空间特征和光谱特征联合的点云分类模型。

7、进一步，其中，步骤一中，

8、一个高光谱激光雷达点产生的点云是一个3d点的集合它包含了点云中总数为m的点，具体描述为如下公式(5)：

9、

10、式中：是点云中的第m个点；

11、点pm的属性f描述了它的空间坐标和光谱反射率信息，表示为如下公式(6)：

12、f(pm)＝[xm,ym,zm,ρm(λ1),ρm(λ2),…,ρm(λn)]   (6)

13、式中，xm,ym,zm分别代表点pm的三维坐标，ρm(λn)代表点pm在波长为λn时的光谱反射率，

14、基于h个相邻点来定义pm的3d感受野，感受野定义为如下公式(7)：

15、

16、式中：代表“任意”，||pm-ph||代表点pm和点ph的距离，表示基于距离||pm-ph||，点pm的h个最近邻域点，最近邻域被描述为{ph|h＝1,2,…,h}，基于h个最近邻域的点pm的属性表示为

17、为了在3d点云中执行卷积运算，将3d卷积核定义为如下公式(8)：

18、ks＝{k0,k1,…,ks-1}   (8)

19、式中：s表示卷积核中权重的数量，卷积核的中心坐标为k0＝(0,0,0)，对于卷积核中的每个核点k，深度学习过程中的权重的维度与每个点的属性的维度一致，卷积核中每个核点的权重被定义为ω(ks)，基于h个邻域点和卷积核ks的权重的向量，3d点云中的卷积运算定义为如下公式(9)：

20、

21、定义函数表示ph-pm和ks的余弦相似性，如公式(10)所示，相似度越高，卷积核对邻域点的影响就越强，当最大值时，得到取最大值时的s，记为s'；

22、

23、式中，操作<a,b>表示向量a和b的内积运算，卷积运算定义为如下公式(11)：

24、

25、进一步，步骤二中，

26、3d点云的集合p是点云卷积网络的输入，卷积层执行公式(11)的卷积运算，池化操作采用最大池化方法，来获取每个点的感受野，下采样率为r，空间特征卷积神经网络分支包括输入层、卷积层、最大池化层和全连接层。

27、进一步，步骤三中，

28、光谱特征卷积神经网络分支的输入层是icnn＝[ρ(λ1),ρ(λ2),…,ρ(λn)],(n＝1,2,…,n)，其中n是波长序号，n是波长数，ρ(λn)是第n个反射率；

29、光谱特征卷积神经网络分支的卷积层通过不同的卷积核实现卷积操作，如公式(12)：

30、

31、式中：矩阵是前一层即第l-1层的第i个特征，是当前层即第l层的第j个特征，m是特征数；和是当前层即第l层的卷积核参数，f是一个非线性函数，而*是卷积运算；

32、光谱特征卷积神经网络分支包含输入层、卷积层、池化层、每个卷积层后的relu层和一个全连接层，具有前向传播和反向传播两个训练过程。

33、进一步，步骤四中，

34、点云分类模型网络由光谱特征卷积神经网络分支和空间特征卷积神经网络分支组成，将两个分支网络的全连接层拼接，生成一个新的全连接层，表示融合特征，操作过程如公式(13)所示，其中f光谱是深层次光谱特征向量，f空间是空间特征向量，f表示融合特征向量，

35、f＝[f光谱,f空间]   (13)。

36、本发明具有以下有益技术效果：高光谱激光雷达除了获取点云的几何信息外，还可以获取目标多个波段的光谱信息，具有高维、异构、海量的数据特点，在目标特征提取与识别的应用中，显示了巨大的潜力和灵活性。高光谱激光雷达的光谱数据是不同波段光谱向量的集合，探测得到的点云中的每个点对应一个n维特征空间的向量，光谱空间中的光谱序列本质上是一组有序连续的数据结构。

37、本发明涉及一种联合空间特征和光谱特征的点云分类方法，实现光谱和点云空间数据的特征级融合。本发明自动化提取点云数据的多种特征并进行分类，充分利用了高光谱激光雷达具有的高精度三维信息与高分辨率光谱信息同时获取的优势，具有分类精度高、泛化能力强的优点。