综合Transformer和边卷积特征的多光谱机载点云场景分类方法

本发明涉及激光点云测量数据智能处理与地理信息数据应用，尤其是一种综合transformer和边卷积特征的多光谱机载点云场景分类方法。

背景技术：

1、城市环境中各类地物的位置、种类和语义信息是高精地图中的核心要素，对于地图更新与导航、城市规划、土地覆盖分类等应用具有重要作用。多光谱激光雷达(lightdetection and ranging,lidar)系统可同时获取地物的表面几何和光谱信息，已成为一种快速获取大范围空间数据的手段。由于机载激光扫描系统采集场景具有场景目标丰富、数据缺失等特点，从中自动且高精度分类目标仍具有重大挑战。

2、与处理单一的几何坐标相比，融合多光谱信息的三维点云数据能够显著提高土地覆盖分类的准确性。基于三维多光谱点云无需数据转换直接执行分类任务。morsy等(2017)基于三个titan多光谱激光雷达波长的归一化差异特征指数分离陆地、水体、植被。ekhtari等(2017,2018)通过支持向量机(svm)方法将多光谱激光雷达数据直接分类为10个对象，证明多光谱激光数据具有良好的特征识别能力。此外，miller(2016)和morsy(2017)表明基于三维多光谱激光点云方法优于二维多光谱特征图像的方法。wang等(2019c)通过张量表示从多光谱激光点云中提取了几何和光谱特征。

3、近年来，利用深度学习理论自动提取不同类型地物特征实现精确分类成为发展趋势。pointnet(2017)利用置换不变算子聚合点云特征，开创了直接处理非结构化三维点云的先河。随后pointnet++(2017)使用查询球分组和分层pointnet来捕获局部结构。xiang等(2021)在不扩大感受野的情况下生成连续点段序列以获得点特征。xu等(2020)利用几何相似性连接模块来聚合具有相似特征和几何相关性的点，增强了几何变换的鲁棒性。图结构也被用来探索点云的局部特征：wang等(2019a)提出利用图结构的神经网络模块edgeconv，通过在dgcnn中堆叠edgeconv模块来获得足够的局部信息并提取全局信息。wang等(2019b)使用图注意力卷积模型区分不同类别的属性来学习匹配特征。xu等(2020)构造局部图实现中心点上的信息聚合。此外，mlp被扩展到执行点卷积：kpconv(2019)利用核点来卷积局部点集，dpc(2020)定义扩张点群来扩大点的感受野。bahdanau等(2015)提出一种具有注意力机制的神经网络翻译方法。lin等(2017)将自注意力用于可视化和语句解释。基于此，vaswani等(2017)不借助任何递归或卷积算子提出了用于机器翻译的transformer。随后注意力被引入视觉领域。wang等(2017)基于具有堆叠注意力模块的残差注意力进行图像分类。hu等(2018)基于注意力机制提出了一种新的空间编码单元块。自注意机制本质上是一个集合算子。transformer(yu,2021；hao,2021；engel,2021；guo,2021；zhang,2021；yuan,2018；qin,2022；zhou,2022)成功处理三维点云表明阶不变性适用处理无序和不规则的点云。例如，zhao(2021)聚合k个相邻点信息以重新编码点；guo(2021)通过自注意机制学习特征，且模型的权重分布不随空间距离的增加而衰减。

4、现有的transformer模型成功处理自然语言和图像，推动了其在三维点云中的发展。实现了形状分类、零件分割和法线估计等应用。尽管基于transformer模型在点云数据集上表现良好，但由于领域差距，并不适用于室外场景的多光谱激光数据。因此，本发明在现有transformer模型基础上加入多光谱信息，并学习点云全局几何拓扑信息，实现室外场景多光谱激光点云的精准分类。

技术实现思路

1、由于单一的空间信息在分类中无法实现更精细的地物分类，从大范围室外场景点云中提取各类地物仍然是一个具有挑战性的问题。为此，本发明提出了融合点云几何拓扑信息的多光谱机载激光点云自注意分类网络。①基于地物几何、拓扑关系堆叠图结构进行节点动态更新，实现点云几何特征提取；②该模型利用矢量自注意力聚合点云局部多光谱特征，实现点云多光谱特征提取；③通过学习双边输入信息有机融合几何特征和多光谱特征，实现地物的精细分类。

2、为解决上述技术问题，本发明提供了一种综合transformer和边卷积特征的多光谱机载点云场景分类方法，包括如下步骤：

3、步骤1：目标点云几何信息提取；

4、步骤2：基于transformer的多光谱特征提取；

5、步骤3：双边特征扩充；

6、步骤4：点云损失函数构建。

7、进一步的，步骤1中，dgcnn(dynamic graph cnn，缩写为：dgcnn，动态图边卷积网络，)中的edgeconv模块为边卷积神经网络模块，通过逐点构建k近邻图结构，动态建立和更新局部点云拓扑和语义关系，提取地物几何特征。

8、进一步的，步骤1中edgeconv模块为边卷积神经网络模块，通过逐点构建k近邻图结构，动态建立和更新局部点云拓扑和语义关系，提取地物几何特征；假设第m层edgeconv块的输入节点特征为顶点的k邻近点为edgeconv模块则结合顶点自身特征与邻域点的特征差异定义边特征并采用最大池化(maxpooling)聚合k个边特征并更新节点特征堆叠三个edgeconv模块提取地物的局部边特征，并将三个edgeconv模块特征拼接后进行不同尺度特征融合，利用mlp学习各类目标的全局特征pedgeconv_global

9、

10、

11、pedgeconv_global＝maxpool([x(1)||x(2)||x(3)])      (3)

12、式中，是由一组可学习的参数ω构成的非线性函数；e及e'是特征维度；x(l)表示第l层edgeconv模块提取的局部几何信息；||表示矩阵拼接操作。

13、进一步的，步骤2中，transformer包含特征编码器、转换层和特征解码器；；特征编码器分五个阶段对点集逐步下采样；阶段下采样后的点数依次为n，n/4，n/16，n/64，n/256，其中n为初始输入点数；转换层连接各个阶段，向下转换用于特征编码，向上转换用于特征解码。

14、进一步的，步骤2使用减法关系，并将位置编码δ添加到注意力向量ζ和变换后的特征γ：

15、fi＝∑l(ζ(α(fi)-β(fj))+δ)⊙(γ(fj)+δ)       (4)式中，fi为输出特征；α、β、γ是逐点特征变换，例如线性投影或mlp；ζ是映射函数，用于生成聚合特征的注意力向量；l是一个归一化函数；fi为点云多光谱特征；fj为fi邻域点的多光谱特征；处理三维点云时，点坐标本身是位置编码的自然候选。位置编码函数δ定义如下

16、

17、这里pi和pj是点i和j的坐标。编码函数是具有两个线性层和一个relu非线性的mlp。

18、进一步的，步骤3中，采用双边特征扩充模块从双边输入信息中相互学习偏移量从而增强点特征；根据每个点pi计算点邻域几何特征pi和语义特征fi，将pi的绝对位置和与其邻域的相对位置合并为局部上下文θψ；θψ(pi)＝[pi；pj-pi]表示三维空间中的几何上下文，θψ(fi)＝[fiifj-fi]表示特征空间的语义上下文；基于θψ(fi)丰富的语义信息来扩充θψ(pi)，在θψ(fi)上应用mlp来估计双边偏移

19、

20、利用增强几何上下文：再利用增强的几何上下文估计语义双边偏移

21、

22、得到增强的语义上下文最后通过mlp将拼接起来，得到几何和多光谱信息有机融合后的特征θi

23、

24、进一步的，步骤4中，损失函数的计算公式为：

25、

26、t(xi)为第i个点的真实标签值，p(xi)为模型对第i个点的预测值，随着训练次数的增加，损失值(crossentropyloss)逐渐减小，说明训练得到的概率分布越来越接近真实的分布。

27、根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明的综合transformer和边卷积特征的多光谱机载点云场景分类方法中的步骤。

28、根据本发明的又一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明的综合transformer和边卷积特征的多光谱机载点云场景分类方法中的步骤。

29、相比于现有技术，本发明至少具有如下有益效果：本发明是一种综合transformer和边卷积特征的多光谱机载点云场景分类方法，基于部分地物对光谱信息敏感的特点提出了一种融合点云几何位置和多光谱信息的室外大场景点云地物分类方法，不同于将单一利用点云位置信息或者其他纹理信息，本发明提出融合空间拓扑信息的机载多光谱激光点云自注意分类网络，基于地物几何、拓扑关系堆叠图结构进行节点动态更新，有效提取点云全局的几何特征和拓扑关系。除此之外，本发明利用矢量自注意力(点云转换器)聚合点云局部多光谱特征，补偿了传统分类方法的缺陷。通过学习双边输入特征实现地物的精细分类。提高了点云室外大场景分类精度。本发明具有极强的稳健性和实用性，可适用于多种场景的地面点云分类，具有优异的实用价值。