一种基于双向多尺度注意力的水利环境下的点云分割方法

本发明涉及一种基于双向多尺度注意力的水利环境下的点云分割方法。

背景技术：

1、随着感知系统获取点云数据质量的提高，点云语义分割受到了学术界和工业界的广泛关注，其主要任务是对点云进行点级语义分类，以感知环境变化。

2、在技术上，点云语义分段经历了从基于手工特征到基于深度学习的方法转变。早期使用基于手工设计点特征与随机森林、聚类等传统机器学习方法相结合进行点云分段，这类方法对点云表示能力较弱。近年来，受益于深度学习在图像语义分割领域的进展，出现了将神经网络应用于点云处理的方法。代表性网络结构包括pointnet++、pointnext等，可以直接对点云进行端到端语义理解，这类方法明显提高了点云表示能力。

3、在应用上，基于深度学习技术的点云语义分割已在自动驾驶、机器人、无人机导航等领域得到应用。例如，通过对激光雷达点云进行语义分割，识别出道路、行人、车辆等类别，为自动驾驶汽车环境感知提供关键信息。然而，对构建水利数字孪生至关重要的水利环境全范围自动场景识别仍面临挑战。

4、针对跨密度的水利场景下的点云语义分割深度学习方法具有以下困难：（1）水利工程区域点云同时包含与水利相关的工程场地以及难以区分的生活区域等，物体不规则，特征识别困难。（2）同类别及跨类别点云覆盖区域变化差异均大，例如大坝与混凝土堤体积差异达百倍，森林与零散树木难以划分，需要对体积变化敏感。（3）基于深度学习的分割模型评估建立在以点为单位数据上，不同类别边界易产生离散点，不利于水利工程区域划分，影响分割效果。（4）无人机采集设备、操作环境、实施方案不同采集方案导致不同区域点云密度存在差异，影响对局部特征的识别。

技术实现思路

1、为了解决上述技术问题，本发明提供一种算法简单、精度高的基于双向多尺度注意力的水利环境下的点云分割方法。

2、本发明解决上述问题的技术方案是：

3、一种基于双向多尺度注意力的水利环境下的点云分割方法，包括以下步骤：

4、步骤1）数据预处理，得到最终经过预处理的点云坐标和点云特征；

5、步骤2）建立模型：通过分析双向的多尺度注意力过程，设计双向多尺度自注意力子模块，构建端到端的语义分割深度学习网络模型；

6、步骤2）中，双向多尺度自注意力子模块通过多尺度采样一致性结构捕捉水利场景的多尺度范围下的特征信息，再通过空间结构和语义特征进行双向的向量自注意力结构对语义信息进一步聚合，提高点云语义分割的准确性；

7、步骤2）具体过程为：

8、2-1）构建基于多尺度采样一致性结构与双向的向量自注意力结构的双向多尺度自注意力子模块，通过语义特征和空间结构的双向自注意力机制对多尺度特征进行特征聚合；

9、2-2）构建基于双向多尺度自注意力子模块的双向多尺度自注意力编解码模块，双向多尺度自注意力编解码模块进行连续4次下、上采样，并逐步通过双向多尺度自注意力子模块聚合特征，实现对数据预处理后的点云数据进行语义类别的感知，获得双向多尺度自注意力编解码模块的输出特征；

10、2-3）建立输出模块，输出模块通过使用线性层对输出特征进一步融合提取，得到点云的预测值；

11、步骤3）模型的训练和测试：确定所建立的语义分割深度学习网络模型的参数，并检验所设计的语义分割深度学习网络模型的分割效果。

12、上述基于双向多尺度注意力的水利环境下的点云分割方法，所述步骤1）中，数据预处理包括对原始点云坐标的体素化处理来统一点云密度以及最小值标准化、随机缩放、保持z轴不变的随机旋转、随机高斯噪声、随机水平旋转和随机的空间移动操作；对原始点云特征中的rgb进行色彩对比度增强、色彩偏移和抖动处理，经处理后的点云坐标与特征分别记为和，定义点云对应真实值，并分为训练集和测试集。

13、上述基于双向多尺度注意力的水利环境下的点云分割方法，所述步骤2-1）中，双向多尺度自注意力子模块由多尺度采样一致性结构与双向的向量自注意力结构构成，其中多尺度采样一致性结构的建立过程为：

14、首先通过邻域搜索knn算法来查找邻域，令多尺度采样一致性结构输入特征和对应点云坐标分别为和，上标 m表示多尺度采样一致性结构，第 i个点通过knn算法获得大中小三种尺度邻域索引为，上标 n=1，2，3分别表示大中小三种尺度，则第 i个点的邻域特征表示为，第 i个点的邻域坐标表示为，和分别表示第 i个点的邻域中第 j个点的特征和坐标，然后采用来提取每个邻域中所有点特征的最大值；最后，将不同尺度下的点云进行拼接，以实现多尺度采样一致性，数学表示如下：

15、；

16、其中，∈表示中第 i个点的坐标，mlp表示多层感知机，表示对总数为3的数或表达式在特征维度进行拼接，表示第 i个点多尺度采样一致性后的输出特征，所有点的特征表示为；

17、总结上述过程的输入输出关系表达为：

18、；

19、其中表示多尺度采样一致性结构。

20、上述基于双向多尺度注意力的水利环境下的点云分割方法，所述步骤2-1）中，双向的向量自注意力结构的建立过程为：

21、首先通过空间信息增强结构sic引入极坐标来提高空间位置关系的敏感性，令sic输入点云坐标和特征分别为和，上标 t表示空间信息增强结构sic，第个点通过knn算法获得的邻域索引为，则第个点的邻域特征和坐标分别为和，其中、分别表示为第个点的邻域中第个点的特征和坐标，记中第个点的坐标为，和相对坐标表示为 ()，则第个点的邻域中极坐标的极径、极角、仰角分别为、、；将与点云的相对坐标在特征维度进行拼接即可得到该邻域新的空间信息，拼接过程表示为：

22、；

23、然后，将和通过特征向量自注意力模块，特征向量自注意力模块首先对输入特征使用特征查询线性权重和特征键线性权重对输入特征进行编码，以实施注意力操作；同时，引入增强特征处理的空间位置关系；最后，通过 softmax 函数获得了特征信息向量的注意力权重编码，将注意力权重编码与使用特征表示线性权重编码的特征信息向量进行哈达玛乘积并求和，从而获得特征向量自注意力特征，数学表示如下：

24、；

25、其中，  表示中第个点的特征，表示中第个点的坐标，表示特征关系线性层linear，表示特征关系线性层，表示哈达玛乘积，表示第个点经过特征向量自注意力模块的输出特征，上标 f表示特征向量自注意力模块；

26、接着，将和通过空间向量自注意力模块，空间向量自注意力模块首先对使用空间查询线性权重和空间键线性权重对输入特征进行编码，以实施注意力操作；同时，引入增强特征处理的空间位置关系；然后，通过 softmax 函数来获取空间信息向量的注意力权重编码，并将注意力权重编码与空间表示线性权重编码后的特征信息向量进行哈达玛乘积并求和，从而获得空间向量自注意力特征，数学表示如下：

27、；

28、其中，  表示中第个点的特征，表示空间关系线性层linear，表示空间注意力线性层linear， m(.)表示计算局部邻域点相同位置特征的平均值，表示第个点经过空间向量自注意力模块的输出特征，上标 s表示空间向量自注意力模块；

29、最后，使用特征拼接操作，并通过参数可学习的线性变换矩阵完成特征注意力和空间注意力的语义信息合成，该过程表示为：

30、；

31、其中表示第个点经过语义特征和空间结构双向注意力的输出特征，所有点的特征表示为；

32、总结上述过程的输入输出关系表达为：

33、；

34、其中，为双向向量自注意力结构。

35、上述基于双向多尺度注意力的水利环境下的点云分割方法，所述步骤2-1）中，令双向多尺度自注意力子模块的点云输入特征和坐标分别为和，上标表示双向多尺度自注意力子模块，首先，将和通过多尺度采样一致性结构，获得输出特征，然后，通过 k个残差连接的线性层linear、双向的向量自注意力结构和线性层linear对特征进行注意力增强，最终输出经过双向的多尺度注意力聚合特征；并保存对应的点云坐标，总结上述过程输入输出关系表达为：

36、；

37、其中，为双向多尺度自注意力子模块。

38、上述基于双向多尺度注意力的水利环境下的点云分割方法，所述步骤2-2）中，采用所述步骤2-1）中双向多尺度自注意力子模块bimssc 进行特征融合、最远点采样算法进行下采样和三线性插值算法进行上采样，构建的双向多尺度自注意力编解码模块，输入为，输出为, 具体操作过程如下：

39、；

40、其中，表示第 l层级的输出特征，表示第次采样后的输出坐标，表示使用线性层对特征进行提取，“”表示特征按位相加。

41、上述基于双向多尺度注意力的水利环境下的点云分割方法，所述步骤2-3）中，对输入特征使用两组线性层linear对特征进行提取，并将通道数调整为指定分类数，具体过程如下：

42、；

43、其中，。

44、上述基于双向多尺度注意力的水利环境下的点云分割方法，所述步骤3）中，对建立的语义分割深度学习网络模型进行训练，将点云坐标和特征通过基于双向多尺度自注意力编解码模块获得特征图，再经过输出模块后获得预测值，将预测值与真实值gt进行交叉熵运算，度量预测值与真实值的误差，即计算损失；通过反向传播算法对定义的语义分割深度学习网络模型参数进行迭代优化训练，训练到整个模型收敛为止；其中损失函数如下：

45、；

46、其中和分别表示和中指定分类数的第类别的真实值和预测值，利用随机梯度下降sgd，优化器优化函数loss 使损失值达到最小。

47、上述基于双向多尺度注意力的水利环境下的点云分割方法，所述步骤3）中，将测试集的点云数据输入到训练好的语义分割深度学习网络模型中，推理测试点云的语义类别预测值，再通过对点云进行众位数滤波处理离散点获得新的预测值，具体过程如下：

48、；

49、其中为统计所构成邻域中每个类别数量；根据新的预测值与真实值计算平均类别交并比miou、平均类别准确率macc、整体精确度oa，直到所有测试集测试完成，给出最终的预测准确度。

50、本发明的有益效果在于：本发明提出的基于双向多尺度注意力的水利环境下的点云分割方法在针对水利场景点云语义分割的问题上相对于其他算法提高了精度，优化了可视化结果，具体表现为:

51、1、相对于以往一些网络模型，本发明提出的模型通过简洁的结构设计比较容易实现。

52、2、本发明通过在步骤1）中对点云进行体素化进行数据预处理，提高了模型在不同密度点云上的适应能力，有利于局部特征的识别。

53、3、本发明通过在步骤2-1）中建立多尺度采样一致性结构子模块，提高了对同类别及跨类别点云覆盖区域变化差异均大场景的适应性，对体积变化更为敏感。

54、4、本发明通过在步骤2-1）中建立双向的向量自注意力子模块，提高了对水利工程区域特征识别困难场景的识别能力。

55、5、本发明通过对在步骤3）中对点云应用众位数滤波进行数据后处理，有效减少了预测结果中的离散点，可视化效果更好。