一种动态局部自注意力卷积网络点云分析系统及方法

1.本发明属于机器视觉技术领域，尤其涉及一种动态局部自注意力卷积网络点云分析系统及方法。


背景技术：

2.点云是cax应用程序中常见的一种3d数据格式，其应用跨越了各种工程和学科。近来，现实世界中的点云采集设备和软件工具不断发展，使点云采集更快、更便宜、规模更大。点云以其丰富的几何语义信息和简单的数据格式，正在成为土木工程、建筑建模、交通运输工程等工程领域的通用数据表示，受到越来越多的关注。但由于点云的几何语义信息复杂，数据结构离散，尤其是点云数据规模数量不断增加，并伴随着复杂的应用场景，使得点云的处理难度大，难以应用于cax工程领域。
3.在早期工程应用中，点云经常被用于逆向工程。点云通常由三维坐标测量设备获取并初步处理，每个点云目标中点的数量非常少。为了在不同的应用领域所应用，人们通常需要为不同的点云数据构建不同的算法以更好地处理点云。逐渐地，以往的方法已经无法处理规模不断增长的点云数据，因而人们考虑使用基于深度学习的方法，并设计了各种类型的基于深度学习的解决方案。简而言之，基于深度学习的方法可以分为两类:规则化数据方法和规则化计算方法。顾名思义，规则化数据方法是将不规则且无序的点云数据转换为规则化的数据，如二维图像或三维网格，从而使用深度学习方法进行信息提取。另一种规则化计算方法则是直接处理无序离散的点云数据，在此过程中设计构造一些规则化计算算子，使其能够应用深度学习方法直接提取点云特征信息。显然地，设计规则化计算方法的方式使得点云数据的处理得到了极大的便利，降低计算负担的同时减少了数据转换造成的损失。在这项工作中，我们专注于应用深度学习技术直接处理3d点云数据而设计一种端到端直接处理无序点云的规则化计算方法。
4.与此同时，以自注意力机制为核心的transformer的方法已成功地从自然语言处理(nlp)任务迁移到个计算机视觉(cv)任务，在许多二维图像数据集上取得了优异的结果。在三维视觉任务中，一些方法也基于自注意力机制设计了相应的框架来完成一些具有挑战性的三维任务，如三维形状分类、三维分割等，该类型方法的最大特点是能感知更多的全局信息。然而，在复杂的cax任务中，丰富的局部几何信息是至关重要的，尤其是在特殊的三维点云数据表示中。虽然上述的一些处理3d点云数据的方法取得了一些进步，但是缺少一种既能全局感知又能局部感知的端到端的处理方法。因此，研究一种基于动态局部自注意力卷积的3d点云分析方法并部署至硬件计算平台具有重要意义。


技术实现要素：

5.本发明的目的是要解决在3d点云数据处理技术中点云几何语义信息挖掘不充分和局部重点语义信息感知能力不足的问题，为此，本发明提供一种基于动态局部自注意力卷积的3d点云分析方法和装置部署，解决了3d点云形状分类、3d点云部件分割和现实复杂
室内场景3d点云目标判别的任务及硬件装置部署。
6.为了实现所述目的，本发明提出了一种动态局部自注意力卷积网络点云分析系统及方法。
7.本发明系统的技术方案为一种动态局部自注意力卷积网络点云分析系统，包括：
8.三维激光雷达、上位机；
9.所述三维激光雷达与所述上位机连接；
10.所述三维激光雷达用于实时采集室内三维点云数据，将实时采集的室内三维点云数据传输至所述上位机；
11.所述上位机通过基于动态局部自注意力卷积的3d点云分析方法处理得到实时采集的室内三维点云数据的预测标签类别。
12.本发明方法的技术方案为一种动态局部自注意力卷积网络点云分析方法，具体步骤如下：
13.步骤1：引入多组原始三维点云数据，将每组原始三维点云数据通过数据预处理得到每组预处理后三维点云数据，人工标记每组预处理后三维点云数据的真实标签类别；
14.步骤2：构建动态局部自注意力卷积网络，将每组预处理后三维点云数据输入至动态局部自注意力卷积网络进行预测得到每组预处理后三维点云数据的预测标签类别，结合每组预处理后三维点云数据的真实标签类别构建损失函数模型，通过sgd算法优化训练得到优化后动态局部自注意力卷积网络；
15.步骤3：上位机通过三维激光雷达实时采集室内三维点云数据，将实时采集的室内三维点云数据通过步骤1所述数据预处理得到实时预处理后室内三维点云数据，将实时预处理后室内三维点云数据通过优化后动态局部自注意力卷积网络预测得到实时预处理后室内三维点云数据的预测标签类别；
16.作为优选，步骤2所述动态局部自注意力卷积网络包括：第一动态局部自注意学习模块，第二动态局部自注意学习模块、第三动态局部自注意学习模块、第四动态局部自注意学习模块、聚合模块、池化模块、sofmax分类器；
17.步骤2所述的第一动态局部自注意学习模块，第二动态局部自注意学习模块、第三动态局部自注意学习模块、第四动态局部自注意学习模块依次级联连接；
18.所述的第一动态局部自注意学习模块、第二动态局部自注意学习模块、第三动态局部自注意学习模块、第四动态局部自注意学习模块分别与所述聚合模块连接；
19.所述聚合模块与所述池化模块连接；
20.所述池化模块与所述sofmax分类器连接；
21.所述第一个动态局部自注意学习模块以每组预处理后三维点云数据作为第一动态局部自注意学习模块的输入特征，对第一个动态局部自注意学习模块的输入特征中所有三维点经过动态局部自注意力学习，得到第一动态局部自注意学习模块的输出特征；
22.第二个动态局部自注意学习模块以第一动态局部自注意学习模块的输出特征作为第二个动态局部自注意学习模块的输入特征，对第二个动态局部自注意学习模块的输入特征中所有三维点经过动态局部自注意力学习，得到第二动态局部自注意学习模块输出特征；
23.第三个动态局部自注意学习模块以第二动态局部自注意学习模块的输出特征作
为第三个动态局部自注意学习模块的输入特征，对点云所有点经过动态局部自注意力学习，得到第三动态局部自注意学习模块输出特征；
24.第四个动态局部自注意学习模块以第三动态局部自注意学习模块的输出特征作为第四个动态局部自注意学习模块的输入特征，对点云所有点经过动态局部自注意力学习，得到第四动态局部自注意学习模块输出特征；
25.所述的动态局部自注意力学习，具体计算过程如下：
26.在第t个动态局部自注意学习模块中，将第t个动态局部自注意学习模块的输入特征通过使用k近邻算法得到第t个动态局部自注意学习模块的输入特征中每个三维点的局部邻域，具体定义如下：
[0027][0028]
t∈[1,4]
[0029]
i∈[1,m]
[0030]
其中，表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域，x
t，i，j
表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中第j个局部邻域点，m表示第t个动态局部自注意学习模块的输入特征中三维点的数量，n表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中局部邻域点的数量，j∈[1,n]；
[0031]
根据构建第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的有向图，具体定义如下：
[0032]gt，i
＝(v
t,i
,e
t,i
)
[0033]
t∈[1,4]
[0034]
i∈[1,m]
[0035]
其中，g
t，i
表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的有向图，v
t，i
表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的有向图中顶点的集合，即第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域n个邻域点，e
t，i
表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的有向图中边的集合，即为第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中每个邻域点与中心点x
t，i
之间的关系，m表示第t个动态局部自注意学习模块的输入特征中三维点的数量；
[0036]
在g
t，i
上计算第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的的自注意力特征，具体计算方式如下：
[0037][0038]
其中，表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的自注意力特征，表示第t个动态局部自注意学习模块的输入特征中第i个三维点的上查询维度的自注意力信息，表示第t个动态局部自注意学习模块的输入特征中第i个三维点的上键维度上的注意力信息，表示第t个动态局部自注意学习
模块的输入特征中第i个三维点的上值维度上的注意力信息；f
t，i
表示在第t个动态局部自注意学习模块的输入特征中第i个三维点在其对应的局部邻域上的输入特征
[0039]
分别为第t个动态局部自注意学习模块的输入特征中第i个三维点的查询维度上的可学习的矩阵、第t个动态局部自注意学习模块的输入特征中第i个三维点的键维度上的可学习的矩阵、第t个动态局部自注意学习模块的输入特征中第i个三维点的值维度上的可学习的矩阵；
[0040]
对于使用局部点云语义学习进行自注意力语义信息学习，具体如下：
[0041][0042]
j∈[1,n]，i∈[1,m]
[0043]
其中，表示第t个动态局部自注意学习模块的输入特征中第i个三维点的第j个局部邻域点的局部语义学习信息，θ
l
是第t个动态局部自注意学习模块中一组用来学习每个三维点的局部自注意力语义信息的m个参数,relu表示激活函数，x
t，i，j
表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中第j个局部邻域点，x
t，i
表示第t个动态局部自注意学习模块的输入特征中第i个三维点，m表示第t个动态局部自注意学习模块的输入特征中三维点的数量，n表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中局部邻域点的数量；
[0044]
在中，选取最大值的信息去更新第t个动态局部自注意学习模块的输入特征中第i个三维点
[0045]
表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中局部语义学习信息最大的局部邻域点；
[0046]
所述聚合模块，将每组预处理后三维点云数据对应的第一动态局部自注意学习模块的输出特征、每组预处理后三维点云数据对应的第二动态局部自注意学习模块的输出特征、每组预处理后三维点云数据对应的第三动态局部自注意学习模块的输出特征、每组预处理后三维点云数据对应的第四动态局部自注意学习模块的输出特征进行全局特征聚合，得到每组预处理后三维点云数据对应的全局聚合特征：
[0047][0048]
其中，cat表示全局特征聚合，f表示每组预处理后三维点云数据对应的全局聚合特征；
[0049]
所述的池化模块，将每组预处理后三维点云数据对应的全局聚合特征进行高维多通道信息降维，获取每组预处理后三维点云数据对应的全局特征向量，所述每组预处理后三维点云数据对应的全局特征向量包含每组预处理后经过局部语义自注意力学习后的三维点云数据的全局几何信息；
[0050]
所述sofmax分类器，将每组预处理后三维点云数据对应的全局特征向量经过sofmax分类得到表示每组预处理后三维点云数据的预测标签类别概率
[0051]
每组预处理后三维点云数据的真实标签类别为每组预处理后三维点云数据的预测标签类别概率对应的预测标签类别为所述动态局部自注意力卷积网络预测得到的预测标签类别；
[0052]
步骤2所述损失函数模型，具体定义如下：
[0053][0054][0055][0056]
其中，表示每组预处理后三维点云数据的真实标签类别，表示每组预处理后三维点云数据的预测标签类别概率，loss表征真实样本标签和预测概率之间的差值,softmax表示sofmax分类；
[0057]
步骤2所述通过sgd算法优化训练得到优化后动态局部自注意力卷积网络，具体如下：
[0058]
多组预处理后三维点云数据迭代执行下述优化过程：
[0059]
本组预处理后三维点云数据依次通过上一组预处理后三维点云数据结合loss经过sgd算法调优后动态局部自注意力卷积网络预测得到本组预处理后三维点云数据的预测标签类别概率，进一步计算损失函数模型并结合sgd算法优化训练得到本组预处理后三维点云数据优化后动态局部自注意力卷积网络；
[0060]
本发明构建了用于点云语义分类和分割的模型，该模型包括动态局部自注意学习模块、聚合模块、池化模块、分类模块以及分割模块，通过设计的深度模型学习点云几何语义信息，更深入地理解3d点云的局部重点信息，提出方法融合于一个端到端的深度网络模型中，学习3d点云形状识别的鲁棒性特征，克服噪声、空间形变等不确定性问题，提高了3d点云形状识别的正确率。
附图说明
[0061]
图1：本发明实施例的系统结构示意图；
[0062]
图2：本发明实施例的方法流程图；
[0063]
图3：本发明实施例的网络模型示意图；
[0064]
图4：本发明实施例的动态局部自注意力语义学习模块的架构图；
具体实施方式
[0065]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0066]
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范
围内。
[0067]
图1为本发明实施例的系统结构示意图，本发明实施例系统的技术方案为：
[0068]
一种动态局部自注意力卷积网络点云分析系统，包括：
[0069]
三维激光雷达、上位机；
[0070]
所述三维激光雷达与所述上位机连接；
[0071]
所述三维激光雷达选型为riegl minivux-1lr三维激光雷达扫描仪；
[0072]
所述上位机的选型配置为：
[0073]
cpu：intel i5 10500；
[0074]
图形处理器：nvidia geforce rtx 3090；
[0075]
所述三维激光雷达用于实时采集室内三维点云数据，将实时采集的室内三维点云数据传输至所述上位机；
[0076]
所述上位机通过动态局部自注意力卷积网络点云分析方法处理得到实时采集的室内三维点云数据的预测标签类别。
[0077]
下面结合图2介绍本发明实施例提供的一种动态局部自注意力卷积网络点云分析方法，具体如下：
[0078]
步骤1：引入多组原始三维点云数据，将每组原始三维点云数据通过抖动，旋转，平移的方式进行数据预处理得到每组预处理后三维点云数据，人工标记每组预处理后三维点云数据的真实标签类别；
[0079]
步骤2：构建动态局部自注意力卷积网络，将每组预处理后三维点云数据输入至动态局部自注意力卷积网络进行预测得到每组预处理后三维点云数据的预测标签类别，结合每组预处理后三维点云数据的真实标签类别构建损失函数模型，通过sgd算法优化训练得到优化后动态局部自注意力卷积网络；
[0080]
如图3所示，步骤2所述动态局部自注意力卷积网络包括：第一动态局部自注意学习模块，第二动态局部自注意学习模块、第三动态局部自注意学习模块、第四动态局部自注意学习模块、聚合模块、池化模块、sofmax分类器；
[0081]
步骤2所述的第一动态局部自注意学习模块，第二动态局部自注意学习模块、第三动态局部自注意学习模块、第四动态局部自注意学习模块依次级联连接；
[0082]
所述的第一动态局部自注意学习模块、第二动态局部自注意学习模块、第三动态局部自注意学习模块、第四动态局部自注意学习模块分别与所述聚合模块连接；
[0083]
所述聚合模块与所述池化模块连接；
[0084]
所述池化模块与所述sofmax分类器连接；
[0085]
所述第一个动态局部自注意学习模块以每组预处理后三维点云数据作为第一动态局部自注意学习模块的输入特征，对第一个动态局部自注意学习模块的输入特征中所有三维点经过动态局部自注意力学习，得到第一动态局部自注意学习模块的输出特征；
[0086]
第二个动态局部自注意学习模块以第一动态局部自注意学习模块的输出特征作为第二个动态局部自注意学习模块的输入特征，对第二个动态局部自注意学习模块的输入特征中所有三维点经过动态局部自注意力学习，得到第二动态局部自注意学习模块输出特征；
[0087]
第三个动态局部自注意学习模块以第二动态局部自注意学习模块的输出特征作
为第三个动态局部自注意学习模块的输入特征，对点云所有点经过动态局部自注意力学习，得到第三动态局部自注意学习模块输出特征；
[0088]
第四个动态局部自注意学习模块以第三动态局部自注意学习模块的输出特征作为第四个动态局部自注意学习模块的输入特征，对点云所有点经过动态局部自注意力学习，得到第四动态局部自注意学习模块输出特征；
[0089]
如图4所示，所述的动态局部自注意力学习，具体计算过程如下：
[0090]
在第t个动态局部自注意学习模块中，将第t个动态局部自注意学习模块的输入特征通过使用k近邻算法得到第t个动态局部自注意学习模块的输入特征中每个三维点的局部邻域，具体定义如下：
[0091][0092]
t∈[1,4]
[0093]
i∈[1,m]
[0094]
其中，表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域，x
t，i，j
表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中第j个局部邻域点，m表示第t个动态局部自注意学习模块的输入特征中三维点的数量，n＝20表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中局部邻域点的数量，j∈[1,n]；
[0095]
根据构建第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的有向图，具体定义如下：
[0096]gt，i
＝(v
t，i
，e
t，i
)
[0097]
t∈[1,4]
[0098]
i∈[1,m]
[0099]
其中，g
t，i
表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的有向图，v
t，i
表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的有向图中顶点的集合，即第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域n个邻域点，e
t，i
表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的有向图中边的集合，即为第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中每个邻域点与中心点x
t，i
之间的关系，m表示第t个动态局部自注意学习模块的输入特征中三维点的数量；
[0100]
在v
t，i
上计算第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的的自注意力特征，具体计算方式如下：
[0101][0102]
其中，表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域的自注意力特征，表示第t个动态局部自注意学习模块的输入特征中第i个三维点的上查询维度的自注意力信息，表示第t个动态局部自注意学习模块的输入特征中第i个三维点的上键维度上的注意力信息，表示第t个动态局部自注意学习模块的输入特征中第i个三维点的上值维度上的注意力信息；f
t，i
表示在第t个动态局部自
注意学习模块的输入特征中第i个三维点在其对应的局部邻域上的输入特征
[0103]
分别为第t个动态局部自注意学习模块的输入特征中第i个三维点的查询维度上的可学习的矩阵、第t个动态局部自注意学习模块的输入特征中第i个三维点的键维度上的可学习的矩阵、第t个动态局部自注意学习模块的输入特征中第i个三维点的值维度上的可学习的矩阵；
[0104]
对于使用局部点云语义学习进行自注意力语义信息学习，具体如下：
[0105][0106]
j∈[1,n]，i∈[1,m]
[0107]
其中，表示第t个动态局部自注意学习模块的输入特征中第i个三维点的第j个局部邻域点的局部语义学习信息，θ
l
是第t个动态局部自注意学习模块中一组用来学习每个三维点的局部自注意力语义信息的m个参数,relu表示激活函数，x
t，i，j
表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中第j个局部邻域点，x
t，i
表示第t个动态局部自注意学习模块的输入特征中第i个三维点，m表示第t个动态局部自注意学习模块的输入特征中三维点的数量，n表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中局部邻域点的数量；
[0108]
在中，选取最大值的信息去更新第t个动态局部自注意学习模块的输入特征中第i个三维点自注意学习模块的输入特征中第i个三维点jmax表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中局部语义学习信息最大的局部邻域点，n＝20表示第t个动态局部自注意学习模块的输入特征中第i个三维点的局部邻域中局部邻域点的数量，j∈[1,n]；
[0109]
所述聚合模块，将每组预处理后三维点云数据对应的第一动态局部自注意学习模块的输出特征、每组预处理后三维点云数据对应的第二动态局部自注意学习模块的输出特征、每组预处理后三维点云数据对应的第三动态局部自注意学习模块的输出特征、每组预处理后三维点云数据对应的第四动态局部自注意学习模块的输出特征进行全局特征聚合，得到每组预处理后三维点云数据对应的全局聚合特征：
[0110][0111]
其中，cat表示全局特征聚合，f表示每组预处理后三维点云数据对应的全局聚合特征，
[0112]
所述的池化模块，将每组预处理后三维点云数据对应的全局聚合特征进行高维多通道信息降维，获取每组预处理后三维点云数据对应的全局特征向量，所述每组预处理后三维点云数据对应的全局特征向量包含每组预处理后经过局部语义自注意力学习后的三维点云数据的全局几何信息；
[0113]
所述sofmax分类器，将每组预处理后三维点云数据对应的全局特征向量经过sofmax分类得到表示每组预处理后三维点云数据的预测标签类别概率
[0114]
每组预处理后三维点云数据的真实标签类别为每组预处理后三维点云数
据的预测标签类别概率对应的预测标签类别为所述动态局部自注意力卷积网络预测得到的预测标签类别；
[0115]
步骤2所述损失函数模型，具体定义如下：
[0116][0117][0118][0119]
其中，表示每组预处理后三维点云数据的真实标签类别，表示每组预处理后三维点云数据的预测标签类别概率，loss表征真实样本标签和预测概率之间的差值,softmax表示sofmax分类；
[0120]
步骤2所述通过sgd算法优化训练得到优化后动态局部自注意力卷积网络，具体如下：
[0121]
多组预处理后三维点云数据迭代执行下述优化过程：
[0122]
本组预处理后三维点云数据依次通过上一组预处理后三维点云数据结合loss经过sgd算法调优后动态局部自注意力卷积网络预测得到本组预处理后三维点云数据的预测标签类别概率，进一步计算损失函数模型并结合sgd算法优化训练得到本组预处理后三维点云数据优化后动态局部自注意力卷积网络；
[0123]
步骤3：上位机通过三维激光雷达实时采集室内三维点云数据，将实时采集的室内三维点云数据通过步骤1所述数据预处理得到实时预处理后室内三维点云数据，将实时预处理后室内三维点云数据通过优化后动态局部自注意力卷积网络预测得到实时预处理后室内三维点云数据的预测标签类别；
[0124]
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
[0125]
尽管本文较多地使用了三维激光雷达、上位机等术语，但并不排除使用其他术语的可能性。使用这些术语仅仅是为了更方便的描述本发明的本质，把它们解释成任何一种附加的限制都是与本发明精神相违背的。
[0126]
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。