一种用于点云分类分割的动态图语义特征提取方法

1.本发明属于点云特征提取技术领域，特别是涉及一种用于点云分类分割的动态图语义特征提取方法。


背景技术：

2.计算机视觉一直是一个很活跃的研究课题，尤其是三维视觉；而三维数据的表现形式通常有投影图像、网格、体素、点云。
3.点云保留了三维空间中物体的原始几何信息，其表达方式简单，不需要任何的离散化。随着3d采集技术的快速发展，点云也变得易于获取，包括各种3d scanners,lidars。三维点云数据因获取途径广、精度高等优点被广泛用于现代工程中的各个领域，包括机器人、遥感等。近年来，深度学习成为研究计算机视觉、自然语言处理的热点。因为点云的不规则性、离散化等特征，使得基于深度学习的三维点云特征提取方法具有挑战性。而点云特征提取对于点云后续的分类分割任务是十分重要的。本发明主要研究点云的分类和部分分割；
4.基于图的方法：点云在空间中是离散分布的，点与点之间没有显著的联系。而图结构可以很好的构建点与点之间的关系。作为点云中使用图论思想的先驱simonovsky等人将每个点视为图的顶点，并通过有向边将每个顶点与其所有相邻点相连接。然后使用滤波器、多层感知机(mlp)等提出了边缘条件卷积(ecc)。pointnet是第一个直接处理点云的网络。但是其不能很好的处理点周围的邻域信息，点与点之间缺乏很好的信息交互。pointnet++利用构建图解决了以上问题。其使用fps采样得到点集，再使用球查找找到每个点的邻域，融合邻域信息。但是pointnet++中的点特征学习是以孤立的方式学习的，因此localspecgcn被提了出来。其是在构建的局部图上将其转换在谱域上学习特征，然后用递归聚类和池化解决孤立学习点的特征的问题。同样，为了解决pointnet点与点之间的信息交互问题，dgcnn使用最邻近算法knn来构建局部图融合点的特征，之后在特征空间中动态的更新图。deepgcn采用了在训练深度卷积神经网络中成功的概念，主要是残余连接、密集连接和扩张卷积。提出允许训练非常深入的图卷积神经网络gcns。so-net使用point-to-node knn而不是node-to-point knn来精准控制感受野提取点云特征。gacnet使用图注意力聚合邻居点的特征，具体是对不同的邻近点分配适当的注意力权重，根据邻近点的动态学习特征。
5.基于注意力的方法：注意力机制最早是在视觉图像领域提出来，后来被广泛用于nlp领域，如文本摘要和阅读理解。自那以后，注意力机制开始在计算机视觉中得到广泛应用。senet带来了一种有效的、轻量级的门控机制，可以通过通道的重要性自行重新校准特征图。其考虑的是不同通道的像素的重要性可能不一样。而cbam考虑到同一个通道的不同位置像素重要性也可能不一样，即空间层面上。所以在senet的基础上添加了空间注意力。受nlp领域提出的transformer的影响，pat使用自注意力机制和group shuffle注意力来获得点云的重要性特征。l2g提出了提出了局部到全局的自编码器，通过局部到全局的重构同
时学习点云的局部和全局结构。point transformer是基于向量自注意力机制来提取点云特征,注意力的输入是下采样后的点云的位置和特征。pct通过使用transformer固有的顺序不变性来避免定义点云数据的顺序和通过偏移注意力机制来进行特征学习。
6.基于其他方法的：mvcnn使用多视图的方法对3d形状识别。其利用同一件三维形状的不同视角下的图，结合起来提取三维形状描述算子。pvnet是第一个结合了多视图和点云的方法进行3d形状识别。其利用多视图数据中的高级特征对点云数据中不同结构特征的内在相关性和可识别性进行建模。votenet采用的是体积表示来表示点云。其通过骨干网选择一组种子点，学习它们的特征，然后对这些种子点进行霍夫投票。kd-net为输入点云构造kd-tree，然后从叶到根进行分层特征提取。cp-net考虑每个点的重要性，通过自适应性关键点采样提取点云特征进行分类任务。
7.现有的技术主要存在以下问题：
8.点云是一种非结构化、不规则，且在空间中离散分布的非欧数据。graph convolution networks(gcns)由于其能用图表示非欧数据的优势，得到了很多的应用。在点云中构建图能够很好地建立点与点之间的联系，并将图上的点可以看作一个规则有序的点集输入神经网络。图的构建方式有在谱域和空域中两种方式，而在谱域中构建图，特征分解很浪费计算资源和内存的，因此一般是在空域中构建图。pointnet++扩展了pointnet，它不仅考虑了全局信息，还考虑了局部细节。使用最远点采样得到点集，再通过球查找构建局部图，之后使用mlp和最大池化来聚合点云的局部特征。dgcnn通过使用k邻近算法构建局部图，使用非对称函数聚合点云的局部特征和全局特征，之后使用mlp和最大池化聚合点的信息。pointweb使用最远点采样得到点集，再通过knn构建局部图。提出了一个专注于研究局部点云图内各点之间的关系的afa模块，在信息聚合时使用mlp和最大池化。大部分基于图的方法处理点云的局部特征时，构图后通常采用1x1卷积增加通道数，然后使用最大池化聚合特征。但是聚合特征后并没有通道之间的直接语义信息交互。而且仅使用最大池化，这损失了每个节点的特征和节点之间的关系信息。
9.为此，本发明为了解决现有技术的缺陷，以提供出本发明的一一种用于点云分类分割的动态图语义特征提取方法。


技术实现要素：

10.本发明的目的在于提供一种用于点云分类分割的动态图语义特征提取方法，用于解决上述背景技术中的现有技术问题。
11.为解决上述技术问题，本发明是通过以下技术方案实现的：
12.本发明为一种用于点云分类分割的动态图语义特征提取方法，包括以下步骤：
13.输入具有n个点的c维数据p；
14.构建局部动态图g＝(v,e)，定义xi的k个邻居点边缘特征e
ij
＝h
θ
(xi,xj)，则一层图的输出x
′i表示为：
15.x
′i＝h
θ
(xi,xj)
16.通过边缘函数h
θ
聚合点xi的邻居特征；
17.通过最大池化获得局部图上最有代表性的语义信息x
′
，获得语义特征最明显的位置；
18.利用组整体的特征空间分布来调整单通道语义特征；x
′
＝{x1,...,xc′
}，将特征图按照通道维数分为g组，即每组有m(m＝c’/g)维特征；首先求得组内各个通道均值，用于表示单通道特征ci,之后再更新组内特征，同时对组内点的不同特征相加，得到整组的语义特征pg；
19.再对整组的语义特征pg进行归一化处理；
20.最后将整组的语义特征pg经过sigmoid函数σ()处理得到组内特征的权重w，再与原来组数据相乘，得到交互后的特征
21.求和来聚合局部图的特征，得到单个图注意
22.将图注意力和语义特征通过可学习的标量α和β对特征进行聚合，得到聚合特征f。
23.进一步地，所述c维数据p表示为：
24.p＝{pi∈rc,i＝0,...,n-1}。
25.进一步地，所述局部图g＝(v,e)的构建基于每个点周围邻近的k个点。
26.进一步地，所述边缘函数h
θ
表示为：
27.h
θ
(xi,xj)＝h
θ
(xi,x
j-xi)
28.其中，xi为全局特征，x
i-xj为局部特征；
29.并通过多层感知机mlp处理，得到所有局部图的语义特征x，表示为：
30.x＝mlp(h
θ
(xi,xj))。
31.进一步地，所述最有代表性的语义信息x
′
表示为：
32.x
′
＝max(x)。
33.进一步地，所述单通道特征ci表示为：
[0034][0035]
其中，i表示通道上的特征，n表示有n个点，更新组内特征得到：
[0036][0037]
其中，j表示点，取值范围在1～n；
[0038]
对组内点的不同特征相加，整组的语义特征pg，表示为：
[0039][0040]
其中，pg表示一个组的语义特征，i表示第g组的单通道，g表示是第g组特征。
[0041]
进一步地，所述整组的语义特征pg进行归一化处理后表示为：
[0042][0043]
引入学习尺度参数γ和偏移β调整组归一化数据，得到整组的语义特征pg归一化后调整表示为：
[0044]ag
＝γ
·
pg+β。
[0045]
进一步地，所述整组的语义特征pg和原组特征x
i～m
＝{xi,...,xm}相乘，得到交互后
的特征表示为：
[0046][0047]
再将各组数据进行拼接，得到特征
[0048]
进一步地，得到权重
[0049]
w＝t(x)；
[0050]
w为权重，t()为多层感知机mlp经过softmax处理；
[0051]
单个局部图特征权重所述单个图注意的表示为：
[0052][0053]
所有局部图的特征组成之后经过mlp处理。
[0054]
进一步地，所述聚合特征f的标识为：
[0055]
f＝α
·fg
+β
·fp
。
[0056]
本发明具有以下有益效果：
[0057]
本发明通过获得局部图中语义特征最强的特征，这样之后利用各组全局统计特征与局部位置特征的相似性作为注意指导，生成语义特征提取的掩模，并采用非对称函数获取点云的局部特征和全局特征，之后使用最大池化聚合该点和其邻居点的全局和局部特征。
附图说明
[0058]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0059]
图1为本发明的局部动态示意图；
[0060]
图2为本发明的效果示意图；
[0061]
图3为本发明流程图。
具体实施方式
[0062]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0063]
请参阅图1-3所示，本发明为一种用于点云分类分割的动态图语义特征提取方法。
[0064]
1.动态图构建
[0065]
传统的gcn会随着网络的加深而产生过度平滑的问题，且感受野大小不变。为了解
决这一问题，我们构建局部动态图，并在特征空间中动态更新图。
[0066]
输入具有n个点的c维数据p＝{pi∈rc,i＝0,...,n-1}，原始数据c＝3，只表示x,y,z坐标；
[0067]
使用knn算法找到每个点周围邻近的k个点，构建局部图g＝(v,e)，如图1所示。定义xi的k个邻居点边缘特征e
ij
＝h
θ
(xi,xj)，则一层图的输出表示为：
[0068]
x
′i＝h
θ
(xi,xj)
[0069]
为了聚合点xi的邻居特征，选用如下非对称的边缘函数h
θ
。这样不仅有全局特征xi还有局部特征x
i-xj。
[0070]hθ
(xi,xj)＝h
θ
(xi,x
j-xi)
[0071]
之后输出使用多层感知机mlp得到所有局部图的语义特征x。
[0072]
x＝mlp(h
θ
(xi,xj))
[0073]
1.1语义特征交互
[0074]
一个通道对应一个特征图，其是对某个特征的检测。通道中某一处数值的强弱就是对当前特征强弱的反应，说明同一通道中的特征分布是不一样的。
[0075]
而不同通道关注的特征可能不同，即不同通道的特征分布也是不同的。当网络在浅层的时候，注意到是浅层特征，当网络层数越深时，关注的就是一些高级语义特征。
[0076]
为了提取语义交互特征，更好地进行分类分割任务；
[0077]
为获得语义特征最明显的地方，因此首先使用最大池化获得局部图上最有代表性的语义信息x
′
：
[0078]
x
′
＝max(x)
[0079]
利用组整体的特征空间分布来调整单通道语义特征。x
′
＝{x1,...,xc′
}，将特征图按照通道维数分为g组，即每组有m(m＝c’/g)维特征。首先求得组内各个通道均值，用于表示单通道特征ci：
[0080][0081]
其中i表示通道上的特征，n表示有n个点。更新组内特征：
[0082][0083]
其中，j表示点，取值范围在1～n。
[0084]
对组内点的不同特征相加，得到整组的语义特征pg，g表示是第g组特征。
[0085][0086]
然后对整组的语义特征pg进行归一化处理。
[0087][0088]
其中ε是为了避免出现分母为0的情况，μg是整组的语义特征pg的均值，σg是pg的标准差。
[0089]
和常用的归一化方法一样，我们引入可学习尺度参数γ和偏移β来调整组归一化数据，得到整组的语义特征pg归一化后调整表示为：
[0090]ag
＝γ
·
pg+β
[0091]
最后将整组的语义特征pg经过sigmoid函数σ()处理得到组内特征的权重，再与原来组数据x
i～m
＝{xi,...,xm}相乘，得到交互后的特征
[0092][0093]
最后将各组数据进行拼接，得到特征
[0094]
1.2图注意力
[0095]
仅使用最大池化来聚合局部特征，这损失了每个节点的特征和节点之间的关系信息。而节点与节点之间的关系是有不同重要性的，我们使局部点云特征自己指导自己设计不一样的权重w；方法t()是多层感知机mlp经过softmax处理：
[0096]
w＝t(x)
[0097]
单个局部图特征权重为不损失每个节点的特征和节点之间的关系信息。我们使用求和来聚合局部图的特征，则单个图注意的输出是：
[0098][0099]
所有局部图的特征组成之后经过多层感知机mlp处理。
[0100]
2.特征聚合
[0101]
最后是两个分支特征的聚合部分，我们引入两个可学习的标量来聚合特征。让其自适应聚合语义特征和点与点之间的细粒度特征，以此增强局部图的上下文信息。
[0102]
f＝α
·fg
+β
·fp
。
[0103]
3.总结
[0104]
本发明最主要的是通过语义特征交互、图注意力这两个分支和这两个分支特征的融合。
[0105]
语义特征交互部分：一个通道对应一个特征图，其是对某个特征的检测。一组通道则对应一组特征图，单个特征图的关注重点(即语义)和一组特征图的关注重点是不同的。通过获得局部图中语义特征最强的特征，这样之后利用各组全局统计特征与局部位置特征的相似性作为注意指导，生成语义特征提取的掩模。再经过数据归一化处理后得到注意力分数和原来的特征相乘。
[0106]
图注意力部分：使用k邻近算法找到每个点的最近的k个邻居点，采用非对称函数获取点云的局部特征和全局特征，之后使用图注意力给图上的不同特征分配不同的权重，之后使用求和聚合图上的特征。
[0107]
特征融合部分：使用两个可学习的标量自适应的融合语义特征交互部分特征和图注意力部分特征。
[0108]
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合
适的方式结合。
[0109]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该本发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。