一种基于稀疏图卷积的三维点云分类方法

1.本发明涉及三维点云分类领域，特别涉及一种基于稀疏图卷积的三维点云分类方法。


背景技术：

2.目前，人工智能和计算机视觉等领域发展势头迅猛，三维数据处理对自动驾驶、虚拟/增强现实以及机器人等产业的发展至关重要。近年来，三维数据采集技术快速发展，人们利用诸如rgbd摄像头等三维传感器可以轻松获得三维数据，这些数据包括丰富的物体形状、几何、比例信息等，可以帮助机器快速了解周围环境。
3.点云作为一种三维数据，是一组由三维坐标表示的数据点，它保留了三维空间中的原始几何信息，没有进行任何离散化处理。它是许多场景下分析和处理3三维数据的主流表示。
4.由于三维点云具有无序性和不规则性，难以用传统的卷积神经网络处理，最初通过将三维点云数据离散化处理为规则的数据格式，如体素、多视图等。这种转换过程引起的信息丢失会严重影响点云分类效果，且转换后的数据格式容易造成分类过程的计算量爆炸。目前，人们倾向于优化卷积神经网络模型，直接将点云数据作为网络的输入。pointnet是一个开创性的网络模型，它直接将原始点云作为输入，实现了前所未有的分类性能。具体来说，它在每个点上独立应用对称函数来提取点云的逐点特征，这有助于排列不变性。然而，该网络忽略了点之间的相互作用，因此分类的精度难以保证。
5.传统的基于图的卷积神经网络可以很好地利用相邻点之间的几何关系，它设法利用点之间的底层拓扑关系并丰富点云的表示能力。首先将点云中的每个点视为图上的一个顶点，并生成相应的边，然后基于图卷积进行特征学习。然而，图构建需要在点云中搜索局部邻域的全部点，这导致时间成本高昂。
6.针对传统的基于图的卷积神经网络的不足，本发明通过设计稀疏图卷积模块来降低网络的计算复杂度，该模块在局部图中丢弃一定数量的相邻点并加速网络的图卷积。同时，提出了一个稀疏特征编码模块，如果来自稀疏图卷积模块的特征信息较少，稀疏特征编码模块可以将信息编码为具有更丰富表示的点特征。基于此，本发明提高了三维点云分类的效率和准确性。


技术实现要素：

7.针对现有基于图卷积神经网络模型在三维点云分类处理中的不足，本发明提出了一种基于稀疏图卷积的大规模场景下三维点云分类方法，利用稀疏图卷积模块降低传统图卷积的计算复杂度，并利用特征聚合模块来丰富点云在稀疏邻居方面的表示，从而实现了分类精度、效率、模型复杂度都具有较高水平的点云分类网络模型。
8.为了达到上述发明目的，解决其技术问题所采用的技术方案如下：
9.一种基于稀疏图卷积的三维点云分类方法，包括以下步骤：
10.步骤a：数据预处理，对原始的三维点云数据进行归一化处理和均匀采样；
11.步骤b：构建分类网络模型，分类网络模型主要包含稀疏图卷积模块和特征聚合模块；
12.步骤c：训练分类网络模型，对训练样本通过分类网络的特征提取层提取出1024维向量并进行分类，对分类结果进行反向传播对模型进行迭代；
13.步骤d：三维测试点云样本分类，利用训练好的基于稀疏图卷积的神经网络模型进行三维点云数据的分类实验。
14.进一步的，所述步骤a包括以下步骤：
15.步骤a1：归一化处理，原始的三维点云数据模型一般由三维激光雷达扫描仪扫描目标物体得到，其取值范围根据目标物体的差异存在较大不同，因此采用离差标准化方法将原始点云数据的三维坐标归一化至单位球内；
16.步骤a2：采样处理，对于每个经过归一化处理后的三维点云模型，利用最远点采样法从中采样出1024个点，将这1024个点作为该模型的采样样本。
17.进一步的，所述步骤b包括以下步骤：
18.步骤b1：构建特征提取层，特征提取层包括首尾相连的稀疏图卷积模块和特征聚合模块，对点pi以及邻域的特征输入，特征提取过程用式子描述如下：
[0019][0020]
其中，fi′
为特征提取层的输出，为特征聚合模块的聚合操作，为稀疏图卷积模块的稀疏图卷积运算，pj为邻域中的邻近点；
[0021]
步骤b2：构建特征拼接和最大池化层，对于特征提取层不同维度的输出进行拼接，并由多层感知机对特征维度升到1024维，再通过最大池化层压缩为1
×
1024的向量作为点云的最终特征描述；
[0022]
步骤b3：构建由多层感知机实现的分类器，激活函数采用leakyrelu函数，负斜率设置为0.2，对点云1
×
1024的向量进行分类。
[0023]
进一步的，所述步骤b1包括以下步骤：
[0024]
步骤b11：构建稀疏图卷积模块，模块应用k-近邻算法为点云中每一个点pi构建局部邻域图，根据各邻近点与中心点pi在特征空间中的距离进行排序，并将它们标记为点集并在点集中注入“空洞”，并从点集中选择子点集：
[0025][0026]
其中，稀疏参数反映映射过程中相邻点的稀疏性表示稀疏，k
′
代表最终选取的点数，将中各邻近点的特征向量与中心点的特征向量做差得到：
[0027]
[0028]
作为点pi的局部特征矩阵；
[0029]
同时复制特征向量fi得到：
[0030]fi
＝[fi,fi,
…fi
]
dim(f)
×k′
[0031]
作为点pi的全局特征矩阵；
[0032]
将两个特征矩阵连接在一起后，得到点pi的特征矩阵表示，借助多层感知器，得到中心点pi更深层次的特征矩阵表示：
[0033][0034]
其中，ε为特征提取函数，是由多层感知器实现的映射函数。
[0035]
步骤b12：构建特征聚合模块，特征聚合模块将特征矩阵作为输入，应用多层感知器拟合的自适应权重编码器，输出各中心点pi的相邻点的权重，并将特征矩阵与可学习的权重进行加权聚合：
[0036][0037][0038]
其中，w
ij
是注意力权重，是一个多层感知器，而σ是一个非线性函数。
[0039]
进一步的，所述步骤c包括以下步骤：
[0040]
步骤c1：从训练集中选出m个点云样本，将样本的原始三维坐标馈入到所构建的分类网络模型中，对每个点云样本由四个特征卷积层分别学习出64、64、128和256维的特征向量表述，通过特征拼接和最大池化层得到1
×
1024的向量作为点云的最终特征描述，并传入分类器中进行分类，得到m
×
c的输出结果，其中c为类别数；
[0041]
步骤c2：对于分类器的输出，根据交叉熵损失函数计算损失值，基于随机梯度下降算法进行更新；
[0042]
步骤c3：重复步骤c1和步骤c2直至分类模型收敛。
[0043]
本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：
[0044]
1、通过大量的基于合成数据集和真实数据集的实验证实，本发明通过引入稀疏图卷积模块能够降低传统图卷积的计算复杂度，并使用稀疏特征编码模块来丰富点云在稀疏邻居方面的表示，以利用图构建中的特征来获得更好的三维数据分类性能和更好的效率。这种基于稀疏图卷积模块和稀疏特征编码模块的卷积网络模型不仅克服了传统基于图的卷积网络模型计算速度缓慢、计算量大的缺点，同时提高了对点与点之间关系的利用能力，有效地提高了点云分类的精度，适合当前大规模场景下点云分类的需求。
[0045]
2、本发明采用稀疏化构建局部邻域图的方式，扩大了中心点的感受野，同时减少了邻近点特征信息的冗余度；采用基于注意力机制的稀疏特征聚合的方式，对特征信息进行压缩和增强，避免重要的特征信息在聚合过程中丢失；网络在点云分类精度和模型复杂度之间取得了良好的平衡，其可以很好地适用于各种不同的应用场景，能够高效、准确地完成点云的分类任务。
附图说明
[0046]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：
[0047]
图1是本发明一种基于稀疏图卷积的三维点云分类方法的总体架构图；
[0048]
图2是本发明一种基于稀疏图卷积的分类网络模型；
[0049]
图3是本发明基于modelnet40数据集对测试点云分类前后的t-sne可视化图。
具体实施方式
[0050]
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]
本实施例公开了一种基于稀疏图卷积的三维点云分类方法，用于解决在点云密集的情况下传统的图卷积模型计算复杂度较高的问题。这种方法主要提出了一种基于稀疏图卷积的点云分类网络模型，来降低网络在构建局部邻域和特征学习过程中的计算复杂度，并结合注意力机制对特征信息进行聚合，从而在提升模型分类任务精度的同时，降低模型的复杂度，具体包括以下步骤：
[0052]
步骤a：数据预处理，对原始的三维点云数据进行归一化处理和均匀采样；
[0053]
步骤b：构建分类网络模型，分类网络模型主要包含稀疏图卷积模块和特征聚合模块；
[0054]
步骤c：训练分类网络模型，对训练样本通过分类网络的特征提取层提取出1024维向量并进行分类，对分类结果进行反向传播对模型进行迭代；
[0055]
步骤d：三维测试点云样本分类，利用训练好的基于稀疏图卷积的神经网络模型进行三维点云数据的分类实验。
[0056]
进一步的，所述步骤a包括以下步骤：
[0057]
步骤a1：归一化处理，原始的三维点云数据模型一般由三维激光雷达扫描仪扫描目标物体得到，其取值范围根据目标物体的差异存在较大不同，因此采用离差标准化(min-max normalization)方法将原始点云数据的三维坐标归一化至单位球内；
[0058]
步骤a2：采样处理，对于每个经过归一化处理后的三维点云模型，利用最远点采样法(farthest point sampling)从中采样出1024个点，将这1024个点作为该模型的采样样本。
[0059]
进一步的，所述步骤b包括以下步骤：
[0060]
步骤b1：构建特征提取层，特征提取层包括首尾相连的稀疏图卷积模块和特征聚合模块，对点pi以及邻域的特征输入，特征提取过程用式子描述如下：
[0061][0062]
其中，fi′
为特征提取层的输出，为特征聚合模块的聚合操作，为稀疏图卷积
模块的稀疏图卷积运算，pj为邻域中的邻近点；
[0063]
步骤b2：构建特征拼接和最大池化层，对于特征提取层不同维度的输出进行拼接，并由多层感知机对特征维度升到1024维，再通过最大池化层压缩为1
×
1024的向量作为点云的最终特征描述；
[0064]
步骤b3：构建由多层感知机实现的分类器，激活函数采用leakyrelu函数，负斜率(negative slope)设置为0.2，对点云1
×
1024的向量进行分类。
[0065]
进一步的，所述步骤b1包括以下步骤：
[0066]
步骤b11：构建稀疏图卷积模块，模块应用k-近邻算法(k-nearest neighbors)为点云中每一个点pi构建局部邻域图，根据各邻近点与中心点pi在特征空间中的距离进行排序，并将它们标记为点集并在点集中注入“空洞”，并从点集中选择子点集：
[0067][0068]
其中，稀疏参数反映映射过程中相邻点的稀疏性表示稀疏，k
′
代表最终选取的点数，将中各邻近点的特征向量与中心点的特征向量做差得到：
[0069][0070]
作为点pi的局部特征矩阵；
[0071]
同时复制特征向量fi得到：
[0072]fi
＝[fi,fi,
…fi
]
dim(f)
×k′
[0073]
作为点pi的全局特征矩阵；
[0074]
将两个特征矩阵连接在一起后，得到点pi的特征矩阵表示，借助多层感知器，得到中心点pi更深层次的特征矩阵表示：
[0075][0076]
其中，ε为特征提取函数，是由多层感知器实现的映射函数。
[0077]
步骤b12：构建特征聚合模块，特征聚合模块将特征矩阵作为输入，应用多层感知器拟合的自适应权重编码器，输出各中心点pi的相邻点的权重，并将特征矩阵与可学习的权重进行加权聚合：
[0078][0079][0080]
其中，w
ij
是注意力权重，是一个多层感知器，而σ是一个非线性函数。
[0081]
进一步的，所述步骤c包括以下步骤：
[0082]
步骤c1：从训练集中选出m个点云样本，将样本的原始三维坐标馈入到所构建的分类网络模型中，对每个点云样本由四个特征卷积层分别学习出64、64、128和256维的特征向量表述，通过特征拼接和最大池化层得到1
×
1024的向量作为点云的最终特征描述，并传入分类器中进行分类，得到m
×
c的输出结果，其中c为类别数；
[0083]
步骤c2：对于分类器的输出，根据交叉熵损失函数计算损失值，基于随机梯度下降算法进行更新；
[0084]
步骤c3：重复步骤c1和步骤c2直至分类模型收敛。
[0085]
实施例
[0086]
以modelnet40数据集中的点云数据为例，参照图1，对本发明的具体步骤作进一步的描述：
[0087]
(1)数据预处理
[0088]
对于数据集中每个点云，归一化在一个单位球区间内，并通过最远点均匀采样的方法从每个点云中选取1024个点作为该点云的输入数据；
[0089]
(2)模型构建及训练
[0090]
第一步，构造分类网络模型，图2展示了分类网络模型的具体实现过程，其中包含特征提取层、特征拼接最大池化层和分类器，特征提取层又包含首尾相连的稀疏图卷积模块和特征聚合模块；
[0091]
第二步，训练分类网络模型，训练过程采用随机梯度下降算法作为模型的优化器算法，其中学习率初始值设置为0.001，采用余弦下降曲线下降至终值0.1，采用迭代次数为250次，批量大小为32，批量归一化的动量为0.9。为了增强分类模型的鲁棒性能，同时防止过拟合，对训练集数据采用小范围内随机放缩、平移和噪声扰动的方式对数据进行增强；
[0092]
第三步，将经过预处理后的点云馈入网络中进行特征提取和分类，得到的分类结果经过交叉熵函数求得损失值，并通过随机梯度下降的方式更新参数；
[0093]
第四步，重复迭代第三步到达迭代次数，过程中保留分类性能最优的模型版本。
[0094]
(3)测试样本分类
[0095]
利用上述训练好的模型进行测试点云样本分类，对于给定的测试点云输入，同样经过特征提取层进行特征提取，通过特征拼接层和池化层得到点云的特征向量表述，再通过分类器进行结果输出，并对输出结果中取输出概率最高的样本作为最终预测结果，统计分类准确率。与训练过程不同的是，测试过程不需要对数据进行随机放缩、平移和噪声扰动。
[0096]
图3采用了t-sne图的方式对网络模型的输入数据和输出结果进行可视化。t-sne图是一种对高维数据进行降维并进行可视化的手段。其中，左图和右图分别为未经任何处理的原始点云以及本发明网络模型输出的t-sne可视化结果。从图中可以看到，原始点云通过t-sne算法低维映射后，图上的每个点代表一个点云模型，不同类别点云的位置杂乱无章，并不具有明显的区分度和聚集度。而在经过sgcnn网络模型的分类后不同类别的点云得到很好的区分，并且除了少数类别之外，绝大部分类别之间也有着明显的间距。根据t-sne图的原理可知距离越远的点相似度越低，因此类别之间的间距区分越明显，也就说明网络在点云目标的分类识别上效果越好。
[0097]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，
任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。