一种面向感知重建的点云采样方法

本发明涉及点云采样，特别地，涉及一种面向感知重建的点云采样方法。

背景技术：

1、3d点云已经成为一种流行的数据结构，用于表示现实世界的物体，具有广泛的应用前景，如自动驾驶、卫星图像和混合现实等。在这些应用中，点云采样是一项关键技术，经过采样处理的点云通常能够满足数据传输和存储的要求。然而，采样可能会丢弃冗余点，导致丢失一些包含感知信息的情况不可避免。因此，稀疏点云在机器识别方面具有一定的困难，特别是在后续的分类任务中应用时表现不佳。直接在稀疏点云数据集上训练模型容易产生灾难性遗忘问题，即模型在原始点云分辨率下的性能会下降。此外，针对不同的下采样尺度重新训练模型以适应稀疏点云不是一种灵活的方法。由于点数的限制，模型在学习稀疏点云表示时很容易遇到信息瓶颈问题。因此点云采样的质量是非常影响下游任务的准确性的，以图像分类网络dgcnn而言，一个4倍的随机采样就能导致其性能下降大约60％。

2、因此良好的点云采样能够获得获得点云精致的表示，同时也能保证在下游任务很好地维持感知。这项技术旨在从相对密集的点云中采样代表性点。因此，采样算法被采用来简化数据并加速计算。有许多经典的采样方法，如随机采样(rs)、最远点采样(fps)和逆密度重要性采样(idis)。这些方法可以快速处理大规模点云。但由于语义信息有限，它们不能很好地为下游任务服务。而基于学习的点云采样方法优化目标存在问题，也就是在点云采样过程中的优化目标是使得下采样后的点云有更好的识别准确性。

3、根据本发明研究表明，对于大部分点云分类网络而言，点云一旦被采样，其分类性能将会严重受损。这是由于深度网络当中的k近邻算法在局部点损失的过程当中距离的计算结果会发生较大改变，同时使得局部提取的特征分布产生一定偏差。而随着采样倍率的不断增大，这种偏差会不断放大，最终使得采样后的点云并没有办法直接被应用到下游任务当中。因此，采样的过程当中必须考虑到如何对点进行补充，即采用采样与上采样结合的策略，使其可以重建出原始的感知信息。

4、解决以上问题及缺陷的难度为：1、如何设计采样加上采样的框架有助于重建原始的感知信息；2、如何设计采样网络和上采样网络结构确保良好的下游分类任务性能；3、如何训练采样网络和上采样网络保证采样后的结果具有良好的泛化性。

5、解决以上问题及缺陷的意义为：1、首次提出采样与上采样结合的网络框架用于更好帮助采样后的点云进行感知重建；2、为采样和上采样网络当中的点云的特征提取提供了一种更有效、可靠的结构图卷积结构。这种网络结构可以广泛应用到各类基于图卷积的网络中；3、探究了全新的训练策略，使得采样和上采样任务的联合训练更稳定、性能更鲁棒，为未来的相关研究奠定训练基础。

技术实现思路

1、本发明提供了一种面向感知重建的点云采样方法，可以获得更好恢复感知的采样点云。

2、本发明的技术方案如下：

3、本发明的面向感知重建的点云采样方法，包括以下步骤：s1.点云采样网络采样：采用基于图聚合卷积的点云特征提取器提取带有语义表示的点云特征，根据点云特征通过映射得到采样后的点云；s2.点云上采样网络恢复感知：采用基于图卷积的残差块用于点云局部特征提取；s3.点云分类网络识别上采样点云：将感知重建的点云数据输入到点云分类网络当中，通过点云分类网络监督点云说采样网络与点云上采样网络的训练。

4、可选地，在上述面向感知重建的点云采样方法中，在步骤s1中，给定一个点云点云采样网络可以得到一个采样的稀疏点云其中n表示采样点的个数，3表示点云所在的空间x，y，z坐标，r表示采样倍率，将其输入到上点云采样网络中得到采样结果。

5、可选地，在上述面向感知重建的点云采样方法中，在步骤s1中，点云采样网络结构包括卷积和激活函数模块、3个残差块、全连接层以及维度变换模块；其中，每个残差块包括多个交替的图卷积与激活函数，以及全局池化层。

6、可选地，在上述面向感知重建的点云采样方法中，在步骤s1中，稠密点云经过第一个卷积和激活函数模块得到c1维度的特征，再将点云输入到包含图卷积与激活函数组成的残差块中提取局部特征，残差块的输出也是c1维度的特征，在最后的残差块之后，采用全局池化层将rn×c1的特征转化为1×c1的特征，再经过几层全连接层，得到1×3n的特征，将此特征放到维度变换模块，此处采用了一个转换函数之后将稠密点云的最远点采样结果通过先验连接相加到维度变换之后的输出上，得到获得先验感知的网络输出。

7、可选地，在上述面向感知重建的点云采样方法中，在步骤s2中，点云上采样网络包括卷积和激活函数模块、4个残差块、上采样模块、卷积和激活函数模块以及卷积模块；其中，每个残差块包括多个交替的图卷积与激活函数，以及全局池化层。

8、可选地，在上述面向感知重建的点云采样方法中，在步骤s2中，采用4个残差块，经过这些残差块的特征提取，获得n×c2维度的特征，在上采样模块，使用了渐进点洗牌的方式对fa放大到指定的倍数，对渐进洗牌的每个层级都使用一个维度扩增的权重将256维度的特征转化为512维度，而洗牌操作将特征维度转化为空间维度，其中上采样模块表示为：

9、

10、其中p为上采样的级数，它表示为p＝logr，上采样后的结果再经过几层卷积与采样点云最近邻后的结果相加，得到上采样点云。

11、根据本发明的技术方案，产生的有益效果是：

12、本发明将采样与上采样相结合，提供了一种面向感知重建的点云采样方法，并构建了一种面向点云采样后恢复点云感知的网络框架。本发明探索并发现了常规采样方法得到的稀疏点云并不利于下游点云分类任务，因此考虑将点云采样、上采样与分类任务网络相结合来提高点下游任务对于采样点云的鲁棒性；巧妙利用了先验信息，通过对点云进行最远点采样获得先验信息，再把先验采样信息加入到点云上采样网络当中，这使得感知重构效果得以提升；设计了一种全新的训练方案，通过使用多种损失函数共同优化监督采样网络、上采样网络的训练，使得经过采样后的点云拥有更好的表征；在点云传输和存储后可以被更好地恢复其在下游分类任务上的感知。

13、为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：

技术特征：

1.一种面向感知重建的点云采样方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的面向感知重建的点云采样方法，其特征在于，在步骤s1中，给定一个点云所述点云采样网络可以得到一个采样的稀疏点云其中n表示采样点的个数，3表示点云所在的空间x,y,z坐标，r表示采样倍率，将其输入到上所述点云采样网络中得到采样结果。

3.根据权利要求1所述的面向感知重建的点云采样方法，其特征在于，在步骤s1中，所述点云采样网络结构包括卷积和激活函数模块、3个残差块、全连接层以及维度变换模块；其中，每个所述残差块包括多个交替的图卷积与激活函数，以及全局池化层。

4.根据权利要求3所述的面向感知重建的点云采样方法，其特征在于，在步骤s1中，稠密点云经过第一个卷积和激活函数模块得到c1维度的特征，再将点云输入到包含图卷积与激活函数组成的残差块中提取局部特征，所述残差块的输出也是c1维度的特征，在最后的残差块之后，采用全局池化层将rn×c1的特征转化为1×c1的特征，再经过几层全连接层，得到1×3n的特征，将此特征放到所述维度变换模块，此处采用了一个转换函数frs:之后将稠密点云的最远点采样结果通过先验连接相加到维度变换之后的输出上，得到获得先验感知的网络输出。

5.根据权利要求1所述的面向感知重建的点云采样方法，其特征在于，在步骤s2中，所述点云上采样网络包括卷积和激活函数模块、4个残差块、上采样模块、卷积和激活函数模块以及卷积模块；其中，每个残差块包括多个交替的图卷积与激活函数，以及全局池化层。

6.根据权利要求5所述的面向感知重建的点云采样方法，其特征在于，在步骤s2中，采用所述4个残差块，经过所述残差块的特征提取，获得n×c2维度的特征，所述上采样模块使用渐进点洗牌的方式对fa放大到指定的倍数，对渐进洗牌的每个层级都使用一个维度扩增的权重将256维度的特征转化为512维度，而洗牌操作fs:将特征维度转化为空间维度，因此，所述上采样模块表示为：

技术总结
本发明提供了一种面向感知重建的点云采样方法，包括：S1.点云采样网络采样：采用基于图卷积的残差块用于点云局部特征提取，根据点云特征通过映射得到采样后的点云；S2.点云上采样网络恢复感知：对采样后的点云进行上采样，得到感知重建后的点云数据；S3.点云分类网络识别上采样点云：将感知重建的点云数据输入到点云分类网络当中，通过点云分类网络监督点云说采样网络与点云上采样网络的训练。本发明方法可以获得更容易恢复感知的采样点云。

技术研发人员：李宏,李庄子,高伟,李革
受保护的技术使用者：北京大学深圳研究生院
技术研发日：
技术公布日：2024/1/15