一种大感受野的点云修复方法

本发明涉及点云修复，更具体地，涉及一种大感受野的点云修复方法。

背景技术：

1、点云分类，语义分割和物体检测都是智能车辆的基础和重要的感知任务。这些任务要求输入是完整的点云。然而，在现实中，由于视角差异，遮挡和噪声，3d传感器获取的点可能是不完整的。因此，修复部分点云对于智能车辆来说是一项重要任务。

2、大多数的点云修复方法可以根据是否直接处理点云数据被分为三类，即基于体素的方法，基于点的方法和基于transformer的方法。基于体素的方法首先通过体素化将无序点云转换为有序数据，然后修复它们。例如，grnet首先将点云转换为3d网格，使用3d卷积神经网络(cnn)进行修复，然后将修复的3d网格重新转换为点云。相反，基于点的方法直接使用核大小为1并且具有最大池化操作的cnn修复部分点云。除了以上描述的方法，transformer正在被用于点云任务的研究中。与基于点的方法类似，transformer也使用卷积核大小为1的卷积来提取点云特征。

3、然而，大小为1的卷积核只能提取一个点特征，其感受野较小。当对其应用最大池化操作时，所获得的高度抽象特征并不精确，因此，其最后修复得到的点云同样并不准确。

技术实现思路

1、本发明提供一种大感受野的点云修复方法，解决现有技术中因感受野较小使得最后修复得到的点云不准确的技术问题。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种大感受野的点云修复方法，包括以下步骤：

4、s1：获取点云数据；

5、s2：构建点云修复网络，所述点云修复网络对点云数据中的点之间的相对位置进行识别后，将彼此靠近的点放在一起后，使用具有大感受野的卷积层提取点云数据的高度抽象的点特征，再提取点云数据的全局特征，并根据所述高度抽象的点特征和全局特征，得到修复后的点云；

6、s3：将所述步骤s1获取的点云数据输入至步骤s2中的点云修复网络，所述点云修复网络输出修复后的点云。

7、在上述的技术手段中，由于点云的无序，点云修复网络不能简单地使用更大的核来提取高度抽象的点特征。更具体地说，彼此靠近的几个点可以被抽象为一个特征，而彼此远离的几个点则不能被抽象为一个特征。因此，不能保证进入较大核的点彼此接近。为了解决这个问题，本方案中先将较近的点放在一起，然后就可以用更大的卷积核处理这些点，提取高度抽象的点特征，解决因感受野较小使得最后修复得到的点云不准确的技术问题。

8、进一步地，所述点云修复网络包括偏移-注意力嵌入模块、重新排列模块、池化和重复层、具有不同大小卷积核的卷积层以及具有不同大小卷积核的转置卷积层，其中：

9、所述偏移-注意力嵌入模块对点云数据中的点之间的重要程度进行识别后，再由所述重新排列模块将彼此靠近的点放在一起，所述具有不同大小卷积核的卷积层提取点云数据的不同维度的高度抽象的点特征，所述池化和重复层根据具有不同大小卷积核的卷积层的输出提取点云数据的全局特征，所述具有不同大小卷积核的转置卷积层根据所述点云数据的不同维度的高度抽象的点特征和全局特征，得到修复后的点云。

10、进一步地，所述偏移-注意力嵌入模块具体为：

11、所述偏移-注意力嵌入模块的输入为点的位置，根据所述点的位置计算查询矩阵、键矩阵和值矩阵：

12、q＝pin·wq

13、k＝pin·wk

14、v＝pin·wv

15、式中，q、k、v分别表示查询矩阵、键矩阵和值矩阵，pin表示点的位置，wq、wk、wv分别表示对应权重矩阵，·表示矩阵乘法，各参数满足：

16、

17、

18、根据所述查询矩阵、键矩阵计算注意力地图am：

19、am＝kt·q

20、

21、根据所述注意力地图am和值矩阵计算注意力特征af：

22、af＝(l1_norm(softmaxam)·(v))

23、式中，softmax表示softmax运算符，l1_norm表示l1范数；

24、从所述注意力特征af中减去pin，再将得到的结果送入线性+批量归一化+整流线性单元层，计算偏移注意力pout作为偏移-注意力嵌入模块的输出：

25、pout＝αpin+β(lbr(pin-af))

26、式中，α、β为权重，lbr为线性+批量归一化+整流线性单元层。

27、进一步地，所述重新排列模块具体为：

28、计算所有点的空间相对距离，利用聚类算法找到每个点最近的k个点，将所述k个点的索引记录下来，根据索引依次将点与其最近的k个点排列在一起，直到所有点都重新排列。

29、进一步地，所述聚类算法为k-均值聚类算法、mean-shift聚类算法或knn算法。

30、进一步地，所述池化和重复层中的池化操作为最大池化。

31、进一步地，所述具有不同大小卷积核的卷积层具体包括若干卷积核为1的卷积层和若干卷积核为n的卷积层，其中，n大于1。

32、进一步地，所述具有不同大小卷积核的转置卷积层具体包括若干卷积核为1的转置卷积层和若干卷积核为m的卷积层，其中，m大于1。

33、进一步地，所述点云修复网络还包括优化网络，所述优化网络对修复后的点云进行高精度的优化修复。

34、进一步地，所述优化网络包括若干卷积层及上采样和下采样模块，其中所述修复后的点云经若干卷积层后输入至所述上采样和下采样模块，所述上采样和下采样模块的输出经若干卷积层后得到高精度的优化修复后的完整点云，其中：

35、所述上采样和下采样模块包括两个下采样单元和两个上采样单元，所述上采样和下采样模块依次经过所述两个下采样单元和两个上采样单元，最后从所述上采样和下采样模块中输出，所述下采样单元中，特征图先经最远点采样操作获取关键点，在利用两层卷积层和池化和重复层获取特征，所述上采样单元中，执行重复和整形操作以实现所述上采样和下采样模块的输入与输出大小相等。

36、与现有技术相比，本发明技术方案的有益效果是：

37、本发明提出一种大感受野的点云修复方法，先将点云中相对位置批次靠近的点放在一起后，使用具有大感受野的卷积层提取点云数据的高度抽象的点特征，实现了精确提取点云数据的高度抽象的点特征，提高了点云修复的精确度。

技术特征：

1.一种大感受野的点云修复方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的大感受野的点云修复方法，其特征在于，所述点云修复网络包括偏移-注意力嵌入模块、重新排列模块、池化和重复层、具有不同大小卷积核的卷积层以及具有不同大小卷积核的转置卷积层，其中：

3.根据权利要求2所述的大感受野的点云修复方法，其特征在于，所述偏移-注意力嵌入模块具体为：

4.根据权利要求2所述的大感受野的点云修复方法，其特征在于，所述重新排列模块具体为：

5.根据权利要求4所述的大感受野的点云修复方法，其特征在于，所述聚类算法为k-均值聚类算法、mean-shift聚类算法或knn算法。

6.根据权利要求2所述的大感受野的点云修复方法，其特征在于，所述池化和重复层中的池化操作为最大池化。

7.根据权利要求6所述的大感受野的点云修复方法，其特征在于，所述具有不同大小卷积核的卷积层具体包括若干卷积核为1的卷积层和若干卷积核为n的卷积层，其中，n大于1。

8.根据权利要求7所述的大感受野的点云修复方法，其特征在于，所述具有不同大小卷积核的转置卷积层具体包括若干卷积核为1的转置卷积层和若干卷积核为m的卷积层，其中，m大于1。

9.根据权利要求1至8任一项所述的大感受野的点云修复方法，其特征在于，所述点云修复网络还包括优化网络，所述优化网络对修复后的点云进行高精度的优化修复。

10.根据权利要求9所述的大感受野的点云修复方法，其特征在于，所述优化网络包括若干卷积层及上采样和下采样模块，其中所述修复后的点云经若干卷积层后输入至所述上采样和下采样模块，所述上采样和下采样模块的输出经若干卷积层后得到高精度的优化修复后的完整点云，其中：

技术总结
本发明公开一种大感受野的点云修复方法，涉及点云修复技术领域，提出了一个具有更大感受野的点云修复网络，所述点云修复网络对点云数据中的点之间的相对位置进行识别后，将彼此靠近的点放在一起后，使用具有大感受野的卷积层提取点云数据的高度抽象的点特征，再提取点云数据的全局特征，并根据所述高度抽象的点特征和全局特征，得到修复后的点云。还可以在点云修复网络中加入优化网络，对修复后的点云进行高精度的优化修复。本发明在多视角部分点云(MVP)和KITTI数据集上取得了更好的定量和定性结果。

技术研发人员：刘坤华,卢涛,郑义,代成刚,陈成军
受保护的技术使用者：青岛理工大学
技术研发日：
技术公布日：2024/1/15