一种触觉辅助点云超分辨率的方法

本发明属于三维点云超分辨率领域，具体涉及基于机器学习的触觉辅助点云超分辨率的方法。

背景技术：

1、点云是空间中点的集合，是现实世界数字化采样的结果，包含了丰富的信息。近年来，随着人脸识别、自动驾驶、三维建模等技术的逐渐成熟，对高质量点云数据处理的需求越来越多。然而，受到当前传感器芯片技术水平的限制，直接采集到的三维点云数据通常分辨率较低，远不及可见光图像；同时物体本身的材质和颜色会影响其反射率，从而影响激光扫描仪在面对不同颜色和材质的物体时的成像质量。这将会导致获取到的点云质量和密度较低，难以满足使用需求。为了提高点云数据的分辨率，国内外很多学者开展了关于点云数据超分辨率算法的研究。近年来，随着高性能计算设备的发展和机器学习技术的日益完善，基于机器学习的超分辨率方法越来越多地受到了国内外学者的关注。pu-net首次将机器学习运用到点云数据超分辨率的工作中，pu-net的核心思想是学习到每个点从局部到全局的多级特征，再在特征空间中扩大点集，最后将扩大的点集映射回三维。后续的诸多方法都是在此基础上发展而来的。后续受到transformer在自然语言处理上优异表现的启发，基于编码器-解码器框架的点云超分辨率网络pu-transformer被提出，该方法的核心同样是学习给定点的代表性特征以估计新点的分布,其通过编码器-解码器框架，使用注意力机制，并借助位置编码的方式来对三维点云的特征进行处理，最后通过随机化和全连接层重建出高分辨率点云。由于点云的离散性和点云预测的局部区域非结构化等问题，上述方法难以保持局部区域良好的点的分布结构，进而在如边缘等位置无法较好的完成点云超分辨率任务。

2、触觉是感知物体3d形状的另一种方式。对于机器人而言，大多数触觉传感器测量的是接触面上的几何形状。机器人可以通过多次触摸，结合每次触摸时传感器的位置和姿态，重建物体的形状，而不会受到物体表面颜色或材质造成的模糊性的影响。然而，触觉信息受到传感器尺寸和规模的限制:由于每次触摸只能获得局部区域的信息，需要多次触摸和很长时间才能重建物体的完整形状，因此单一的只基于触觉的进行的点云重建在实际中很难得到应用。

3、因此，在三维点云超分辨率领域，目前需要探索一种既能利用神经网络的学习能力，又能合理利用物体局部触摸信息的点云超分辨率方法，以此提高点云超分辨率的效果。

技术实现思路

1、现有的三维点云超分辨率方法存在一定的局限性，比如：基于神经网络的点云超分辨率方法以低分辨率点云作为网络输入，在进行高倍点云超分辨率时因输入点数太少往往难以捕捉局部的几何细节结构，导致复杂物体的点云超分辨率效果较差；而单靠触觉信息进行的物体重建虽然可以得到稠密的点云信息，但在每次触摸时会受到传感器尺寸和规模的限制:由于每次触摸只能获得局部区域的信息，以此获得高分辨率点云往往是低效的。在本发明中，提出了一套局部触觉点云辅助的三维点云超分辨率方法。该方法克服了对点云进行超分辨率时输入低分辨率点云信息过少导致重建出的高分辨率点云边缘效果不佳的问题，通过特征融合的方法利用局部触觉信息改善点云超分辨率效果。

2、本发明提供了一种基于机器学习的触觉辅助点云超分辨率的方法，包括如下步骤：

3、步骤1，构建点云超分辨率数据集，所述数据集包括局部触觉点云、低分辨率点云和高分辨率点云；

4、步骤2，构建点云超分辨率网络；

5、步骤3，以监督学习的方式使用数据集训练点云超分辨率网络，数据集中的局部触觉点云和低分辨率点云作为神经网络的输入，数据集中的高分辨率点云信息作为神经网络的输出。

6、利用神经网络的正向、反向传播优化总体网络参数，通过损失函数约束点云超分辨率网络训练，使神经网络拟合训练集数据，获取训练好的点云超分辨率网络；

7、步骤4，将采集的低分辨率点云和局部触觉点云输入到训练好的点云超分辨率网络中，生成高分辨率点云。

8、针对触觉辅助点云超分辨率效果的验证，进行了多项实验，包括添加触摸点云对点云超分辨率的影响，添加不同次数触摸对点云超分辨率的影响以及不同特征融合方法对点云超分辨率影响。实验阶段使用的物体模型选自步骤1中构建出的测试数据集。将低分辨率点云输入到点云超分辨率网络实现低分辨率点云的超分辨率。

9、进一步的，步骤1中数据集的构建方法如下：

10、以三维重建数据集为基础，将三维重建数据集中的真实值点云作为高分辨率点云；

11、提取三维重建数据集中的部分数据作为局部触觉点云；

12、并通过对高分辨率点云最远点采样生成低分辨率点云数据；

13、最后将局部触觉点云对准物体的所在位置并加入到数据集中，最终将该数据集转化成.h5格式，完成数据集的制作；其中真实值gt(groud truth,gt)点云的点云数为m×r个点，采样所得的低分辨率点云为m个点，局部触觉点云被统一采样成n个点。

14、进一步的，所述点云超分辨率网络包括两个点云特征提取模块和transformer网络；

15、局部触觉点云输入到一个点云特征提取模块中进行特征提取，得到局部触觉点云特征；

16、低分辨率点云到另一个点云特征提取模块中进行特征提取，得到低分辨率点云特征；

17、将提取到的局部触觉点云特征和低分辨率点云特征融合后得到整体的特征，再输入到transformer网络，同时将低分辨率点云也输入transformer网络，将transformer网络的输出特征经随机化和全连接层重建出高分辨率点云。

18、所述transformer网络包括n个依次级连的注意力编码器，低分辨率点云输入到transformer网络中的每一个注意力编码器。

19、进一步的，所述点云特征提取模块包括依次连接的第一双卷积层、第一最大池化层、第二双卷积层、第二最大池化层、最大池化层、第三双卷积层、第一反卷积层、第二反卷积层；

20、点云经第一双卷积层后生成中间特征i，再经第一最大池化层和第二双卷积层后生成中间特征ii；

21、再经第二最大池化层和第三双卷积层后生成中间特征iii；

22、中间特征iii输入到第一反卷积层并与中间特征ii进行拼接操作，并输出为中间特征iv；

23、中间特征iv再经第二反卷积层后与中间特征i进行拼接操作，生成最终点云特征。

24、进一步的，点云特征提取模块中的双卷积层做为基本点云特征提取结构，用于增加特征信息的通道数量，最大池化层用于改变特征的尺寸。

25、进一步的，点云特征提取模块中的第一双卷积层、第二双卷积层和第三双卷积层结构相同。双卷积层结构为基本点云特征提取结构；

26、双卷积层包括依次连接的第一卷积层、第一批归一化层、第二卷积层和第二批归一化层，其中每层卷积都采用relu作为激活函数。

27、进一步的，步骤3中，所述使用数据集训练点云超分辨率网络时，网络使用的损失函数为倒角距离(chamfer distance,cd)，表达为：

28、

29、其中，s1和s2是需要比较的两组点云。倒角距离可以有效地衡量两组之间的差异，数值越大，两组点云的差异就越大。

30、进一步的，将提取到的局部触觉点云特征和低分辨率点云特征融合时，局部触觉点云特征和低分辨率点云特征比例为1:4。

31、进一步的，在步骤4中，将低分辨率点云和局部触觉点云输入到训练好的网络中，生成高分辨率点云(点数为m×n)。在实验阶段中使用的物体模型来自我们步骤1中制作出的数据集的测试集部分。

32、本方法使用transformer网络和特征融合模块来实现对低分辨率点云的超分辨率，并将原transformer网络中的测试结果作为基准，与本发明方法进行对比实验。针对触觉辅助点云超分辨率实验效果的验证，首先进行了添加触摸时的点云超分辨率实验，还在数据集上对比了添加局部触觉点云时使用不同的特征提取方法对实验结果的影响。实验中所有低分辨率点云都可以被成功地重建，且绝大部分物体在增添触觉信息时使用正确的特征融合方法能被重建得更好。特别是，对于较为复杂的物体，在没有添加局部触觉点云之前，边缘的细节没有办法得到很好的重建，在使用触觉辅助后可以重建出更好的细节。

33、进一步的，在步骤4中，进行了使用不同特征融合方法时的点云超分辨率实验。实验使用所述数据集测试集进行测试，依次使用点云的直接拼接、特征的直接拼接、使用本发明中构建的点云特征提取模块进行特征提取后再融合三种不同的方法进行实验，并与未添加触摸的transformer网络测试结果进行对比。由于局部触觉点云过于稠密，直接拼接局部触觉点云和低分辨率点云并不能取得很好的效果；而直接拼接特征可以取得更好的实验结果，但相比于不添加触觉的提升有限；使用本发明中的点云特征提取模块分别提取局部触觉点云和输入点云的特征后送入超分辨率网络可以重建出更好的细节，并在测试集上取得更好的结果；这是因为特征提取可以正确地利用局部触觉点云的局部特征，使得物体的细节可以被更好的重建。

34、进一步的，在步骤4中，进行了添加不同触摸次数时的点云超分辨率实验。实验使用所述数据集测试集进行测试，依次了添加1次和2次触摸点云，并与未添加触摸的transformer网络测试结果进行对比。在正确进行特征融合后，添加更多次局部触觉点云的物体的超分辨率效果更好。

35、与现有技术相比，本发明的有益效果是：本发明以监督学习的方式利用所述数据集预先训练一个点云超分辨率网络模型，训练完成之后只需要输入低分辨率点云和局部触觉点云信息即可完成点云超分辨率，且重建效果好于不添加局部触觉点云信息的情形。该方法的可行性高，普适性强，且在针对复杂物体进行点云超分辨率时效果提升更加明显。