基于几何特征精炼与对抗生成网络的双管道点云补全方法

本发明涉及一种基于几何特征精炼与对抗生成网络的双管道点云补全方法。

背景技术：

1、点云的数据捕获和表示形式简单，在机器人、自动驾驶、三维建模和制造等领域有着大量的研究。但由于传感器的限制，物体的遮挡和噪声，生成的点云通常是稀疏的、不完整的。点云补全可以从缺失点云出发估算完整点云，从而获得更高质量的点云数据，为分类，分割等下游任务作准备。

2、传统的点云补全方法一般基于物体自然结构的先验信息，例如对称性或语义类信息，在先验推断的基础上对原点云进行插值补全。但这类方法只能处理一些缺失率低，结构特征明显的缺失点云，适用性低。深度学习的发展极大地推动了点云补全的能力和泛化性，早期的点云补全(a.dai,c.ruizhongtai qi,and m.nieβner,“shape completion using3d-encoder-predictor cnns and shape synthesis,”in proceedings of the ieeeconference on computer vision and pattern recognition,2017,pp.5868–5877)尝试通过体素定位和三维卷积将成熟的方法从2d补全任务迁移到三维点云上，然而计算成本很高。随着pointnet(c.r.qi,h.su,k.mo,and l.j.guibas,“pointnet:deep learning onpoint sets for 3d classifification and segmentation,”in proceedings of theieee conference on computer vision and pattern recognition,2017,pp.652–660)和pointnet++(c.r.qi,l.yi,h.su,and l.j.guibas,“pointnet++:deep hierarchicalfeature learning on point sets in a metric space,”arxiv preprint arxiv:1706.02413,2017)的巨大成功，三维坐标的直接运用已经成为点云处理的主流，该技术进一步应用于许多点云补全的开创性工作中。目前点云补全的方法大多是采用编解码器的形式。pcn(wentao yuan,tejas khot,david held,christoph mertz,and martialhebert.pcn:point completion network.in2018international conference on 3dvision(3dv),pages 728–737.ieee,2018)首先从缺失点云中学习到全局特征，然后根据特征信息由粗到细的补全点云。在pcn之后，topnet(lyne p tchapmi,vineet kosaraju,hamid rezatofifighi,ianreid,and silvio savarese.topnet:structural point clouddecoder.in proceedings of the ieee conference on computer vision and patternrecognition,pages 383–392,2019)提出了一种树状结构的解码器来预测完整形状。然而，现有的基于深度学习的方法仍存在以下问题：

3、(1)过于关注物体的整体特征而忽略了精细的局部细节；

4、(2)忽略了人造物体的结构信息；

5、(3)训练得到的补全点云失去了物体的个体特征，只保留了某类物体的共性特征；

6、(4)对噪声敏感，鲁棒性差；

7、(5)缺失相邻点的空间和语义信息。

技术实现思路

1、为克服现有技术中的问题，本发明的目的是提供一种基于几何特征精炼与对抗生成网络的双管道点云补全方法。其包含一条重建路径与一条补全路径，能够高效、准确的补全缺失的点云信息。

2、为实现上述目的，本发明采用如下的技术方案：

3、一种基于几何特征精炼与对抗生成网络的双管道点云补全方法，包括以下步骤：

4、步骤1：对缺失点云和与之对应的完整点云分别提取特征，其中上下双管道架构的编码器共享权重；

5、步骤2：根据编码器获得的补丁特征，获取完整点云分布q(φ)和缺失点云分布让缺失点云分布拟合完整点云分布q(φ)，采用kl散度作为损失函数；

6、步骤3：对点云分布进行采样后，经过几何特征精炼网络，重建路径得到重构点云，补全路径得到粗补全点云；其中几何特征精炼网络根据编码器得到的信息聚合来自相邻点的局部区域内特征，将新点的生成过程表示为局部区域内特征的上采样加权平均值；几何特征精炼的损失使用单边倒角距离表示；

7、步骤4：重建路径上，将重构点云作为真实数据输入，引入噪声点通过stylegan得到生成点云yg，用双边倒角距离表示重建的精度损失；

8、步骤5：补全路径上，将获得的粗补全点云通过一个卷积编码器，结合补丁特征和上采样信息，融合得到隐空间编码，通过解码器解码得到精补全点云yv；

9、步骤6：计算生成点云yg和精补全点云yv的余弦距离，根据结果赋予yg与yv不同的权重值，融合得到最后的输出yout。

10、作为可选择的实施方式，隐空间编码也能作为stylegan中权重已知的生成器参数得到生成点云yg，最后计算余弦距离，得到最后的输出yout。

11、作为可选择的实施方式，几何特征精炼网络能够获得精细的局部细节和结构特征，并有效结合相邻点之间的空间和语义关系，具体步骤包括：

12、步骤1)：初始的编码器，生成点云的全局特征、补丁特征以及补丁中心坐标，经过上样本变压器后，获得一组融合全局结构特征和局部精细特征的特征张量；

13、步骤2)：特征张量经过全连接层后，通过自注意力机制去伪存真，获得更高质量的关系数据；

14、步骤3)：通过一个上采样变压器，将特征结构补全为一个完整而粗糙的模型。

15、本发明的创新之处在于，通过几何特征精炼网络，可以精细化地获取点云局部细节和结构化特征。它能够结合输入点云的特征，构建更高质量的模型。

16、本发明进一步的创新在于，双管道的设计结构也让缺失点云能够在分布上拟合完整点云，为后续的生成器提供一个特征均匀的隐空间编码。本发明得到的点云补全精度远远高于pcn，topnet等补全网络。

17、本发明更进一步的创新在于，将重建路径生成的点云与补全路径得到的点云进行融合，两者通过一个余弦距离函数赋予不同权重，该方法能够很好的提高发明的鲁棒性，降低对噪声的敏感度。

18、本发明又进一步的创新在于，对网络的损失函数进行了改进。本发明整体网络是端到端训练的，训练损失包括分布拟合的kl散度损失、重建的精度损失(双边倒角距离表示)以及几何特征精炼的损失(单边倒角距离表示)，三者给予不同权重。

19、与现有技术相比，本发明具有的有益效果：

20、本发明运用深度学习的方法，直接对三维点云进行处理，可扩展性强，同时采用基于几何特征精炼与对抗生成网络的双管道点云补全方法，可以高效且准确的补全缺失点云，几何特征精炼网络的设计也让结构细节在补全点云中呈现成为可能。本发明所使用的模型基于stylegan，变压器和卷积模块，对于噪声点和离散值不敏感，大大提高了网络的鲁棒性。粗补全点云的构造通过上采样变压器，结合了临近点的语义和空间信息，在两阶段的点云补全任务中发挥了重要作用，大大提高了配准精度。此外，精确的补全结果也能为下游的点云任务提供更高质量的点云数据。