一种基于迭代滤波的点云对应关系网络的估计方法及系统

本发明涉及深度学习与点云，特别是一种基于迭代滤波的点云对应关系网络的估计方法及系统。

背景技术：

1、深度学习算法，在三维场景下将点云分割、点云目标检测与跟踪、点云补全与配准等有效的组织在卷积神经网络框架下，形成端到端的处理方案，优化三维场景理解与三维重建性能。此外，在三维重建算法体系下，基于深度学习的方法也可以与传统优化算法结合，达到精确性与快速性的平衡。现有的点云对应关系估计算法存在以下问题：

2、问题1：传统的点云对应关系估计算法依赖于点云本身的法向量、曲率等信息，在特征平坦的区域，无法估计出点云精确的对应关系，需要大量的迭代提升对应关系的精确度，导致算法耗时增加，且传统方法仅能找到少部分对应关系，召回率较低。在复杂场景下，传统方法泛化性能较弱，无法达到实用价值。

3、问题2：在现有的点云对应关系估计算法中，受点云自身物理特性影响，极易出现错误的匹配关系，无法保证对应关系的精确度。如何从大量低置信度的对应关系中滤除错误的样本是当前点云对应关系研究的重点。

4、问题3：当点云之间存在比较大的旋转角度，点云特征差异扩大，现有的点云对应关系估计算法效果会快速下降。在大角度旋转的情况下，保证对应关系估计算法的精确性与召回率是算法鲁棒性的重要评估标准。

技术实现思路

1、鉴于上述现有的点云对应关系估计算法中存在的问题，提出了本发明。

2、因此，本发明所要解决的问题在于如何提供一种可以精确的估计出不同坐标系下点云之间存在的对应关系的方法。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明实施例提供了一种基于迭代滤波的点云对应关系网络的估计方法，其包括，将点云输入基于重叠区域滤波的对应关系估计网络，得到对应关系矩阵；通过基于局部对应向量差异的点云对应关系滤波，得到高精度的对应关系；依据基于奇异值分解的点云对应关系迭代算法，对对应关系的召回率和精确度进行提高。

5、作为本发明所述基于迭代滤波的点云对应关系网络的估计方法的一种优选方案，其中：还包括，同时预测点云的重叠区域与对应关系，将非重叠区域的对应关系滤除；通过点云局部对应向量的一致性，滤除局部区域中异常的对应向量。

6、作为本发明所述基于迭代滤波的点云对应关系网络的估计方法的一种优选方案，其中：所述同时预测点云的重叠区域与对应关系，将非重叠区域的对应关系滤除，包括以下步骤：对第一网络输入的点云，输出点云多尺度特征；对第二网络输入的点云及点云多尺度特征，输出点云自注意力特征；将点云多尺度特征与点云自注意力特征相加，得到点云多尺度-自注意力特征；对第三网络输入两片点云的点多尺度-自注意力特征，输出点云交叉注意力特征；将点云多尺度-自注意力特征与点云交叉注意力特征相加，得到点云多尺度-自注意力-交叉注意力特征；对第四网络输入的点云多尺度-自注意力-交叉注意力特征，输出点云重叠区域估计结果；对第五网络输入的点云多尺度-自注意力-交叉注意力特征，输出点云对应关系软分配结果；将点云重叠区域估计结果与点云对应关系软分配结果相乘，得到点云对应关系估计结果。

7、作为本发明所述基于迭代滤波的点云对应关系网络的估计方法的一种优选方案，其中：所述第一网络为点云特征提取网络，且为全卷积网络；所述第二网络为点云自注意力网络；所述第三网络为点云交叉注意力网络；所述第四网络为点云重叠区域估计网络，且为全卷积网络；所述第五网络为点云对应关系软分配网络，且为全连接网络。

8、作为本发明所述基于迭代滤波的点云对应关系网络的估计方法的一种优选方案，其中：所述通过点云局部对应向量的一致性，滤除局部区域中异常的对应向量包括以下步骤：根据网络输出的点云对应关系，计算单位化的点云对应向量；建立点云距离矩阵，搜索每个点云周围的n个点，组成局部区域；计算局部区域对应向量的均值；计算单点对应向量与局部区域对应向量均值间的角度差；若小于阈值，则保留该组对应关系，若大于或等于阈值，则滤除。

9、作为本发明所述基于迭代滤波的点云对应关系网络的估计方法的一种优选方案，其中：所述基于奇异值分解的点云对应关系迭代算法包括以下步骤：根据局部对应关系滤波的结果，重构点云；通过奇异值分解，计算重构点云之间的变换矩阵；依据变换矩阵将源点云进行旋转平移，缩小与目标点云之间的姿态差；将变换后的源点云与目标点云输入点云对应关系估计网络，得到新的对应关系。

10、作为本发明所述基于迭代滤波的点云对应关系网络的估计方法的一种优选方案，其中：使用端到端的网络进行点云特征提取、特征融合、重叠区域估计及对应关系估计。

11、第二方面，本发明为进一步解决现有的点云对应关系估计算法中存在的问题，实施例提供了基于迭代滤波的点云对应关系网络的估计系统，其包括：点云特征提取模块，用于通过卷积网络提取点云的多尺度特征；点云自注意力模块，用于学习点云内部的上下文信息，输出点云自注意力特征；点云交叉注意力模块，用于学习两点云之间的上下文信息，输出点云交叉注意力特征；点云重叠区域估计模块，用于计两点云之间的重叠区域；点云对应关系软分配模块，用于预测两点云之间的对应关系软分配结果；对应关系滤波模块，用于基于重叠区域和局部对应向量一致性，过滤错误对应关系。

12、第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于迭代滤波的点云对应关系网络的估计方法的任一步骤。

13、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于迭代滤波的点云对应关系网络的估计方法的任一步骤。

14、本发明有益效果为，本发明中，基于深度学习的点云对应关系估计算法能够精确的估计出不同坐标系下点云之间存在的对应关系，有效的提高了点云对应关系估计的准确性，极大的提升了算法寻找到的对应关系数量，且在复杂场景下泛化性能较好；其中，基于两片点云的对应关系只存在于重叠区域这一事实，网络同时预测点云的重叠区域与对应关系，将非重叠区域的对应关系滤除；本发明使用端到端的网络进行点云特征提取，特征融合，重叠区域估计及对应关系估计，避免了非重叠区域对点云对应关系估计的影响，大大提高了算法运算速度和准确性；基于局部对应向量差异的点云对应关系滤波算法充分考虑了点云局部对应向量的一致性，能够有效滤除局部区域中异常的对应向量，极大地提升了算法的精确性；本发明提升了我国在三维视觉领域的技术水平，打破了外国公司在该领域的技术垄断，提高了国产三维视觉的自主性，为三维视觉领域的发展做出了重要贡献。

技术特征：

1.一种基于迭代滤波的点云对应关系网络的估计方法，其特征在于：包括：

2.如权利要求1所述的基于迭代滤波的点云对应关系网络的估计方法，其特征在于：还包括，

3.如权利要求2所述的基于迭代滤波的点云对应关系网络的估计方法，其特征在于：所述预测点云的重叠区域与对应关系，将非重叠区域的对应关系滤除包括以下步骤：

4.如权利要求3所述的基于迭代滤波的点云对应关系网络的估计方法，其特征在于：所述第一网络为点云特征提取网络，且为全卷积网络；

5.如权利要求1、2或4任一所述的基于迭代滤波的点云对应关系网络的估计方法，其特征在于：所述通过点云局部对应向量的一致性，滤除局部区域中异常的对应向量包括以下步骤：

6.如权利要求5所述的基于迭代滤波的点云对应关系网络的估计方法，其特征在于：所述基于奇异值分解的点云对应关系迭代算法包括以下步骤：

7.如权利要求6所述的基于迭代滤波的点云对应关系网络的估计方法，其特征在于：使用端到端的网络进行点云特征提取、特征融合、重叠区域估计及对应关系估计。

8.一种基于迭代滤波的点云对应关系网络的估计系统，基于权利要求1～7任一所述的基于迭代滤波的点云对应关系网络的估计方法，其特征在于：包括，

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述的基于迭代滤波的点云对应关系网络的估计方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述的基于迭代滤波的点云对应关系网络的估计方法的步骤。

技术总结
本发明公开了一种基于迭代滤波的点云对应关系网络的估计方法及系统，涉及深度学习与点云技术领域，包括将点云输入基于重叠区域滤波的对应关系估计网络，得到对应关系矩阵；通过基于局部对应向量差异的点云对应关系滤波，得到高精度的对应关系；依据基于奇异值分解的点云对应关系迭代算法，对对应关系的召回率和精确度进行提高。本发明能够精确的估计出不同坐标系下点云之间存在的对应关系，有效的提高了点云对应关系估计的准确性，极大的提升了算法寻找到的对应关系数量，且在复杂场景下泛化性能较好，推动了对应关系估计在三维重建、自动驾驶及机器人姿态估计领域的深入研究与应用。

技术研发人员：聂建辉,沈智伟
受保护的技术使用者：南京邮电大学
技术研发日：
技术公布日：2024/2/8