一种无监督RGB-D点云配准方法及设备

本发明涉及信息处理，尤其涉及一种无监督rgb-d点云配准方法及设备。

背景技术：

1、无监督点云配准是指在无需手动注释的对之间获得点云之间的密集点对点对应关系。无监督点云配准由于缺少了点云间的位姿信息，无法通过两帧点云之间的真实点对应关系来对网络模型取到的点云特征表示进行监督。因此，无监督配准方法需要在两帧点云之间构造点对应，并依此计算两帧点云之间的伪相对位姿，借助伪相对位姿实现对点云特征的监督。这就要求网络模型即便在不进行训练的情况下也能够取到有较强判别性的点云特征表示。然而，仅仅通过两帧点云之间几何结构的一致性来取点云特征往往存在严重的歧义性，难以对几何结构相似的不同物体或者几何结构不明显区域内的点进行有效的区分，容易导致大量的离群对应，进而严重影响伪位姿的质量。

2、在实际的应用场景中，现有的无监督点云配准方法通过同时考察两个模态中的一致性来对网络模型进行训练。尽管已经取得了令人瞩目的效果，但仍然存在很多问题与挑战。

3、具体而言，一方面，在提取点云特征的过程中，现有方法普遍独立地提取两个模态的特征，并对它们进行简单的拼接，这导致两个模态的信息融合不够充分，进而影响了点云特征的判别能力。例如，直接反投影模型方法，虽然理论上能够同时编码场景的几何信息和光度信息，但性能提升非常有限。例如解耦拼接模型方法，虽然能够显著提升模型的性能，但在特征提取的过程中完全独立地处理两种模态的数据，忽视了两个模态之间的内在关联性，导致两个模态的特征依然是独立的，两个模态之间的信息融合不够充分，限制了最后提取到的点特征的描述能力和判别性，依然存在比较严重的匹配歧义性。

4、另一方面，现有方法生成的伪相对位姿精度较低，难以对网络模型的无监督训练形成有效的监督。例如，通常利用可微随机优化来求解伪相对位姿并对两帧点云进行对齐，再利用可微渲染对点云进行深度与光度重渲染，最后通过重渲染图像与输入图像之间的几何与光度一致性对网络模型进行监督。然而，这种方式难以在位姿精度、计算开销和监督信号强度三者之间达到有效的平衡，最终导致现有方法生成的伪相对位姿的精度普遍相对较低。尤其深度与光度重渲染对伪相对位姿的精度要求较高，不准确的位姿会造成重渲染结果出现严重偏差，导致该监督信号趋向于随机噪声，无法对网络模型提供有效的监督，影响网络模型的收敛。

技术实现思路

1、本发明提供一种无监督rgb-d点云配准方法及设备，用以解决如何利用两种模态的数据提取可靠的点云特征以及如何有效地对点云特征进行监督的技术问题。

2、一方面，本发明提供一种无监督rgb-d点云配准方法，该方法包括：

3、获取点云的几何信息和与所述点云对应的rgb图像的光度信息，将所述几何信息和所述光度信息进行融合，提取点云特征；

4、基于所述点云特征建立点对应，得到点对应集合；

5、对所述点对应集合进行过滤，得到有效子集，生成伪位姿；

6、基于所述伪位姿对所述点云进行几何与光度再渲染，实现对网络模型的无监督训练。

7、进一步的，所述点云特征的提取方法包括：

8、以迭代的方式利用二维图像卷积和三维点卷积来对所述光度信息和所述几何信息进行融合；其中，将几何特征投影到图像空间，通过二维卷积对每个二维局部窗口中特征关联性进行学习，得到视觉中心编码特征；将视觉特征反投影到三维空间，并通过三维点卷积进行增强，显式地将点云的几何信息嵌入到视觉特征中，得到几何中心编码特征；

9、将所述视觉中心编码特征再次反投影到三维空间，并与所述几何中心编码特征进行拼接，得到所述点云特征。

10、进一步的，基于所述点云特征建立点对应，得到点对应集合包括：

11、对于中的每个点pi，找到该点在中的特征相似度最大的第一匹配点qmi以及特征相似度第二大的第二匹配点qmi′，并计算该点与第一匹配点和第二匹配点特征相似度之间的差异度，得到该点所对应的权重；选择权重最大的k个所述点对应作为从到的点对应

12、以此方式，对于中的每个点qi，同样选择权重最大的k个所述点对应作为从到的点对应

13、将两个方向的点对应合并在一起，生成包括2k个点对应的所述点对应集合

14、其中，k为正整数，表示基于深度图像得到的点云；表示基于深度图像得到的点云。

15、进一步的，所述点对应集合中至少有一个子集为有效子集；

16、所述有效子集中的点对应均为内点对应。

17、进一步的，通过增加采集的子集的数量来保证所述点对应集合中至少有一个子集为有效子集；

18、其中，采集的子集的数量n为：p为点对应的内点率。

19、进一步的，所述过滤包括：

20、对于一个子集中给定的三个点对应c1＝(x1，y1)、c2＝(x2，y2)和c3＝(x3，y3)中的任意两个点对应在两帧点云中对应的距离小于预设距离阈值；

21、即：c1、c2和c3都是内点对应|||xi，xj||-||yi，yj|||<δ，其中，δ为预设距离阈值。

22、进一步的，利用加权svd算法对所述有效子集中的所有内点对应进行计算，生成所述伪位姿。

23、进一步的，基于所述伪位姿对所述点云进行几何与光度再渲染，包括：

24、将对应的rgb图像反投影到点云上，着色后的点云记为其中，为点pi的颜色向量；

25、基于伪位姿t＝{r，t}，将对齐到的坐标系下，记为并利用可微渲染将渲染成深度图像和rgb图像；其中，pi*＝rpi+t；r为三维旋转矩阵，t为三维平移向量；

26、以此方式，基于伪位姿将对齐到的坐标系下，得到并利用可微渲染将渲染成深度图像和rgb图像；其中，qi*＝r-1(qi-t)；

27、在两个点云对齐的情况下，通过对渲染后的深度图像与rgb图像与对应的输入图像之间的几何和光度一致性进行监督，实现网络模型的无监督训练。

28、进一步的，所述无监督训练的整体损失函数为：

29、

30、其中，为对应损失函数、为几何一致性损失函数；为光度一致性损失函数；λcorr是对应损失函数的平衡系数；λgeo是几何一致性损失函数的平衡系数；λphoto是光度一致性损失函数的平衡系数。

31、另一方面，本发明还提供一种无监督rgb-d点云配准设备，该设备至少包括层叠视觉与几何编码模块和基于重渲染的鲁棒无监督配准模块，用于执行上述任一项方法的步骤。

32、总体而言，通过本发明所构思的技术方案，与现有技术相比能够取得下列有益效果：

33、(1)本发明提供一种无监督rgb-d点云配准方法及设备，以一种迭代的方式利用二维和三维卷积来对光度和几何信息进行融合，从而能够同时利用两种卷积的归纳偏置，提升特征的表示能力。同时通过基于空间一致性筛选的子集采样方法来实现高效且准确的伪相对位姿估计，并采用了双向渲染的方式对网络模型进行监督，能够实现准确的无监督rgb-d点云配准，同时具有较强的跨数据集泛化性。

34、(2)本发明提供一种无监督rgb-d点云配准方法及设备，采样大量的三元点对应子集，并通过空间一致性条件对其进行筛选，根据刚性变换的空间一致性，任意两个内点对应分别在两帧点云中的距离应当近似相等，可以大幅减少低质量位姿假设的数量，在提高位姿假设精度的同时，保证了网络模型的计算效率。同时采用了双向渲染的方式对网络模型进行监督，使每一帧点云都分别通过求得的伪相对位姿与另一帧点云进行对齐，并在对齐后利用可微渲染进行深度和光度重渲染；最后通过对两帧重渲染图像与两帧输入图像之间的几何与光度一致性进行监督，实现网络的无监督训练，能够为网络模型的训练提供更有效的监督信号，解决了如何对点云特征进行有效监督的问题。

35、(3)本发明提供一种无监督rgb-d点云配准方法及设备，通过去除不满足条件的子集，实现对无效子集的有效过滤，从而大幅减少需要进行验证的子集的个数，显著提升了计算效率。同时，随着训练的进行，点云特征的判别性逐渐增强，点对应的内点率也逐渐提高，通过相应的减少采样的子集个数，进一步提升计算效率。

36、(4)本发明提供一种无监督rgb-d点云配准方法及设备，通过先筛选再得到伪位姿，能够在训练中利用更多的点对应，从而增强网络模型的梯度传播，同时保证高质量的伪位姿。在训练中，伪位姿被用于对点云进行再渲染，实现对网络模型的无监督训练；在测试中，伪位姿则直接作为两帧点云之间的配准结果。

37、(5)本发明提供一种无监督rgb-d点云配准方法及设备，同时利用了两种卷积的归纳偏置来融合两个模态的信息，进而提升特征表示能力，更充分地对不同模态的信息进行融合，从而提取到判别性更强的点特征，解决了如何利用两种模态的数据提取可靠的点云特征的问题。