一种基于稀疏实例提议和聚合的点云全景分割方法

本发明涉及3d视觉，具体是涉及一种基于稀疏实例提议和聚合的点云全景分割方法。

背景技术：

1、lidar全景分割(lps)在使用点云进行3d场景理解中发挥着重要作用，这是许多机器人应用(如自动驾驶)的基本任务。lps将语义分割和实例分割结合在一个框架中，为场景中的点提供语义标签和属于实例(物体)的点的实例id。随着大规模点云基准的出现，例如semantickitti和nuscenes，lps已经取得了快速进展。然而，由于点云的稀疏、无序和非均匀采样特性，进行可靠的全景分割仍然具有极高的挑战性。

2、现有的lps方法主要可以分为基于检测的方法和基于聚类的方法。前者利用3d目标检测网络来发现实例，但通常受到检测精度的限制。后者通过中心回归和聚类算法实现实例分割。对于基于聚类的方法，聚类性能很容易受到回归中心点分布的影响。我们发现，大多数现有方法都严重依赖可学习偏移分支来为中心回归提供几何偏移量。然而，由于lidar点云的稀疏性、非均匀密度以及各种形状/大小的实例，很难预测理想的几何偏移量。最近，dsnet设计了一个可学习动态偏移(ds)模块来迭代地将回归中心点进一步移动到聚类中心点，但是移动后的中心点可能与真实实例中心不匹配，这种不一致可能会降低dsnet模块的学习效果。

技术实现思路

1、针对上述问题，本发明提出了一种非学习的稀疏实例提议(sip)模块，可以直接从物体的原始点中高效地聚类实例。本发明采用“采样-移动-聚类”方案设计了sip模块。具体来说，为了避免由于移动和聚类所有物体点而导致的显著计算负担和内存开销，本发明引入了平衡点采样(bps)策略，所提出的bps生成稀疏种子点，并在距离范围内更均匀地分布，同时实现点采样和分配，提高了效率。此外，本发明设计了一种简单但有效的移动模块“气泡收缩”(bs)，可以迭代地将种子点高效而精确地移动到聚类中心；最后，本发明通过连通组分标记(ccl)算法将移动后的点聚类成实例，该算法可以通过高效的深度优先搜索来实现。由于bps、bs和基于ccl的分组的级联设计，本发明的非学习的sip模块是有效且高效的，并且可以轻松地以即插即用方式扩展到其他骨干网络和数据集中。

2、然而，由于lidar点云的稀疏性，聚类算法(包括本发明的sip模块)在分组大型物体(如卡车和公共汽车)时可能会生成碎片化/过度分割的实例。为了提高实例分割的完整性，本发明提出了一个实例聚合(ia)模块来进一步整合潜在的碎片化实例。具体而言，本发明应用knn-transformer来增强实例提议之间的交互，并通过实例相似度将属于同一实例id的实例提议合并。本发明的ia模块可以补充sip模块，进一步提高大型物体的分割性能。

3、为了实现上述目的，本发明提供一种基于稀疏实例提议和聚合的点云全景分割方法，包括以下步骤：

4、s1、基于“采样-移动-聚类”的方式构建稀疏实例提议模块，输出实例提议；

5、s2、基于knn-transformer构建实例聚合模块对所述稀疏实例提议模块产生的潜在的碎片化的实例进行聚合，输出精确完整的实例分割结果；

6、s3、利用服务器，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于稀疏实例提议和聚合的点云全景分割方法；

7、s4、利用所述基于稀疏实例提议和聚合的点云全景分割方法对新的点云进行全景分割。

8、优选的，所述步骤s1具体包括以下步骤：

9、s11、构建平衡点采样策略，对前景点进行稀疏采样，获得稀疏种子点x∈m×3，以降低计算负担和内存消耗；

10、s12、构建“气泡收缩”移动模块，将所述稀疏种子点x∈m×3往实例中心迭代式地移动，使得属于不同实例的种子点分离而属于相同实例的种子点聚合；

11、s13、使用基于深度优先搜索的连通组分标记算法对移动后的所述稀疏种子点进行聚类，并将其他未采样点分配到对应种子点所属的簇，得到最终实例提议点簇n为点簇数，pi为第i个点簇中的点的集合。

12、优选的，所述平衡点采样策略具体为：使用体素化操作将输入的点云分成体素块，然后将同一体素中的点求平均值作为该体素中所有点所对应的种子点；该种子点支配所在体素中的所有点，包括语义类别和实例id；所述体素化操作具体为：

13、给定点云p中一点pi＝(xi，yi，zi)，它的体素索引其中s为体素化的分辨率，为向下取整操作；具有相同体素索引的所有点在同一体素块内；

14、所述“气泡收缩”移动模块具体为：首先经验性地给出各类别实例的最小半径rc，将所有种子点作为顶点建立一个连接图，如果两个顶点属于同一个类别c且它们之间的距离小于最小半径rc，则它们相连；然后为每个种子点分配一个气泡，该气泡包含连接到这个种子点的所有点，气泡根据其中的点会迭代式地进行收缩，以达到属于相同实例的种子点聚集而属于不同实例的种子点分离的效果；收缩过程如下所示：

15、d＝diag(k1)，x＝xt

16、for i←to l do

17、x＝xd-1k

18、end

19、x′＝xt

20、其中，k为构建的连接图的连接矩阵，l为迭代次数，默认为4；

21、所述连通组分标记算法具体为：以平移后的种子点为顶点建立连通图，如果两个顶点属于同一个类别且他们之间的距离小于该类别对应的最小半径，则他们相连，然后用连通组分标记算法找出各个簇；连通组分标记中的最小半径设置为所述“气泡收缩”移动模块中的rc的一半。

22、优选的，所述步骤s2具体包括以下步骤：

23、s21、根据所述稀疏实例提议模块输出的实例提议点簇和点云特征，提取对应的实例特征

24、s22、使用knn-transformer对所述实例特征之间的依赖进行建模，输出增强后的实例特征

25、s23、使用轻量级多层感知机，根据两两实例之间的特征和中心点位置计算相似度，若相似度大于一定阈值，则将这两个实例进行合并。

26、优选的，所述步骤s21的具体过程为：

27、gi＝maxpool(mlp([fi,pi])

28、其中，mlp为多层感知机，maxpool为最大池化函数，fi，pi分别为点簇的特征和坐标集合；所提取的实例特征的特征维度为64。

29、优选的，所述步骤s22的具体过程为：

30、根据中心点空间位置，使用k近邻(knn)选取离实例点簇pi最近的k个点簇{pj}j∈n(i)；然后通过线性层，将点簇pi对应的实例特征gi映射为查询特征图qi，将k个点簇{pj}j∈n(i)对应的实例特征{gj}j∈n(i)映射为键值特征对ki，vi，然后计算自注意力，得到增强后的实例特征

31、

32、其中，c为64。

33、优选的，所述步骤s23中的所述相似度的计算过程具体为：

34、

35、其中，pi，pj为点簇i，j的中心点坐标，即点簇集合中点的平均值。

36、优选的，所述步骤s3具体包括以下步骤：

37、s31、利用服务器执行训练点云生成单元，对输入的原始点云进行随机坐标翻转、随机点云旋转，随机点云缩放等数据增强，生成增强后的训练点云输入；

38、s32、利用服务器执行语义骨干网络，生成输入点云的语义预测结果和点云特征，对语义骨干网络进行监督，监督损失为交叉熵损失和lovasz损失之和：

39、

40、其中，为预测值，yi为真实值；j为iou的lovasz拓展版本，e(c)为类别c的误差向量，c为总语义类别数；

41、s33、利用服务器执行步骤s1中的所述稀疏实例提议模块，将前景点输入，生成实例提议点簇

42、s34、利用服务器执行步骤s2中的所述实例聚合模块，对所计算的实例之间的相似度si，j进行监督，使用的监督损失为二分类交叉熵损失：

43、laff＝σi，j[yi，j log(si，j)+(1-yi，j)log(1-si，j)]

44、其中，如果点簇i，j属于同一个实例则yi,j为1，否则为0；

45、s35、利用服务器优化目标函数lsem和laff,获取局部最优网络参数。

46、优选的，步骤s32中的所述语义骨干网络由3d稀疏卷积网络和2d u-net组成；所述3d稀疏卷积网络由四个特征提取块组成，提取多尺度特征；所述2du-net由2d卷积网络组成，先进行2次逐步的尺度为2的下采样，然后上采样到原分辨率并投影到点特征；所述3d稀疏卷积网络提取的多尺度特征和所述2du-net提取的反投影后的点特征拼接后送入到全连接层进行特征压缩得到点云特征；所述语义骨干网络后接一个2层全连接层来预测语义分割。

47、优选的，所述步骤s4具体包括以下步骤：

48、s41、获取3d环境下的雷达点云；

49、s42、将所述雷达点云输入到所述语义骨干网络得到语义预测结果和点云特征；

50、s43、根据所述语义预测结果获取前景点，并将前景点输入到所述稀疏实例提议模块中，获取实例提议点簇；

51、s44、将所述实例提议点簇和点云特征输入到所述实例聚合模块获得聚合后的实例点簇；

52、s45、根据语义预测通过最大投票为每个聚合后的实例点簇分配语义类别，并和语义分割结果融合后得到最终的全景分割结果。

53、与现有技术相比，本发明的有益效果是：

54、本发明提供的一种基于稀疏实例提议和聚合的点云全景分割方法，基于“采样-移动-聚类”方案设计一种高效准确且非学习的稀疏实例提议模块，消除了对偏移分支的依赖，并加速了聚类过程，且可以轻松地扩展到其他骨干网络和数据集中，并以即插即用的方式使用；此外基于knn-transformer设计一种实例聚合模块对实例提议模块产生的潜在的碎片化的实例进行聚合，提高其在大目标上的性能，输出更加精确完整的实例分割结果。本发明提出的方法(panet)能够准确地对输入的点云进行全景分割，且对实际3d环境中目标遮挡，快速移动等问题具有很好的鲁棒性，在大尺度数据集semantickitti和nuscenes上实现了先进的性能。